서버 다운현상을 어떻게 분석해야 되나요???

yundorri의 이미지

안녕하세요 제가 운영하는 서버가 갑자기 먹통이 되었습니다. 것두 일요일 오전에 제길슨.... T_T
욕먹는건 둘째 치고 왜 다운이 되었는지 저로서는 도저히 감이 안옵니다.
아래와 같은 메시시를 토해내고는...

원인분석을 어떻게 해야될까요? 고수님들의 도움 부탁드립니다.
아래는 저의 시스템 입니다.

[yundorri@swdev0 ~]$ uname -a
Linux swdev0 2.6.9-5.ELsmp #1 SMP Wed Jan 5 19:30:39 EST 2005 i686 i686 i386 GNU/Linux

다운현상은 10:48:37에 된 것으로 보입니다.
다른 xferlog 등에는 특이사항은 없었습니다.

Jun  1 10:46:21 swdev0 crond(pam_unix)[9607]: session closed for user yundorri
Jun  1 10:47:01 swdev0 crond(pam_unix)[10269]: session opened for user yundorri by (uid=0)
Jun  1 10:47:21 swdev0 crond(pam_unix)[9850]: session closed for user yundorri
Jun  1 10:48:01 swdev0 crond(pam_unix)[10587]: session opened for user yundorri by (uid=0)
Jun  1 10:48:21 swdev0 crond(pam_unix)[10269]: session closed for user yundorri
Jun  1 10:48:37 swdev0 kernel: Unable to handle kernel NULL pointer dereference at virtual address 0000000c
Jun  1 10:48:37 swdev0 kernel:  printing eip:
Jun  1 10:48:37 swdev0 kernel: f8b9064d
Jun  1 10:48:37 swdev0 kernel: *pde = 10d51001
Jun  1 10:48:37 swdev0 kernel: Oops: 0002 [#1]
Jun  1 10:48:37 swdev0 kernel: SMP
Jun  1 10:48:37 swdev0 kernel: Modules linked in: vfat fat iptable_filter ip_tables usb_storage nfsd exportfs lockd sunrpc autofs4 dm_mod button battery ac md5 ip
v6 uhci_hcd ehci_hcd hw_random tg3 floppy ext3 jbd cciss mptscsih mptbase sd_mod scsi_mod
Jun  1 10:48:37 swdev0 kernel: CPU:    3
Jun  1 10:48:37 swdev0 kernel: EIP:    0060:[<f8b9064d>]    Not tainted VLI
Jun  1 10:48:37 swdev0 kernel: EFLAGS: 00010282   (2.6.9-5.ELsmp)
Jun  1 10:48:37 swdev0 kernel: EIP is at journal_commit_transaction+0x442/0xfb1 [jbd]
Jun  1 10:48:37 swdev0 kernel: eax: d1db347c   ebx: 00000000   ecx: f75bcc80   edx: d1db359c
Jun  1 10:48:37 swdev0 kernel: esi: c2334e38   edi: d1db347c   ebp: c2334e00   esp: f66b3df0
Jun  1 10:48:37 swdev0 kernel: ds: 007b   es: 007b   ss: 0068
Jun  1 10:48:37 swdev0 kernel: Process kjournald (pid: 1550, threadinfo=f66b3000 task=f6d993b0)
Jun  1 10:48:37 swdev0 kernel: Stack: d43cce18 00000000 00000000 00000000 00000000 00000000 d1db359c f7f47400
Jun  1 10:48:37 swdev0 kernel:        d1db365c 0000087d 00000000 f6d993b0 c011e912 f66b3e44 f66b3e44 c2235a00
Jun  1 10:48:37 swdev0 kernel:        f75b7d80 f75b89ac 00000000 f6d993b0 c011e912 f66b3e44 f66b3e44 002dcc77
Jun  1 10:48:37 swdev0 kernel: Call Trace:
Jun  1 10:48:37 swdev0 kernel:  [<c011e912>] autoremove_wake_function+0x0/0x2d
Jun  1 10:48:37 swdev0 kernel:  [<c011e912>] autoremove_wake_function+0x0/0x2d
Jun  1 10:48:37 swdev0 kernel:  [<f8b92e6d>] kjournald+0xc7/0x215 [jbd]
Jun  1 10:48:37 swdev0 kernel:  [<c011e912>] autoremove_wake_function+0x0/0x2d
Jun  1 10:48:37 swdev0 kernel:  [<c011e912>] autoremove_wake_function+0x0/0x2d
Jun  1 10:48:37 swdev0 kernel:  [<c011bd5d>] schedule_tail+0x12/0x55
Jun  1 10:48:37 swdev0 kernel:  [<f8b92da0>] commit_timeout+0x0/0x5 [jbd]
Jun  1 10:48:37 swdev0 kernel:  [<f8b92da6>] kjournald+0x0/0x215 [jbd]
Jun  1 10:48:37 swdev0 kernel:  [<c01041f1>] kernel_thread_helper+0x5/0xb
Jun  1 10:48:37 swdev0 kernel: Code: 00 00 e8 63 8c 5c c7 8b 54 24 14 89 d8 e8 88 0b 00 00 89 f0 e8 e5 47 73 c7 83 7d 18 00 0f 84 1f 01 00 00 8b 45 18 8b 78 20 8b
 1f <f0> ff 43 0c 8b 03 a8 04 74 5a 8b 4c 24 1c 8d 81 e4 00 00 00 e8
Jun  1 16:01:25 swdev0 syslogd 1.4.1: restart.
Jun  1 16:01:25 swdev0 syslog: syslogd 시작 succeeded
Jun  1 16:01:25 swdev0 kernel: klogd 1.4.1, log source = /proc/kmsg started.
Jun  1 16:01:25 swdev0 kernel: Linux version 2.6.9-5.ELsmp (bhcompile@decompose.build.redhat.com) (gcc version 3.4.3 20041212 (Red Hat 3.4.3-9.EL4)) #1 SMP Wed Ja
n 5 19:30:39 EST 2005
Jun  1 16:01:25 swdev0 kernel: BIOS-provided physical RAM map:
Jun  1 16:01:25 swdev0 kernel:  BIOS-e820: 0000000000000000 - 000000000009f400 (usable)
정태영의 이미지

kernel version 을 올려보세요.

--
오랫동안 꿈을 그리는 사람은 그 꿈을 닮아간다...

http://mytears.org ~(~_~)~
나 한줄기 바람처럼..

오랫동안 꿈을 그리는 사람은 그 꿈을 닮아간다...

http://mytears.org ~(~_~)~
나 한줄기 바람처럼..

yundorri의 이미지

Kernel Version은 위에 있는 2.6.9-5.ELsmp ... 이거 말고 또 있나요?
흑흑...

Necromancer의 이미지

패닉이군요. 보통 오버 할때 저런거 많이 일어나는데 오버 안했다거나 기타 이상한 tune을 하지 않았는데도, 특히 예전에 잘 돌았는데 지금 와서 자주 난다면 cpu, 메모리, 보드의 이상을 의심해볼 수 있죠. 그리고 위 경우는 NULL포인터 에러가 뜬 걸로 봐서는 하드웨어 이상이 아닌 커널에 있는 벌레가 문제를 일으킨거 같군요.

Written By the Black Knight of Destruction

Written By the Black Knight of Destruction

yundorri의 이미지

감사드립니다.
오버라는 말씀은 OverHead 또는 Over Load라는 말씀인가요? 너무 무리한 작업을 많이
돌렸다는...
그리고 커널에 있는 벌레라면 어쩔수 없는 에러라고 봐야되는지...
또 중간에 보면 printing 이라고 있는데 뭔가가 프린트 하려고 했을 때 문제가 된건지..
프린터는 설치도 안되어있는데..

여러가지로 우울한 하루였네요.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.