현재 위치

홈 ›› Forums ›› 공부 ›› 설치 및 활용 QnA

매일 같은 시간대에 서버가 다운됩니다

meet1004의 이미지
글쓴이: meet1004 / 작성시간: 일, 2011/12/11 - 11:50오전

현 annyung 으로 운영되고 있는 리눅스 서버입니다.

hosts.deny 과 hosts.allow 을 통해 web서비스, ftp서비스, dns서비스만 열려있는 상태고요
이외의 ssh난 제가있는 곳 ip만 오픈시킨 상태입니다.
웹과 db , 네임서버를 운영하고 있습니다. oops 방화벽을 설치했고요
아무 장애없이 3년 이상 운영하고 있는 작은 홈페이지들 100여개를 돌리고있는 서버입니다.

3일전부터 같은 시간대 서버가 다운되는 현상이 일어납니다.
e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
란 메세지를 띄우고 콘솔작동도 먹히질 않습니다.

--------------------하드웨어 스팩--------------------------------
프로세서 갯수 4
프로세서 모델 Intel(R) Xeon(TM) CPU 2.40GHz
칩셋 클럭 2392.99
케쉬 사이즈 512 KB
자체테스트 클럭 19123.38
PCI 장치 Intel Corp. E7000 Series Host RASUM Controller
Intel Corp. E7000 Series Hub Interface C RASUM Controller
Intel Corp. 82801CA Ultra ATA Storage Controller
Intel Corp. 82870P2 P64H2 I/OxAPIC (#2)
Intel Corp. 82870P2 P64H2 I/OxAPIC
Adaptec AIC-7899P U160/m (#2)
Adaptec AIC-7899P U160/m
Intel Corp. 82546EB Gigabit Ethernet Controller (Copper) (#2)
Intel Corp. 82546EB Gigabit Ethernet Controller (Copper)
ATI Technologies Inc Rage XL

IDE 장치 hdc: SAMSUNG CD-ROM SN-124

SCSI 장치 SEAGATE ST336704LC ( Direct-Access )
FUJITSU MAT3147NC ( Direct-Access )
FUJITSU MAT3147NC ( Direct-Access )
SEAGATE ST336607LC ( Direct-Access )
SEAGATE ST336607LC ( Direct-Access )
SEAGATE ST336607LC ( Direct-Access )
ESG-SHV SCA HSBP M20 ( Processor )

------------------메모리 사용량---------------------------------------------------

타입 퍼센트 남은량 사용량 총 용량
물리적 메모리 77% 235.20 메가바이트(MB) 773.22 메가바이트(MB) 1008.41 메가바이트(MB)
스왑 디스크 2% 1.96 기가바이트(GB) 36.82 메가바이트(MB) 2.00 기가바이트(GB
------------------------------------------------------------------------------

------------------네트워크 사용정보--------------------------------------------------
장치 받은 량 보낸 량 에러 / 실패
lo 684.47 킬로바이트(KB) 684.47 킬로바이트(KB) 0/0
eth0 0.00 킬로바이트(KB) 0.00 킬로바이트(KB) 0/0
eth1 105.03 메가바이트(MB) 1.22 기가바이트(GB) 0/0
------------------------------------------------------------------------------
eth0에서 eth1로 바꾼거는 자꾸 거져서 랜카드문제인가 싶어서 eth1로 바꾸었습니다.
바꾸어도 같은 증상이더라구요

-------------------마운트 현황----------------------------------------------
마운트 타입 파티션 사용량
/ ext3 /dev/sda1 5%
/back ext3 /dev/sdc1 1%
/home ext3 /dev/sdb1 35%
/home1 ext3 /dev/sdd1 0%
/home2 ext3 /dev/sde1 0%
/home3 ext3 /dev/sdf1 0%
/dev/shm tmpfs none 0%
/usr ext3 /dev/sda3 5%
/var ext3 /dev/sda2 9%
------------------------------------------------------------------------------

정확시 3일전부터 같은 시간대 서버가 다운되는 현상이 일어나고 있습니다.
더 정확히 말하자면 컴퓨터는 부팅되어있고 로컬에는
e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
란 메세지를 띄우고 콘솔작동도 먹히질 않습니다.

오늘까지 정확히 4번 같은시간 매일 24시에 일어납니다. 정확히 23시 59분 59초에 꺼지는지

로컬에가서 직접 서버를 보면

e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
위 메세지가 떠 있습니다.

로컬에서 리스타트가 안되서 서버에서 리셋 버튼으로 리스타트 시키면 또 잘 돌아갑니
다.

오늘은 직접 모니터링 하고있었는데 서버가 중지되더라구요

중지되기전의 상항으로 메모리와 cpu 사용량은 아주 적습니다.
네트워크 사용량도 거의 없습니다. 24시에는 거의 사용자들이 없어서

dmesg로그에는 아래와 같은 메세지가 나옵니다.

divert: allocating divert_blk for eth1
e1000: eth1: e1000_probe: Intel(R) PRO/1000 Network Connection
e1000: eth1: e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=242 ID=23621 DF PROTO=ICMP TYPE=8 CODE=0 ID=18624 SEQ=256
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=174.123.29.150 DST=저희서버 LEN=48 TOS=0x10 PREC=0x00 TTL=114 ID=1735 PROTO=TCP SPT=80 DPT=1024 WINDOW=16384 RES=0x00 ACK SYN URGP=0
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=241 ID=17473 DF PROTO=ICMP TYPE=8 CODE=0 ID=15768 SEQ=256
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=220.73.82.208 DST=저희서버 LEN=52 TOS=0x10 PREC=0x00 TTL=56 ID=12657 DF PROTO=TCP SPT=24800 DPT=135 WINDOW=60352 RES=0x00 SYN URGP=0
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=221.208.245.227 DST=저희서버 LEN=60 TOS=0x10 PREC=0x00 TTL=51 ID=57633 DF PROTO=TCP SPT=54301 DPT=22 WINDOW=5840 RES=0x00 SYN URGP=0
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=241 ID=62754 DF PROTO=ICMP TYPE=8 CODE=0 ID=43768 SEQ=256
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=220.73.82.208 DST=저희서버 LEN=52 TOS=0x10 PREC=0x00 TTL=56 ID=22456 DF PROTO=TCP SPT=3529 DPT=135 WINDOW=60352 RES=0x00 SYN URGP=0
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=204.188.196.130 DST=저희서버 LEN=40 TOS=0x10 PREC=0x20 TTL=103 ID=256 PROTO=TCP SPT=6000 DPT=1433 WINDOW=16384 RES=0x00 SYN URGP=0
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=241 ID=14593 DF PROTO=ICMP TYPE=8 CODE=0 ID=53684 SEQ=256
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=241 ID=27458 DF PROTO=ICMP TYPE=8 CODE=0 ID=30268 SEQ=256
PING request RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=192.5.90.41 DST=저희서버 LEN=56 TOS=0x00 PREC=0x00 TTL=242 ID=27463 DF PROTO=ICMP TYPE=8 CODE=0 ID=48020 SEQ=256
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=221.235.196.114 DST=저희서버 LEN=52 TOS=0x10 PREC=0x00 TTL=49 ID=9496 DF PROTO=TCP SPT=28068 DPT=3389 WINDOW=65535 RES=0x00 SYN URGP=0
SYN RefuseIN= OUT=eth1 SRC=저희서버 DST=120.38.248.115 LEN=60 TOS=0x10 PREC=0x00 TTL=64 ID=0 DF PROTO=TCP SPT=34139 DPT=113 WINDOW=5840 RES=0x00 SYN URGP=0
SYN RefuseIN= OUT=eth1 SRC=저희서버 DST=120.38.248.115 LEN=60 TOS=0x10 PREC=0x00 TTL=64 ID=0 DF PROTO=TCP SPT=34139 DPT=113 WINDOW=5840 RES=0x00 SYN URGP=0
SYN RefuseIN=eth1 OUT= MAC=00:07:e9:04:38:3a:00:07:70:b1:87:12:08:00 SRC=210.94.174.51 DST=저희서버 LEN=40 TOS=0x10 PREC=0x00 TTL=110 ID=256 PROTO=TCP SPT=6000 DPT=1433 WINDOW=16384 RES=0x00 SYN URGP=0

/var/log/messages , secure 등 모든 로그를 찾아봐도 서버가 다운되기 전의 error메세지는 없습니다.

그렇다고 cron에도 아무 설정이 없습니다.

단지 로컬에 나오는 메세지는
e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX/TX 입니다.

왜 사용자가 많은 타 시간대에는 잘 돌아가다가 사용자가 거의 없는 24시 정확히 23시 59분 59초에 꺼지는지
3년이상 잘돌리고 있었는데 이유가 먼지 궁금합니다.

Forums: 
설치 및 활용 QnA

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.