원인불명(?) 의 웹서버 장애.

cguy의 이미지

참 의아스런 현상입니다.

특별히 문제없이 사용하던 서버인데.

대충 열흘전 한번 그리고 어제 한번 같은 문제가 발생했습니다.

서버는 하나로 idc 에 입고했고요,

간단한 서버 스펙은 아래와 같습니다. (Xeon의 하이퍼 스레딩으로 시퓨가 4개로 잡힙니다.)

cpu = Xeon 2.4GHZ * 2ea
memory = ecc/reg 512MB * 2ea
hdd = seagate 36GB ULTRA320 10000RPM

증상 정리.

1. httpd 프로세스의 cpu 사용률 독식. (각각의 httpd 프로세스 마다 cpu 사용량이 개당 평소 1~2% 를 넘어서 5~10% 로 올라감.)
2. 평상시 100 개의 프로세스가 22시 28분 경부터 250 을 넘었음.
3. 평상시 0.5 대의 load average가 38 대로 폭주.

증상의 일시적 해결.

1. apachectl stop
2. apachectl start
3. killall httpd

웹+db 서버로 사용중이고요, 방문자 폭주가 있지 않았고

설령 방문자 폭주가 있다고 해도 저런 결과는 의아하네요.

특별한 프로그램을 돌리는건 없고 apache mysql php 를 사용하는 제로보드 위주의 커뮤니티입니다.

2번째 있는일이라 미봉책이 아닌 원인을 해결해야 할거 같네요.

너무 막연한 현상이라 제가 확인가능한 부분은 저정도 입니다.

의심이 가는 부분이 있으시면 어떤것이든 지적 부탁합니다.

그럼 리눅스 선배님들의 좋은 답변 기다립니다.

jedi의 이미지

보다 많은 정보를 공개하지 않으면 좋은 답을 얻을 수 없을 것 같습니다.

장님 코끼리 만지기죠.

기본적인 배포판 종류, 버전 정보 등도 없는 상황에서 어떤 답을 할수 있을까요?

이왕이면 url도 공개하면 어떤 서비스를 하는지 보고 판단할수 있겝지만

공개하는 사람이 판단할 문제죠..

암튼 그상황 로그를 잘 분석하는 것도 도움이 될듯 하구요.

어떤 서비스를 요구 받아서 처리하다가 그렇게 되었는지 알면 답을 알게 될 것이고요.

+++ 여기부터는 서명입니다. +++
국가 기구의 존속을 위한 최소한의 세금만을 내고, 전체 인민들이 균등한 삶을
영위할 수 있는 착취가 없는 혁명의 그날은 언제나 올 것인가!
-- 조정래, <태백산맥> 중에서, 1986년

Chance78의 이미지

예전에 저도 그런적이 한번 있었는데..
아파치하고 Mysql, PHP다시 설치하니까 괜찮더군요.
컴파일할때 옵션을 다르게 준것도 다른 환경도 아니었는데..
이상했었다는..

cjh의 이미지

일단 apache의 접속 로그와 에러 로그를 보세요. 해당 시간대의 로그를 보시면 접속이 실제 많은건지는 쉽게 알 수 있습니다.

주기적으로 계속 생긴다면 /server-status handler를 사용해서 현재 접속자와 접속하고 있는 페이지를 검사해 보세요.

예전에 empas의 검색엔진 에이전트가 몰려오는 것을 본 적이 있는데, 순식간에 100여개의 동시 접속 요청이 오기도 합니다. 혹 그런것일 수도 있으니 로그를 잘 보시는 것이 먼저입니다.

그리고 apcache+php에서 접속이 많을수록 로드도 매우 높아지게 되니 주의하세요.

--
익스펙토 페트로눔

익명 사용자의 이미지

아파치를 업데이트 해보세요.
근데 이미 맛이 간 상태이므로 될지 모르겠네요.
CPU점유율을 독식하는 아파치용 바이러스가 있는데 그거인듯.

만약 사실이라면
평소에 아파치 업데이트에 좀더 신경쓰셔야 될듯.

익명 사용자의 이미지

혹시 성인사이트 운영자라면
가끔 그럴수 있어요.
제가 괴씸한 성인사이트에는 가끔
DoS 공격 하거든요. ㅋㅋ 저 뿐만 아니라 꽤 있음.
아마 한번 하면 그날은 그 사이트 초투하상태일거예요.
부디 아니기를...

ai의 이미지

cjh wrote:
예전에 empas의 검색엔진 에이전트가 몰려오는 것을 본 적이 있는데, 순식간에 100여개의 동시 접속 요청이 오기도 합니다. 혹 그런것일 수도 있으니 로그를 잘 보시는 것이 먼저입니다.

주제랑은 좀 멀어지는 것 같지만. :) empas 의 웹서치봇은 글쎄요.. 좋지않다라고 표현하는 것이 적절할런지. 제 웹서버에 페이지는 몇 되지 않지만 외부로 노출시키지 말아야 할 사정이 있어 이런 저런 설정을 해 두었습니다. robots.txt 와 user agent 체크 등인데, 신기하게도 어느날 갑자기 empas 검색을 통한 페이지 접근이 생겼더군요. 왜 그런가 로그를 살펴보니

"GET / HTTP/1.0" 200 0 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt; empas)" 이것이 empas 봇의 정체였습니다. (robots.txt 도 무시) 담당자에게 항의 메일을 보내 검색결과에서 삭제해 줄 것을 요청했고 얼마 후 조치가 되긴 했지만 기분이 좋지는 않았네요. 분명히 로봇이 준수해야할 규약이 있는데도 "마치 사람이 직접 접근하는 것 처럼 가장하는" 봇이란..

War doesnt determine whos right, just whos left.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.