지금은 문제가 해결되었습니다. 그저께 새벽에 새로 추가한 사용자 아바타 기능 모듈 관련해서 해당 모듈이 동작시에 db에 지나치게 많은 부하를 주도록 설계가 되어 있어서 제때 처리를 못해주다 보니 접속이 폭주하면서 db 서버가 제때 결과를 넘겨주지 못하고 웹서버도 이를 받지 못해서 그랬던 것입니다.
김정균님이 대부분의 작업을 진행해 주셨습니다. 감사드립니다... 더 자세한 내용은 김정균님이 시간이 나면 올려 주실 것입니다. :-)
1. 빈 페이지 출력
2. 웹서버 error log 에 php debug_backtrace 함수에 관련된 Eacccelerator opcode segfulat 로그 발생
3. EA 관련 버그 조사를 해 보았으나, 리포팅만 있을뿐 해결 방안을 찾지 못함
4. debug_backtrace 가 무조건 실행이 되게 되어 있어, db query 실패시에만 작동하도록 코드 수정
5. debug_backtrace segfault 가 1/10 으로 준것을 확인 하였으나 여전히 빈페이지 출력됨
6. segfault 가 발생하지 않아도 빈페이지 출력되는 경우 확인
7. DB server 분석
8. DB server 가 며칠 사이에 부하율이 20% 증가 확인
9. DB process list 확인 결과 "create tmp table" 이 많이 발생하는 것을 확인
10. 해당 query 를 사용하는 모듈을 찾아서 disable 시킴
정도가 되겠습니다. 중간에 삽질한 것들이 꽤 있지만 이것들까지 다 쓰자니.. 기억도 잘 안나고
-------------------------------------------------------------------------------
이 댓글(comment)의 수정 및 삭제를 위해 이 글에 답글(reply)을 쓰지 말아 주십시요.
의견이 있으시면 원 글에 댓글(comment)로 써 주세요.
댓글
맞아요 많은 분이
맞아요 많은 분이 알고 있을거 같은데 그에 관한 리포트는 없다는게 묘한 분위기요.
다들 superuser라서? ㅋ
지금은 문제가
지금은 문제가 해결되었습니다. 그저께 새벽에 새로 추가한 사용자 아바타 기능 모듈 관련해서 해당 모듈이 동작시에 db에 지나치게 많은 부하를 주도록 설계가 되어 있어서 제때 처리를 못해주다 보니 접속이 폭주하면서 db 서버가 제때 결과를 넘겨주지 못하고 웹서버도 이를 받지 못해서 그랬던 것입니다.
김정균님이 대부분의 작업을 진행해 주셨습니다. 감사드립니다... 더 자세한 내용은 김정균님이 시간이 나면 올려 주실 것입니다. :-)
바쁘실텐데 수고하셨습니다..^^
이제부터 정상화군요....^^
감비노도 궁금해하더라구..등짝!..등짝을보자!..
감비노도 궁금해하더라구..등짝!..등짝을보자!..
음 저한테
음 저한테 떠넘기다니.. 별로 한 것 없습니다. :-)
처리 순서대로 해 보자면
1. 빈 페이지 출력
2. 웹서버 error log 에 php debug_backtrace 함수에 관련된 Eacccelerator opcode segfulat 로그 발생
3. EA 관련 버그 조사를 해 보았으나, 리포팅만 있을뿐 해결 방안을 찾지 못함
4. debug_backtrace 가 무조건 실행이 되게 되어 있어, db query 실패시에만 작동하도록 코드 수정
5. debug_backtrace segfault 가 1/10 으로 준것을 확인 하였으나 여전히 빈페이지 출력됨
6. segfault 가 발생하지 않아도 빈페이지 출력되는 경우 확인
7. DB server 분석
8. DB server 가 며칠 사이에 부하율이 20% 증가 확인
9. DB process list 확인 결과 "create tmp table" 이 많이 발생하는 것을 확인
10. 해당 query 를 사용하는 모듈을 찾아서 disable 시킴
정도가 되겠습니다. 중간에 삽질한 것들이 꽤 있지만 이것들까지 다 쓰자니.. 기억도 잘 안나고
지금도 빈페이지 발생합니다
http://kldp.org/tracker에서 간헐적으로 빈페이지가 나오네요
-------------------------------------------------------------------------------
이 댓글(comment)의 수정 및 삭제를 위해 이 글에 답글(reply)을 쓰지 말아 주십시요.
의견이 있으시면 원 글에 댓글(comment)로 써 주세요.
아직도
빈 페이지가 발생하는군요..
그냥 받아만 먹고 있는데 참 감사할 따름입니다.
잠은 주무시고 틈틈이 고쳐주세요-
Summa Cum Laude
예, 저도 가끔
예, 저도 가끔 http://kldp.org/tracker 에서 하얗게만 나옵니다.
음 EA 의 용도가 ZO 와
음 EA 의 용도가 ZO 와 같다면 그냥 ZO 를 쓰실것을 권해봅니다.
emerge money
http://wiki.kldp.org/wiki.php/GentooInstallSimple - 명령어도 몇개 안되요~
https://xenosi.de/
절대 ZO 와 같을수 없습니다.
EA 는 예전 zend cache -> zend performance suite -> ? 뭐 이런식으로 이름이 바끼었는데 지금은 뭔지 모르겠네요;
아마 ZO 가 한 2~30% 의 퍼포먼스를 낸다면 위에 열거 해놓은것은 코드에 따라 100% 이상의 퍼포먼스를 발휘 합니다.
정말 괴물같죠. 성능이 2~3배 심하게는 10배 이상 올라갑니다. 상황에 따라선 말이죠 ..
EA 가 바로 zend cache 의 오픈소스 버전이라 할수 있습니다 예전 mmcache 의 개발자가 zend 로 들어가면서 ;;
더이상 업데이트도 없구 했었는데 그걸 다시 EA 란 이름으로 프로젝트 된것이 지금의 EA 이죠;;
버전업이 좀 느리긴 하지만 정말 성능하나는 만족합니다. 물론 보통은 그런데로 잘 돌아 가는데
어쩌다가 문제를 일으키곤 하죠 ;; 지금이 딱 그 상황인것 같습니다.
SE 입장에서 볼땐 EA 는 정말 마약같은 존재랄까요;; 서버 몇대 사야 할것을 저거 하나로 해결 되는 경우가 허다 할 정도
니까요 ;;
그러니 절대로 ZO 같을리가 없겠죠 ;;; 물론 ZO 의 기능도 포함하고 있습니다 EA 에 그리고 소스인코딩 기능도 들어있어요
소스인코딩기능은 요즘 잘 안되더군요;; ( 나만 그런가;; )
하늘은 스스로 삽질 하는 자를 삽으로 팬다.
------------------------------------------------
http://glay.pe.kr
--------------- 절취선 ------------------------
하늘은 스스로 삽질하는 자를 삽으로 팬다.
http://glay.pe.kr
제가 Apache2 worker 에
저의 Apache2 worker 에 대한 갈망과 비슷한거군요.
성능은 좋은데 php ext 들이 안따라준다는거...
emerge money
http://wiki.kldp.org/wiki.php/GentooInstallSimple - 명령어도 몇개 안되요~
https://xenosi.de/
현재 kldp.org 서버에 EA
현재 kldp.org 서버에 EA 를 빼면 한대로 버티지 못합니다. 원래 EA 를 사용하지 않았었는데 2004년경 부터 EA 를 사용하지 않으면 버티기 힘든 경지까지 올라갔습니다. 여기에는 bot 들의 접근이 상당히 영향을 많이 미친 결과 입니다.
EA 는 cache 와 optimizing 을 합니다. ZO 는 optimizer 만 수행을 하죠.
그리고, 2대 이상으로 운영을 하려면 인증 문제 때문에 현재는 이 부분을 해결하지 않는 한은 2대 이상으로 운영하는 문제는 좀 어렵습니다.
forum module 에
forum module 에 방어코드를 좀 넣어 보았습니다. 혹시 forum 에서 빈페이지가 발생할 경우 댓글 부탁 드립니다.
빈페이지 현상이 segfault 등 아무런 증상을 남기지 않는 관계로 디버깅 하기가 쉽지 않네요. EA 랑 관련된 것은 분명한 듯 싶은데.. segfault 라도 남으면 dump 라도 떠 볼텐데..
tracker 는 또 어떻게 잡아야 할지.. --;
7/10 9:40분 정도
7/10 9:40분 정도 즈음에 "최근 글"의 빈페이지가 나왔습니다.
자세한 내용:
브라우저(불여우 v.2.0.0.4)로 KLDP에 접속했습니다.
처음에 "최근 글"을 클릭했을 때, 빈페이지가 나왔습니다.
시작페이지에 직접 노출된 "KLDP가 현재 오작동 중입니다"를 방문한 뒤에, 다시 "최근 글"에 접속했습니다.
이번에는 제대로 나오는군요.
혹시 브라우저를 띄우고 처음에 접속할 때, 발생하는 문제인가 의심이 들어서,
브라우저를 다시 띄우고 "최근 글"에 열었습니다.
문제 없이 잘 나오는군요.
----
내 블로그: http://unipro.tistory.com
내 위키: KLDPWiki:unipro
내 블로그: http://unipro.tistory.com
빈페이지나.. 접속이 안되면...
그냥 "아 뭐 사이트 작업중이군화..." 라고 생각하기에.. ㅎㅎ;;
0-1-0-0-1
방어 코드를 drupal
방어 코드를 drupal 전체 코드에 반영을 했습니다. 일단 error_log 상의 segfault 는 1/10 수준으로 줄었습니다. db query 실패시에 실행되는 debug_backtrace 관련 segfault 외에는 현재 발생하고 있지 않네요.
IE에서는 계속해서
IE에서는 계속해서 빈페이지로 출력이 되네요. 어차피 IE에서 접속이 안되면 파이어폭스를 설치해서 접속하면 되지만 그래도 빨리 복구가 되었으면 좋겠습니다. 수고하세요.
댓글 달기