대량메일을 다루기 위한 메일서버 튜닝 관련질문..

sendmail에서 설정 변경해서 한시간정도 넘게 돌리고 있습니다.
php에선 슬립타임없이 무조건 큐로 보내도록 해놨더니 파일큐가 너무 쌓이는 경우가 생겨서 시스템부하가 한시간만에 100이 넘어가버리더군요..
그래서 php쪽에서 소켓 열고 닫을때(메일보내고 나서) 0.3초정도의 텀을 줬습니다.
1초에 3~4개정도의 큐가 쌓이고, 10초마다 센드메일에서 이 큐를 확인한 후 최대 30통정도씩 날려줍니다(발송).
nate, lycos, hotmail등에선 일정량을 보내면 너무 많이 보낸다며 그냥 거부해버리는군요..

위에 답글해주신 분들중에 한번에 이메일을 여러게 써넣으라는 부분이 있는데 메일 발송 내용이
그 대상자에게 특화되어 보내지는 내용이기때문에 (특정 형식대로 일정부분이 변경됨) 그 방법은 아무래도 안될것 같습니다.

00 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_1 300
05 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_2 300
10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_3 300
15 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_4 300
20 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_5 300
25 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_6 300
30 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_1 300
35 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_2 300
40 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_3 300
45 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_4 300
50 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_5 300
55 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue /var/spool/mqueue_6 300

1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_1 /var/spool/mqueue2 3600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_2 /var/spool/mqueue2 3600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_3 /var/spool/mqueue2 3600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_4 /var/spool/mqueue2 3600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_5 /var/spool/mqueue2 3600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue_6 /var/spool/mqueue2 3600

크론탭입니다. 5분씩 큐를 돌아가며 각 메인 큐에서 생성된지 오분이 지난 메일큐를 서브큐들로 옮겨줍니다.
그리곤 각 서브큐들을 다른 센드메일 프로세스가 10초마다 확인하여 나름대로 또 발송시도를 합니다.
그리고 각 서브큐에서 한시간가량 전혀 발송되지 않고 대기중인 녀석들만 골라서 최종 큐에 넣습니다.
일단 제가 생각하기에 여기까지 온 메일들은 대략 안들어가는 메일로 보여집니다.
그래도 혹시 모르니 이 마지막 큐에서 1분간격으로 큐를 확인하여 보내줍니다.

일단 이렇게 서버단에서 설정하였습니다.
메일 발송은 한시간에 약 1만 5백개 조금 못되게 발됩니다. 계산상으로는 1만8백개 정도 였는데
생각처럼 정확하게는 안가지는군요...

20만통정도를 보내야 하니까 하루 꼬빡 돌리면 될듯합니다.

로드에버리지는 시간이 지나면 지날수록 올라갑니다. 많이는 아니고 두시간 돌려보니
0.00대에서(메일만 보낼꺼라 다 꺼놨습니다.) 0.10으로 뛰더니 0.10~ 0.30 또 시간이 지나면 0.20~0.50대 이런식으로
차츰차츰 올라가서 두시간 후에는 5.00~7.00까지 로 올라갑니다...
처음 한시간만에 100이 넘던것 보단 양호하지만 왜 저렇게 시간이 흐를수록 올라가는지 의문입니다.
메일에 쌓여있는 큐 처리량을 따져볼때는 큐마다 각 설정해놓은 sendmail 데몬들이 몇개정도씩 작동을 안하고
대기상태로만 빠져있는게 보이는데 그게 영향을 미치는 듯 합니다.
하드웨어의 허용을 초과하는 프로세스를 띄워서인지는 잘 모르겠군요...
어쨋든 여섯개 큐중 4번~6번의 큐는 거의 안움직입니다. 4번은 조금씩 움직이고 5~6번은 거~~의 안움직이고 있죠..

이 부분은 아직 잘 모르겠습니다.
의외로 MX를 받아오기위한 로컬네임서버에서 CPU사용량이 꽤 나오고 있군요..메모리역시..

조금 더 상황을 보고 다시 스레드를 띄우든지 붙이든지 하겠습니다... 조언 및 아이디어들 있으면 관심갖고 지켜봐 주시다가,
얘기해 주시면 감사하겠습니다^^

내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.

다시 설정 변경해봤습니다.

sendmail.cf 내용중 이번 대량메일에 사용한 옵션변경으로는
O QueueDirectory=/var/spool/mqueue/q* #mqueue하위의 q로 시작하는 모든 디렉토리를 메일큐로 사용합니다. 랜덤하게 들어가죠.
O QueueLA=256
O RefuseLA=256
O MaxDaemonChildren=64

이렇게 두었고 큐 디렉토리 구성은
/var/spool/mqueue 하위에 q1 ~ q6 까지의 하위 멀티큐를 두고,
/var/spool/mqueue2 하위에 또 q1 ~ q2,
최종적으로 /var/spool/mqueue3 을 두었습니다.

센드메일 데몬 실행은

#deamon 센드메일메인 프로세서를 Defer모드로 띄운다(무조건 큐에 쌓아놓는모드. 다른 일체의 행동없이 무조건 쌓는다.) 
/usr/sbin/sendmail -bd -ODeliveryMode=defer

# 각각의 메인 멀티큐를 관장하는 데몬들.
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q1 -OMaxDaemonChildren=32 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q1 -OMaxDaemonChildren=4

#1_1.
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q2 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q2 -OMaxDaemonChildren=4

#1_2
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q3 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q3 -OMaxDaemonChildren=4

#1_3
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q4 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q4 -OMaxDaemonChildren=4

#1_4
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q5 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q5 -OMaxDaemonChildren=4

#1_5
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue/q6 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue/q6 -OMaxDaemonChildren=4

#2 (mqueue2의 메일큐들을 관리하는 데몬 : 3분 이상의 메일지연이 이루어 졌던 메일들에 대한 처리)
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue2/q1 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue2/q1 -OMaxDaemonChildren=4

#2_2
/usr/sbin/sendmail -q10s -OQueueDirectory=/var/spool/mqueue2/q2 -OMaxDaemonChildren=16 \
-OTimeout.initial=30s -OTimeout.connect=30s -OTimeout.iconnect=30s -OTimeout.helo=30s \
-OTimeout.mail=30s

/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue2/q2 -OMaxDaemonChildren=4

#3 ( 최후 삼십분동안 지연이 이루어진 메일들의 처리 )
/usr/sbin/sendmail -q30s -OQueueDirectory=/var/spool/mqueue3 -OMaxDaemonChildren=32
[Code]

이렇게 띄웠습니다.

그리곤 크론탭에 re-mqueue.pl을 일정주기로 등록하여 주기적으로 메일지연을 확인한 후 각 큐로
이동시키도록 처리했습니다. 

[Code]
#Hugest Mail Send
#2분마다 메일로그의 로그를 잘라주는 logrotate를 실행.
1-59/2 * * * * /usr/sbin/logrotate /etc/logrotate.d/mail
#1-59/5 * * * * /var/spool/naver.sh

#3분간격으로 각 큐에서 180초 이상 지연된 메일큐를 이차 상위큐로 이동.
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q1 /var/spool/mqueue2/q1 180
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q2 /var/spool/mqueue2/q1 180
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q3 /var/spool/mqueue2/q1 180
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q4 /var/spool/mqueue2/q2 180
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q5 /var/spool/mqueue2/q2 180
*/3 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue/q6 /var/spool/mqueue2/q2 180

#10분이 지난 메일들을 10분간격으로 이차 상위큐에서 최종 큐로 이동.
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue2/q1 /var/spool/mqueue3 600
1-50/10 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue2/q2 /var/spool/mqueue3 600

#최종 큐에서 30분이 지난 메일들을 메일발송 불가로 판단. 다른 센드메일미관련 디렉토리로 이동.
*/30 * * * * /usr/sbin/re-mqueue.pl /var/spool/mqueue2 /etc/mail/mqueue 1800

네임서버 설정(MX값을 확인 하는 부분인지라 그냥 단순히 로컬DNS를 사용했습니다. 물론 리버스 DNS설정은 안했습니다.)

options {
        directory "/var/named";
        check-names master warn;
        datasize 20M;
  };
  zone "." IN {
        type hint;
        file "root.hint";
  };

  zone "localhost" IN {
        type master;
        file "localhost";
        check-names fail;
        allow-update { none; };
        allow-transfer { any; };
  };

<root.hint>
쉘에서 dig > /var/named/root.hint 실행

</var/named/localhost>
@  IN  SOA  @ root (
                  42              ; serial (d. adams)
                  3H              ; refresh
                  15M             ; retry
                  1W              ; expiry
                  1D )            ; minimum
    NS     @
1   A     127.0.0.1

</etc/resolve.conf>
nameserver 127.0.0.1 추가

이렇게 돌렸습니다.

php에서 메일서버로 접속하여 메일을 발송하는 간격은 0.3초당 한통씩이구요
이상태로 한시간에 약 1만통정도의 발송이 가능했습니다.
물론 RBL등으로 블록이 되어있는 메일계정등이 있고, 하루 발송제한량이 있는 대상메일서버의 경우는
돌리면서 php에서 적절하게 처리해 주도록 해놓아야 했으며, 그렇게 했음에도 시간이 흐를수록 약간씩의
속도저하는 있었습니다.

어쩌면 큐확인 시간을 조금 더 조절할 수도 있을지도 모르겠군요...어쨋든 몇시간이 지나면
큐의 양이 어마어마하게 쌓이고, 부하율도 높아지는 부분은 이정도 설정으로 해결했습니다.
부하가 쓸데없이 끊임없이 높아지는 일은 없어졌거든요..
큐에 메일이 쌓이는 비율과 비워지는 비율도 약간의 차이는 있지만 처음처럼 한번에 몇천개씩 싸이거나
하진 않았습니다...

IDE하드라면 hdparm등으로 I/O튜닝도 좀 해봤을텐데 스카시하드는 어떻게 해야할지 모르겠군요..

내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.