계산용 클러스터에서 레이드 디스크 IO속도 문제

안녕하세요. 저는 큰 시뮬레이션을 돌리는 연구실에 있는 대학원생이고 클러스터 관리자입니다. 이 게시판에서 늘 많은 도움을 얻고 있습니다.

문제가 되는 클러스터의 스펙은 다음과 같습니다.

메인노드: CPU core 4개, 8GB 메모리, 부팅 및 바이너리용 하드 + (400GB HDD*11) raid5 3.6TB
{슬레이브: CPU core 4개*2, 4GB 메모리, (500GB HDD*2) raid1} * 26

26개의 슬레이브 노드와 1개의 메인노드는 1기가비트 랜으로 엮여 있습니다.
메인노드의 3.6TB짜리 레이드5하드는 메인노드와 슬레이브의 /home에 마운트되어 있습니다.
이 레이드 하드의 컨트롤러는 (비싼;;) 하드웨어 레이드 컨트롤러입니다.

이 계산 머신은 메모리를 별로 쓰지 않고 계산만 죽어라 하는 연산에 특화되어 있으며, 중간중간 결과를 내뱉습니다.
이 내뱉은 결과는 물론 /home에 쓰여집니다. 때때로 계산 결과가 많기 때문에, /home을 맡고 있는 메인노드의
레이드5하드는 빨라야만 합니다. 그래서 하드 11개를 raid5로 한번에 묶는 개짓-_-;;을 했습니다.

/home은 nfs로 공유하며, nfs로 구글링하여 검색하면 나오는 간단한 튜닝정도는 했습니다.

슬레이브노드의 /etc/fstab입니다
10.1.100.1:/home /home1 nfs rw,rsize=32768,wsize=32768,nfsvers=3,tcp,bg,nointr,noac 0 0
일단 rsize와 wsize를 늘리라고 해서 늘렸습니다.

메인노드의 /etc/exports입니다
/home/ 10.1.0.0/255.255.0.0(rw,sync,no_root_squash,no_subtree_check)

그리고 /etc/default/nfs-kernel-server 의
# Number of servers to start up
RPCNFSDCOUNT=32

원래 4개였던 것을 권장대로 32개로 고쳤습니다.

그런데 이렇게 해도 이 레이드 하드가 엄청 느립니다.
슬레이브 노드에서 dd같은걸로 써보면 , 한 노드에서 주구장창 쓸 때에는 정확히 기가비트 네트웍 만큼의 속도가 나옵니다.
100MB/sec정도요

하지면 여러 파일을 동시에 쓸 때에 엄청나게 느려집니다.
약 20-30노드가 동시에 파일을 쓰려고 시도하는 경우 초당 1-2MB 정도밖에 쓰지 못합니다. 아무리 빨라봐야 10MB/sec 이하입니다.
하드 쓰기 속도가 네트웍 속도보다 훨씬 빠르다는 점과 여러 노드가 데이터를 보낸다는 점을 생각해 봤을 때 더 빨라져야 할 것같은데,
아주 심각하게 느려집니다. 초당 1-2MB라는게 한 작업당이라면 좋겠지만 raid5하드의 전체 쓰기 속도가 그렇다는 이야기입니다;;
파일을 30개를 동시에 쓴다고 해도 그렇지 무슨 레이드5하드가 초당 몇메가밖에 못쓰나요 망신이네요;;

이런 쓰기 작업을 하는 경우 메인노드의 로드 에버리지가 20-30까지 치솟고 cpu시간의 iowait가 눈에 뜨일 만큼(20-30%) 커집니다.
이렇게 되면 슬레이브 노드에서 하드에 쓰는 일을 할 경우 엄청 기다려야 하고 그래서 작업 속도가 현저하게 느려집니다.

어떻게든 이걸 빠르게 하고 싶습니다.

혹시 문제가 될 만한 부분이 있을까요? 아니면 이게 정상인가요?

조언해주시면 감사하겠습니다.

고맙습니다.

요약: raid5하드가 nfs로 마운트되어 있는데 파일 한 개를 쓸 경우 기가비트 랜의 속도가 나오지만 파일 수십개를 동시에 쓸 경우 전체 쓰기 속도가 수메가/초 밖에 나오지 않습니다.