MPI 프로그램 디버깅하기.

portgas.d.ace의 이미지

현재 슈퍼컴퓨터 위에 돌릴 MPI 프로그램을 작성 중에 있습니다.
병렬 프로그래밍을 할 때 디버깅하는 게 힘들다는 말은 들었었지만, 이 정도일 줄은 몰랐네요.
printf 질을 하면서 에러의 위치를 발견하고는 있지만 이거는 임시방편일 뿐 완전하지 못하고요.
프로세스에 gdb를 붙일 수 있다 하여 붙여보려고 시도했지만 ps -ux를 쳐보면

kgfa0007 32715  0.0  0.1  10212  3180 ?        S    15:52   0:00 sshd: kgfa0007@pts/1                            
kgfa0007 32716  0.0  0.1   4528  2036 pts/1    Ss+  15:52   0:00 -bash
kgfa0007 32742  0.0  0.1  10576  3376 ?        S    15:52   0:00 sshd: kgfa0007@notty                            
kgfa0007 32743  0.0  0.0   5652  1480 ?        Ss   15:52   0:00 /usr/lib/ssh/sftp-server
kgfa0007 32752  0.0  0.0   5648  1320 ?        Ss   15:56   0:00 /usr/lib/ssh/sftp-server
kgfa0007   730  0.3  0.1  10212  3192 ?        S    16:13   0:00 sshd: kgfa0007@pts/2                            
kgfa0007   731  0.1  0.1   4528  2036 pts/2    Ss   16:13   0:00 -bash
kgfa0007   895  0.0  0.1  10212  3080 ?        S    16:13   0:00 sshd: kgfa0007@pts/3                            
kgfa0007   896  0.0  0.1   4528  1984 pts/3    Ss   16:13   0:00 -bash
kgfa0007   977  0.0  0.0   4260  1368 pts/2    S+   16:15   0:00 /bin/sh /home/kgfa0007/simulator/hsim/src/mpihsim 4
kgfa0007   978  1.1  0.1   7276  3472 pts/2    S+   16:15   0:00 perl -S -w /usr/local/mpich/mpichgm-1.2.6..14a/gm/ppc64/smp/ibmcmp32/ssh/bin/mpirun.ch_gm.pl -np 4 /home/kgfa0007/
kgfa0007  1007  0.0  0.1   7276  3456 pts/2    S+   16:15   0:00 perl -S -w /usr/local/mpich/mpichgm-1.2.6..14a/gm/ppc64/smp/ibmcmp32/ssh/bin/mpirun.ch_gm.pl -np 4 /home/kgfa0007/
kgfa0007  1008  1.0  0.1   5916  2176 pts/2    S+   16:15   0:00 ssh node001 cd /home/kgfa0007/simulator/hsim_samples/pass/test_prop && exec env  GMPI_MASTER=node480 GMPI_PORT=518
kgfa0007  1009  0.4  0.1   5920  2180 pts/2    S+   16:15   0:00 ssh node001 -n cd /home/kgfa0007/simulator/hsim_samples/pass/test_prop && exec env  GMPI_MASTER=node480 GMPI_PORT=
kgfa0007  1010  1.7  0.1   6052  2212 pts/2    S+   16:15   0:00 ssh node002 -n cd /home/kgfa0007/simulator/hsim_samples/pass/test_prop && exec env  GMPI_MASTER=node480 GMPI_PORT=
kgfa0007  1011  4.4  0.1   6052  2248 pts/2    S+   16:15   0:00 ssh node002 -n cd /home/kgfa0007/simulator/hsim_samples/pass/test_prop && exec env  GMPI_MASTER=node480 GMPI_PORT=
kgfa0007  1024  0.0  0.0   2844  1184 pts/3    R+   16:15   0:00 ps -ux

모 대략 이런 식으로 나오니 어디에다가 붙여야 할지도 모르겠고 다 붙여보았지만 쓸만한 결과를 받지도 못하고요.

MPI 프로그래밍 해 보신 분들의 조언을 구합니다.