클러스터에서 mount 명령어 실행시 segmentation fault 에러에

레드햇 9.0을 이용해서 클러스터를 구성해서 사용하고 있습니다.

거의 대부분을 MPI를 이용해서 병렬 계산하는데 이요하는데요.

한동안 잘 쓰다가 갑자기 mpirun을 통해서 계산을 하면,

작업이 실행되지 않는 오류를 보이더군요.

그래서, 서버 및 클라이언트를 리부팅하는데,

리부팅 중에 /proc를 마운트 할수 없다는 오류가 나타났습니다.

이것저것 해보다가, linux rescue 모드로 들어가서

/bin의 mount 명령어 실행해보니 "segmentation fault"라는 오류가 나오더군요.

그래서 diskless 부팅을 위한 /tftpboot 안의 각 노드에 대한 /bin 디렉토리내의 mount 명령을 실행하니 정상작동 되었습니다.

/tftpboot의 mount를 서버 /bin에 복사하여 부팅하니 마운트 오류는 해결되는데 다른 오류가 발생해서..

아예, /ftfpboot에 있는 /bin을 서버의 /bin에 전부 복사하여 부팅해보니

별다른 문제없이 부팅되고, 클러스터 사용이나, mpirun 사용에도 문제가 없었습니다.

그런데 문제는, 이러한 현상이 mpirun을 이용해서 장시간 계산하고 나서

계산 종료후 다른계산을 수행하면 다시 나타납니다.

mpirun 실행이 안돼서, mount실행해보면 segmentation fault 에러 나오면서 병렬 계산을 수행할수 없는 문제가 발생하는데요.

혹시 이런 문제를 해결할수 있는 방안은 없는지요.

전에도 이와같은 문제가 있어서, 리눅스를 다시 설치해서 사용했는데

다시 설치해서 한달정도 쓰다가, 같은 문제가 다시 발생하는 군요.

MPICH에 문제가 있는건지 아니면, 웜에의한 공격 때문에 발생하는지 ...

고수님들의 의견 부탁드려 봅니다.