클러스터를 이용한 병렬처리관련 질문입니다..
현재 openmpi를 이용한 클러스터가 구축되어있는데요,
파일 리스트를 입력으로 받아서 각각의 파일별로 계산을 해서
각각의 출력 파일을 저장하는 프로그램입니다..
각각의 파일이 독립적으로 처리되고 서로 영향을 주지 않습니다.
아주 단순한 병렬처리인데요..
현재는 파일리스트를 미리 균일하게 나누고,
mpirun으로 여러 프로세스가 각각의 파일리스트를 처리하도록 하는데요,
이경우 프로세스간에 속도차가 있어 어떤건 미리 끝나고, 어떤건 늦게끝나는
낭비가 있습니다..
보통 이러한 태스크의 경우 어떤 식으로 처리하는지요?
전체 파일목록을 가지는 queue가 있고,
그 밑에 여러 프로세스가 이 queue에서 처리할 파일을 하나씩 가져오게 하고 싶은데,
이러한 경우에 대한 예제코드가 있을까요?