파이썬 멀티 프로세싱 질문이요..!

익명 사용자의 이미지

1개의 텍스트파일을 200개의 텍스트파일과 비교하는데 한번에 하는게 아니라
멀티 프로세싱을 이용해서 1~50 , 51~100, 101~150, 151~200 으로 나눠서
네가지를 동시에 비교하게 하고 싶은데 좀 도와주실수 있으신가요..?

익명 사용자의 이미지

질문에 구체적인 정보가 하나도 없어서 구체적인 답변을 드리긴 어렵습니다만
보아하니 병렬화에 걸림돌이 되는 게 하나도 없는, 문자 그대로 embarrassingly parallel한 문제인 것 같군요.

그러면 그냥 프로세스 여러 개 띄워서 동시 처리하면 됩니다. 달리 무슨 문제가 있습니까?

====

다만, 만약 "비교"라는 게 뭐 그냥 그저 그런 O(n)짜리 단순비교라면, 어지간해선 processing이 아니라 storage bandwidth에 bottleneck이 생길 가능성이 높아 보입니다.

만약 그렇다면 프로세스 몇 개로 병렬 처리하든 아무 이득도 없겠지요.

====

참고: https://en.wikipedia.org/wiki/Embarrassingly_parallel