1개의 텍스트파일을 200개의 텍스트파일과 비교하는데 한번에 하는게 아니라 멀티 프로세싱을 이용해서 1~50 , 51~100, 101~150, 151~200 으로 나눠서 네가지를 동시에 비교하게 하고 싶은데 좀 도와주실수 있으신가요..?
질문에 구체적인 정보가 하나도 없어서 구체적인 답변을 드리긴 어렵습니다만 보아하니 병렬화에 걸림돌이 되는 게 하나도 없는, 문자 그대로 embarrassingly parallel한 문제인 것 같군요.
그러면 그냥 프로세스 여러 개 띄워서 동시 처리하면 됩니다. 달리 무슨 문제가 있습니까?
====
다만, 만약 "비교"라는 게 뭐 그냥 그저 그런 O(n)짜리 단순비교라면, 어지간해선 processing이 아니라 storage bandwidth에 bottleneck이 생길 가능성이 높아 보입니다.
만약 그렇다면 프로세스 몇 개로 병렬 처리하든 아무 이득도 없겠지요.
참고: https://en.wikipedia.org/wiki/Embarrassingly_parallel
텍스트 포맷에 대한 자세한 정보
<code>
<blockcode>
<apache>
<applescript>
<autoconf>
<awk>
<bash>
<c>
<cpp>
<css>
<diff>
<drupal5>
<drupal6>
<gdb>
<html>
<html5>
<java>
<javascript>
<ldif>
<lua>
<make>
<mysql>
<perl>
<perl6>
<php>
<pgsql>
<proftpd>
<python>
<reg>
<spec>
<ruby>
<foo>
[foo]
질문에 구체적인 정보가 하나도 없어서 구체적인 답변을
질문에 구체적인 정보가 하나도 없어서 구체적인 답변을 드리긴 어렵습니다만
보아하니 병렬화에 걸림돌이 되는 게 하나도 없는, 문자 그대로 embarrassingly parallel한 문제인 것 같군요.
그러면 그냥 프로세스 여러 개 띄워서 동시 처리하면 됩니다. 달리 무슨 문제가 있습니까?
====
다만, 만약 "비교"라는 게 뭐 그냥 그저 그런 O(n)짜리 단순비교라면, 어지간해선 processing이 아니라 storage bandwidth에 bottleneck이 생길 가능성이 높아 보입니다.
만약 그렇다면 프로세스 몇 개로 병렬 처리하든 아무 이득도 없겠지요.
====
참고: https://en.wikipedia.org/wiki/Embarrassingly_parallel
댓글 달기