일반 컴퓨터 취합해 슈퍼컴퓨터 성능

이런 프로젝트는 문제가 생길 소지가 높다고 생각합니다.
예를 들어서 신약후보를 탐색하는데 해커의 컴퓨터로 엉뚱한 물질이 신약으로서 가능성을 보였다고.. 보고해버리면 어쩌겠습니까?
예전에 컴퓨팅파워를 체크하는 사이트에서 특정국가/팀에서 패킷을 분석했는지.. 프로그램을 분석했는지.. 실제 계산을 안하고 결과만을 보내는 형태로 상위권에 랭크된적이 있다고 하던데.. 비슷한 형태의 문제가 일어날것 같습니다.

http://www.koreaAThome.org

한번 기여를 해보려고 했는데, 리눅스용 에이전트는 없네요 +_+
seti@home이나 해야겠군...[/url]

국가 차원 사업이니 팍팍 밀어줘야하지 않을까요 8)
이젠 거의 예기가 안나오지만
앞으로 혹시 나올지 모르는 인터넷 종량제 하자는 소리 아예 못나오겠지요 ㅋㅋ
종량제 하면 이 프로젝트 하는 컴퓨터가 극히 적어질듯하니까요 ㅋ..

근데 닷넷 프레임워크 설치해야합니까? ㅡ.ㅡㅋ 말만 하고 저두 참가 못하겠군요 아직 닷넷은 거부감이 팍팍;;;

그... 그렇군요. >.<=b

설치했다가 리소스를 너무 많이 먹어서 지워버렸습니다.
>.<

얼마전에 제 블로그에 끄적거려두었던 글입니다. 여기가 블로그면 트랙백을 하고 싶은데... 하하... :-)

CPU 파워 임대

SETI@Home 과 같은 프로젝트로 남아돌아가는 유휴 CPU를 가용하게 한다는 것이 의미있는 사실임이 증명된 것은 틀림없는 일. 사용자는 놀고 있는 CPU 를 임대하는데 전기세 이외의 부담이 들지는 않는다. 반면 이 CPU의 파워가 모이면 아주 유용한 일을 많이 해 줄 수 있다.

통신회사와 회선사용자간에 사용자는 모바일디바이스의 CPU타임을 임대해주고, 통신회사는 서버도입비를 절감하는 대신 사용자의 통신료를 감면해준다는 시나리오는 어떨까. 분명 서비스업체에서 새로운 사업을 위해 서버를 도입하는 것은 부담이 큰 시설확충이 되고, 사용자의 디바이스를 이용해 핸드폰을 사용하지 않는 동안 CPU 를 이용할 수 있다면, 그리고 사용자는 통신비용을 절감할 수 있다면 하나의 윈윈모델이 될 수 있지는 않을까? 아무리 핸드폰이나 PDA라도 천만개의 컴퓨팅 노드를 동시에 쓸 수 있다면 엄청난 힘을 발휘할 수 있지 않을까. 실질적인 기계의 수명이야 어차피 일년도 채 되지 못하는 세상이니 CPU의 노화로 따른 문제같은 것이야 생각할 필요가 없을 것이고...

이런 일이 가능한 작업이라면 I/O의존도가 낮은 순수한 계산이라야 한다. 곧 물리학이나 기상학의 문제와 같은 문제가 아니라면 이런 일이 가능할 문제의 도메인은 어떤 것일까. 계산 의존도가 높지 않을 통신회사에서 이런 모델을 적용할 수 있을만한 작업은 있을까? 없다면 이런 모델의 적용이 가능한 서비스프로바이더/유저의 쌍은 어떤 것이 있을 수 있을까?

- 순수한 연구단체라면 사용자의 CPU를 임대하면서 그들에게 줄 수 있는 이익이 어떤 것이 있을까? 통신회사는 통신비를 낮추어 줄 수 있지만 순수한 연구단체에서 사용자에게 매력적으로 어필할 수 있는 이득은 어떤 것이 있을까? 또는 이런 순수한 대규모의 계산작업으로 이득을 얻을 수 있는 사업은 어떤 것일까? 몇년 후의 생물학? 대규모의 시뮬레이션을 주관하는 회사?
- 모바일 디바이스의 클럭은 점점 높아지게 된다. 그리고 모바일 디바이스의 CPU 사용량은 대부분의 경우 매우 낮다.
- 모바일 디바이스의 가장 큰 문제는 아직까지 통신비용이 된다.
- 배터리는 아직도 해결이 요원한 문제 중의 하나. CPU를 임대한다는 것은 결국 전력/배터리를 임대한다는 것과 같은 의미가 된다. 이 문제는 해결될까? 전력 vs 컴퓨팅파워의 관점에서 거시적으로 사회적인 비용을 따지면 어떤 trade-off 가 있을까.
- 사회 전체의 컴퓨팅 파워가 높아진다는 것은 한편으로 저사양의 시스템들이 많아지는 것을 의미한다. 이 유휴 자원들을 이용하는 것이 낫지 않나.
- 놀고 있는 CPU의 파워도 사회적인 자산이라는 전 지구적인(?) 인식. 이 유휴자원에 대한 경제성의 자각?
- 이런 거대한 병렬처리가 가능하려면 각각의 job이 의존도가 엄청나게 낮은 것들이라야 할텐데, 이런 massively parallel 한 스케줄링이 제대로 될까? 핸드폰 한 대가 계산을 하다가 전화를 받느라 계산이 중지된 경우, 이 엄청나게 작을 job 때문에 다른 수만개의 스레드가 멎어 있어야 한다면 차라리 하지 않는 것이 낫겠지.

단순한 아이디어로는 무언가 핀트가 맞지 않는 일이 많이 생기는데도, 꽤 매력적으로 보이는 일이다. "컴퓨터를 켜고 클릭만하면 현금을 적립시켜준다"는 말이 "쓰지 않는 고물 컴퓨터를 매일 켜서 인터넷이 연결시켜두고 우리회사의 소프트웨어만 (또는 전용OS만) 설치해두시면 현금을 적립해 드려요" 로 바뀔 수도 있지 않을까?
모바일디바이스를 가지고 내 배터리와 CPU 파워를 빌려주는 대신 나는 걱정없이 무선 인터넷을 이용할 수 있다면 나름대로 큰 메리트를 지니는 것이 될 지도 모른다. 하지만 이렇게 되면 학교나 도서관같은 공공장소에서 충전하는 일이 금지되겠군.

아니면... 이런 소프트웨어를 개발/운용하고 계산이 필요한 곳에 컴퓨팅 파워를 빌려주는 식의 미들웨어 역할을 해주는 업체가 되어 컴퓨팅 파워 임대업도 가능하겠구나. CPU파워 오퍼상. 몇몇 플롭스 이상의 계산을 임대한다거나 전체 노드의 몇퍼센트를 배분한다는 식의 계약도 가능할 것이고, job 단위로의 계약도 가능하겠고... 기업과 연구소는 수퍼컴퓨터를 도입할 필요가 없어질 수도 있지. 컴퓨터는 리스해서 쓰면서 컴퓨팅파워는 리스하지 말라는 법은 없지.

자. 그렇다면 컴퓨팅 파워뿐만이 아니라, 스토리지도 이런 방식으로 임대할 수 있다는 이야기가 된다. raid 따위가 아니라, 세상 디바이스가 전부 폐기처분되기 전에는 데이터가 소실되지 않을 스토리지. 그러고보니 이미 이런 파일 분할 방식은 등장한 적이 있었는데...

사용자에게 줄 수 있는 캔디는? 명목상으로 P2P 를 내세우고 이 위에서 CPU와 스토리지를 사용한다는 것도 괜찮겠다. 모바일디바이스에서의 P2P 는 향후 몇년 안에 틀림없이 실용적인 것이 되어줄테니까. 휴대용 스토리지 서버까지 영역을 확장해 생각한다면 이것은 당연하다. 유선에서의 통신비용이 급격히 하락해 주었던 것처럼 무선에서의 통신비용도 빠르게 하락해 줄 것이다.

음... 이거 생각해보니 꽤 큰 사업이 될 수도 있는 짓이잖아.

예전에 ATI 드라이버에 비슷한 프로그램이 같이 있었던 걸로 압니다.

가물가물하지만

무슨 단백질 시뮬레이션 프로텍트 같은데, 팀 이름이 rage user team이였습니다.

국내는 아니고 외국이었고요.

오늘 집에 오면서 이 문제에 대해서 생각을 잠깐 해 봤습니다.
정말 저런 경우가 있다면, 문제가 크겠죠.

해결할 수 있는 방법...
1) 가능하다면, 제출된 결과물이 유효한지 check하는 루틴을 추가한다.
2) 똑같은 계산을 두개 이상의 다른 노드에 보내봐서, 돌아온 결과가 동일한지 확인한다. 동일하지 않다면, 직접 계산해 봐서 어느쪽이 cheating을 하는지 검토한다.

모든 계산결과에 대해서 그럴 필요는 없겠죠. 10개 중 하나 정도만 check해서, 발견된 '반칙자'을 추방시키고, 그 '반칙'을 한 node가 돌려준 계산결과들은 모두 지우는 방법이 있을 듯 합니다. computation overhead가 대략 10퍼센트정도 증가하겠지만요.

다른 방법 없나요?

수없이 많은 노드를 이용한 계산이니만큼 어느 한노드의 계산이 잘못되었음을 체크하는 루틴은 반드시 존재할것입니다. 그 과정에서 조작된 데이터도 잡아낼것 같네요. 해커도 꽤나 머리써야 될것 같습니다만.

음... 제가볼때는 일반 집에서 돌리기엔 무리라고 생각합니다.
당연히 우리나라 기준으로요.
이유는 전기세때문인데...
제가 Gentoo를 설치한다고 일주일가량 컴퓨터를 풀가동한적이 있었죠.
당월 전기세가 16만원인가가 나오더군요. 평균적으로 6만원만 나왔는데말이죠.
이유는 전기세는 누진세가 적용되어서 일정 수치이상이 넘어가면 전기세가 장난이
아니게 불어난다는 사실입니다.
누가 생각했는지 전기를 조금만 사용하도록 하기위해서 만들어진 방법같은데 조금은
억지스러운 방법이 아닌가 생각이들기도 하더군요.

어쨌든 신약개발을 위해서 내 컴퓨터 자원을 사용하는건 찬성할 수 있지만 한가지
OS에서 특별한 무언가가 설치되어야하는 까다로운 환경이라면 반대입장일 수 밖에
없겠네요.

그런데 저런 계산을 하는데 굳이 닷넷이 설치되어야하는 이유가 궁금하군요.
좋은 일을 하면서도 꼭 욕을 먹는게 우리나라 현실이 아닌가 생각되기도 하는 부분이군요.
저번 기상청일도 그렇지만 어찌 저런게 밖에 생각을 못하는지...

그나저나 오늘 Seti 결과물이 200개가 되버렸네요... :)

앞으로 냉장고나 세탁기, 셋톱박스에 내장된 CPU 파워도 빌릴 수 있지 않겠어요?

제가 생각했던 응용 중 하나는 MMRPG에서 클라이언트가 서버에서 이루어지는 계산을 대신하는 것이였습니다.

그런데 문제는...
많은 작업의 경우, CPU연산의 비용보다 네트워크 비용이 크다는 것입니다. 수많은 네트워크 상의 서버에서 바틀넥은 CPU 파워의 부족보다는 네트워크에서 발생한다고 하네요.

(일반적인 작업에서)네트워크 비용이 CPU 비용보다 비싼 이상 이런 방식의 프로젝트가 적용될 수 있는 분야는 매우 한정될 것이라고 생각됩니다. 즉, 일반적인 슈퍼컴퓨터를 대신하는 것이 될 수는 없는 것이지요.