HP 새방식 슈퍼컴 개발 화제
다음은 전자신문 10월 9일자 기사의 일부입니다. 자세한것은 관련 링크를 읽어보시기 바랍니다.
세계적 컴퓨터업체인 휴렛패커드(HP)가 ‘아이클러스터’(I-Cluster)라 불리는 슈퍼컴퓨터를 기존과 다른 새로운 방식으로 개발해 관심을 모으고 있다.
외신에 따르면 HP는 불필요한 장비를 모두 제거, 핵심기능만 갖춘 PC(ePC로 명명)와 여러개의 네트워크 스위치, 그리고 이더넷 케이블, 리눅스 소프트웨어 등으로 슈퍼컴퓨터를 개발하는 데 성공했다.
HP 프랑스 연구소와 프랑스 국립연구소 산하 INRIA가 공동으로 개발한 아이클러스터 슈퍼컴퓨터는 일반PC의 사용하지 않는 프로세서 능력을 활용해 파격적으로 낮은 가격의 슈퍼컴퓨터를 만들 수 있는 방법을 제시하고 있다. 이번에 개발된 아이클러스터는 성능도 매우 뛰어나 ‘세계 톱 500 슈퍼컴퓨터’ 중 385위에 랭크될 정도이며 프랑스 내의 슈퍼컴퓨터 중에서는 15위에 해당한다.
HP는 아이클러스터가 프랑스 리눅스업체인 맨드레이크의 제품(7.0)을 사용했으며 225개의 PC를 클러스터한 것이라며 최근 언론에 처음으로 공개했다.
아이클러스터 연구의 시작은 지난 여름으로 거슬러 올라간다. 당시 HP 프랑스연구소에 근무하고 있던 한 과학자는 INRIA에서 근무하고 있던 과학자와 한 기술 콘퍼런스에서 만나 전통적인 방법과 다른 방식으로 슈퍼컴퓨터를 개발하는 것을 이야기하다 의기투합, 아이클러스터를 완성하게 됐다.
이들은 아이클러스터를 개발하기 위해 기능을 최대한 줄인 단순 형태의 PC ‘ePC’ 100대를 가지고 연구를 시작해 마침내 225노드의 슈퍼컴퓨터를 완성하는 개가를 올렸다. 네트워크상에서 연결점을 뜻하는 노드는 네트워크 망에 연결돼 있는 컴퓨터 한대를....
----
제 생각에는 슈퍼컴퓨터 제조 기술을 가지고 있다는것 자체가 기업의 입장에서나 국가의 입장에서나 엄청난 기술력을 가지고 있다는 것을 의미하며 또한 대내외적으로도 엄청난 경제적 이득을 창출할 수 있는 사업 아이템이라고 생각합니다. 우리나라는 언제쯤 이런 기술을 가질 수 있을지 궁금하네여...
누마도 좋지만 제가 한 이야기는 코어는 대부분 라이브러리로나와있다는
누마도 좋지만 제가 한 이야기는 코어는 대부분 라이브러리로
나와있다는 의미였는데요. 그게 아니더라도 구현하는건 별로
어려운 일이 아니고...
저는 경제적인 의미로 크레이같은걸 사는 돈이 비해 그런거
개발하거나 라이브러리를 사는 비용이 훨씬 싸다는 뜻으로
그렇게 썼습니다.
그나저나 제 전공이 그건데요.... 냠....
한참 아래글 답장을 잘못해서 여기다 달았네요 죄송요^^;
한참 아래글 답장을 잘못해서 여기다 달았네요 죄송요^^;
냠냠 역시 인간의 잔머리(잔머리 치곤 좀 마니 큰..-_-)가 중요하긴
냠냠 역시 인간의 잔머리(잔머리 치곤 좀 마니 큰..-_-)가 중요하긴 중요한가봐요..-_-~
http://www.top500.org/list/2001/06/htt
http://www.top500.org/list/2001/06/
http://www-id.imag.fr/Grappes/
http://news.cnet.com/news/0-1003-200-7409795.html?tag=mn_hd
개인적으로 찾아본 링크입니다..
과연 베어울프아키텍쳐와 다른 점이란?
계산이외의 활용? 최적화된 하드웨어?
무척 궁금했습니다..(불어하실줄 아시는분?)
그럼~
http://redage.net
그냥 생각하던 건데요...게임 같은 것을 무료로 제공하고...그
그냥 생각하던 건데요...
게임 같은 것을 무료로 제공하고...
그 게임이 돌아가는 동안 남는 process로 슈퍼컴퓨팅을 할 수 있도록 하는 것은 어떨까요...
seti@home은 단순 스크린세이버지만...
그런 형태로 게임을....
한술 더 떠서...
MMORPG 게임을 하기 위해서 process를 누적시켜야 한다...
즉 많이 처리를 해 줘 놨었으면 그만큼 게임을 많이할 수 있다...
컴 24시간 켜 놓고 처리를 해 주고...
한 여덟시간 정도 게임 할 수 있게 해주고...
괜찮지 않을까요.... ㅡ.ㅡ
게다가 서버측에서도 남는 프로세스로 열씨미 연산을 하고... ㅡ.ㅡ
혹시 이걸로 장사 해보실 분?
Consider the ravens: for they neither sow nor reap; which neither have storehouse nor barn; and God feedeth them: how much more are ye better than the fowls?
Luke 12:24
AOL이 비슷한 방법을 연구중이라고 합니다.AOL에서 자기 통신망
AOL이 비슷한 방법을 연구중이라고 합니다.
AOL에서 자기 통신망에 접속한 사람들의 CPU중 남는 자원을 이용하여..
동시에 연산을 수행하는 방법을 연구중이라고 하는데요..
어느정도는 완성단계에 이르렀다고 하네요.. (정확한지는 좀더 살펴보구...)
이방식이 연구단계에서 그렇게 많은 Node도 없는 상태였지만..
굉장한 연산속도를 보였다고 하네요.
아직까지 문제점은 보안쪽과 연산도중 Node가 사라질경우(회선이 짤릴경우. -0-';')
쪽이 문제라고 하는데.. 흠... 이것도 괜찮은 방법인듯..
접속자들의 남는자원을 이용하여.. ''
만일 진짜 수십만대가 연결되면... 제1 수퍼컴퓨터가 되지 않을까 하네요..... 후훗..
요즘 게임들은 시스템 프로세스 못잡아먹어서 난리인데 그런 게임으로 시장성
요즘 게임들은 시스템 프로세스 못잡아먹어서 난리인데 그런 게임으로 시장성이 있을려나 모르겠군요.
그리고 세티는 본래의 목적이 외계탐사용 클러스터노드 제공이 아니라 미국이주도하는 전세계 통신감청시스템(애셜런 이라고 하죠)용 노드였다는 의심을 받고 있습니다.(거의 사실이라고 믿는 분위기라 유럽에서는 세티 가입자 줄어들었다고 하더군요.)
대충 느낌이 임베디드수준의 클러스터 노드를 개발 했다는 얘기인거 같습니다. 뭐, 있는 녀석들 모아서 쓰는거나 새로 만들어서 쓰는거나 결과는 머리 쓰는 놈이 잘나야 좋은 결과가 나오겠지요.
얼마전에 서울대에서 만든게... 이런거 아닌지?관련기사 링크입니다
얼마전에 서울대에서 만든게... 이런거 아닌지?
관련기사 링크입니다...
http://news.naver.com/read?command=read&id=2000050100000275041
수퍼컴과는 전혀 상관없는 무늬만 Embedded Linux 개발자... ^^
기술이 쉽다 어렵다의 평가가 제글의 중심은 아니였는데..아래분
기술이 쉽다 어렵다의 평가가 제글의 중심은
아니였는데..
아래분이 오해를 한듯...
물론 랙이 없는 하드웨어연결도 어렵기는 합니다..
(한국에서도 몇 시도가 있었던 걸로 압니다..)
하지만 이런 시도는 이미 많이 행해졌고
hp가 개발한 하드웨어가 어떤 특별한 진보인지는
잘 모르겠네요...
이미 있는 연결이론을 하드웨어에 최적화시켰다는 의미
정도?..
이젠 어플개발 소프트웨어의 개선이
중심이 되어야 한다는 겁니다..
수퍼컴용 소프트개발 알고리즘이 있기는 합니다만
크레이스타일 수퍼컴용 알고리즘인 경우가 많습니다..
리눅스 클러스터링 수퍼컴은 크레이스타일 하고는
다르죠...
흐...슈퍼컴터가...하드웨어기술이 별로 특별나지 않다...--;
흐...슈퍼컴터가...하드웨어기술이 별로 특별나지 않다...--;
우리나라는 그런 특별나지 않은 기술들도 어렵다는 말이 되겠군요...
하드웨어와 소프트웨어가 별개라는 생각이 지배적인듯...
슈퍼컴의 클러스터링 노드들은 각 노드만이 쉬울뿐...노드들을 묶을 경우 꽤 어려운 기술로 알고있습니다.
대충 연결하면 소프트웨어깔아서 돌아가는 것은 개인 컴퓨터에서나 가능합니다.
슈퍼컴의 클러스터링 노드들은 각 노드만이 쉬울뿐...--각 노드만
슈퍼컴의 클러스터링 노드들은 각 노드만이 쉬울뿐...
--각 노드만 쉅다? 무슨말씀인지.
노드들을 묶을 경우 꽤 어려운 기술로 알고있습니다.
--노드들 연결하는거 쉅습니다. 리눅스 설치하고 해당
클러스터링 어플설치 하고 네트웍에서 데몬띄우면 됩니다.
어려운게 아니라 하드웨어에 탈없은 뒷받침이 있어야한다는
말씀이겠죠? 하드웨어가 반항하면 신선이라도
방법없겠죠..
제성능을 내기위한 밸런싱은 단순한 소프트웨어 지식으로는 불가능합니다.
제성능을 내기위한 밸런싱은 단순한 소프트웨어 지식으로는 불가능합니다.
라우터를 소프트웨어로 쓰지 않고 특화된 하드웨어를 쓰는 이유랑 비슷할 지도...
속도가 생명이라...--;
뭐 네트웍에 데몬 띄우는 것은 맞는 말이지만, 그냥 턱 띄운다고 되는 것은 아닙니다.
그렇게 쉽게 된다면 단지 돈 놀이만 하면 우리나라도 슈퍼컴...얼마든지 만듭니다.
일정 노드 이상이 올라가면 밸런싱에 문제가 생겨서 소규모 다중노드 들 처럼 성능향상이 되지 않습니다.
그 걸 커버하고 제 속도를 내게 해주는 것이 프로그래밍과 하드웨어에 대한 최적화입니다.
뭐...이런 멀티노드를 이용한 슈퍼컴이 새로운 것은 아니지만, 의의가 없다고 하기엔 좀 그렇군요.
슈퍼컴은 가격만 싸져도 엄청난 발전이니까...
피시여러대를 연결해서 수퍼컴처럼 돌아가게 하는것자체는 이제 별로 대단
피시여러대를 연결해서 수퍼컴처럼 돌아가게 하는것
자체는 이제 별로 대단한게 아닙니다..
어느분도 썼지만 그런 피시연결 수퍼컴의
성능을 최대한 활용하는 어플을 프로그래밍하기가
어렵습니다..
컴파일러나 실행 바이너리파일의 구조변경,
적절한 언어와 알고리즘 선택,
소스코드 최적화등이 어렵지요...
hp에선 나름대로 메인보드를 변경하는등의
노력을 하기는 한모양입니다만..
기존보드보다 어떤 특별한 장점이
있는지는 잘 모르겠네요...
...
흠..
이제 이런식의 뉴스는 특별한
가치는 없다고 봅니다...
225노드 이상을 연결할 수 없는 이유가 궁금하군요.초기 설계부터 그
225노드 이상을 연결할 수 없는 이유가 궁금하군요.
초기 설계부터 그렇게 한계를 주어지지는 않았을 것 같은데...
시스템 기본 연결에 필요한 30개는 그렇다 치더라도 요즘처럼
금방 기술이 발전하는 세상에서 256을 유지하는 이유가 도대체
무얼까요?
혹시 그 병렬처리하는 소스가 60~70년대에 나온걸 그냥 쓴걸까요?
흐흐~ 그러다면 별로 중요한 뉴스도 아닌것 같은데... ^^;
기사에 보면 [스위치능력]의 한계 때문이라고 나와있는데요? ^^;
기사에 보면 [스위치능력]의 한계 때문이라고 나와있는데요? ^^;
노드를 하나 더 붙여서 얻는 이득보다 커뮤니케이션 오버헤드에
의한 손실이 더 크다면 더 붙여봤자 투자비용만큼의 퍼포먼스를
추가로 얻을 수 없고 그래서 그 이상 안붙이는거겠죠.
사실 여러노드를 붙이다 보면 컴퓨터사이 혹은 보드사이의
[거리]에 비례하는 커뮤니케이션 오버헤드가 걸리기때문에
beowulf 와 같은 방식보다는 mpp 가 당연히 훨씬 많은 프로세스들을
같은 공간에 붙이는것이 가능해지죠. (그래서 mpp 는 대개
삼차원 그물망 구조를 가지게 되곤 하죠)
SMP/MPP와 경우는 틀리지만 Clustering도 암달의 법칙의 영향
SMP/MPP와 경우는 틀리지만 Clustering도 암달의 법칙의 영향을 받겠죠?
http://home.wlu.edu/~whaleyt/classes/parallel/topics/amdahl.html
225노드이상 연결이 뭐가 문제인지는 저도 잘은 모르겠지만 리눅스의 nf
225노드이상 연결이 뭐가 문제인지는 저도 잘은 모르겠지만 리눅스의 nfs는 지금
128노드이상 연결이 어렵다고 하더군요. 퍼포먼스도 SUN에 비해 약간 떨어지구요..
클러스터 전용 보드를 새로 만들었다면(ePC)클러스터 노드당
클러스터 전용 보드를 새로 만들었다면
(ePC)
클러스터 노드당 단가가 지금보다 훨 싸지지 않을까요?
새로운 클러스터링 기술에 초점을 맞춘 글이라기 보다도 새로운 클러스터링 전용 노드 개발에 의한 가격절약이 더 큰 것 같습니다.
음... 별로 꼭 그럴것 같지는 않은데요. 만약 이번에 새로나온것
음... 별로 꼭 그럴것 같지는 않은데요.
만약 이번에 새로나온것이 클러스터전용 보드라면 더더군다나 값이 싸지기에
어려운점들이 몇가지 있습니다.
1. 일단 만드는데 별로 돈이 안든다고해서 싸게 팔리지는 않습니다.
수요도 그렇거니와 실제로 "팔기"위해서는 만드는것 외에 검증단계에서
꽤나 많은 돈이 들어가게 되는데 수요가 확실치않는한 이런 단계를
거쳐서 실제로 파는 단계까지 이르기는 쉽지 않습니다.
2. 역설적으로 베어울프같은 시스템이 인기를 끄는 이유는 사용되는
노드들이 클러스터전용이 아니기 때문이죠. 그렇기 때문에 굳이
클러스터로 사용하지 않더라도 일반 피씨로 사용할수 있기때문에
특별한 위험부담(?)이 없다고 할까요?
이 시스템이 beowolf등하고 다른 점이 뭔지 궁금하네요.단지 hp
이 시스템이 beowolf등하고 다른 점이 뭔지 궁금하네요.
단지 hp가 해서 언론에 알린거만 다른건지 아니면
뭔가 시스템상에 보다 나은점이 있는건지...
음 저도 몇일전에 이 기사를 봤었습니다만.. 그때 똑 같은 생각이 들더군
음 저도 몇일전에 이 기사를 봤었습니다만.. 그때 똑 같은 생각이 들더군요..
성능이라던지 , 적어놓은 하드웨어 라든지 대체 무엇이 기존과 다른 방법이냐..
가 궁금하더군요...
근데 출처가 전자신문이다보니.. 음.. 그냥 단순 클러스터링을 HP프랑스에서 발표한걸
대충 기사 쓰다보니 생긴 문제인거 같기도 하고요..
아니면 프랑스에선 신기술일지도 모르고요.. 흠..
뭐.. 잘 모르겠네요.. 다른 신문이라면 오오 대단한걸.. 해도 하필 전자신문이라. 쩝.
인간의 한계는 어디 까지인지 정말 궁금하네요~:)(이상 잡설!)
인간의 한계는 어디 까지인지 정말 궁금하네요~:)
(이상 잡설!)
근데여... 그 '파격적으로 낮은 가격'이라는 게 얼마일까요...애슬
근데여... 그 '파격적으로 낮은 가격'이라는 게 얼마일까요...
애슬론 1.4기가 이용하면 CPU당 30~40만원 정도가 되어야 하는 것인가요... ㅡ.ㅡ
그러면 200 CPU가 8천만원 이내에...
거기에 디스크 등의 IO 장비 장착해도 1억 내외 정도 될까요..?? ^^
물론 밑에 써놓으신 분께서 말씀하신 것처럼...
여기에 돌릴 OS 짜려면...
더군다나 하나의 시스템처럼 보이도록 짜려면...
흐미... ㅡ.ㅡ
공부 많이 해야겠군요....^^
Consider the ravens: for they neither sow nor reap; which neither have storehouse nor barn; and God feedeth them: how much more are ye better than the fowls?
Luke 12:24
딴지라고 생각하시지 말기요!슈퍼컴 만드는데 기술력안들어가요!
딴지라고 생각하시지 말기요!
슈퍼컴 만드는데 기술력안들어가요!
병렬클러스터링 오픈소스도 무지많구요.
슈퍼컴은 기술력보단 하드웨어 싸움입니다.
하지만 기술력이라고 하는건
이런 병렬된 컴을 이용할수있게
프로그래밍하는게 수천배 어렵습니다.
하다못해 SMP지원하는것도 어려운데요~~~
병렬은 더 미치죠....
대충 필요한 알고리즘들은 다 나와있는데요... 그리 어려울건 없는데요..
대충 필요한 알고리즘들은 다 나와있는데요... 그리 어려울건 없는데요..
SMP야 Thread 프로그램하면되고(물론 알고리즘은 생각해봐야겠지만요...)
슈퍼컴이야 MPI프로그램하면 되는듯 한데요.
후후훗~마치 그러한 알고리즘들을 다 아시는 것처럼 말씀하시네요.s
후후훗~
마치 그러한 알고리즘들을 다 아시는 것처럼 말씀하시네요.
smp야 쓰레드 프로그램 하면 된다구요?
후훗~
그것만 하더라도 생각할게 얼마나 많은데요...
프로세서마다 달려있는 캐쉬,
그리고, 메모리 구성에 따른 consistency 문제,
cpu연결 구조 등등등....
제가 대충 아는 한도에서만 생각해도 난제가 너무나 많은걸요....
mpi라면 또 모르겠지만..
단순한 parallel 이나 concurrent 프로그래밍과는
차원이 다른 문제라고 생각합니다만...
consistency를 해결하기 위한 방법으로 나온 시스템이NUMA입
consistency를 해결하기 위한 방법으로 나온 시스템이
NUMA입니다.