현재 위치

홈 ›› Forums ›› 재미 ›› 자유 게시판

옵테론 클러스터가 드디어 왔습니다 :)

wkpark의 이미지
글쓴이: wkpark / 작성시간: 수, 2004/06/30 - 7:03오후

오늘 드디어 옵테론 클러스터가 연구실에 들어왔습니다 :)

* 옵테론 듀얼 246 (2GHz)
* 타이안 S2882G3NR 보드
* 4GB PC3200 ECC/REG 램 (1GB 네개)
* 기가비트 온보드 듀얼랜
* 노텔 baystack 5510-24T (stackable 스위치)
마스터서버 1대 노드 7대,

전원공사를 못하였기 때문에 임시로 몇대 연결해서 세팅에 들어가야 합니다.

일단은 fedora core2와 suse9.1을 깔아볼 생각입니다.

여러 테스트를 해야겠지만 얼마나 빠를지 기대되네요~ ^^

File attachments: 
첨부파일 크기
Image icon gplot.png17.32 KB
Forums: 
자유 게시판
codebank의 이미지

글쓴이: codebank / 작성시간: 수, 2004/06/30 - 7:08오후

박원규 wrote:
* 4GB PC3200 ECC/REG 램 (1GB 네개)
* 기가비트 온보드 듀얼랜
...

헉...
다른 사양은 잘 모르겠지만 저건 진짜로 부럽군요. :shock:

그나저나 Debian이나 Gentoo나 BSD쪽이 최적화 시키는데 좋지 않나요?
그냥 부러움에 딴지 걸어봤습니다. :)

------------------------------
좋은 하루 되세요.

권순선의 이미지

글쓴이: 권순선 / 작성시간: 수, 2004/06/30 - 7:12오후

데비안은 어떨지 궁금하네요. lwn.net 기사내용 일부입니다. 바이너리 호환성을 위해 32비트용 라이브러리와 혼재되어 있는 다른 64비트용 배포판들(Fedora나 Suse도 해당하겠죠)과는 달리 64비트용 데비안은 모든 구성요소들이 64비트인 "pure" 64비트 배포판이라는데....

Quote:
It was probably too much to hope that all Linux vendors would take the same approach to their distributions for AMD's 64-bit x86 chips and Intel's forthcoming 64-bit x86 chips, or x86_64. While the major commercial vendors (SUSE, Red Hat and Mandrake, to name a few) are shipping mixed distributions for x86_64, the recently-announced Debian x86_64 port is a pure 64-bit distribution without 32-bit libraries....

자세한 내용은 http://lwn.net/Articles/88999/ 를.... ==3=3

jachin의 이미지

글쓴이: jachin / 작성시간: 수, 2004/06/30 - 7:16오후

우와아아아아아 +ㅂ+ 정말 좋으시겠어요...

그 중에 한대만... 쿨럭... >o< =3

wkpark의 이미지

글쓴이: wkpark / 작성시간: 수, 2004/06/30 - 7:37오후

codebank wrote:
박원규 wrote:
* 4GB PC3200 ECC/REG 램 (1GB 네개)
* 기가비트 온보드 듀얼랜
...

헉...
다른 사양은 잘 모르겠지만 저건 진짜로 부럽군요. :shock:

그나저나 Debian이나 Gentoo나 BSD쪽이 최적화 시키는데 좋지 않나요?
그냥 부러움에 딴지 걸어봤습니다. :)

ㅎㅎ 일단은, 저희가 구입하는 고가의 소프트웨어가 (가우시안03 병렬 버전)
suse 9.0에서 지원된다고 나와있어서, 9.0을 직접 설치하던지 LD_PRELOAD
방식을 쓰던지 해야하겠고요, suse 패키지를 보면 OpenPBS등도 rpm으로
들어있어서 클러스터를 설정하기 쉬울지도 모르겠습니다.

64비트와 32비트를 모두 지원해야 하기 때문에 fedora, suse 등이 선택
되었고요, (레드헷 서버 버전도 지원한다고..)

각각의 노드에 테스트용으로 모든 배포판을 깔아보는 것도
좋겠지만, (각 노드에 120GB EIDE가 붙어있습니다) 일단 시간을 끌수
없기 때문에 ^^;; 시간이 된다면 젠투로도 함 해볼 생각입니다.

jachin wrote:

우와아아아아아 +ㅂ+ 정말 좋으시겠어요...

그 중에 한대만... 쿨럭... >o< =3


KIAS에는 200여대 이상의 옵테론 클러스터가 있다고 들었는데요 ㅎㅎ

저희가 구입한 8대는 껌이죠 ^^;;; 8대를 다 합해서 4~5천정도(UPS도 구입하게 되면 ..)였는데 200여대라니..

저희가 구입한 곳이 아이키스텍이라는 곳인데 KIAS에도 납품한 곳이더군요.

온갖 참된 삶은 만남이다 --Martin Buber

mycluster의 이미지

글쓴이: mycluster / 작성시간: 목, 2004/07/01 - 8:16오전

일단 현재 제가 일하는 곳에 옵테론 16노드 클러스터가 있읍니다. OS는 ROCKS를 사용해서 설치했고(ROCKS테스트를 해야할 일도 있고 해서...) ROCKS는 설치시에 Redhat기반의 RPM을 설치합니다. 그리고, OpenPBS는 i386 RPM밖에 없어서 소스설치를 하니 마니 하고 있읍니다.
물론 이장비는 Xeon클러스터를 구매하면서 함께 딸려온 테스트 장비라서 메모리도 작고, 기가비트만 쓰고 있어서 성능이 생각보다 별로 였읍니다. 특히, Tyan보드는 어떤 기가비트칩셋을 장착하고 있는지 모르겠지만, 저희가 테스트한 장비에 포함된 broadcom 칩셋은 Maximum bandwidth가 400Mbps를 넘지 못했고(물론 드라이버 튜닝을 하면 어떨지는 모르겠지만...) latency도 상당히 크다는 것이 문제였읍니다. 이런저런 이유로, 대충 한두번 돌려보고 느낀 결론은 그다지 별로 빠르다는 느낌은 없었다... 였읍니다.

먼저 netpipe의 NPtcp를 통한 노드간의 maximum bandwidth와 latency가 얼마인지 알려주시면 감사하겠군요. Intel 기가비트 칩셋이 내장된 Xeon Cluster에 5510-24T를 장착해서 재보면 약 900Mbps에 0.000025 sec 정도의 bandwidth와 latency를 보이더군요. 옵테론에서 Asante 기가비트네트웍 스위치를 장착하고 재어보니 400Mbps에 0.00050 sec 정도로 나왔는데, 얼마나 나오는지 좀 알려주시면 성능 개선에 도움이 되지 않을까 싶군요.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

wkpark의 이미지

글쓴이: wkpark / 작성시간: 목, 2004/07/01 - 10:05오전

MyCluster wrote:

...
특히, Tyan보드는 어떤 기가비트칩셋을 장착하고 있는지 모르겠지만, 저희가 테스트한 장비에 포함된 broadcom 칩셋은 Maximum bandwidth가 400Mbps를 넘지 못했고(물론 드라이버 튜닝을 하면 어떨지는 모르겠지만...) latency도 상당히 크다는 것이 문제였읍니다. 이런저런 이유로, 대충 한두번 돌려보고 느낀 결론은 그다지 별로 빠르다는 느낌은 없었다... 였읍니다.

...


TYAN S2882G3NR 보드인데, 브로드컴 칩셋 맞습입니다.
전에 MyCluster님께서 broadcom칩셋이 성능이 좋지 않다고 하셔서 망설였는데,
다음 링크를 보고 괜찮을 것 같아서 구입했습니다.

http://www.linuxhardware.org/article.pl?sid=04/03/24/1933214&mode=thread

여기에 보면 netperf로 성능이 900Mbps가 나오는데, 젠투 64bit을 깔았네요.

(다시 보니 여기서는 젠투로 테스트 했네요 @.@)

저도 설치해서 netpipe 실행해보고 결과를 다시 말씀드리겠습니다.

온갖 참된 삶은 만남이다 --Martin Buber

Lillin의 이미지

글쓴이: Lillin / 작성시간: 목, 2004/07/01 - 12:46오후

회사 DB서버를 얼마전 제온에서 옵테론으로 교체했는데
가격대 성능비로 제온과는 비교가 안되는군요.

젠투 amd 64와 gcc 3.4로 stage1부터 설치했습니다.
주용도는 MySQL 슬레이브입니다.

사양은
옵테론 244 듀얼
램 4기가

커널 2.6.6
gcc 3.4
glibc-2.3.4

체감속도는 최소 2배 이상입니다.-_-;
죽입니다.-_-;(농담아님)
깔때 고생했지만 ㅎㅎ 지금은 상당히 만족하네요.

mycluster의 이미지

글쓴이: mycluster / 작성시간: 목, 2004/07/01 - 1:12오후

옵테론 장비에 대한 테스트를 진행해야하는데... 귀찮아 죽을 지경입니다만...

일단, 사용자들의 전반적인 평을 보면 Xeon에 비해서는 상당히 좋은 성능을 보인다는 것을 알 수 있읍니다. 옵테론이 64비트 시피유임에도 불구하고, 타겟마케팅포인트는 IA64가 아니라 Xeon으로 설정한 것도 AMD의 전략이 비교적 맞았다고 생각이 드는군요.

N모소프트의 리XX2라는 게임이 돌아가는 서버가 옵테론(유X와X드사)라고 하는데, 여기서 제온대신에 옵테론을 채택한 이유는 윈도우때문이라고 하더군요. Xeon보다는 성능이 잘나오고, 32비트로 돌리는데 문제가 없는 장비는 옵테론이라서 옵테론으로 사용한다고 하더군요.
그리고, 바로 윗분 말씀대로, 전반적인 gcc성능 및 DB성능도 Xeon에 비해서는 상당히 좋다고 합니다.

하지만, 제가 관심있는 것은 numerical computing 쪽의 문제인데, 이것은 CPU성능 및 메모리 대역폭, 그리고 컴파일러까지 고려해서 테스트를 해야하는 문제가 있읍니다. 앞에서 언급한대로 대충 테스트를 한 바로는 그다지 빠르게 느껴지지 않았던 이유가, Xeon에서는 Intel compiler의 SSE2를 사용해서 컴파일을 하지만 옵테론에서는 그냥 디폴트로 깔린 g77을 사용했었지요. 통상 Xeon에서는 Intel Compiler가 gnu에 비해서 numerical 컴퓨팅에서는 약 30% 정도의 속도차가 났으므로, 이 문제로 인한 두 장비의 성능차도 비교를 해볼 생각입니다.

그리고, Xeon의 치명적인 단점인 SMP성능의 거지같음으로 인하여 Dual CPU를 사용하면서 두 프로세서간에 MPI같은 통신이 발생할경우 엄청난 속도저하가 발생하고 있는데, 옵테론에서는 이러한 메모리 bottleneck은 없다고 알려져 있기도 합니다.

어쨌던, 가능하면 BMT 결과를 여러사람이 공유하는 것도 많은 도움이 될 것이라고 보이는군요.

P.S. N모소프트에서는 유모 사의 장비가 좀 언스테이블해서 다음번에는 I사의 옵테론을 살까 어쩌고 하더군요... 그런데, I사의 옵테론의 두껑을 여는순간, e모사의 옵테론과 100% 동일하다는 것을 알았읍니다. 둘다 OEM(ODM?)으로 공급받는 회사가 같더군요.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

wkpark의 이미지

글쓴이: wkpark / 작성시간: 월, 2008/03/17 - 11:56오후

MyCluster wrote:
특히, Tyan보드는 어떤 기가비트칩셋을 장착하고 있는지 모르겠지만, 저희가 테스트한 장비에 포함된 broadcom 칩셋은 Maximum bandwidth가 400Mbps를 넘지 못했고(물론 드라이버 튜닝을 하면 어떨지는 모르겠지만...) latency도 상당히 크다는 것이 문제였읍니다. 이런저런 이유로, 대충 한두번 돌려보고 느낀 결론은 그다지 별로 빠르다는 느낌은 없었다... 였읍니다.

NPtcp결과,
최대 897Mbps latency 30 micro sec

netpipe 참고 사이트에 보면 latency가 ~25 micro sec이라는데
TYAN S2882의 brodcom칩셋은 latency가 30 micro sec입니다.

brodcom에서 bcm5700 드라이버를 받아서 설치해 봤는데 오히려
느려지는군요.

MyCluster wrote:

먼저 netpipe의 NPtcp를 통한 노드간의 maximum bandwidth와 latency가 얼마인지 알려주시면 감사하겠군요. Intel 기가비트 칩셋이 내장된 Xeon Cluster에 5510-24T를 장착해서 재보면 약 900Mbps에 0.000025 sec 정도의 bandwidth와 latency를 보이더군요. 옵테론에서 Asante 기가비트네트웍 스위치를 장착하고 재어보니 400Mbps에 0.00050 sec 정도로 나왔는데, 얼마나 나오는지 좀 알려주시면 성능 개선에 도움이 되지 않을까 싶군요.

참고 사이트
* http://www.scl.ameslab.gov/netpipe/
* http://www.cita.utoronto.ca/~cloken/BIGMAC/bigmac-1.html

댓글 첨부 파일: 
첨부파일 크기
Image icon gplot1.png20.54 KB

온갖 참된 삶은 만남이다 --Martin Buber

mycluster의 이미지

글쓴이: mycluster / 작성시간: 목, 2004/07/01 - 9:00오후

Quote:
NPtcp결과,
최대 897Mbps latency 0.07133sec

427.8Mbps에서는 0.0001095sec이 나왔습니다.

참고 사이트에 보면 latency가 ~25 micro sec이라는데
TYAN S2882의 brodcom칩셋은 최소 latency가 30 micro sec입니다.

잘 나오는거 같은데요... 30정도 나오고 맥시멈이 저정도면... 음 그러면 저희가 갖고 있는 장비를 튠업을 좀 해야할 듯 하군요.
설치한 오에스와 네트웍드라이버의 버전을 좀 자세히 알려주시면 감사하겠읍니다.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

wkpark의 이미지

글쓴이: wkpark / 작성시간: 목, 2004/07/01 - 9:12오후

MyCluster wrote:
Quote:
NPtcp결과,
최대 897Mbps latency 0.07133sec

427.8Mbps에서는 0.0001095sec이 나왔습니다.

참고 사이트에 보면 latency가 ~25 micro sec이라는데
TYAN S2882의 brodcom칩셋은 최소 latency가 30 micro sec입니다.

잘 나오는거 같은데요... 30정도 나오고 맥시멈이 저정도면... 음 그러면 저희가 갖고 있는 장비를 튠업을 좀 해야할 듯 하군요.
설치한 오에스와 네트웍드라이버의 버전을 좀 자세히 알려주시면 감사하겠읍니다.

아.. latency는 최소값을 말하는 것 같아서 글을 수정했는데 답변을 다셨네요:)

페도라 core 2이고요, 커널에 내장되어있는 tg3.c 드라이버 그대로 썼습니다.
패치가 된건지 아닌건지는 확인해봐야 하겠고, tg3.c를 보니,

#define DRV_MODULE_NAME         "tg3"
#define PFX DRV_MODULE_NAME     ": "
#define DRV_MODULE_VERSION      "3.3"
#define DRV_MODULE_RELDATE      "April 27, 2004"

(비교했던 bcm5700 드라이버는 7.1.22)

커널 버전은 2.6.5-1.358smp라고 나오니 2.6.5와 FC2의 srpm을 참조하시면 될 듯합니다.

커널 2.6.7의 tg3는 버전 3.6이고, 많은 개선이 이루어진 듯 하네요.
(제가 쓰고 있는 타이안 보드의 랜은 bcm5704c 듀얼인데, bcm5700드라이버는 듀얼을 지원하는 것 같기도 하고, 채널본딩도 테스트 해봐야 겠습니다.
bcm5700드라이버는 여러 옵션을 설정할 수가 있는데.. 설정을 바꾸면 더
빨라질라나...)

잘 나오는 것 같다고 하시니 한숨 놓이네요 ;)

온갖 참된 삶은 만남이다 --Martin Buber

mycluster의 이미지

글쓴이: mycluster / 작성시간: 목, 2004/07/01 - 9:18오후

Quote:
잘 나오는 것 같다고 하시니 한숨 놓이네요

아시는 내용일지 모르지만 혹시 다른 분들에게 도움이 될지도 몰라서 말씀드리는 것이지만, 병렬프로그램(gaussian이 좀 엽기스럽습니다만...)의 성능에 크게 영향을 미치는 네트웍 퍼포먼스를 살펴볼때는 NetPerf보다는 제 생각에는 netpipe가 더 좋다고 보입니다.

netpipe를 돌려서 확인하는 것이 최소 latency가 작을 수록 좋은 것은 아시다시피 병렬프로세스간에 통신의 횟수가 빈번해질수록 latency가 overhead로 작용하기 때문에 작으면 작을수록 좋은 것이고...
bandwidth의 경우 통상 maximum bandwidth가 좋은 것이 당연하다고 보이지만 실제로 병렬프로그램에서는 그 병렬프로그램이 주고 받는 메시지사이즈에서 bandwidth와 소요시간을 살펴보는 것도 필요합니다.
예를 들면, 어떤 병렬프로그램이 주로 1Mbyte의 데이타를 주고 받는다면 netpipe 그래프에서 1Mbyte 사이즈에 해당되는 bandwidth와 latency가 좋게 나타나는 것이 좋은 네트웍장비가 되겠지요...

어떤 그래프는 max는 좋은데, 적당한 사이즈에서 그래프가 훨씬 아래에 나타나기도 하는데 이건 그 프로그램에는 별로 않좋은 것이라고 보입니다.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

박영선의 이미지

글쓴이: 박영선 / 작성시간: 목, 2004/07/01 - 11:28오후

이건 조금 다른얘기인데요...

이번에 사무실에 싸구려 기가스위치랑 싸구려 기가랜카드를 샀는데 속도가 제대로 안나오더라는겁니다.

오비스링크에 2만원짜리 기가랜카드가있길래 그걸로 연결했는데 속도가 200메가밖에 안나오더군요.

계속 오비스링크쪽에 전화해서 갈구고있는데 새로운 드라이버가 나오기전까지는 기대할것이 없겠더군요.

다들 OS가 윈도XP인지라...

프비도 하나있는데 프비용 드라이버라고 제공하는걸 썼는데 모듈도 안올라가고, 커널에 집어넣어도 컴파일이 안되고...

고쳐달라고 메일보내도 딴소리만하고...

20만원짜리 8포트기가스위치 두개 = 40만원

8+8=16 에서 업링크 두포트빼면 14포트, 40만원/14포트 = 28,600원

2만원짜리 랜카드 + 스위치포트당단가 28,600 = 48,600 이네요.

패스트이더넷에서는 랜카드 3,000원 + 스위치포트당단가 5,000원 = 8,000원...

계산해보면 패스트이더넷보다 대략 3.6배 정도 돈이 더 드니까 속도도 패스트이더넷의 속도(약 80메가)의 3.6배(약290메가)는 나와야 안억울할텐데 억울한 속도가 나옵니다.

^^;;

wkpark의 이미지

글쓴이: wkpark / 작성시간: 토, 2004/07/03 - 3:11오후

박영선 wrote:
이건 조금 다른얘기인데요...

이번에 사무실에 싸구려 기가스위치랑 싸구려 기가랜카드를 샀는데 속도가 제대로 안나오더라는겁니다.

오비스링크에 2만원짜리 기가랜카드가있길래 그걸로 연결했는데 속도가 200메가밖에 안나오더군요.


2만원짜리 기기비트 랜카드라면 당연히 32bit용이겠고 32비트 기가비트 랜일경우 400Mbps~500Mbsp면 잘 나온다고 볼 수 있나봅니다.

http://www.digit-life.com/articles2/gig-eth-64bit/gig-eth-64bit-apr2004-p1-2.html

위의 링크를 보면 32bit 랜카드의 어떤 것은 netpipe 최대 성능이 150Mbps도
안나오네요.

온갖 참된 삶은 만남이다 --Martin Buber

wkpark의 이미지

글쓴이: wkpark / 작성시간: 토, 2004/07/03 - 3:19오후

MyCluster wrote:
Quote:
잘 나오는 것 같다고 하시니 한숨 놓이네요

아시는 내용일지 모르지만 혹시 다른 분들에게 도움이 될지도 몰라서 말씀드리는 것이지만, 병렬프로그램(gaussian이 좀 엽기스럽습니다만...)의 성능에 크게 영향을 미치는 네트웍 퍼포먼스를 살펴볼때는 NetPerf보다는 제 생각에는 netpipe가 더 좋다고 보입니다.

....

예를 들면, 어떤 병렬프로그램이 주로 1Mbyte의 데이타를 주고 받는다면 netpipe 그래프에서 1Mbyte 사이즈에 해당되는 bandwidth와 latency가 좋게 나타나는 것이 좋은 네트웍장비가 되겠지요...

어떤 그래프는 max는 좋은데, 적당한 사이즈에서 그래프가 훨씬 아래에 나타나기도 하는데 이건 그 프로그램에는 별로 않좋은 것이라고 보입니다.


예 말씀하신대로 어떤 병렬프로그램을 쓰느냐에 따라 다르겠지요.

bandwidth가 나쁘지 않게 나왔다는 것은 커널 자체와 하드웨어의 궁합에는 그다지 문제가 없다는 판단을 할 수 있겠죠.

bcm5700드라이버의 옵션 파라메터를 조절하면 tg3 드라이버의 성능만큼 나온다는 글이 있는것 같으므로, 1) bcm5700 테스트 2) 듀얼 기가비트랜이므로 channel bonding 테스트도 하고... 테스트가 끝나는 다음부터는 각각의 병렬 프로그램에 대해 테스트를 해봐야 합니다... -_-;;;

온갖 참된 삶은 만남이다 --Martin Buber

mycluster의 이미지

글쓴이: mycluster / 작성시간: 토, 2004/07/03 - 4:06오후

Quote:
bcm5700드라이버의 옵션 파라메터를 조절하면 tg3 드라이버의 성능만큼 나온다는 글이 있는것 같으므로, 1) bcm5700 테스트 2) 듀얼 기가비트랜이므로 channel bonding 테스트도 하고... 테스트가 끝나는 다음부터는 각각의 병렬 프로그램에 대해 테스트를 해봐야 합니다... -_-;;;

ㅎㅎㅎ 엄청 닭질일거 같은데요... 병렬계산을 하는 사람들은 보통 후배한테 시키지도 못하고, 논문쓰랴... 기계 관리하랴.... 골병만 들고 정작 후배들이 '형 클러스터가 이상한데요... 제 프로그램 좀 돌려주세요...' 라고 하는 망발을 견뎌야하는 아픔이 있지요...

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

둘러보기