ipmitool 설치 및 활용관련 질문
안녕하세요. 날씨가 오락가락하네요.
비가 오는 동안에는 좀 시원한가 싶었는데.. 높은 습도때문에 잠을 못이루고 있습니다.
다름이 아니라, 리눅스 클러스터를 구축해서 사용하는 중인데 몇 가지 의문사항이 있어 이렇게 글을 남깁니다.
총 2개의 질문인데,
첫번째는 ipmitool 설치 후 실행시키는데 나타나는 에러 관련이고,
두번째는 스위치허브를 교체하려는데 어떠한 것이 좋을지 고민입니다...
우선 ipmitool 관련해서 여쭙습니다.
현재 일반 데스크탑에 gentoo (2.6.31)를 설치해서 사용하고 있습니다.
클러스터의 주된 활용도가 연산작업이다보니 온도가 많이 신경 쓰입니다.
온도센서가 따로 달려있지 않고, gui도 설치되어 있지 않은 상태라, 여기 게시판을 검색하다가 온도 등 센서 정보를 읽어올 수 있는 ipmitool에 대해서 알게 되었습니다.
일단 emerge는 제대로 된 듯하며, ipmitool을 입력하면 옵션에 대한 설명은 잘 나옵니다.
헌데 온도 센서의 정보를 읽으려고 하면 아래와 같은 에러가 나타나는군요.
ecoinfo work # ipmitool -I open sdr
Could not open device at /dev/ipmi0 or /dev/ipmi/0 or /dev/ipmidev/0: No such file or directory
Get Device ID command failed
Unable to open SDR for reading
여기저기를 검색하다가, 장치가 제대로 올라가있지 않을 경우 에러가 발생한다는 글을 보고,
커널에 모듈이 올라와 있는지 아래와 같이 확인하였습니다 (아직 리눅스에 익숙하지 않아 일단 따라해 본 결과입니다).
ecoinfo work # lsmod | grep ipmi
ipmi_devintf 10248 0
ipmi_msghandler 37768 1 ipmi_devintf
이렇게 해서 모듈에 올라와 있는 것은 확인하였고, 장치가 없다는 메시지가 떴으므로 수동으로 만들어줘야 한다는 설명을 보고 아래와 같이 하였습니다.
ecoinfo work # cat /proc/devices | grep ipmidev
250 ipmidev
번호가 250인 것을 확인하고
ecoinfo work # mknod /dev/ipmi0 c 250 0
이렇게 입력하여 완료하였는데... 아직도 ipmitool을 실행시키면 위에 처음 보여드렸던 것과 같이 장치를 찾을 수 없다는 메시지가 뜹니다.
2가지 가능성이 있을 것 같은데,
첫번째는 ipmitool이 아직 제대로 설치가 되어 있지 않은 상태이며,
두번째는 제가 사용하는 머신의 메인보드가 ipmi 기능을 지원하지 않는 경우라고 여겨집니다.
ipmitool 설치는 관련 홈페이지에서 직접 설명을 보면서 따라했기 때문에 큰 문제가 없었을 것 같은데...
ipmi 기능이 없는 데스크탑용 보드이기 때문에 장치를 설정해주어도 여전히 에러가 뜨는 것일까요..?
현재 머신은 총 5대인데, 1대는 asus p5q pro이고, 나머지 4대는 모두 asus p7p55d를 사용하고 있습니다.
ipmi 기능은 서버용 보드에서만 지원되는 것인지요? 아니면 제가 설정을 잡아주는 과정에서 뭔가 빠진 것이 있을까요?
혹시 ipmitool을 제가 활용할 수 없는 상황이라면, ipmitool 말고도 온도센서를 읽어줄 수 있는 어플리케이션이 있을까요?
두번째 질문은, 어쩌면 고민이라고도 할 수 있는데, 조언을 구하고자 합니다.
지난번 여기에서 질문을 남겼을 때에서 간략하게 상황설명을 했었는데,
클러스터를 lustre 기반으로 구축해 놓은 상태입니다.
자금 사정상 일단 저가형 ipTime의 24포트 스위치허브를 물려놓고 사용하고 있는데
당장 큰 문제는 없지만, lustre의 특성을 잘 활용해보려고 하니 결국 스위치를 교체해야 한다는 결론에 도달하였습니다.
여기저기를 찾아보니 굉장히 많은 모델들이 존재하더군요. 눈이 핑핑 돌던데요..
제가 고민하는 부분은, 일단 총알에도 한도가 있다보니..
우선 필요한 기능은 48포트에 10/100/1000 지원에 Link Aggregation 지원인데,
제일 마음이 끌리는 것은 CISCO WS-2960G-48TC-L 이녀석인데.. 가격이 장난이 아니더군요..
재정상태와 타협을 보자니 넷기어 GS748TS가 사정권 안에 있고,
조금 무리를 한다면 juniper ex2200 48T 4G까지는 가능할 것 같다는 생각도 듭니다.
좀 알아보니, 스위치허브는 lcd 모니터 (대기업과 중소기업 제품간)처럼 큰 성능의 차이가 발생하지 않는 경우가 아니고
비싼 녀석일 수록 돈값을 한다는 이야기를 들었는데, 그런 소리를 듣고 나니 좀 무리를 해서라도 고가의 장비를 쓰는 것이 좋지 않을까 하는 생각이 많이 듭니다.
하지만 무턱대고 높은 비용을 지불하고 고가의 장비를 구매한 뒤 꿔다놓은 보릿자루마냥 쓸만한 기능만 쓰고 나머지는 그냥 놀리는 것도 영 아니올시다 라는 생각도 많이 들구요.
그렇다고.. 온돈 주고 반머리 깎기는 또 싫어서 그냥 돈에 맞춰 적당한 것을 샀다가 나중 돈이 더 드는 문제가 발생하는 것도 딱 질색이네요..
참 갈등의 연속입니다... 장고 속에 악수 둔다고 하던데.. ㅠㅠ
클러스터는 저와 제 후배, 그리고 클러스터를 구축해 주신 분 도합 3명만이 쓰고 있습니다.
개인적인 용도이기 때문에 그리 거창한 기능을 바라지는 않는 상황입니다.
안정성 이런것이 매우 중요하기는 하지만, 일단 안정성이 저희의 활용 목적에서 매우 큰 부분을 차지하는 것은 아니라고 생각하고 있습니다.
이렇게 여쭙는 것이 어찌 보면 우습고 쓸데 없는 고민이며, 답을 주시더라도 경우에 따라 그것을 100% 따르기도 힘든 상황입니다만,
저의 경우에는 가격 쪽을 맞추어서 가는 것이 현명할까요, 아니면 가격부분을 좀 희생하더라도 성능에 맞추어서 가는 것이 마땅할까요?
주저리주저리 뭔가 많이 써 놓았는데.. 관심 가져주셔서 감사드립니다.
조언 부탁드립니다.
일단 간단한
일단 간단한 답변.
ipmitool은 bmc같은 ipmi를 지원하는 device가 M/B(ㅇㅇ?)에 내장되어있거나 혹은 추가 장착이 되어야 사용이 가능하십니다. 대부분의 데스크탑에는 해당사항이 없고 간간히 일반 인텔 화이트보드 시스템에도 해당사항이 없고 그렇겠지요.
또
또 다른..
클러스터링 시스템에도 종류가 있을텐데, Job distribution의 경우 실제로 네트워크 대역은 최종 결과값 주고받는것 제외하면 대역폭을 많이 쓰지 않을것입니다.
1Gbps 대역폭이면 충분하겠죠.
그리고 몇 port나 쓰시는지 모르겠는데 장비 5대에 bonding으로 24~48 port를 다 쓴다고 하더라도 전체 시스템에서 full traffic을 발생시키는 경우는 거의 없을 것으로 판단되는데(이게 가능하긴 한지..?) 굳이 switch를 교체해야 할 필요가 있을까요?
굳이 바꾸신다면 개인적으로 가격대비 성능때문에 넷기어 스위치를 선호하므로 넷기어쪽을 말씀드립니다.
대단한 서비스..이를테면 위에서 언급한 Full Traffic이 발생되는 시스템이 아니시면 48port의 경우 backbone bandwidth가 96GBps급 스위치를 구매하실 필요도 사실 없다고 판단됩니다. 저렴한거 쓰세요 그냥. -_-; 100만원 초반대면 쓸만한 48port 스위치 사고 남을겁니다.
솔직히 이런 답글을
솔직히 이런 답글을 기다리고 있었습니다.. ^^;
넷기어 쪽으로 사실 많이 기울어 있었는데, 가격 문제도 있고...
하지만 네트워크 쪽으로는 완전 꽝이다 보니 제 생각만 가지고 밀어붙일 수도 없는 노릇이라 조언을 구했던 것이구요.
적정선이 어디즈음인지를 몰라 며칠동안 헤매고 있었는데,
'쓸만한' 수준의 적정선을 대략이나마 감을 잡을수 있었습니다.
머신은 앞으로 단계적으로 2-3대씩 증설해서 1년여 안에 60 프로세서를 만들 계획을 하고 있구요.
모두 데스크탑으로 구성하려다 보니 어쩔수 없이 48포트를 찾게 되네요.
감사합니다.
안정성을 추구하고
안정성을 추구하고 싶으면...
1) PC로 클러스터를 꾸미지 않는다.
2) Luster를 내린다.
클러스터 스샷한장 첨부합니다. 스샷에서 숫자는 노드별 CPU/Memory/Network 사용률입니다. GS748T 스위치 2개로 구성되어 있고, 대략 Bandwidth는 많이 써봐야 노드별로 15% 정도 사용합니다. 중요한 것은 Latency...
파일시스템은 32대 밖에 안되니, CIFS로 되어 있고, MPI는 MS-MPI(디폴트...)이며, IPMI는 세팅안했는데, 서버 앞의 패널에 온도가 나옵니다. 대략 50도를 넘어도 1년 동안 열때문에 죽은적은 없습니다.
CPU 온도를 굳이 보고 싶으면, 인터넷에서 CPU 온도보는 가젯 받아서 설치하면 됩니다.
--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러
--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러
댓글 달기