혹시 Infiniband를 아시나요?

안녕하세요.

처음 직장을 연구소에 들어갔고 거기서 리눅스 클러스터 구축 및 신제품 테스트 일을 해서 지금까지 그쪽일을 하고 있습니다.
HPC에서 심장이 Interconnection이라고 하시는 분이 있더라구요. 저도 그렇게 생각을 하는데 그 중에서 Giga, Myrinet, Infiniband를 사용해 보았습니다. 제가 5년 전에 처음으로 Infiniband를 테스트를 했을때는 정말 성능이나 개념이 너무 좋아서 이제 점점 이 기술이 퍼지지 않을까라는 생각을 했지만 지금까지 그냥 HPC에서만 많이 사용을 하고 있더군요. 좀 아쉽긴 하지만요.

요즘은 Google에서 infiniband를 뒤져보면 많은 자료가 있습니다. 또한 관련된 제품을 만드는 회사도 많이 있는 것으로 알고 있습니다.
CISCO,Voltaire,Qlogic,Mellanox,Xsigo 등등.

사족이 너무 길었네요. 그럼 본론으로 돌아가서 infiniband에 대해서 말씀을 드리겠습니다.
Infiniband는 기존의 서버 벤더들이 Bus방식의 한계를 해결하기 위해서 Next I/O, Future I/O라는 다른 이름으로 생겨난 것이 infiniband라는 이름으로 합쳐지면서 지금까지 오고 있습니다. 기존의 Bus방식은 병렬로 시스템의 통로를 만드는 것인데 이것은 고속도록의 차선을 많이 만드는 방식입니다. 그렇다보니 만약에 하나의 장비가 많은 대역폭을 소모하게 되면 다른 장비가 그 버스를 이용하기가 힘들게 됩니다. 이런 문제점을 해결한 infiniband는 직렬 방식으로 P2P방식으로 장비와 장비간의 연결을 하고 있는 구조입니다. 즉 장비마다 하나의 고속도로를 만드는 방식입니다. 현재 4X의 속도로 10G/20G까지 지원을 하고 있습니다. 처음에는 이것을 보드 형식으로 만들려고 했지만 현재 너무 많은 서버가 bus방식으로 구성되다보니 장비와 장비의 연결을 지원하기 위해서 카드와 스위치로 변경이 되었습니다.
카드는 HCA(host channel adapter)라고 불리고요 뭐 HBA카드랑 비슷하게 생겼습니다.
스위치는 서버를 연결 시킬 수 있는 것과 기존의 네트워크와 스토리지를 연결 시킬 수 있는 것으로 2가지가 나오고 있습니다.

이런 Infiniband는 다양한 특징을 가지고 있습니다.
1. 기존의 네트워크와 통합 기능 : 모듈타입으로 스위치에 장착을 하면 기존의 giga와 SAN을 사용 할수 있습니다.
2. CPU overhead 감소 : RDMA(Remote Direct Memory Access)를 이용하여 통신에서 사용되는 CPU의 일을 줄려줍니다.
3. MPI 지원 : 기존의 MPI를 지원하고 있습니다.

이런 특징을 가진 infiniband는 현재까지 연구소에서 HPC의 통로로 사용을 하고 있습니다. 하지만 요즘에는 높은 대역폭을 필요로 하는 응용프로그램이 많아지다보니 점점 엔터프라이즈로 활동 범위를 넓히고 있습니다.

처음에 글을 적을 때는 많은 이야기를 하고 싶었는데 혹시 관심이 있으시면 답글 남겨주세요. 그럼 다음에또 뵙도록하죠.

항상 행복한 하루보내세요.