클러스터링과 그리드 컴퓨팅의 차이가 무엇인거죠?

그리드 컴퓨팅 ①

--출처: 시사컴퓨터
구태회
내셔널 그리드 기술개발실 실장

그리드 컴퓨팅의 출현 배경과 분류

기존 분산처리 모델에 대한 새로운 제안

현 재 IT 업계에서 서서히 이슈화되고 있는 기술로 그리드 컴퓨팅에 대한 기사가 소개되어 왔으나 해외의 기술 동향 및 사례를 단편적으로 소개하는 내용이 대부분이었다. 필자는 그리드 미들웨어 솔루션을 상용화한 기술력과 노하우를 바탕으로 그리드 컴퓨팅에 대한 소개와 기술을 한층 심도 있게 다룸으로써 독자로 하여금 그리드 컴퓨팅에 대한 이해를 돕도록 하겠다. 이번 호에서는 그리드 컴퓨팅의 출현 배경 및 정의에 대해 알아보겠다.

연재목차

1회(이번 호) 그리드 컴퓨팅 소개
물리적으로 분산된 가상 조직 상호간 및 내부에서 자원을 공유하고 문제를 해결하는 솔루션인 그리드 컴퓨팅이 대두된 배경과 그리드 컴퓨팅의 정의에 대해 알아본다.

2회 그리드 컴퓨팅 기술현황
그동안 학계와 연구소에서 많이 다루어져 온 그리드 컴퓨팅 기술이 현재 어디까지 왔는지, 그리고 어떠한 성과를 보이고 있는지 다룬다.

3회 그리드 컴퓨팅 적용사례
그리드 컴퓨팅의 적용 사례를 중심으로 기업에 어떠한 성과를 가져다 줄 수 있는지 알아본다.

현 대의 비즈니스를 수행하기 위해서는 정보기술 인프라와 네트워킹이 필수 요소가 되었다. 날마다 새롭게 대두되는 사업목표와 경쟁사들은 물론이거니와 날로 증가하는 고객과 최종 사용자들의 요구에 부응하는 신 기능을 신속하게 보급해야 하기 때문이다. 기업에서는 이러한 요구에 부응하고, 경쟁력을 높이기 위해 IT 투자를 꾸준히 해왔지만, 투자에 비해 효과를 본 기업은 많지 않다.
그동안 투자를 꾸준히 해 온 기업에서는 활용률이 적정 수준에 미치지 못하거나 과잉 공급된 자원에 대해 기존 투자된 전산시스템을 더욱 효과적으로 활용하려는 요구가 생겨나고 있다. 애플리케이션 개발자들은 일반적으로 중앙에서 관리가 가능한 전산 환경을 가정하면서 개발해오고 있으나, 실제 개발 환경은 분산 자원들과 관련된 협업 및 데이터 공유, 상호 작용 등의 특징을 보이고 있다.
이 에 따라 기업들은 기업 내부와 외부에 존재하는 전산시스템들의 상호 연동 문제에 대해 점차 관심을 갖게 되었으며, 다양한 서버, 플랫폼 및 지리적인 위치와 관계없는, 즉 때와 장소를 가지리 않는 데이터의 접근 및 공유 지원에 대한 관심이 높아지고 있다.
이 러한 IT 환경의 변화에 따라 분산 애플리케이션 개발과 이용에 대한 새로운 요구가 대두되었고, 윈도NT, UNIX, J2EE, .NET 등 특정 플랫폼용 애플리케이션과 미들웨어들이 개발되어 애플리케이션 운용을 위한 호스팅 환경을 제공하고 있다. 이러한 환경이 제공하는 기능들은 통합 자원관리 기능, 데이터 통합, 보안, 부하관리 등 다양하지만, 서로 다른 플랫폼상에서는 이들 기능과 관련된 구현 방법이나 API 등은 서로 다르다.
따라서, 이러한 다양성으로 인해 소프트웨어, 하드웨어, 자원들이 지속적으로 분산됨으로써 원하는 서비스품질(QoS)을 달성하는 것이 핵심 사항이 되었다. 즉 분산된 네트워크(인터넷/인트라넷) 환경 하에서 애플리케이션들이 자원과 서비스들을 효율적으로 액세스하고 공유할 수 있는 새로운 개념들이 필요하게 된 것이다.
이 러한 문제들은 대규모 작업을 수행하는 분산시스템 개발자들에게는 중요한 관심사였으며, 이에 따라 그리드 기술이 개발되기 시작했다. 이제 그리드는 IT 분야에서 새로운 이슈로 떠오르고 있으며, 기존 로컬 자원을 공유하는 분산 컴퓨팅에서 더 진보한 대규모 자원 공유 및 고성능, 새로운 패러다임의 애플리케이션 등에 초점을 맞추고 있다.

프로젝트명
참여기관 및 프로젝트 내용

SETI@HOME Project
외계의 지적 생명체가 보내는 전파 신호를 찾는 미국의 UC 버클리 대학에서 1999년 5월에 시작한 전 세계적인 프로젝트

Korea@Home Project
바이오 분야 "신약 후보 물질 탐색"과 금융, 증권 분야 "글로벌 리스크 관리" 등 2개 응용 프로그램에 대해 3개월에 걸쳐 개별 PC 자원을 활용한 230만여 단위 작업을 성공적으로 수행, 최대 2.98테라플롭스(1테라플롭스는 초당 1조번의소수점 연산) 성능과 총 14만 컴퓨팅 시간을 얻었다.

Smallpox Research Grid
미국 국방부와 IBM, 유나이티드 디바이스, 액셀리스가 공동 추진하고 있는 그리드 프로젝트로, 천연두 바이러스 후기 전염을 퇴치할 신약개발을 목표로 한다.

기타
게임서버에 응용되는 Grid(예, Butterfly.net와 IBM사의 Butterfly

-Optimal Grid(Gridified Quake Ⅱ)등

그리드 컴퓨팅 기술의 발전
최 근 이러한 그리드 기술이 가능하게 된 것은 무엇보다 네트워크의 발전 속도이다. 컴퓨터의 발전 속도는 무어의 법칙에 맞게 18개월에 두 배씩 발전하고 있다. 한편, 네트워크 발전 속도는 매 9개월마다 두 배씩 발전하고 있다. 좀더 세분하면 1986년부터 2000년까지 컴퓨터는 약 500배의 성능이 향상되었으며, 네트워크는 340,000배 빨라졌다. 향후 2001년부터 2010년까지 컴퓨터는 60배, 네트워크는 4,000배 향상될 것으로 예상하고 있다. 이로 인해 지역적으로 분산된 슈퍼컴퓨터나 연구 장비를 공동 활용하는 것이 가능하게 되었으며, 또한 지역적으로 특성 있는 컴퓨터 자원을 활용하여 하나의 거대한 컴퓨터를 구축하여 활용할 수 있는 기반이 구축된 것이다.
실제로 미국의 TeraGrid 프로젝트에서는 Caltech, Argonne National Lab, San Dieago Supercomputer Center, NCSA의 컴퓨터 메모리, 하드디스크, CPU를 초고속 네트워크로 연결해 13.6테라플롭스의 성능과 6.8테라바이트의 하드디스크를 구축하는 것을 목표로 하고 있다. 이것은 한 지역에 하나의 컴퓨터를 구축하는 것이 아니라 지역별로 특성 있는 컴퓨터를 구축하고, 이들을 서로 공유함으로써 초대형 컴퓨터를 구성할 수 있음을 나타내는 것이다.
그리드 컴퓨팅 분야의 전문가인 시카고 대학의 이안 포스터(Ian Foster) 교수는 2003년 OpenGroup Boston Conference에서 “그리드 컴퓨팅이 네트워크 컴퓨팅 환경에서 대용량의 데이터와 컴퓨팅 파워가 요구되는 최신 응용 프로그램에 매우 효과적인 해결책”이라고 소개했다.
현 재 PC의 계산 속도는 1990년대 초반의 슈퍼컴퓨터와 비슷하며, 하드디스크 100GB는 1990년대 초의 슈퍼컴퓨팅 센터의 저장 용량과 맞먹는다. 이러한 기술 발전에도 불구하고, 최신 응용 프로그램은 좀더 많은 계산 능력과 저장 용량을 필요로 하고 있다. 예를 들어, 1990년대 초의 생물학자가 분자 하나의 구조를 계산하고자 하였다면, 오늘날에는 고분자 복합체의 구조를 계산하는 연구를 수행해야 한다. 이러한 컴퓨팅 요구를 맞추기 위해서 기존의 분산처리 모델에 대한 새로운 제안이 바로 그리드 컴퓨팅이라 할 수 있다.
이렇게 개인용 PC를 기반한 자원 공유가 이루어지면 자연스럽게 공용자원풀(Pool)이 형성될 것이고, 이 공용자원풀을 이용한 대규모 프로젝트가 활발히 이루어질 것이다. 이러한 자원풀은 도로처럼 사회간접자본이라 할 수 있다. 이 자원은 해외 대규모 프로젝트를 수행할 수 있어 컴퓨팅 자원을 수출할 수도 있다. 지금은 특정 기업이나 연구소에서 그리드 컴퓨팅 기반한 공용자원풀을 이용하지만, 향후에는 개인이나 자원이 필요한 모든 기업/연구소에서 공용자원풀을 이용해 원하는 컴퓨팅 파워를 조달할 수 있다.

프로젝트명
참여기관 및 프로젝트 내용

CERN(유럽 입자 물리학 연구소)
150개 기관 1,800여 명의 연구원들에게 데이터를 제공하는 데이터 그리드를 구축. 하루 900조 바이트 이상의 데이터를 서비스한다.

그리드PhyN(Grid Physics Network)
미국 내의 대학 혹은 공적 연구기관을 중심으로 고도 물리학에 있어 데이터 해석기술의 연구개발을 추진한다.

NDMA(National Digital Mammographic Archive)
유방암 검사 등에 이용되는 유방 X선 뢴트겐 사진 등의 의료 데이터들을 디지털 기술을 이용해 저장하고 공유함으로써 임상의들이 데이터를 보다 쉽게 활용할 수 있게한 프로젝트

그리드 컴퓨팅 정의와 분류
그 리드란 지역적으로 분산된 컴퓨터, 대용량 스토리지, 거대 실험장치 등과 같은 고성능 자원들을 네트워크를 통해 사용자가 단일 시스템처럼 모든 자원들을 쉽게 사용할 수 있도록 하는 정보통신 인프라이다. 기존 분산 시스템과 달리 그리드는 수용 가능한 시스템(자원)의 수가 무한대이며, 이기종 시스템을 기본으로 하며, 컴퓨팅 자원의 동적인 추가/삭제가 가능하다. 또, 컴퓨팅 자원에 접근 및 사용에서 편리성과 투명성을 제공하는 것이 가장 큰 차이점이다.
그리드는 이용하는 자원의 종류와 방법에 따라 계산(Computational) 그리드, 데이터(Data) 그리드, 액세스(Access) 그리드로 구분하고 있다. 자원의 종류와 방법에 의한 분류에 따른 각각의 그리드 특성과 사례를 살펴보기로 한다

● 계산(Computational) 그리드
계산 그리드는 지역적으로 분산된 대규모 컴퓨팅 자원(CPU와 RAM 등)을 이용하여 거대 문제를 해석할 수 있는 것으로 초당 수억에서 수십억 개의 작업을 동시에 해결할 수 있다. 표 1은 그러한 계산 그리드를 적용한 프로젝트이다.

● 데이터(Data) 그리드
대용량의 데이터(이질적인 환경-File System, Storage 등)를 네트워크를 통해 서로 공유하기 위해 가상화된 스토리지 환경을 구축하는 것이다.

● 액세스(Access) 그리드
지 리적으로 분산된 연구원들의 시, 청, 공, 감각을 공유하여 프로젝트를 진행할 수 있도록 협업 환경을 제공해 주는 그리드. 고속의 네트워크 인프라를 위해 컴퓨터 장비, 데이터베이스 시스템, 핵 가속기, 천체 망원경과 같은 고가의 첨단 기자재뿐만 아니라 전문 인력까지도 공유할 수 있는 협업 환경을 제공한다. IT, BT, NT, ET 등의 첨단 핵심 기술 개발을 촉진하기 위한 협업 인프라 환경을 그리드를 통해 구축하는 것이다.

이러한 그리드 컴퓨팅의 분류는 앞서 언급하였듯이 이용하는 자원의 종류와 방법에 따라 분류한 것이며, 실제 프로젝트는 분류된 세 가지 그리드가 혼용되어 사용될 수 있다. 즉, 방대한 양의 데이터를 공유하면서 그 데이터를 액세스하여 연산을 수행하고, 결과를 관련자들이 함께 모니터링할 수 있다. 현재까지 진행된 그리드 프로젝트는 이러한 그리드 컴퓨팅으로 가는 단계에 있다고 여겨진다.