현재 위치

홈 ›› Forums ›› 공부 ›› 설치 및 활용 QnA

[완료] 스토리지 서버 raid5 구성 문의

jeon1226의 이미지
글쓴이: jeon1226 / 작성시간: 목, 2009/06/25 - 6:21오후

저는 랩에서 계산 클러스터를 관리하고 있습니다.
십수~수십 개의 계산 노드가 nfs서버의 /home을 마운트해서 씁니다.
이 nfs서버는 raid5로 구성되어 있습니다. mm어쩌구 사의 레이드 카드가 끼워져 있습니다.

이 스토리지는 매우 잦은, 많은 파일의 동시 읽기 쓰기가 이루어집니다.
동시에 파일 한 100개쯤 열어서 계속 접근이 이루어진다고 생각하면 됩니다.
이 데이터는 학술 데이터이기 때문에 실험 자료와 마찬가지라서 절대 날려먹으면 안됩니다.

지금 구성하려는 스토리지는 12개 하드디스크로 되어 있고, raid5로 하려고 합니다.
1개는 패리티가 되고 1개는 스페어로 사용하여 실제 용량은 10대 분량이 되겠습니다.

질문입니다.

1. 이 시스템이 안전하다고 볼 수 있나요? 디스크는 sata방식입니다. 디스크 하나가 날아가서 스페어에 복구하려고 할 때,
다른 디스크에 알려지지 않은 배드섹터가 있으면 레이드가 깨지게 되니까 위험하다는 이야기를 들었습니다.

2. 1의 문제점을 보완하기 위해 각 디스크가 배드블록이 있는지 주기적으로 확인하는 방법을 쓰면 괜찮을까요?
일주일정도마다 크론으로 모든 디스크 배드블록 검사하여 교환하는 방법이라면 모르는 배드섹터때문에 문제가 생길 일은
없지 않습니까?

3. 2를 하기 위한 적절한 툴이 있습니까? 각각의 디스크가 배드블록이 있는지 등 레이드 시스템에서 각각의 하드디스크
상태를 확인할 수 있는 리눅스의 일반적인 툴이 존재합니까? badblocks는 레이드 시스템에서 각각의 하드디스크의
배드블록이 있는지 없는지 알아낼 수 없는 것 같더군요.

Forums: 
설치 및 활용 QnA
Tony의 이미지

글쓴이: Tony / 작성시간: 목, 2009/06/25 - 6:42오후

11개의 하드중에 2개 이상이 동시에 고장나면 살려낼 방법이 없으니.. 절대 저렇게 구성하면 안될것같습니다.
요즘 하드의 배드블럭정보는 S.M.A.R.T에 의해 관리가 가능은 합니다만... 구지 주기적으로 클론이 돌면서 별도의 체크를 해야할지에 대해선... 저는 부정적으로 생각합니다.

정말 중요한 데이터들이라면 RAID 10위에 RAID5정도는 구성해야하지 않을까요?

jeon1226의 이미지

글쓴이: jeon1226 / 작성시간: 목, 2009/06/25 - 6:47오후

이게 파일 접근이 많은 만큼 쓰기도 많습니다. 데이터파일 한개가 몇 기가에 그게 그래프 점 하나 겨우 찍을 수 있는 정도거든요.
그래서 최대한 많은 용량을 얻고 싶습니다;;; 그래서 레이드10를 생각 안한거구요.

11개의 하드중 2개가 동시에 고장나는 일이 어느 정도 가능성을 고려해야 할만큼 일어날 수 있는 일인가요?

아 그리고 크론이 돌면서 배드블록을 체크한다는 말은 하드디스크가 알지 못하고 있는 곳에 있는 배드블록이 있을까봐 계속 체크한다는 뜻이었습니다. 문제생겨서 복사하는데 배드블록 발견되면 망하는거니까...

agstanti의 이미지

글쓴이: agstanti / 작성시간: 토, 2009/06/27 - 2:35오전

여름에 번개 치는 경우가 가장 겁나더군요.

www.2cpu.co.kr 쪽에 문의해 보심이...

Tony의 이미지

글쓴이: Tony / 작성시간: 목, 2009/06/25 - 10:09오후

절대 날려먹으면 안되는 것과 최대한 많은 용량을 얻는건 예산이 정해져있다면 결코 양립할 수 없습니다.(상식적으로만 생각해보셔도...)
10개의 하드중 2개가 동시에 고장나는건 충분히 그리고 얼마든지 발생 할 수 있습니다. 일반적으로 이야기하는 데스크탑용 하드의 MTBF 400000시간 기준으로라면 9년에 한번은 두개가 동시에 고장나네요. ㅎㅎ 생각보다 높은 빈도.

실제 제 경험으로는 한개의 하드가 고장나면 하필 다른 하드도 또 고장나는일이 많았습니다. 이유야 아마도 전력이 일정하지 않고 운영하는 환경이 항온항습도 안되고 그래서였겠지만요.
ps. 하드 10여기 이상을 돌리신다면 전력문제는 특별히 더 잘 신경쓰셔야됩니다.

ggeagle의 이미지

글쓴이: ggeagle / 작성시간: 토, 2009/06/27 - 8:36오전

사실상 레이드 기법에 대한 여러가지 말들이 있다해도 현대의 디스크 용량이나 가격으로 볼 때 실질적으로 고려해야 하는
것은 100% 순수한 방식으로의 스트립+미러 단 한 가지 뿐입니다.

=========================

매일막걸리 한 병 = 상태메롱

=========================

매일막걸리 한 병 = 상태메롱

sooily의 이미지

글쓴이: sooily / 작성시간: 금, 2009/06/26 - 10:21오전

재 경험으로는....
레이드 5 에서 디스크 하나가 fail발생했는대...
레이드 전체가 깨져버리더라구요. 처음 디스크 문제인줄 알고 디스크만 교체했어는대
서바 다운후 OS부팅불가...디시크빼면 OS부팅중 다운..
디스크 fail관련해서는 수만번 정도 했어는대..
결국은 죽을놈은 어떻게 해도 그냥 한번에 죽어버리라구요..
진짜 중요한 자료이고 하면 용량 무시하고 10으로 구성하세요..

나는야...게으른 바보베짱이

youlsa의 이미지

글쓴이: youlsa / 작성시간: 금, 2009/06/26 - 10:43오전

raid5로 구성된 디스크를 통째로 날려먹은 경험이 몇번 있어서 저는 별로 신뢰 안합니다.

정말 중요한 데이타라면 서버가 있는 곳과 분리된 공간에 백업 서버를 두고 주기적으로 백업을 받는 방법을 병행하시는게 어떨까 싶습니다.

저 있는 곳에서는 얼마전에 모든 서버에 대해 rsync 기반의 Backuppc라는 오픈소스 솔루션으로 백업 시스템을 구성했는데요, 매우 만족스러운 결과를 얻었습니다. http://backuppc.sourceforge.net/

=-=-=-=-=-=-=-=-=
http://youlsa.com

=-=-=-=-=-=-=-=-=
http://youlsa.com

다콘의 이미지

글쓴이: 다콘 / 작성시간: 금, 2009/06/26 - 11:24오전

raid10이라고 해도 raid1로 구성된 디스크 2개가 동시에 깨지면(확률적으로는 낮지만)
레이드 전체가 깨지죠.

레이드를 백업을 대체하기 위해 사용해서는 안됩니다.

정말 중요한 자료라면 반드시 백업이 필요합니다.


http://star4u.org

http://mirror.star4u.org

oldbell의 이미지

글쓴이: oldbell / 작성시간: 토, 2009/06/27 - 9:42오전

NetApp(좀 비싸죠..) Storage에서 쓰고 있습니다만

RAID5 + SPARE HDD 1개 (RAID 4인가요?)로 구성하면 RAID5보다는 훨씬 안전합니다.

중요한 데이터라면 환경문제는 반드시 대비가 필요합니다. (항온항습 + 정전압 + UPS)

인생의 무게를 느껴라. 아는 만큼 보이는게다.

김정균의 이미지

글쓴이: 김정균 / 작성시간: 월, 2009/06/29 - 4:22오후

요즘은 RAID 6 를 주 raid 로 사용하죠. :-) volume 당 spare가 2개 입니다.

vecter의 이미지

글쓴이: vecter / 작성시간: 토, 2009/07/04 - 1:54오전

넷업에 한표

raid 4는 패러티 가 분산이 아니고 고정된 패러티 디스크를 쓰는거 같은데 아닌가요

우찌됬건 넷업에 한표

jeon1226의 이미지

글쓴이: jeon1226 / 작성시간: 일, 2009/06/28 - 2:52오후

아무래도 레이드는 많은 디스크로 이루어져 있으니 그냥 시스템보다는 불안한게 당연한가보네요.

별도의 백업을 알아보도록 하겠습니다.

preisner의 이미지

글쓴이: preisner / 작성시간: 토, 2009/07/04 - 2:19오전

Raid 는 많은 디스크를 묶어서 큰 볼륨을 제공하고, 성능을 향상 시키고, 디스크 의 물리적인 장애 발생시에 가용성을 향상시켜주는 시스템 입니다.
그냥 시스템 보다 당연히 안정적이죠.
하지만 Raid controller 에 따라 성능 차이가 많이 있습니다.
믿을 만한 제품 LSI, Mega-Raid, Adaptec, SmartArray 등 을 제외하고 저가의 대만 제품인 경우 안 쓰느니만 못한 경우가 많이 있습니다.
대게 그 차이는 복구할 때 많은 차이가 납니다.
복구 하다가 덩달아 디스크가 하나 더 깨져서 볼륨이 아예 깨지는 경우가 자주 있습니다.
아니면 Raid controller 자체가 망가지면 디스크는 멀쩡한데 볼륨이 안올라오는 경우도 있지요.

정말로 안정성을 생각 하신다면 Level 5 든 Mirror 이든지 간에 믿을만한 제품을 구매 해서 설치 하시는게 좋겠습니다.
좋은 Raid controller 는 배드 섹터 발견시에 통보 해 줍니다. 관리자가 수동으로 할 필요가 없죠.
당연한 이야기 겠지만 디스크도 Sata 보다는 SAS 나 SCSI 가 더 안정적이죠.
결국 예산 문제가 걸리겠지만, 정말로 날아가면 안되는 경우라면 그에 맞는 예산을 받아오는 것도 관리자의 중요한 책임입니다.

위에 어느분께서 Raid 6 에 대해 말씀 하셨는데, 복구 시간이 엄청나게 걸립니다. 리소스도 많이 사용 하고요.

한가지 더 말씀 드리자면,
Raid 는 고가용성을 제공하는 시스템이지 백업 시스템이 절대 아닙니다.
백업에 대해서는 별도로 고민 하셔야 합니다.

다즐링의 이미지

글쓴이: 다즐링 / 작성시간: 월, 2009/06/29 - 4:34오후

정말 그런 경우도 있더군요.. -_-;;;;

------------------------------------------------------------------------------------------------
Life is in 다즐링

------------------------------------------------------------------------------------------------
Life is in 다즐링

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.