NFS HA 및 클러스터 구성

별이아빠의 이미지

안녕하세요..리눅스 시스템을 관리하는 엔지니어 입니다..

현재 한대의 NFS파일서버를 구축해서 10개의 노드에서 파일을 공유해서 ㅅㅏ용하고 있습니다..
NFS서버를 공유하는 10개의 노드는 모두 리눅스이구요.
용도는 web/wap 정도구요..

NFS파일서버의 공유된 디렉에 대해
읽기와 쓰기를 하구요..대충 비율은 3:7정도 입니다.

NFS 서버사양은

OS : AS3.0
서버 : Dell PowerEdge2650
CPU : Xeon DP 3.2 * 2
Memory : 2G
하드디스크 : 시스템은 72G(10krpm scsi)*2(Raid 1)
데이타는 외장형박스(external scsi) 146G(10krpm scsi) * 14 ( Raid 5)

이렇게 구성되어 있습니다.

파일서버를 공유하는 각각의 노드는 사설망 gigabit Switch를 통해서 Gigabit 로 연결이 되어있습니다..

읽기 쓰기가 바쁜시간에 vmstat를 통해서 모니터링을 해보면

읽기 빈도가 그렇게 많은건 아닙니다..대략 procs memory swap io system cpu
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 22424 100492 1206976 0 100 400 0 179 78 0 0 99 1
0 0 0 22420 100616 1206856 0 120 380 0 273 184 1 1 90 8
0 0 0 22412 100624 1206856 0 30 200 292 223 61 0 0 99 1
0 0 0 22404 100376 1207112 0 100 80 0 167 58 0 0 99 1
0 0 0 22404 100376 1207112 0 200 220 0 197 82 0 0 100 0

대략 이정도 입니다..디스크 I/O 밴치마킹을 했을때..대략 초당 50Mbyte 정도 나온다고 했을때..대략 디스크대역폭의 1~3/100정도 밖에 안쓰는 정도로 생각하고 있습니다..

또한 CPU나 메모리상태를 봐도 문제 없구요.

근데..중요한건..가끔 한번씩..파일서버에 문제가 발생합니다..

로그메세지를 봐도 뭐 특별한건 없구요 문제가 발생하게 되면

NFS를 공유하고 있는 서버또한..네트웍마운트에 문제가 생겨..

리마운트도 안되고 시스템에 문제가 발생하곤 합니다..결국.

모든 서버를 리부팅해서 하는 상황에 이르게 되죠..

..

그래서..NFS서버를 좀더 안정적으로 운영하기 위해서..

여러가지 방법을 생각중입니다..

FAILOVER 기능을 지원하는 HA 및 등등...

그리고 만약 HA로 구성이 된다면..두대의 NFS서버에서..

한대의 스토리지를 공유하는데..어떤 솔루션을 이용해서.

공유할수 있는지요

예를들면)
물리적인 연결방법은 : FC,SCSI
솔루선은 : GFS 등등

고수님들의 의견 부탁드립니다..
BBS내용중 NFS내용과 클러스터링을 검색해서..여러가지 의견을 접했으나..

HA구성을 구체적으로 어떻게 진행을 시켜야 할지..또한..

HA구성시..NFS가 안정적으로 돌아갈지 또한 의문입니다..

많은분들의 고귀한 의견부탁드립니다..

PS)
특히..mycluster님께서 답변을 해주시면 더욱 감사하겠습니다..

다즐링의 이미지

1. 리눅스에서 nfs 문제는 고질적인문제라 -_-;;
freebsd 나 solaris 로 하시길 바랍니다.
실제로 nfs 마운트된 서버나 클라이언트가 문제가 생기면
전부다 행걸리는수가생깁니다.
2. heartbeat 프로그램을 쓰면됩니다만. 위에말한 nfs 문제가 심합니다 -_-;

별이아빠 wrote:
안녕하세요..리눅스 시스템을 관리하는 엔지니어 입니다..

현재 한대의 NFS파일서버를 구축해서 10개의 노드에서 파일을 공유해서 ㅅㅏ용하고 있습니다..
NFS서버를 공유하는 10개의 노드는 모두 리눅스이구요.
용도는 web/wap 정도구요..

NFS파일서버의 공유된 디렉에 대해
읽기와 쓰기를 하구요..대충 비율은 3:7정도 입니다.

NFS 서버사양은

OS : AS3.0
서버 : Dell PowerEdge2650
CPU : Xeon DP 3.2 * 2
Memory : 2G
하드디스크 : 시스템은 72G(10krpm scsi)*2(Raid 1)
데이타는 외장형박스(external scsi) 146G(10krpm scsi) * 14 ( Raid 5)

이렇게 구성되어 있습니다.

파일서버를 공유하는 각각의 노드는 사설망 gigabit Switch를 통해서 Gigabit 로 연결이 되어있습니다..

읽기 쓰기가 바쁜시간에 vmstat를 통해서 모니터링을 해보면

읽기 빈도가 그렇게 많은건 아닙니다..대략 procs memory swap io system cpu
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 22424 100492 1206976 0 100 400 0 179 78 0 0 99 1
0 0 0 22420 100616 1206856 0 120 380 0 273 184 1 1 90 8
0 0 0 22412 100624 1206856 0 30 200 292 223 61 0 0 99 1
0 0 0 22404 100376 1207112 0 100 80 0 167 58 0 0 99 1
0 0 0 22404 100376 1207112 0 200 220 0 197 82 0 0 100 0

대략 이정도 입니다..디스크 I/O 밴치마킹을 했을때..대략 초당 50Mbyte 정도 나온다고 했을때..대략 디스크대역폭의 1~3/100정도 밖에 안쓰는 정도로 생각하고 있습니다..

또한 CPU나 메모리상태를 봐도 문제 없구요.

근데..중요한건..가끔 한번씩..파일서버에 문제가 발생합니다..

로그메세지를 봐도 뭐 특별한건 없구요 문제가 발생하게 되면

NFS를 공유하고 있는 서버또한..네트웍마운트에 문제가 생겨..

리마운트도 안되고 시스템에 문제가 발생하곤 합니다..결국.

모든 서버를 리부팅해서 하는 상황에 이르게 되죠..

..

그래서..NFS서버를 좀더 안정적으로 운영하기 위해서..

여러가지 방법을 생각중입니다..

FAILOVER 기능을 지원하는 HA 및 등등...

그리고 만약 HA로 구성이 된다면..두대의 NFS서버에서..

한대의 스토리지를 공유하는데..어떤 솔루션을 이용해서.

공유할수 있는지요

예를들면)
물리적인 연결방법은 : FC,SCSI
솔루선은 : GFS 등등

고수님들의 의견 부탁드립니다..
BBS내용중 NFS내용과 클러스터링을 검색해서..여러가지 의견을 접했으나..

HA구성을 구체적으로 어떻게 진행을 시켜야 할지..또한..

HA구성시..NFS가 안정적으로 돌아갈지 또한 의문입니다..

많은분들의 고귀한 의견부탁드립니다..

PS)
특히..mycluster님께서 답변을 해주시면 더욱 감사하겠습니다..

------------------------------------------------------------------------------------------------
Life is in 다즐링

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.