서버의 iowait을 낮추고 싶습니다(완료)

netkwak의 이미지

페도라 5.0을 vod 서버로 사용하고 있는데, 사용자가 많아지면 iowait이 올라가면서..
vod재생이 원활하지 못하더라구요.

그래서 iostat으로 확인해보니 아래처럼 결과가 나옵니다.

이 서버의 하드디스크는 현재 1.5테라정도의 S-ATA를 레이드5로 묶어서 3ware 레이드카드에 꼽아서 사용중입니다.
top을 통해서 확인해보면 메모리와 cpu는 그나마 여유가 있더라구요...
네트웍은 스위치와 1G로 물려 있어서, 크게 장애가 없을것이라 예상하고 있고...
iowait이 높아지는 원인은 하드디스크가 아닐까 싶은데요....

하드를 모두 SAS타입으로 바꾸면 iowait을 줄일수 있을까요?

고수님들의 답변 부탁드립니다.

avg-cpu: %user %nice %system %iowait %idle
2.24 0.00 1.25 55.61 40.90

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 24.00 0.00 12.00 0.00 288.00 0.00 144.00 24.00 0.01 0.67 0.67 0.80
sdb 2.00 0.00 105.00 2.00 20728.00 256.00 10364.00 128.00 196.11 22.64 208.60 9.35 100.00
dm-0 0.00 0.00 0.00 36.00 0.00 288.00 0.00 144.00 8.00 0.10 2.78 0.22 0.80
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

avg-cpu: %user %nice %system %iowait %idle
3.50 0.00 1.50 53.75 41.25

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb 0.99 0.00 114.85 0.00 21267.33 0.00 10633.66 0.00 185.17 22.16 208.38 8.62 99.01
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

avg-cpu: %user %nice %system %iowait %idle
5.00 0.00 1.25 42.50 51.25

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 1.01 0.00 8.08 0.00 4.04 8.00 0.00 4.00 4.00 0.40
sdb 5.05 0.00 113.13 0.00 20614.14 0.00 10307.07 0.00 182.21 22.97 187.43 8.93 101.01
dm-0 0.00 0.00 0.00 1.01 0.00 8.08 0.00 4.04 8.00 0.00 4.00 4.00 0.40
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

다콘의 이미지

현재 상황에서는 SAS로 바꿔도 그다지 변화가 없을거 같습니다.
문제는 3ware 레이드 컨트롤러인데 다른 레이드 컨트롤러를 써도
비슷합니다.

sdb가 레이드 장치라고 가정하고 말씀드리겠습니다.

echo 512 > /sys/block/sdb/queue/nr_requests
echo deadline > /sys/block/sdb/queue/scheduler
blockdev --setra 16384 /dev/sdb

일단은 이렇게 해보시고 모니터링 해보세요.
scheduler를 deadline 대신 cfq를 사용해서 비교도 해보시고요.
cfq를 사용할때는 nr_requests를 512대신 1024로 해서도 테스트 해보세요.

vm.dirty_background_ratio와 vm.dirty_ratio를 튜닝하는것도 있는데
일단은 위에까지만 하셔도 될것 같습니다.

netkwak의 이미지

다콘님이 말씀해 주신것처럼 셋팅을 하고 돌려보니,
퍼포먼스가 많이 향상되었네요.
정말 감사합니다.

한가지 질문드립니다.

blockdev --setra 16384 /dev/sdb

위에, 16384로 세팅하는 이유는 무엇인가요?
그리고, 16384가 최대치인가요?

다콘의 이미지

--setra는 readahead 값을 설정해주는겁니다.
readahead는 데이터를 읽을때 셋팅된 값만큼 미리 읽어서
읽기 속도를 증가시킵니다. 셋팅된 값이 n이면 n * 512 bytes 만큼
미리 읽어들입니다. 기본값은 256으로 256 * 512 bytes = 128KB 만큼 미리
읽어들입니다. 16384는 3ware 컨트롤러에서 권장하는 값으로 16384* 512bytes = 8MB만큼
미리 읽어들입니다. 일반적인 디스크에서는 과도한 값이지만 레이드 컨트롤러는 캐쉬
메모리가 따로 있기 때문에 이렇게 설정해줘야 성능이 잘 나옵니다.
최대값은 잘 모르겠지만 더 큰값을 주고 테스트 해보시면 됩니다.

netkwak의 이미지

이렇게 늦은 시간에 친절하게 답변해주셔서 정말 감사드립니다.
본서버에 적용시키고 3시간 정도 모니터링중인데, 정말 빨라졌네요.

다시 한번 감사드려요 (__)

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.