메모리 부족

jai0130의 이미지

계속 메모리가 줄어들다가 시스템이 먹통이 됩니다.
메모리가 줄어드는 원인을 밝히라는데 막혔네요.

구글을 뒤져봤는데 메모리 살피는 유틸리티는 저게 다 인것 같습니다.
프로세스 130개 있고, 메모리를 제일 많이 쓰는 양이 1.6%, 65M 에 불과한데,
2.8G 는 누가 쓰고있는 건지 오리무중입니다.
컴 앞에서 대기중입니다 ㅠㅠ

proftpd, samba, nfs, httpd 사용하고 있습니다.
커널 버전은 2.6.9-42.EL 이고, redhat4.4 입니다.

# cat /etc/redhat-release
Red Hat Enterprise Linux ES release 4 (Nahant Update 4)

buffers, cached 는 크게 변하지 않고, used가 꾸준히 증가하고 있습니다.
2.8G used 인데, 모든 프로세스의 VmRss 를 더해보니 250M 입니다.
2800 - 250 = 2650 M 어디로 갔는지 ... 찾고 있습니다.

# free
             total       used       free     shared    buffers     cached
Mem:       4090044    3702816     387228          0     594480     283020
-/+ buffers/cache:    2825316    1264728
Swap:      8385920        164    8385756

iowait, CPU, Tasks 는 평균입니다.
매일매일 free 메모리가 줄어들고 있습니다.

# top
top - 09:53:13 up 48 days, 11:04,  3 users,  load average: 2.55, 2.37, 2.36
Tasks: 131 total,   1 running, 130 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.4% us,  1.1% sy,  0.0% ni, 44.9% id, 53.6% wa,  0.0% hi,  0.0% si
Cpu1  :  0.2% us,  0.8% sy,  0.0% ni, 84.4% id, 14.6% wa,  0.0% hi,  0.0% si
Mem:   4090044k total,  3712160k used,   377884k free,   594688k buffers
Swap:  8385920k total,      164k used,  8385756k free,   292172k cached
25590 root      16   0 78316  65m 1916 S    0  1.6  11:21.76 smbd
24385 nobody    15   0 58128  46m 2036 S    0  1.2   5:47.37 smbd
 5470 root      16   0 17328  14m  13m S    0  0.4   0:01.63 httpd
 2875 root      16   0  9732 6028 1320 S    0  0.1  12:17.54 hald

mapped, slab, buffers, cached 는 저 크기에서 조금씨 줄었다 늘었다 할뿐
부팅하고 처음 값에서 크게 변하지 않았어요.

# cat /proc/meminfo
MemTotal:      4090044 kB
MemFree:        380628 kB
Buffers:        594356 kB
Cached:         292504 kB
SwapCached:          0 kB
Active:         390124 kB
Inactive:       642896 kB
HighTotal:     3210688 kB
HighFree:       365632 kB
LowTotal:       879356 kB
LowFree:         14996 kB
SwapTotal:     8385920 kB
SwapFree:      8385756 kB
Dirty:              76 kB
Writeback:           0 kB
Mapped:         172028 kB
Slab:           232500 kB
CommitLimit:  10430940 kB
Committed_AS:  2636540 kB
PageTables:       3840 kB
VmallocTotal:   106488 kB
VmallocUsed:      7820 kB
VmallocChunk:    95220 kB
HugePages_Total:     0
HugePages_Free:      0
Hugepagesize:     2048 kB
select99의 이미지

지금은 괜찮아 보이는데...
죽기전에 상황을 봐야죠..

jai0130의 이미지

네 아직은 버티고 있죠 ㅠㅠ

- 메모리 릭이 있는 프로세스의 메모리 양이 커지면서 시스템을 멈춰버린다거나,
- 순간적으로 네트워부하가 커진다거나 io가 많아졌다거나 해서 그 순간에 메모리가 부족해서 경계값을 넘기면서 시스템 장애 발생
이 2가지가 일반적이 메모리 장애인데요.

이 서버는 꾸준히 free 메모리가 줄어드는 경향을 보이면서
used 메모리 양과 main memory 4G 차이가 매우 큽니다.

이 경우는 일반적인 메모리 릭과 많이 다른것 같습니다.

그래서 메모리가 사용되는 곳을 찾으려고 합니다.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.