리눅스 메모리가 이상하게 높습니다..

fallka의 이미지

안녕하세요?

이번에 레드햇 6.7버전으로 신규설치 5대를 했습니다..

스펙은 살짝살짝 다르긴 한데 메모리는 128G로 동일합니다

헌데 유독 2서버만 메모리 128G중 100G 넘게 차있는것으로 보입니다.

free 명령으로 봐도 캐쉬나 버퍼쪽은 극소량으로 차있어서 이쪽 문제도 아닌것같습니다.

아직 S/W 설치전이여서 별다른 프로세스도 띄워져있지 않습니다

TOP 으로 보면 1러닝, 598, 슬리핑 0 스톱, 0좀비 이런상태인데..

도무지 어디서 메모리를 잡아먹고 있는건지 모르겠네요

세벌의 이미지

https://www.redhat.com/ko
RedHat 설치하셨다면 레드햇에 물어보면 될 거 같은데요?

jachin의 이미지

https://zetawiki.com/wiki/리눅스_메모리_사용량순_프로세스_보기

명령어 콘솔에서 다음과 같이 입력해보시면, 실제 어떤 프로세스가 얼마나 메모리를 사용하는지 아실 수 있으실 겁니다.

 ps -eo user,pid,ppid,rss,size,vsize,pmem,pcpu,time,cmd --sort -rss

fallka의 이미지

최고높은게 RSS 20000 대구요.. 점유율 전부 0% 대로 나옵니다.

프로세스쪽은 아닌거같아요

jachin의 이미지

RHEL 6.8 버전을 쓰시고 계신거죠? 커널 정보나 메모리 덤프를 보면 도움이 될 것 같지만...

cat /proc/meminfo 출력결과를 보여주실 수 있으신가요?

fallka의 이미지

6.7 사용중이구요

/proc/meminfo는 이렇습니다.

MemTotal: 132119192 kB
MemFree: 22171112 kB
Buffers: 162336 kB
Cached: 479396 kB
SwapCached: 0 kB
Active: 578480 kB
Inactive: 136960 kB
Active(anon): 77396 kB
Inactive(anon): 16 kB
Active(file): 501084 kB
Inactive(file): 136944 kB
Unevictable: 4556 kB
Mlocked: 4556 kB
SwapTotal: 4194300 kB
SwapFree: 4194300 kB
Dirty: 164 kB
Writeback: 0 kB
AnonPages: 78312 kB
Mapped: 30352 kB
Shmem: 284 kB
Slab: 126968 kB
SReclaimable: 60732 kB
SUnreclaim: 66236 kB
KernelStack: 10576 kB
PageTables: 5516 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 16123208 kB
Committed_AS: 476364 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 488276 kB
VmallocChunk: 34291721984 kB
HardwareCorrupted: 0 kB
AnonHugePages: 26624 kB
HugePages_Total: 52862
HugePages_Free: 52862
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 7852 kB
DirectMap2M: 3102720 kB
DirectMap1G: 131072000 kB

jachin의 이미지

Hugepagesize와 HugePages_Total, Hugepage_free를 보면 사용하고 있는 HugePage는 없는 상태이고, 커밋도 양호한 상태라, 큰 문제는 없는 것 같습니다. 직접 tmpfs 를 120G 까지 마운트 시키시고, dd 로 random device 덤프를 120G 채워보시는게 어떨까요? 아마 커널에서 모르는 이유로 미리 메모리를 관리하고 있는 것 같습니다.

fallka의 이미지

tmpfs를 약 30G 채워보았더니 실 메모리는 다 차버리고 swap공간을 사용하게됩니다.

그떄 free 명령을 사용하여 보았더니
free -m
total used free shared buffers cached
Mem: 129022 128253 769 21486 2 21510
-/+ buffers/cache: 106740 22282
Swap: 4095 1759218604 8204

대략 이런 이상한 상태가 보였습니다.

조금후에 out of memory 상태로 서버는 먹통이 되었구요

swap 쪽에 이상이 있는걸까요?

jachin의 이미지

뭔가 잘못되어 있는 것 같습니다. 현장에서 확인하지 않으면 알 수 없겠네요. 기술지원 신청을 하십시오.

fallka의 이미지

한대만 이러면 모르겠는데.. 2대가 이러니까 하드웨어쪽 이슈는 아닌것같고..
애매한 상황이네요. 유지보수 계약이 아직안된장비여서 기술지원이 힘든상태입니다 ㅋ
천천히 확인해봐야겠네요 ㅠ 답변 감사합니다.

jachin의 이미지

https://www.linuxquestions.org/questions/linux-server-73/linux-high-memory-usage-used-by-no-process-4175536748/

맨 마지막 아티클에 스크립트 내용이 있는데, 한 번 따라해보시면 좋을 것 같습니다..

RHEL 쓰면서 왜 게시판에 물어보냐는 반응의 글도 있네요. ㅠㅠ 뭐... 그럴수도 있죠..

kjh7825의 이미지

grub 에 아래 파라미터 넣고 reboot 해보세요.
transparent_hugepage=never