CentOS 3.10.0-862.14.4 으로 업데이트 후 Kernel panic
3.10.0-862.11.6 에서 862.14.4 으로 업데이트 후 862.14.4 으로 재부팅을 하면 아래와 같은 메세지 표시되고 더이상 부팅이 진행되지 않습니다. 지금까지 Single Thread CPU 를 계속 사용해 왔는 데 최신 업데이트에서 그것이 문제되는 것일까요?
-----------------------------------------------------------------------------------------
[ 0.000000] Detected single cpu native boot.
[ 0.000000] Important: In CentOS 7, single threaded, single CPU 64-bit physical systems are unsupported. Please see http://wiki.centos.org/FAQ for more information
[ 1.346257] Kernel panic - not syncing: VFC Unable to mount root fs on unknown-block(0,0)
[ 1.346310] CPU: 0 PID: 1 Comm: swapper/0 Not tainted 3.10.0-862.14.4.el7.x86_64 #1
[ 1.346359] Hardware name: System manufacturer System Product Name/A8R32-MVP Deluxe, BIOS 0701 03/03/2007
[ 1.346407] Call Trace:
[ 1.346460] [] dump_stack+0x19/0x1b
[ 1.346509] [] panic+0xe8/0x21f
[ 1.346559] [] mount_block_root+0x291/0x2a0
[ 1.346608] [] mount_root+0x53/0x56
[ 1.346657] [] prepare_namespace+0x13c/0x174
[ 1.346706] [] kernel_init_freeable+0x1f8/0x21f
[ 1.346755] [] ? initcall_blacklist+0xb0/0xb0
[ 1.346805] [] ? rest_init+0x80/0x80
[ 1.346853] [] kernel_init+0xe/0xf0
[ 1.346903] [] ret_from_fork_nospec_begin+0xe/0x21
[ 1.346952] [] ? rest_init+0x80/0x80
[ 1.347003] Kernel Offset: 0xba00000 from 0xffffffff81000000 (relocation range: 0xffffffff80000000-0xffffffffbfffffff)
----------------------------------------------------------------------------------------
캡쳐: https://kldp.org/files/IMG_5979_crop_1928x.jpg
yum 으로 업데이트를 하였는 데 업데이트 직후 리부팅을 하면 아래와 같은 메세지만 계속 뜨다가
https://kldp.org/files/IMG_5973_crop_1024x.jpg
강제로 리셋하고 그전에 사용하던 커널로 부팅을 하면 부팅은 되지만, shutdown 을 시키거나 reboot 을 시키면 아래와 같은 보이지 않던 메세지들이 수두룩하게 보입니다.
리눅스를 다시 설치하고 업데이트를 해도 이렇고, 하드디스크, ssd 까지 바꿔도 같은 증상입니다.
원인과 해결방법에 대한 도움 꼭 부탁 드립니다.
첨부 | 파일 크기 |
---|---|
IMG_5979_crop_1928x.jpg | 287.06 KB |
IMG_5973_crop_1024x.jpg | 166.08 KB |
IMG_5978 copy_1024x.jpg | 778.92 KB |
IMG_5977 copy_1024x.jpg | 213.07 KB |
single threaded 메시지는 panic 과는
single threaded 메시지는 panic 과는 관련이 없을 듯 싶습니다. 코드를 보면 일단 그냥 printk 만 하고 있고, 그 이전 커널에도 존재하는 코드입니다. 즉, 문제가 되었다면 이미 CentOS 7 을 사용하는 시점에서 문제가 되었을 것입니다.
위의 코드는 CentOS 빌드시에 debarnd-single-cpu.patch 에 의해서 redhat 이 centos 로 변경이 됩니다.
single thread 와 관련이 없다니, 서버를
single thread 와 관련이 없다니, 서버를 새로 구입하지 않아도 되어 다행입니다. 다른 문제 원인과 해결방법을 찾아보아야 겠스빈다.
감사합니다..
https://kldp.org/files/IMG
https://kldp.org/files/IMG_5979_crop_1928x.jpg
여기서 중요한 것은 Unable to mount root fs 부분인데, 하드디스크에 뭔가 문제가 있다거나 부트로더 설정에 뭔가 문제가 있다거나 한 것 같습니다.
https://kldp.org/files/IMG_5978%20copy_1024x.jpg
여기에 뜨는 Buffer I/O error 같은 것은 하드디스크가 맛이 가기 전에 주로 저런 메시지를 내뿜다가 사망합니다. 라이브 USB로 부팅한 다음 badblocks 등으로 하드디스크 상태를 검사해 보세요.
하드웨어 정보에 뜨는 "A8R32-MVP Deluxe" 이걸로 검색해 보니 시스템 년식이 제법 된 것 같은데, 그 동안 하드웨어 교체가 없었다면 하드디스크, 파워 서플라이, 심지어는 SATA 케이블에도 문제가 생겼을 가능성을 배제하기는 어려울 것 같습니다. 부팅이 된다고 해도 이 상태로 계속 시스템을 사용하셨다가는 언젠가는 문제가 발생할 것 같습니다.
상세한 답글과 정보를 알려주셔서 너무너무 감사합니다.
상세한 답글과 정보를 알려주셔서 너무너무 감사합니다. 말씀하신 대로 badblocks 을 검사해보니 몇 개가 발견되네요. 그래서 새 hdd 와 ssd 를 교체하면서 Centos 7.2.1511 부터 7.5.1804 까지 새로 설치해보았는데요.
일단, 새로운 hdd 에 설치를 하게 되면, 7.2.1511부터 7.5.1804까지 설치했을 때 부팅과 로그인은 제대로 되나 시스템을 종료하거나 리부팅을 하게 되면 아래 메세지가 뜬 후, 잡다한(?) I/O 관련 에러 메세지들이 뜨면서 리부팅과 종료가 되지 않습니다.
-----------------------------------------------------------------------------------
[ 57.832915] ata3: exception Emask 0x10 SAact 0x0 SErr 0x140101 action 0x7
[ 57.833070] ata3: SError: { RecovData UnrecovData CommWake Disapar }
-----------------------------------------------------------------------------------
반면 ssd 에 설치를 하면 7.3.1611 부터 7.5.1804 까지는 여전히 위와 같은 메세지가 뜨지만,
7.2.1511 은 아무 이상이 없습니다.
그래서 패키기지들을 하나하나씩 업데이틑 해 보니,
NetworkManager-tui-1.10.2-16.el7_5.x86_64
NetworkManager-ppp-1.10.2-16.el7_5.x86_64
NetworkManager-wifi-1.10.2-16.el7_5.x86_64
firewalld-.4.4.4-15.el7_5
firewalld-filesystem-0.4.4.4-15.el7_5
가 설치되면 위와 같은 메세지가 뜨는 것은 알아냈습니다.
그런데, 모든 패키지를 이렇게 설치할 수는 없어서 해결책이 필요할 것 같기는 합니다.
유일하게 남은 것은 말씀하신 대로 파워서플라이를 교체헤보아야겠네요..
감사합니다..
그래서 패키기지들을 하나하나씩 업데이틑 해 보니,
그래서 패키기지들을 하나하나씩 업데이틑 해 보니,
NetworkManager-tui-1.10.2-16.el7_5.x86_64
NetworkManager-ppp-1.10.2-16.el7_5.x86_64
NetworkManager-wifi-1.10.2-16.el7_5.x86_64
firewalld-.4.4.4-15.el7_5
firewalld-filesystem-0.4.4.4-15.el7_5
가 설치되면 위와 같은 메세지가 뜨는 것은 알아냈습니다.
제가 보기에는 저 패키지에 문제가 있다기보다는, 시스템에 있었던 문제가 디스크를 일정 수준 이상으로 가동하기 시작하면서 터져 나온 것 같군요.
유일하게 남은 것은 말씀하신 대로 파워서플라이를 교체헤보아야겠네요..
자꾸 회피하시는 것 같은데, 파워든 SATA 케이블이든 교체해 봐도 증상이 나아지지 않는다면 시스템 교체가 필요한 상황입니다.
헛! 예리하십니다. 시스템 교체 회피하는 것 맞습니다
헛! 예리하십니다. 시스템 교체 회피하는 것 맞습니다.. ㅋ
어찌되었든 상황정리되면 간단 후기라도 올리겠습니다. 감사합니다.
댓글 달기