LVM lvreduce 명령으로 손상된 LVM 메타데이터 복구 방법?

웃는 남자의 이미지

1. /(root) 파티션으로 mount 된 상태의 LV (/dev/mapper/VolGroup00-LogVol100)를 lvreduce 명령으로 LV 크기를 줄였음
- e2fsadm 으로 file system 의 사이즈를 먼저 줄였어야 하나 lvreduce 명령을 잘못 실행함

2. lvreduce 실행 직후 disk access 에러가 발생

3. 리부팅후 해당 LV 가 마운트는 되었으나 file system 접근시 에러가 발생

4. LVM 메타데이터 백업파일(/etc/lvm/backup/VolGroup00) 은 존재

5. vgcfgrestore -f /etc/lvm/backup/VolGroup00 VolGroup00 명령으로 LVM 메타데이터 복구를 시도하였으나 file system 액세스가 제대로 안되어 vgcfgrestore 명령 사용불가상태

파일시스템의 변경은 없고 LVM의 메타데이터만 변경되어 있는 상태로 보입니다.

LiveCD 로 부팅해서 vgcfgrestore -f /etc/lvm/backup/VolGroup00 VolGroup00 로
LVM 메타데이터만 복구해주면 이전의 정상 디스크 상태로 복구가 될까요?

웃는 남자의 이미지

삽질로 복구가 잘 되어서 같은 실수를 하시는 분들에게 도움이 되고자 작업기록을 남깁니다.
도움을 주신 irc #coffeenix 의 mirr 님에게 감사드립니다.

-----------------------------------------------------------------------------------------------------
위 상황처럼 file system shrink 없이 lvredue 만 실행한 경우에는
LVM 의 VGDA공간의 meta-data 만 변경된 것이므로 LVM의 VG 설정백업만 있다면 정상적으로 복구가 가능합니다.

1. 현재 로컬로 마운트된 디스크에서 정상적인 disk i/o 액세스가 안되는 상황이므로
LiveCD 로 부팅해서 복구작업을 해야 합니다.

1-1. 설치된 리눅스의 배포판에 맞는 LiveCD 를 구해야 합니다.
unetbootin 을 사용하면 간편하게 LiveCD 를 제작할 수 있습니다.
centos 5.4 가 설치된 시스템에 centos 5.5 live-cd 로 부팅할 경우 kernel panic 이 발생합니다.

2. LiveCD 로 부팅하면 VG를 자동으로 스캔해서 /mnt/lvm/VolGroup00-LogVol00 로 마운트됩니다.

3. 우선 기존 VolGroup00 의 LVM 의 백업설정파일을 다른 곳으로 복사합니다.
cp /mnt/lvm/VolGroup00-LogVol00/etc/lvm/archive/VolGroup00.0 / ( 시간순으로 장애발생직전 파일을 선택)

4. vgcfgrestore 명령으로 LVM 백업설정을 복원합니다.

4-1. 현재 LV 가 마운트되어 있는 상태이므로 VG 가 deactivate 시키기 위해서 우선 각 LV 를 umount합니다.
# umount /mnt/lvm/VolGroup00-LogVol00

swap 파티션으로 사용되고 있는 LV 도 swapoff 시켜줍니다.
# swapoff /dev/mapper/VolGroup00-LogVol01

4-2. VG 를 deactivate 시킵니다.
# vgchange -a n VolGroup00

4-2 복사해두었던 VolGroup00.0 으로 LVM 메타데이터를 복원합니다.
# cd /; vgcfgrestore -f VolGroup00.0 VolGroup00

4-3. reboot
# shutdown -r now

5. 리부팅하면 시스템이 정상적으로 부팅되고 fsck 를 요구합니다.
파일시스템 복구쉘로 들어가서

# mount -o remount,ro /dev/mappper/VolGroup00-LogVol00
# fsck -fy /dev/mappper/VolGroup00-LogVol00

파일시스템 체크/수정이 완료된 후 리부팅하면 시스템이 정상적으로 복구되어서 부팅이 됩니다.

*** 교훈 1. 잘 돌아가는 시스템 괜히 건드리지 말자.
*** 교훈 2. LVM 작업하기전에 백업은 절대적으로 필수이다.

----------------------------------------
Nothing left after Nirvana.

----------------------------------------
Nothing left after Nirvana.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.