서버관리.. 어떻게 해야 될까요?
안녕하세요?
약간은 우울한 날씨네요.. 모쪼록 비피해 없는 하루 되기를..
다름이 아니라, 제가 관리하는 서버에서 HDD가 종종 깨져버리는 일이 발생합니다. 고객분들의 중요한 정보가 담겨져있는 HDD라
상심이 이만저만 큰게 아닙니다.. 위에서는 깨먹지 말라고 다그치고,,, 요즘 스트레스에 탈모까지 생겼습니다..
대체 서버관리를 어떻게 해야되는지... 리눅스라는걸 써보지도 못한채로 입사해서 얼떨결에 맡은 직책이 서버관리...;; 아무런 인수인계도 없이.. 중요한 직책을 맞게 되었는데.. 이제 6개월이나 지났네요..
그동안 한다고 했는데.. HDD가 깨져버리는 현상은.. 도대체 어떻게 해야 미연에 방지할 수 있을지.. 궁금증만 더해갑니다..
여러 서버관리자 여러분들 께서는 어떻게 관리하시나요?
저는 하루의 일과시작이 각 서버별 error 메시지 체크 하는것 부터 시작합니다. 그보다 먼저 죽은 서버가 있는지 부터 체크하구요..
아.. 먼저 제가 관리하는 서버는 조립서버인데.. 운영체제는 Red Hat9 을 사용하고 있습니다.
cpu 는 AMD 와 intel 이 있고,, (아무래도 AMD 보다는 INTEL이 안정성이 있더군요.. 개인적인 견해..) 듀얼구성해서 쓰고 있습니다.
AMD 의 보드는 tyan 보드를 쓰고 있습니다.
HDD 는 160G or 250G 를 Promise TX4000 의 RAID CARD로 두개를 하나로 구성해서 쓰고 있습니다. (Stripe 방식입니다. ;;)
한 서버에는 총 8개의 HDD가 들어가고, 4개의 파티션이 자리잡게 됩니다. HDD 제조사는 Maxtor, Seagate, Hitachi, Samsung 을 써왔고 (제가 입사하기 전..) 요즘 새로 구입하는 HDD 는 Seagate 250G 8MB 짜리를 주로 구입하고 있습니다.
이런 사양인데.. 다시 위로 돌아가서 error 메시지 체크를 할때 grep channel -i /var/log/messages,
grep error -i /var/log/messages, grep APIC -i /var/log/messages, grep restart -i /var/log/messages 를 이용해서 각 서버별 에러
메시지를 확인하고 error 가 있는 서버가 있다면 먼저 fsck.ext3 -yfttv /dev/sdx1 해주고, IDC 로 가서 해당서버를 새 HDD로 copy 떠줍니다. (모든 error 있는 서버를 다 copy 해주지는 못하고, fsck 했음에도 계속 뜨거나 error의 수가 많은 경우만 copy 를 해주고 있습니다.)
그리고 서버관리 web page가 만들어져 있어서 각 서버별 용량 별로 upload & download를 풀어주거나 닫아주거나 하고 있습니다.
서버관리라는 직종을 이 회사에 입사하여 처음 알았고, 리눅스도 처음 만져보는데.. 다른 서버관리자 분들은 어떻게 관리를 하고 계시는지 매우 궁금합니다. 제가 해야되는 주 목표는 "서버를 안죽이고, HDD 를 깨먹지 말아라!" 이것입니다.
어떻게 해야될까요? 한참 모자라는 제가 감히 이런 질문을 드려봅니다.
그리고 몇일전 또 한서버의 HDD를 깨먹었습니다. fsck.ext3 -yfttv /dev/sdc1 하고 나서 mount 가 안되는 것입니다. fdisk -l 에는 분명
정보가 떠있는데요.. 그래서 e2label /dev/sdc1 을 했더니 superblock 이 깨진것 같다는 메시지가 뜨더군요.
그래서 fsck.ext3 -yfttv -b 32768, (superblock 에 나와있는 번호들) /dev/sdc1 을 써서 해봤습니다. file system was modified 라고 나오더군요.. 허나 mount 는 붙지 않고 계속해서 똑같은 메시지만 "mount: wrong fs type, bad option, bad superblock on /dev/sdc1,
or too many mounted file systems" 이런 메시지가 뜨더군요.. 어떻게 해야될까요?
여러 서버관리자 여러분들의 경험과 지혜로 조언 부탁드리겠습니다. 두서없이 긴 글 읽어주셔서 감사합니다.
fsck
[root@ ~]# fsck
fsck 1.32 (09-Nov-2002)
e2fsck 1.32 (09-Nov-2002)
/dev/sda1 is mounted.
WARNING!!! Running e2fsck on a mounted filesystem may cause
SEVERE filesystem damage.
Do you really want to continue (y/n)?
위의 메시지처럼....마운트 해제 시키셨나요? 저도 마운트 해제 안하고 해서.... 하드를 날려먹은 적이 있습니다만............
-------------------------
모든것에 감사합니다.
http://bubicom.winmir.com
답변
답변 감사드립니다.
umount 시키고 했습니다..
fsck 잘 하고 나서 갑자기 mount 가 안되더라구요.. -_-;;
일단 /var/log 밑에
일단 /var/log 밑에 있는 syslog 등을 참조해서 ... (보통은 /var/log/messages 파일입니다. 배포판마다 조금씩 다를 수는 있습니다.)
에서처럼 저런 류의 에러가 있다면 하드디스크가 물리적으로 에러가 발생한 것입니다.
하드디스크는 제조업체에서 수명을 5년이니, 10년이니 ... 하지만, 그건 어디까지나 평균적인 얘기고 ... 내껀 언제 깨질지 모르는 거라고 보시면 됩니다.
만일 저런 식의 에러가 있다면 무조건 전원 끄시고 하드디스크 재생업체 또는 데이터 복구업체로 가져 가세요. 저런 에러가 있다면 하드디스크에 물리적인 손상(흔히 배드섹터라고 얘기하죠.)가 발생했다는 얘기입니다.
괜히 살려보겠다고 하다가 더 망가지는 경우가 태반입니다. 다만, 오랫동안 손보지 않은 서버 같은 경우는 전원 케이블이 느슨해지거나, 하드디스크 케이블이 느슨해져서 저런 메시지가 나올 수 있으므로 전원을 내리고 케이블을 꽉 끼운 다음에 다시 한번 더 시도해 보시고, 그래도 에러 뜨면 바로 복구업체로 가져가시는 게 좋습니다. 경험적으로는 http://www.myung.co.kr/ 명정보기술이 잘 살리더군요.
서버처럼 24시간 쉬지 않고 돌아가는 경우, 하드디스크의 수명은 2년반에서 3년으로 보시면 됩니다. 물론, 그 이상 쌩쌩하게 돌아가는 하드디스크들도 있습니다만, 일단 무조건 3년에 한번씩 바꾼다고 생각하시는 게 속 편합니다. 하드디스크값 아낀다고 더 돌리다간, 나중에 데이터 날아가서 복구시키고, 회사 스톱되고 ... 하는 비용이 더 들어가게 됩니다.
위에서 하드디스크 깨먹지 말라고 닥달한다면, 하드디스크를 새것으로 바꿔 달라고 요구하세요.
아마도 지금 하드디스크에 물리적인 손상이 있는 것으로 보이며 ... 빨리 새것을 사서 달고 복구 하시는 편이 .. 비용이 더 적게 먹힐 것으로 보입니다.
그리고, 항시 백업은 꼭 해두세요. 백업 안하시면 ... 나중에 난리 납니다. 정말로...
---------
즐겁게 놀아보자.
http://akpil.egloos.com
---------
트롤 출현시 대처요령 (phpBB 용)
불여우 1.5.x ;
http://www.extensionsmirror.nl/index.php?showtopic=4814&st=0&p=16579&#entry16579
---------
귓가에 햇살을 받으며 석양까지 행복한 여행을...
웃으며 떠나갔던 것처럼 미소를 띠고 돌아와 마침내 평안하기를...
- 엘프의 인사, 드래곤 라자, 이영도
즐겁게 놀아보자.
백업
fsck 로 해결될수 있는 에러면 괜찮으나, fsck 도 소용없는 정말 하드가 깨져버리는경우가 있습니다.
(ide 는 스카시보다 깨질 확률이 더 높을듯)
이런 경우는 미리 백업받아 놓는거외에는 대책 없습니다.
레이드 카드..약간은 도움이 되는것 같으나 실제 대용량의 데이터(수십기가~수백기가)를 좀 오래 돌려보면
하드는 정상이나 깨졌다고 오작동을 하지 않나..사용하기가 힘듭니다.
(레이드는 스토리지급등 전용 레이드 박스가 아니면 대부분 안정성이 낮더군요)
정말 다 날라갈 경우를 생각하시면 다른 디스크 또는 서버에 백업 또는 미러링을 하시는게 안전하실 겁니다.
조언해 주셔서
조언해 주셔서 감사합니다^^
미리 백업을 해놓아야 한다고 생각을 하고 있으나.. 현재 정책상 백업을 거의 못하고 있는 실정입니다.
보통 백업을 받는다 하면 서버 100대이면 100대에 있는 data를 몽땅 다 다른데다 복사를 떠놓는것인지요?
설마 그렇게 소모적인 방법을 쓰지는 않을것 같은데..
글들을 읽어보니 6일은 조금씩 백업하고 1일은 풀백업 하고 이런 얘기도 하시는것 같고,, 어떤방식으로 해야되는건지에 대해 무지해서
감이 안오네요.. 계속 뒤져보고는 있으나.. ;;
error message는 보통 이런식으로 나옵니다.
Jun 29 22:59:52 dss23 kernel: ft3xx: camATAReturn Error (13/20/08/21/51/40)
Jun 29 22:59:52 dss23 kernel: scsi0: ERROR on channel 0, id 2, lun 0, CDB: Read (10) 00 01 41 ef 1f 00 00 f0 00
Jun 29 22:59:52 dss23 kernel: Info fld=0x141f000, Current sd08:21: sense key Medium Error
Jun 29 22:59:52 dss23 kernel: Additional sense indicates Id CRC or ECC error
Jun 29 22:59:52 dss23 kernel: I/O error: dev 08:21, sector 21098432
Jun 29 22:59:53 dss23 kernel: ft3xx| 1|105h|Warning|Disk Maxtor 6Y160P0 (Channel 7/Master) ECC error
Jun 29 22:59:53 dss23 kernel: ft3xx| 2|200h|Error|Disk Maxtor 6Y160P0 (Channel 7/Master) in Array 3 has read/write error (LBA=0xa0f800 Command=0x20 Status=0x51)
이게 말씀해주신 I/O error 같은데... 이런경우에 보통 fsck 돌리고 HDD copy 를 하거든요. (HDD는 low format 해서 쓰고 있습니다.)
논리적인 배드섹터일때만 low format으로 치료 가능하다고 알고 있는데.. low format이 완료된 경우이면 치료가 되었다고 보는건가요?
논리적인 배드섹터인지 물리적인 배드섹터인지 어떻게 알수 있을지...
low format 으로 괜찮을까요? 그리고 bad sector 가 생긴 하드에 있는 데이터를 다른 하드에 카피 하는 방법도 상관없을런지요.
(여지껏 이렇게 해왔습니다..-_-;;;;)
오늘도 IDC에 와서 HDD copy 작업중이네요.. ^^;
소중한 시간내서 읽어 주셔서 감사합니다.^^
하드웨어가
하드웨어가 몇대인지, 하드디스크나 컨트롤러가 뭔지는 모르겠지만 중요한건
데이터 손상을 최대한 막으시려면 돈이 들어도 스트라이핑+미러링을 쓰셔야 합니다.
미러링만 하셔도 되구요.
두개가 동시에 나갈 확률은 그래도 훨씬 적으니까요.
그리고 제 경험상 SATA는 정말 잘 나갑니다. 특히 I/O가 빈번한 경우에는 더 그런거 같습니다.
케이블, 백패널 같은 것들도 조금 상태 안좋으면 나가 버립니다. 매우 위험하더군요.
요즘은 그래도 많이 좋아졌다고는 합니다.
관리도 중요하지만 '중요한' 데이터라면 성능/안정성이 좋은 부품에도 돈을 들여야 합니다.
-- Signature --
青い空大好き。
蒼井ソラもっと好き。
파란 하늘 너무 좋아.
아오이 소라 더좋아.
관심가지고 읽어
관심가지고 읽어 주셔서 감사합니다.
돈을 들여야 되는거에 저야 물론 백번 동의를 합니다만...
위에서는 할수 있는 만큼 해보고 얘기를 하라 하네요..;;
그래서 제가 확실히 공부를 하고 정확한 근거를 제시 하려고 생각하고 있습니다...
다른 곳도 이런식인지... 어렵습니다 ㅡ,,ㅡ;;
fsck도 너무 자주
fsck도 너무 자주 사용하시는거 아닌가요? 꼭 필요하겠다 싶을때만 체크해 보시는게 낳을듯 합니다.
아무 에러메시지만 발견해도 바로바로 fsck를 때리면 위험한 일입니다.....
fsck를 하기 전엔 먼저 badblocks를 통해 배드블럭의 유무를 확인해 본 뒤에 해보시죠...파일링크라는건
쉽게 깨지는게 아니란 겁니다......
badblocks -v -o 임의의파일명 장치명 이라고 하시면 배드블럭을 체크해 주긴 합니다만 물리적인건지,
논리적인건지는 잘 모르겠군요...그냥써서 ㅡ,.ㅡ::
일단 이것부터 해보신뒤 fsck를 사용하는게 순서아닐까요...
글구 백업은 보통 서버별 특성있는 파일 및 폴더..예를들면 계정위주서번면 /home위주, 웹서버면 웹소스 및 웹설정파일,
디비서버면 디비, 디비설정파일, 파일서버면 파일 전체 이런식으로 서비스별 역할에 꼭 필요한 부분들을
타볼등으로 묶어서 다른 백업서버 및 스토리지에 옮겨놓고,
문제가생기면 (하드문제등등) 잽싸게 새로운 오에스로 설치후 백업된 부분들을 복원합니다.
전체 백업에 대한 안정성은 레이드로 확보하죠...레이드 5정도가 저는 안정된듯 하더라구요...최소한 1로는 묶여야합니다.
내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.
내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.
조언
조언 감사드립니다.
badblocks 사용시에 mount의 여부는 상관없는지요. 상관없다면 현재 HDD 의 read/write 여부도 무관한지 궁금합니다.
badblock 이 발견되었을 시에는 주로 어떤 방법으로 작업하시는지 궁금합니다.
보통badblock 발견뒤에 fsck 를 해주는 것인가요?
fsck 에 대해서도 궁금한 점이 제 서버는 ext3 방식으로 file system 을 만드는데, fsck.ext3 나 e2fsck 같은 방식으로 한다면
문제가 생기는건가요?
fsck 관한 문서들을 찾아보면 대부분 e2fsck 이나 tune2fs ext2에 관한 내용들이 있는데 ext3는 그런 것들이 따로 없는건가요?
백업에 관해서는 현재 정책상 백업을 안해둬서 HDD가 날라가더라도 복구가 거의 불가능 하니 (되더라도 아주 조금만 되니..)
HDD 날리지 말아라! 라는 지시만 내려오네요.. -_-;;
그래서 HDD 날리지 않기 위한 방법들을 찾고 공부하고 있는중입니다..;;
백업 부분에 대해서 1, 5 이런것들에 대해서 자세히 공부를 하고 얼마나 비용이 드는지 어떤 방식인지를 정확히 인지한 후
다시 윗선에 건의를 드려봐야겠습니다.. ;;
아.. 레이드로 안정성을 확보하신다 하셨는데... 저희 서버에서는 raid card가 용량을 더 하기 위한 방도로만 사용되는것 같습니다.
160G * 2 또는 250G * 2 해서 파티션 하나를 두배로 쓰기위해.. (스트라이프 방식이죠.. ;;)
안정성확보는 미러링이나 5 를 했을시를 말씀하시는 건가요?
질문들이 너무 많아 죄송합니다. 하나씩 찾아보고 있는데.. 해결이 잘 안되네요.. ^^;;
음..배드블럭은
음..badblocks커맨드는 자동적으로 읽기전용으로 검사하기때문에 서비스 진행중에도 상관 없습니다.
저는 배드블럭이 발견되면 일단 그부분을 사용하지 않게끔 안전한 상황에서 (unmount) fsck를 사용해 파일노드를
재정렬 하고, 빠른 시일 내에 하드를 교체합니다...단지 이것뿐이죠...뭐...서비스 상황에 따라서 배드블럭수가
너무 많다거나, 서비스 다운시간을 최소화해야 하는 서버일 경우엔 바로 하드교체로 넘어가기도 합니다.
아주 적은 경우엔, 그리고 하드디스크의 사용율이 크지 않는 서버의 경우엔 그대로 몇주간 방치해놓기도 합니다...
물론 교체준비는 항상 해놓는게 필요하죠...
ext3는 ext2의 확장형으로 저널링을 지원하는 부분이 중심특징이고, 실제로 ext2로 마운트도 가능합니다.
그래서 대부분의 문서에는 ext2의 기술들을 ext3에서도 적용시키고 있습니다.
물론 저는 아직 엔지니어개념과는 아주아주 현저하게 떨어진 왕초보 시스템관리자정도의 수준밖에 안되서...
깊은 개념과 원리에 대한 공부는 아직 남에게 설명해 줄 단계는 아니구용~ 직접 찾아서 공부하셔야 합니다..
레이드로 스트라이프를 하는 방식만 사용하는서버역시 저또한 운영하고 있는데,
이게 매우 안좋고, 위험한 짓거리입니다...
너무 대용량 서비스위주의 서버라 용량확보만 하다보니 그렇게 되버렸는데,
스트라이프된 하드디스크 한개라도 문제가 생긴다면 전체 하드가 사용불능이 되버립니다.
차라리 그럴땐 레이드로 묶지 말고, 그냥 사용하시는게 낳겠죠.....아깝지만..
raid 5는 최소한 동일 사양의 하드디스크 3개 이상이 필요합니다. 레이드를 유지하기 위한 총 용량의 손실은 약 20프로정도죠..
레이드 1은 동일한 하드 두개가 필요합니다. 용량확보면에선 많이 불리한 편이긴 하지요.
하드디스크의 관리는 하드상태에 대한 주기적인 체크밖에 없다고 생각됩니다.(경험이 짧아서..)
S.M.A.R.T등의 디스크관리유틸리티를 설치하여, 하드디스크의 수명과,
I/O 상태, 디스크 사용율등을 체크하시고 관리하시는게 좋을듯 합니다.
하드디스크가 깨지는 이유는 거의 물리적 손상이 대부분이라고 봅니다. 물론 안전하지 못한 fsck사용등도 있지요..
뭐.....하드웨어적 손상은 인재도 있지만 천운도 있다고 생각되기때문에 (어디다 핑계를....ㅡ,.ㅡ:::)
원천적인 방지는 불가능하다고 생각됩니다.....
윗선에서 자꾸 백업에 대한 중요성을 무시하고 무조건 하드깬다고 화내면..............아예 건들지를 말아버리세요 ㅎㅎ
아님 write를 막아버리든지...
세상에 영원한건 없듯, 쓰면 쓸수록 무엇인가 소멸되 가는건 이치입니다....
내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.
내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.
확인을하고 댓글이
확인을하고 댓글이 너무 늦었네요.. ;;
S.M.A.R.T 등등의 유틸을 확보하여 사용해 봐야겠어요.. 백업은 당분간은 힘들듯 하니.. 그동안 관리를 해 볼수 있는한
해봐야죠..
계속해서 지쳐가네요.. '..' 이게 많다는건 한숨만 나온다는건데..
입사 7개월차.. 아주 어린 신입이지만.. 뭔가 이 상황을 해결할 돌파구를 찾지 않으면 계속 다운만 될것 같습니다.
조언해 주셔서 너무 감사드립니다.
모두다 하시는 일 다 대박 나기를~~!! 아자잣!!
raid5 같은 경우
raid5 같은 경우 일반적으로 사용하는 7200rpm 하드디스크들은 문제가 자주 생깁니다.
일반 디스크는 에러를 레이드에게 보고하지 않고 혼자해결하지 않기 때문에 레이드가 잘 풀려버리고
일단 풀린 후에는 raid5는 여유 디스크가 하나 이기 때문에 알려지지 않은 배드섹터가 있으면.. 복구가 힘들어지는 경우가 많습니다.
물론 스트라이프에 비하면 매우 안정적이기는 하지만 고가의 카드에 레이드5+일반 디스크조합보다는
그냥 저렴한 카드의 레이드1(혹은 10)+일반디스크 조합이 더 좋은 선택이라고 생각합니다. 요즘은 디스크가 싸서 가격도 별 차이 않날껍니다.
스트라이프에 데이터를 저장하는 것은 절대 안된다고 생각하시길..
감사합니다.^^ 그
감사합니다.^^
그 절대 안된다는 생각에는 100% 동의합니다. 하지만.. 제마음대로 할수가 없어요..
후.. ;; 그래서 일단 서버관리쪽을 확실히 해주면서 제 밥그릇의 영역을 넓힌뒤에 건의를 해보려고 합니다.
조언 감사드립니다!
low level format에
low level format에 치료/수리 기능은 없죠.
단지 지우는 기능만 존재합니다. 따라서 논리적 에러(실수로 배드섹터라고표시한부분)을 지워버려서 마치 수리한 것처럼 보이는데 수리가 아니죠.
다면 HDD업체에서 제공하는 진단용 프로그램은 불량섹터를 정상섹터로 재배치해줘서 치료하는 기능이 있습니다.
실수로 배드섹터라고 표시한 부분도 사실은 여러번 사용하다가 한번 안되서 처리된 경우가 대부분을 텐데 불리적 배드가 아니라고 생각하는 것도 문제가 있습니다.
케이블이나 다른 문제로 그렇게 된거라면 다른 경우지만..
+++ 여기부터는 서명입니다. +++
국가 기구의 존속을 위한 최소한의 세금만을 내고, 전체 인민들이 균등한 삶을
영위할 수 있는 착취가 없는 혁명의 그날은 언제나 올 것인가!
-- 조정래, <태백산맥> 중에서, 1986년
+++ 여기부터는 서명입니다. +++
국가 기구의 존속을 위한 최소한의 세금만을 내고, 전체 인민들이 균등한 삶을
영위할 수 있는 착취가 없는 혁명의 그날은 언제나 올 것인가!
-- 조정래, <태백산맥> 중에서, 1986년
조언
조언 감사드립니다.
그럼 badblock 검사시 badblock이 나오는 경우 그HDD를 쓸수 있는 방법은 딱히 없는건가요?
말씀하신 HDD 업체에서 제공하는 진단용 프로그램 말고는...
badblock 이 있는 HDD는 사용하지 말라고 하던데요.. 여지껏 badblock에 그다지 신경을 안쓰고 있었는데.. 이번에 알아보면서
badblock이 큰 문제가 될수 있다는 것을 알았습니다.
레이드
저같은 경우 미러링등 레이드에 의한 대책이 세워져 있지 않은 머신은 관리업무자체를 절대 떠맡지 않습니다. 돈쓰기 싫으면 당연히 위험을 감수해야지요.
중요한 데이터라면 거기에 테이프나 디스크백업은 당연히 기본이지요. 서버가 100대건 200대건 들어오면 처음에 테입으로 풀백업 뜨고 그다음에 매달 증분데이터는 스크립트짜서 자동으로 백업서버로 전송하도록 합니다. 반년에서 1년분 정도 저장하고 그이상 지나면 지우지요.
대부분의 하드디스크문제는 미러링정도만으로도 충분히 방어가 가능합니다. 요즘은 SATA용 미러링 카드도 많이 나와서 저렴하게 구성이 가능하더군요.
그럼 이만 총총...[훈]
http://elflord.egloos.com
===== ===== ===== ===== =====
그럼 이만 총총...[竹]
http://elflord.egloos.com
감사합니다. 어떻게
감사합니다.
어떻게 해서 서버관리직을 맡게 되었고.. 아무것도 모르는 상태에서 네네.. 하다보니 여기까지 오게 되었네요..ㅜㅜ;
당연히 백업을 기본으로 생각해야 되는데.. 정책이 그렇지가 않으니 제가 더이상 뭐라 건의할 여지가 없구요..
그냥 죽이지 말라고.. 죽이지 않는 방법을 강구해봐야 될것 같습니다.
^^
댓글 달기