서버 백업정책과 스크립트에 대한 질문입니당..

mirr의 이미지

안녕하세요...또다시 질문을 올리게 됩니다.
백업을 현재 매일 새벽 5시 크론탭을 이용해서, 디비백업, 웹설정, 보관할데이타 이 세개를
날짜별로 압축한 뒤 ncftpput을 이용하여 다른 백업용 서버에 옮겨놓을려 고 합니다.
그런데 이놈의 ncftpput이 잘 안먹는군요...백업은 잘 되지만 백업서버로의 전송이 되질 않습니다.

ncftpput의 명령입니다.

ncftpput -u backup -p'******' backup.back.com
/home/backup/DB-2006-02-14.tar.gz

이렇게 했습니다. 그런데 안되요. 백업서버의 계정은 backup으로 만들어 놓았고,
패스워드또한 맞게 설정해 준 상태입니다.

어떻게 하면 백업서버로의 전송이 잘 이루어 질지 도움좀 부탁드립니다.

아참 그리고 아파치 로그를 분석해서 접속시도와 에러메시지를 쉽게
통계를 내고 확인해야 합니다.
webalize에 대한 검색을 해봤는데 웹관리자가 아닌 단순 기획자 및
기획관리자가 보기엔
조금 부족한 면이 있다는군요..

좋은 웹로그분석툴에 대한 추천도 해주시면 감사하겠습니다....

ydhoney의 이미지

우선 굳이 ftp를 써야하는 입장이 아니라면(이를테면 파일이 엄청나게 대용량이다 하는 경우 ftp외에는 답이 별로 없겠지요?) scp를 이용하는게 제일 편할듯 싶구요.(주기적 tar 압축 후 scp로 copy..)

ncftpput이라면..정확한 사용법은

ncftpput -u <ID> -p <PASSWORD> <IP 혹은 hostname 혹은 Domain> <원격서버의 파일을 전송하고자 하는 디렉토리 위치> <로컬서버 파일이름>

이런방식입니다. 그러니까 지금 상황에서는 원격서버의 어디다가 파일을 갖다줄지 원격서버 위치를 지정하지 않으신것이구요.
(근데 궁금한것이..password를 굳이 따옴표처리를 해야하던가요? 전 그냥 쓰고 있어서 말이지요. -_-a)

웹로그 분석과 관련해서는 정확하게 웹로그를 통해서 무엇을 알기를 원하시는지 본인의 생각을 정리하실 필요가 있으실 듯 한데요. 명확하게 본인이 무엇을 원하시는지를 순서대로 쭈욱 정리해보고, 되도록 한가지 툴만 가지고 했으면 좋기야 하겠지만 모든것을 만족하는 툴이 없다는 점을 명심하고 두세개정도의 툴을 도입해야 한다는것을 기본적으로 염두에 두시는것이 좋을 듯 싶습니다.

1day1의 이미지

제가쓰는 옵션입니다.
ncftpput -u 아이디 -p 암호 -d /tmp/ncftp_debug_file -r 2 -m -E 서버주소 전송폴더 전송파일

-d 는 전송상황로그기록 하는 것이었던 것 같고,
-r 2 는 2번 재시도. -m , -E 는 정확히 모르겠네요.(man 을 보면 나올듯 )

F/OSS 가 함께하길..

mirr의 이미지

그렇군요..역시 야동하니님의 답변이 등불이 되어주는군요 히힛..
전송될 데이타 용량이 gzip압축으로 600메가가 넘어갑니다...
파일수는 이런게 4개쯤되구요.. 이렇다면 ftp가 낳은게 맞을까요?
패스워드부분에 따옴표 처리의 이유는 특수문자를 암호로 넣었는데,
특수문자로 생기는 문제들때문입니다^^

그리고 웹로그를 분석해야 하는 것은 제가 분석한다기보단,
회사에서 서비스하고 있는 것중 한 사이트 운영 및 기획자가
아파치(웹)접속자들에 대한 내용을 보고 통계도 좀 내고, 에러로그도
살펴서 뭔가 통계를 내고싶다는군요..
정확한 것은 일단 그 기획자와 얘기를 더 해봐야 할듯 하구요..

웹얼라이즈를 얘기해봤더니 다른분께서 다른 툴들도 알아보라고 하셔서 알아보는 중이였답니당^^
일단 웹얼라이즈를 설치하고 보여준뒤 필요한 요구사항을 알아봐야 겠지요..
감사합니다^^

내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.

ydhoney의 이미지

[極 wrote:
미르[眞]"]그렇군요..역시 야동하니님의 답변이 등불이 되어주는군요 히힛..
전송될 데이타 용량이 gzip압축으로 600메가가 넘어갑니다...
파일수는 이런게 4개쯤되구요.. 이렇다면 ftp가 낳은게 맞을까요?

그리고 웹로그를 분석해야 하는 것은 제가 분석한다기보단,
회사에서 서비스하고 있는 것중 한 사이트 운영 및 기획자가
아파치(웹)접속자들에 대한 내용을 보고 통계도 좀 내고, 에러로그도
살펴서 뭔가 통계를 내고싶다는군요..
정확한 것은 일단 그 기획자와 얘기를 더 해봐야 할듯 하구요..

웹얼라이즈를 얘기해봤더니 다른분께서 다른 툴들도 알아보라고 하셔서 알아보는 중이였답니당^^
일단 웹얼라이즈를 설치하고 보여준뒤 필요한 요구사항을 알아봐야 겠지요..
감사합니다^^


백업 자체는 백업 용량도 문제가 되겠지만 실제로 scp를 쓰던 ftp를 쓰던 그것은 상관이 없습니다. 단지 백업동작을 위해서 어느정도 시스템 자원을 사용할 시간이 있다면 괜찮지만 일반적인 경우 되도록 자원사용 시간을 최소화하는것이 좋기때문에 scp로 이동할 정도로 작다거나, 혹은 IDC내에서 트래픽 사용량에 따른 추가 이용료 부담등의 문제만 아니라면 ftp를 사용하는것이 가장 효율적일 것입니다.

로그쪽은 우선 몇가지 괜찮은 툴들을 찾아서 보여주시구요. (일반적으로 알려진 툴들도 좋습니다만 freshmeat에서 좀 더 찾아보시면 정말 괜찮은 툴들 많습니다.)

나름데로 찾아서 보여줬는데 반응이 시큰둥하다 싶으시면 그냥 상용분석툴 도입하는게 나을겁니다.(비용적인 문제와 관리적인 문제등이 함께한다면 야예 그냥 상용웹서버 도입하고 그 웹서버에서 제공하는 그래피컬한 관리자 인터페이스와 다이나믹한 로그 분석형태를 이용하시는것이 나을수도 있습니다)

mirr의 이미지

ydhoney wrote:
[極 wrote:
미르[眞]"]그렇군요..역시 야동하니님의 답변이 등불이 되어주는군요 히힛..
전송될 데이타 용량이 gzip압축으로 600메가가 넘어갑니다...
파일수는 이런게 4개쯤되구요.. 이렇다면 ftp가 낳은게 맞을까요?

그리고 웹로그를 분석해야 하는 것은 제가 분석한다기보단,
회사에서 서비스하고 있는 것중 한 사이트 운영 및 기획자가
아파치(웹)접속자들에 대한 내용을 보고 통계도 좀 내고, 에러로그도
살펴서 뭔가 통계를 내고싶다는군요..
정확한 것은 일단 그 기획자와 얘기를 더 해봐야 할듯 하구요..

웹얼라이즈를 얘기해봤더니 다른분께서 다른 툴들도 알아보라고 하셔서 알아보는 중이였답니당^^
일단 웹얼라이즈를 설치하고 보여준뒤 필요한 요구사항을 알아봐야 겠지요..
감사합니다^^


백업 자체는 백업 용량도 문제가 되겠지만 실제로 scp를 쓰던 ftp를 쓰던 그것은 상관이 없습니다. 단지 백업동작을 위해서 어느정도 시스템 자원을 사용할 시간이 있다면 괜찮지만 일반적인 경우 되도록 자원사용 시간을 최소화하는것이 좋기때문에 scp로 이동할 정도로 작다거나, 혹은 IDC내에서 트래픽 사용량에 따른 추가 이용료 부담등의 문제만 아니라면 ftp를 사용하는것이 가장 효율적일 것입니다.

로그쪽은 우선 몇가지 괜찮은 툴들을 찾아서 보여주시구요. (일반적으로 알려진 툴들도 좋습니다만 freshmeat에서 좀 더 찾아보시면 정말 괜찮은 툴들 많습니다.)

나름데로 찾아서 보여줬는데 반응이 시큰둥하다 싶으시면 그냥 상용분석툴 도입하는게 나을겁니다.(비용적인 문제와 관리적인 문제등이 함께한다면 야예 그냥 상용웹서버 도입하고 그 웹서버에서 제공하는 그래피컬한 관리자 인터페이스와 다이나믹한 로그 분석형태를 이용하시는것이 나을수도 있습니다)

아..감사합니다 근데, 트래픽에 대한 대목이 잘 이해가 안가는데요,
ftp를 이용하는게 트래픽에 대한 부담이 더 적어진다는 것인가요?
아니면 scp를 이용하는게 작다는 건가요? ftp를 이용하는게 낳을듯 한데요..^^
이런 늦은 일요일 저녁 안주무시고 뭐하시는지 히힛...
감사합니당...놀다가 이제서야 생각나서 질문올렸는데 모두들 답변달아주셔서^^

내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.

ydhoney의 이미지

[極 wrote:
미르[眞]"]
ydhoney wrote:
[極 wrote:
미르[眞]"]그렇군요..역시 야동하니님의 답변이 등불이 되어주는군요 히힛..
전송될 데이타 용량이 gzip압축으로 600메가가 넘어갑니다...
파일수는 이런게 4개쯤되구요.. 이렇다면 ftp가 낳은게 맞을까요?

그리고 웹로그를 분석해야 하는 것은 제가 분석한다기보단,
회사에서 서비스하고 있는 것중 한 사이트 운영 및 기획자가
아파치(웹)접속자들에 대한 내용을 보고 통계도 좀 내고, 에러로그도
살펴서 뭔가 통계를 내고싶다는군요..
정확한 것은 일단 그 기획자와 얘기를 더 해봐야 할듯 하구요..

웹얼라이즈를 얘기해봤더니 다른분께서 다른 툴들도 알아보라고 하셔서 알아보는 중이였답니당^^
일단 웹얼라이즈를 설치하고 보여준뒤 필요한 요구사항을 알아봐야 겠지요..
감사합니다^^


백업 자체는 백업 용량도 문제가 되겠지만 실제로 scp를 쓰던 ftp를 쓰던 그것은 상관이 없습니다. 단지 백업동작을 위해서 어느정도 시스템 자원을 사용할 시간이 있다면 괜찮지만 일반적인 경우 되도록 자원사용 시간을 최소화하는것이 좋기때문에 scp로 이동할 정도로 작다거나, 혹은 IDC내에서 트래픽 사용량에 따른 추가 이용료 부담등의 문제만 아니라면 ftp를 사용하는것이 가장 효율적일 것입니다.

로그쪽은 우선 몇가지 괜찮은 툴들을 찾아서 보여주시구요. (일반적으로 알려진 툴들도 좋습니다만 freshmeat에서 좀 더 찾아보시면 정말 괜찮은 툴들 많습니다.)

나름데로 찾아서 보여줬는데 반응이 시큰둥하다 싶으시면 그냥 상용분석툴 도입하는게 나을겁니다.(비용적인 문제와 관리적인 문제등이 함께한다면 야예 그냥 상용웹서버 도입하고 그 웹서버에서 제공하는 그래피컬한 관리자 인터페이스와 다이나믹한 로그 분석형태를 이용하시는것이 나을수도 있습니다)

아..감사합니다 근데, 트래픽에 대한 대목이 잘 이해가 안가는데요,
ftp를 이용하는게 트래픽에 대한 부담이 더 적어진다는 것인가요?
아니면 scp를 이용하는게 작다는 건가요? ftp를 이용하는게 낳을듯 한데요..^^
이런 늦은 일요일 저녁 안주무시고 뭐하시는지 히힛...
감사합니당...놀다가 이제서야 생각나서 질문올렸는데 모두들 답변달아주셔서^^

아니요. ftp등을 사용하여 대용량(물론 IDC관련한 문제는 거진 수십~수백GB일 경우의 문제입니다만..)의 파일 전송시 라우팅이 어떻게 되느냐에 따라서 트래픽을 유발시킬 수 있는데 이럴 경우 ftp보다는 scp가 프로토콜 특성상 훨씬 더 천천히 이동하기 때문에 ftp를 사용함으로써 생기는 트래픽 hit 현상을 막아줄 수 있는것이지요. 트래픽이 치솟아버리면서 어느 순간부터 요금이 막막 올라가고 있는 모습을 보실 수 있을것입니다. ^^ IDC에 따라서 요금정책이 다르니 이 부분은 IDC에 확인하면 됩니다.

mirr의 이미지

답변 감사합니다..^^

그런데 이놈의 백업정책때문에 골머리가 아파지고 있어요...
이제겨우 3주차인데 백업때문에 용량이 가득가득차버려서
매번 백업처리하느라 아침마다 바쁘답니다...

서버 한개는 제온 3.66 4개에 하이퍼쓰레딩이고, 램 8기가인데
하드가 60기가뿐이 안돼버리더라구요...
디비백업용량이 20기가쯤이고, 매일 대략 2기가정도씩 증가하는듯한데,
이거이거..하드를 증가시켜야 하는건 기본이지만 백업정책도
고심해야 할듯 해서말이죠....

하드를 어느정도로 증가시켜야 하나요? 이런 대용량의 자료를 생성시키는
서버에선 저장용량을 어떻게 확보하고, 어떻게 관리하는지 알고싶습니다 ㅜ.,ㅜ
머리아파요 ㅜ,.ㅜ::

추가 : 아참, 스토리지서버도 어디선가 돌아가고 있다고는 하는데,
스토리지 서버가 물려있는(맞나..) 메인이 어딘질 모르겠답니다..
스토리지서버로 들어가는 법을 모른데요....
스토리지 서버는 OS를 따로 갖지 않고있겠죠? 하드의 개념 아닌가요?
경험이 없다보니 ㅜ.,ㅜ

추가2: 서버 용량을 증설해야 한다면 어떻게 해야하는가요?
어느정도의 하드를 추가시켜야 하고, 가격은 얼마나 하는지 다 체크해야 하는거겠죠?

내 마음속의 악마가 자꾸만 나를 부추겨.
늘 해왔던 것에 만족하지 말고 뭔가 불가능해 보이는 것을 하라고 말야.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.