4테라 백업 받으려면 어떤 솔루션이 좋을까요?
글쓴이: preisner / 작성시간: 화, 2004/01/13 - 9:11오전
안녕하세요.
이번에 저희 회사에서 백업 솔루션을 도입하려고 하는데요.
백업 받아야 할 용량이 4테라 입니다.
NAS를 이용해서 백업을 받고 있는데
파일백업의 경우 1M 미만의 작은 파일들이 대부분이라 그런지
풀백업의 경우 50시간이 조금 넘게 걸리는것 같습니다.
시스템 구성에도 문제가 있는듯 하고요..
4테라 바이트 정도를 빠르게 백업 받기 위해서
시스템을 어떤식으로 구성을 하는게 좋을 까요?
제 바램은 24시간 안에 풀 백업이 완료 될 수 있는 솔루션이 있다면
좋겠습니다만..
도움 부탁 드립니다.
Forums:
Gigabit을 장착해서 백업을 받으세요.백업받고자 하는 서버는 여러
Gigabit을 장착해서 백업을 받으세요.
백업받고자 하는 서버는 여러대고, NAS는 한대로 보이는데, 100Mbps를 통해서 백업을 받으시는 듯하니 아무래도 속도가 못버티는 것 같네요.
현재 가지고 있는 NAS에 기가비트가 장착이 가능한지를 살펴보시고 안된다면 새로운 NAS를 구축하는게 맞을 겁니다. 서버+IDE Storage+기가비트 시스템으로 NAS를 구축하고, 백업을 해야하는 서버들에게 1000T 기가비트를 다 꽂은 다음에 기가비트 네트웍으로 백업을 받으면 충분히 가능할 겁니다.
필요한 사항이 있으시면 메시지 보내세요.
--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러
스토리지를 사용해 보세요...
요즘에 그런 문제들이 많이 대두되고 있더군요..
많은 데이터를 빠른 시간에 백업을 받기 원하는 경우요.
그래서 요즘에는 스토리지 백업을 스토리지로 하는 경우가 많이 있습니다.
아니면 LTO를 사용하기도 하죠.
LTO보다는 스토리지가 백업 속도가 빠를걸요. 아마도.
10기가 솔루션으로 가는것도 좋을듯합니다..
백업할 데이터가 여러서버에있다면 병목현상은 백업장치에 걸리게 되어있으니 우선은 백업장치의 대역폭을 확장해야겠네요..
백업할 데이터가 많은 서버라면 1기가나 10기가 이더넷을 장착하시고, 가능하다면 백업장치에도 10기가 이더넷카드를 장착하면 좋겠네요..
가격부담이 있다면 백업장치에 기가인터페이스를 두세개 붙여서 써도 좋을듯합니다.
요즘 10기가이더넷 시장이 슬슬 열리기 시작하니까 10기가도 고려해볼만합니다..
^^;;
말씀은 감사합니다만,이미 Giga ethernet이 연결된 상태 입니
말씀은 감사합니다만,
이미 Giga ethernet이 연결된 상태 입니다.
모니터링해 본 결과는
network 문제는 아닌것 같네요.
데이터를 읽어오는 I/O에 문제가 있는듯 한데
작은 파일이 많아서 인것 같습니다.
요즘 나온 Flash Backup 방법에 대해 혹시 아시는 지요.
작은 파일들의 백업에 최적이라고 하고 속도도 빠르다고 하는데
도입했을때 문제는 없을까요?
음... Flash Backup이 정확하게는 뭔지 모르겠지만... 어쨌던
음... Flash Backup이 정확하게는 뭔지 모르겠지만... 어쨌던, IO Bounded 되었을 가능성이 농후하군요.
정확한 백업할 서버와 NAS의 사양이 어떤지는 모르겠지만, 일단 어림잡아서 계산을 해보면...
1. 백업서버에는 SCSI 160 (혹은 320) 하드가 달려있다고 가정하면, 이거 hdparm 등으로 속도를 재어보면 잘나와봐야 50~60MB/sec 입니다.
2. NAS는 RAID로 구성되어 속도가 상당히 빠르다고 보지요.
3. 기가비트 이더넷으로 연결되어 있다고 할때, 네트웍속도를 netpipe등으로 재어보면 32bit/33Mhz 기가비트의 경우 최대속도는 잘나와봐야 450~500Mbps 입니다. 물론 이것도 패킷사이즈가 1Mbyte정도일때입니다. 64/66Mhz 기가비트의 경우 약 850~950Mbps정도 나옵니다.
지금 NAS를 사용한다고 말씀하신것으로 봐서, NAS를 NFS로 마운트하고 여기 디렉토리에 cp등을 통해서 파일을 백업하는거 같은데... (맞나요?) 어쨌던 이렇게 할 경우 아무리 파일사이즈가 크다고 해도, 결국 NFS에서 정해진 rsize나 wsize가 32K 단위로 보통 세팅이 되겠지요.
그런데, 기가비트의 경우 32Kbyte 사이즈 패킷을 전송한다고 할 경우에는 잘해야 200Mbps 정도의 bandwidth를 얻기가 힘들겠지요.
이런 저런 조건을 고려해본다면 SCSI HD에서 Gigabit을 통해서 다른 SCSI HD로 파일을 카피할 경우 최대로 잘 나와야, 30~40MB/s 정도의 전송속도를 얻을 수 있다고 보면 얼추 맞을 겁니다.
40MB/s라고 한다면 4TB를 옮길려면 최소한 100,000sec가 필요할 것이고, 시간으로 환산하면 대충 27시간 정도 걸리겠지요.
그런데, 지금 약 50시간 걸린다고 하시는걸로 봐서, 초당 30~40MB/s 가 아니라 초당 약 10MB 정도 전송이 되는 것 같군요.
이상에서 본다면 궁금한 것이...
1. 로컬서버의 HD IO 속도
2. NAS의 HD IO속도
3. 기가비트의 패킷전송 속도(netpipe로 재어보세요)
등에서 그나마 위에 얼추 계산한 만큼 짜낼 수 있는 부분이 어딘지를 확인해봐야할 것 같읍니다. 그리고, NAS의 정확한 스팩도 궁금하네요.
그리고, 파일사이즈 때문이라고 추정하신다면 이건 tar로 적당히(약 100Mbyte 정도) 묶어서 전송을 해본다음에 어떤 정도의 속도가 나오는지 비교해보십시오.
그리고, ftp로 전송하신다면, 아마 nfs cp보다 더 느릴수 있다고 보입니다. nfs의 경우는 buffer에 넣었다가 한번에 어느정도 사이즈씩 전송하지만, ftp는 파일하나하나마다 connection을 재연결해야하므로 아마 속도차이가 좀 나겠지요.
눈으로 좀 봐야 더 잘알거 같은데 ^^
--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러
파일 하나하나로 백업 받는건 당연히 HD IO 병복을 일으킬 수 밖에 없
파일 하나하나로 백업 받는건 당연히 HD IO 병복을 일으킬 수 밖에 없을 듯 합니
다. 파일 하나를 읽기 위해 슈버블럭-> 데이타 블럭 을 읽을텐데 데이타 블럭에
저장된 파일이 조각나 있다면 다연이 지연될테구요.
파일 단위가 아니라 파티션 단위로 하는건 어떨까요? 혹 그런 제품이 있을려나
모르겠군요. 저장 장치의 헤더 움직임을 최소화 하는 단위가 파티션 단위가 될듯
한데요.
screen + vim + ctags 좋아요~
...
플래시백업은 IBM 메인프레임급에서 쓰는거같던데요...
백업스토리지뿐아니라 전체를 새로 사야할텐데 아마 그 가격이 보통 스토리지에 열배는 될듯..
작은 파일이 많다면 어차피 시간은 걸리는거고, 플래시백업이나 dd 같은걸로 통째로 카피하지않는이상 파일 읽는 시간은 어쩔수 없죠..
그나마 조금 빠르게한다면 시간날때 미리 파일을 압축하는수밖에는...
그리고 여러대의 서버에서 동시에 백업장치에 접근한다면 백업장치의 대역폭도 모자랄수가있습니다..
시간이 오래걸린다면 mrtg같은 툴로 모니터링해보세요..
더불어 CPU, memory, disk io 도 같이 체크해보면 어느부분의 자원이 모자란지 명확히 드러날겁니다..
^^;;
cat /dev/hda1 > /another/file나중에
cat /dev/hda1 > /another/file
나중에 -o loop(루프백) 옵션으로 마운트 잘됩니다.
전 ghost대신으로 활요하고 있습니다.
중간 gzip같은 걸로 파이프를 걸어 압축하면서요. ㅎㅎ
There is no spoon. Neo from the Matrix 1999.
이렇게 해보시죠...
백업하는데 어떤식으로 하는지는 잘 모르겠지만... 저같은 경우도 NFS 로 mount 해서 cp를 이용했습니다. 사용자마다 남기는 파일이 각각 다량이라서 전체 사용자들이 남긴 파일들을 백업해야 했었는데...
tar로 붂어서 압축해서 옮겼죠... 주로 사용자들이 사용하지 않는 시간에 압축하고 카피... 아마 압축 할 양의 trade-off를 찾아보세요...
이런 방법이 있다니..
DOS로 부팅해서 ghost를 쓰곤 했는데, 지리즈님의 말씀대로라면 쉽게 하드 to 하드 카피가 가능하겠네요..물론 부팅도 아무 이상없이 가능하겠죠?
좀더 구체적인 말씀 주시면 고맙겠습니다.
One must, In fact, Love your pursuit
My home is below...Well, just go own your gait!
댓글 달기