현재 위치

홈 ›› Forums ›› 공부 ›› 설치 및 활용 QnA

다량의 데이터 복사 관련 질문 입니다.

basaaja의 이미지
글쓴이: basaaja / 작성시간: 수, 2009/04/29 - 10:56오전

안녕하세요.

시스템 이전으로 약 30기가의 이미지 데이터를 다른 서버의 하드로 옮겨야 하는데

이리저리 문제가 생깁니다.

30기가의 이미지가 SCSI HDD에 담겨져 있는데 데이터의 갯수가 수백만건이라

일반적인 방법으로 백업을 하고 네트워크를 통해 이전 시키는데 거의 10시간이 걸립니다.

해당 서버는 USB 1.1 이라 외장 하드를 통해서도 옮기기 힘들고요.

그래서 생각한게 옮기려고 하는 서버에 (현재는 SAS 컨트롤러만 있음) SCSI 컨트롤러를

장착한 후에 하드를 분리하여 옮겨서 데이터를 복사하는 방법을 생각해 봤는데요. SCSI 컨트

롤러를 구매해야 한다는 단점이 생깁니다. 잘 될지도 확실하지 않고요 .

보통 이렇게 수백만건의 데이터를 이전할때 가장 효율적인 방법이 어떻게 되는지 궁금합니다.

Forums: 
설치 및 활용 QnA
hkimscil의 이미지

글쓴이: hkimscil / 작성시간: 목, 2009/04/30 - 12:51오후

그냥 제 생각인데요. . .
이전시스템의 하드디스크가 SCSI인가 봅니다. 그럼, 그냥 거기 controller를 뽑아서 새 서버에 사용한 후에 다시 이전 서버에 재장착하여 사용하면 안되나요?

creativeidler의 이미지

글쓴이: creativeidler / 작성시간: 목, 2009/04/30 - 1:14오후

저도 비슷한 상황이 어제 있었습니다. 33G, 10만개의 파일을 옮기는 일이었죠. 그냥 7zip으로 압축하고 wget으로 받았습니다. 7zip으로 압축하는데 7시간, wget으로 전송하는데 15시간 걸렸습니다. 지금은 다 받고 압축 푸는 중입니다-_-a 7zip 쓴 이유는 대용량 압축이 잘된다고 해서인데 정말 잘 되더군요. 7zip 감동입니다.

아뭏든 디스크 들고 IDC 왔다리 갔다리 하는 것보다는 차라리 시간 많이 걸려도 이게 나은 것 같습니다.

참고로, 시간이 더 많이 걸려도 된다면 wget이나 ftp의 mget에서 recursive 옵션으로 받을 수도 있습니다. 그러면 대략 5일 걸리겠더군요-_-a

spinelos의 이미지

글쓴이: spinelos / 작성시간: 목, 2009/04/30 - 5:33오후

바로 그냥 rsync 로 땡기면 백업하는 시간을 줄일수 잇어서 좀더 빠르지 않을까 합니다.. 그냥 데이타 이전 시간만 소요되니까요.

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.