리눅스에서 굉장히 많은 파일을 빠르게 복사할때 질문입니다.

hoochoona의 이미지

약 30~50만개의 파일을 다른 곳에 복사해야할 일이 있습니다.

cp보다는 아래처럼 압축하고 푸는 형태로 파일을 복사하니 굉장히 빠르게 되더라구요.

tar cf - . | ( cd destdir ; tar xf - )

tar가 싱글 스레드라는 이야기를 들었습니다. 아래는 그 링크입니다.
http://compgroups.net/comp.os.linux.misc/why-tar-bz2-gz-is-single-thread/589756

여기서 말하기를 pbzip2, 병렬 bzip2는 멀티 스레드로 동작한다고 합니다.

옵션을 보아하니 bzip2와 pbzip2는 많이 유사하는데요.

제가 궁금한건 tar 로 파일을 복사하는 명령어를 bzip2로 할 수 있는가입니다.

얼추 비슷한 옵션으로 조합해서 해보는데 되질 않는군요.

bzip2로 된다면 pbzip2로 시도해서 병렬으로 복사가되면 정말 빠른 복사가 아닐까 생각이 들어서요...

고수님들에게 조언을 구하고자 합니다.

hoochoona의 이미지

생각해보니까
한 명령어로 하는게 아니라
압축명령, 풀기명령 따로 하면 다른 압축 프로그램으로도 할 수 있네요.

-----------------------------
안녕하세요. 후추나입니다.
http://blog.naver.com/chhh92
...
실패는 좋은 경험치.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.