리눅스에서 굉장히 많은 파일을 빠르게 복사할때 질문입니다.
글쓴이: hoochoona / 작성시간: 월, 2015/08/10 - 4:15오후
약 30~50만개의 파일을 다른 곳에 복사해야할 일이 있습니다.
cp보다는 아래처럼 압축하고 푸는 형태로 파일을 복사하니 굉장히 빠르게 되더라구요.
tar cf - . | ( cd destdir ; tar xf - )
tar가 싱글 스레드라는 이야기를 들었습니다. 아래는 그 링크입니다.
http://compgroups.net/comp.os.linux.misc/why-tar-bz2-gz-is-single-thread/589756
여기서 말하기를 pbzip2, 병렬 bzip2는 멀티 스레드로 동작한다고 합니다.
옵션을 보아하니 bzip2와 pbzip2는 많이 유사하는데요.
제가 궁금한건 tar 로 파일을 복사하는 명령어를 bzip2로 할 수 있는가입니다.
얼추 비슷한 옵션으로 조합해서 해보는데 되질 않는군요.
bzip2로 된다면 pbzip2로 시도해서 병렬으로 복사가되면 정말 빠른 복사가 아닐까 생각이 들어서요...
고수님들에게 조언을 구하고자 합니다.
Forums:
아!
생각해보니까
한 명령어로 하는게 아니라
압축명령, 풀기명령 따로 하면 다른 압축 프로그램으로도 할 수 있네요.
-----------------------------
안녕하세요. 후추나입니다.
http://blog.naver.com/chhh92
...
실패는 좋은 경험치.
댓글 달기