gzip 과 compress의 성능비교

ju02g의 이미지

대용량 파일(?)에 대한 압축성능 비교작업을 하고 있는중 질문드립니다. 작업중인 장비는 spac 의 solaris 8을 사용하고 있는데 1G정도의 파일의 압축시간 및 성능에 대해서 비교하고 있습니다.

그런데 제가 알기로는 gzip이 compress에 비해서 성능이나 시간면에 모두 더 우수하다는걸로 알고있는데 실제로 테스트를 해보니 결과가 약간다르게 나와서 문의드립니다. 테스트파일은 바이너리파일입니다.

=======================================
테스트 파일

#du -sk undotbs01.dbf
911824 undotbs01.dbf

gzip 이용시 작업

# date;time gzip undotbs01.dbf;date
Sun May 29 04:32:19 KST 2005

real 2:37.1
user 2:30.5
sys 3.5
Sun May 29 04:34:57 KST 2005

# date;time gzip -d undotbs01.dbf;date
Sun May 29 04:37:41 KST 2005

real 44.5
user 19.5
sys 4.9
Sun May 29 04:38:25 KST 2005

# du -sk *.gz
150872 undotbs01.dbf.gz

compress 이용시

# date;time compress undotbs01.dbf;date
Sun May 29 04:42:41 KST 2005

real 1:31.2
user 1:21.2
sys 5.6
Sun May 29 04:44:12 KST 2005

# date;time uncompress undotbs01.dbf;date
Sun May 29 04:46:36 KST 2005

real 1:05.7
user 37.2
sys 5.8
Sun May 29 04:47:42 KST 2005

# du -sk *.Z
192040 undotbs01.dbf.Z
====================================

작업시간면에서는 compress가 빠르고 압축률은 gzip이 높더군요..그런데 성능을 더올리기 위해서 nice명령어를 사용해서 작업을 해보았습니다..

=====================================
nice 적용시 gzip 성능

# date;nice -15 time gzip undotbs01.dbf;date
Sun May 29 04:53:17 KST 2005

real 2:37.7
user 2:31.0
sys 4.4
Sun May 29 04:55:54 KST 2005

# date;nice -15 time gzip -d undotbs01.dbf;date
Sun May 29 04:59:31 KST 2005

real 44.3
user 19.1
sys 5.4
Sun May 29 05:00:15 KST 2005

nice적용시 compress 성능

# date;nice -15 time compress undotbs01.dbf;date
Sun May 29 06:35:29 KST 2005

real 1:30.1
user 1:21.5
sys 4.8
Sun May 29 06:36:59 KST 2005

# date;nice -15 time uncompress undotbs01.dbf;date
Sun May 29 06:39:12 KST 2005

real 1:06.2
user 37.0
sys 6.1
Sun May 29 06:40:18 KST 2005

=====================================

System 에서 서비스를 하고있는것이 아무것도없어서 인지 모르겠지만 nice 명령어를 이용해서 작업을 하고도 성능에 대한 변화가 없네요... cpu 사용률이 nice를 사용하나 사용하지 않으나 40% ~ 47%정도로 비슷합니다..
실제 서비스가 되고 있는 시스템에서는 얼마만큼 차이가 날지 궁금하네요..

1G 정도의 파일(대용량?)을 용량을 빠른시간에 효율성 좋게 줄여서 사용방법및 gzip, comprees 에 대한 성능문서등. 이런쪽의 테스트 및 관련 내용들의 이야기를 듣고 싶습니다.

실제로 구술된 gzip, compress문서는
http://member.hitel.net/~himaster/edu/shell/filearchiv.html 에서 명령어 설명시 gzip이 성능이 좋다.. 이렇게만 나와있네요..

익명 사용자의 이미지

요즘은 아무도 compress 안씁니다. 압축율이 워낙 구려서...

warpdory의 이미지

gzip 은 라이센스 문제를 피해가기 위해서 속도를 어느정도 희생하고 있습니다.

gzip 에서 보다 높은 압축률을 바라시면 -9 옵션을 주시면 됩니다.

gzip -9 압축할 파일 이름 .. 이렇게 주시면 됩니다.
gzip 보다는 bzip2 가 보다 높은 성능을 보여줍니다. 옵션은 역시 같습니다.


---------
귓가에 햇살을 받으며 석양까지 행복한 여행을...
웃으며 떠나갔던 것처럼 미소를 띠고 돌아와 마침내 평안하기를...
- 엘프의 인사, 드래곤 라자, 이영도

즐겁게 놀아보자.

ju02g의 이미지

warpdory 말을 듣고 gzip 에서 -9 옵션을 이용해서 테스트 해보았습니다.

# time gzip -9 undotbs01.dbf
real 22:57.6
user 22:53.2
sys 4.1

# du -sk *.gz
135888 undotbs01.dbf.gz

기존 gzip으로그냥 압축시보다 -9옵션 사용시 15Mbyte 정도 더 줄어드네요.. 그런데 시간은 10배까지는 아니더라도 비약적으로 증가하네요.. OTL

음~ 잘 절충해서 사용해야 할듯합니다.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.