[완료] bash read 의 한번의 읽는 양 조절

http://kldp.org/node/81492 에서 이어지는 질문이로군요 :-)

일단 "man bash"에서 read 명령에 대한 도움말을 보시면 아실 수 있듯 "-n" 옵션을 통해 읽어들이는 글자의 최대 개수를 지정할 수 있습니다. 그렇다면 이렇게 시도해 볼 수 있겠군요.

while read -n 256 chars; do echo "${chars}"; sleep 0.1; done < filename

근데 이렇게 하면 256글자가 넘는 행이 줄줄이 쪼개지는 문제가 발생합니다. 한편으로, 256글자 이하의 행은 한 줄씩 읽어들이면서 sleep을 합니다. (수십만 행의 로그 파일에서는 대략 무시무시한 일이죠.) 이건 결국 read가 개행문자를 만나면 읽기를 중단하는 문제 때문입니다.

그렇다면 이렇게 시도해 볼 수도 있습니다. 일단 delimiter라는 파일을 만들어서 다음과 같은 문자를 하나 덜렁 집어넣습니다.

%

단, 이 문자는 압축하려고 하시는 로그 파일에 내에는 존재하지 않는 문자여야 합니다. grep으로 찾아보시... 이런, 그러면 CPU 사용량이 올라가면서 경보가 울리겠군요 :-)

뭐, 여튼 집어넣은 다음에;; 다음과 같은 식으로 명령을 내려주시면 됩니다.

cat some.log delimiter | while read -d "%" -n 25600 chars; do echo -n "${chars}"; sleep 0.1; done

하지만 이렇게 해도 역시 개행문자 때문에 가끔씩 2개의 줄이 하나로 이어져서 출력되는 문제가 발생합니다. 뭔가... 개행문자에 대한 '특단의 조처'가 필요한 상황입니다.

개행문자까지도 아예 인코딩을 해버려서 read 명령이 손대지 못하도록 해버리면 어떨까요? 그래서 이메일이나 암호화 프로그램 등에서 종종 쓴다는 base64 인코딩을 이용해 봤습니다. 압축을 하는 명령까지 함께 추가했습니다.

uuencode -m some.log - | cat - delimiter | while read -d "%" -n 25600 chars; do echo -n "${chars}"; sleep 0.1; done | uudecode | gzip -c - > some.log.gz

(헥헥~) 이렇게 하니 제 PC에서 30%가 좀 넘는 CPU 사용량을 보이면서 40MB로 로그 파일을 압축하는데 6분이 걸리더군요...

근데 파이프를 줄줄이 이어붙여서인지 bash 프로세스가 CPU 사용량의 대부분을 차지합니다. 한편으로 -n 옵션의 값을 크게 하면 처리 속도는 빨라지지만 bash의 CPU 사용량이 팍팍 증가합니다. 또한 sleep 시간을 줄여도 bash의 CPU 사용량이 증가합니다.

bash 프로세스가 대부분의 CPU 시간을 차지하는 건 배보다 배꼽이 큰 상황이죠:-) 그리하여... 원래 글에서 익명사용자님께서 작성해 주신 프로그램을 이용하는 것을 추천합니다.

& 덕분에 재밌게 놀아봤습니다.

&& 정작 딱 떨어지는 솔루션은 제공해 드리지 못했군요:-) 그건 이후 나타나실 어느 쉘스크립트 구루님께서...;;
----
$PWD `date`