나누어진 여러개의 바이너리 파일을 파이프로 넘길 때
글쓴이: mandugukbap / 작성시간: 목, 2010/06/10 - 5:08오전
여러개로 나누어진 바이너리 파일들을 스트림으로 파이프로 넘기려고 합니다. 예를 들어 이렇게 되는겁니다.
find /data/ -name "sliced-data*" -print | xargs zcat | myprogram
여기서 첫번째 파일이 끝나고 두번째 파일로 넘어가는 순간에 myprogram이 invalid input 같은 에러를 냅니다.
바이너리 스트림이 파일과 파일 사이에서 끊기기 때문에 생기는 문제 같은데, 나누어진 저 파일들을 마치 하나의 파일처럼 스트림 하는 방법이 없을까요?
Forums:
해 보신 분 안
해 보신 분 안 계신가요?
나눠진건 묶어서
나눠진건 묶어서 보내고 받는 쪽에서 풀면 될 것 같아요.
tar 잘 활용하면 될 듯... (무책임)
fifo 를 이용하면요
fifo 를 이용하면요 ?
[bushi@rose tmp]$ echo "hello" > h.t [bushi@rose tmp]$ echo "world" > w.t [bushi@rose tmp]$ gzip h.t [bushi@rose tmp]$ gzip w.t [bushi@rose tmp]$ mkfifo fifo [bushi@rose tmp]$ find -name "*.gz" -exec zcat {} \; > fifo & [1] 17849 [bushi@rose tmp]$ cat fifo hello world [1]+ Done find -name "*.gz" -exec zcat {} \; > fifo [bushi@rose tmp]$OTL
bash 혹은 작성하신
bash 혹은 작성하신 myprogram 둘 중 하나에 버그가 있는 겁니다. 쉘 커맨드에서의 | 는 제가 알기로는 순수하게 pipe(2) 시스템콜을 통해 구현됩니다. 즉, bash 는 zcat 의 stdout 을 단순 pipe에 써주는 일을 할 뿐입니다.
invalid input 이란 에러가 어디에서 도출되었는지는 모르겠지만 프로그램 둘 중 하나가 pipe(2) 에 의해 만들어진 file descriptor 를 닫지 않았나 먼저 확인해 봐야 할 듯 합니다.
그렇지 않다면 stdin 을 읽기 위해 사용된 libc 혹은 시스템콜 함수나 errno 정보가 필요하겠지요.
바이너리 스트림이 파일과 파일 사이에서 끊기기 때문에 생기는 문제는 아닙니다.
버그가 없어도
음... 생각해보니 zcat 이 출력할 수 없는 파일이 섞여 있는게 아닌가 싶네요.
OTL