파일을 copy하거나 그대로 appending 해야 하는데 변수에 저장하지 않고 할 수는 없나요?
글쓴이: kkb / 작성시간: 수, 2011/04/06 - 7:07오후
파일을 copy하거나 그대로 appending 해야 하는데 변수에 저장하지 않고 할 수는 없나요?
저는 일반적으로는
파일을 open이나 fopen으로 열어서
파일의 데이터를 변수에 복사한 다음,
그 변수를 새로운 파일에 쓰거나(복사) 기존의 파일에 그대로 붙여 넣는(appending) 작업을 합니다
이 때, 중간에 변수에 읽고 쓰지 않고
파일에서 파일로 바로 할 수는 없나요?
파일의 크기가 너무 커져서 변수 크기가 너무 커지기 때문입니다
하려는 작업은,
$ cat src > dst $ cat src >> dst
위와 같은 작업들을 C언어 소스로 구현하고 있는데
파일 크기 만큼의 변수를 선언하거나 할당하지 않고 복사 및 appending 했으면 좋겠습니다
혹시 cat도 내부적으로 변수를 매개체로 쓰고 있는 것일까요..;;;
Forums:
읽는 변수를 적당한크기로 해서 여러번 하면
읽는 변수를 적당한크기로 해서 여러번 하면 안되는건가요?
흘러가고있는 지금 이 시간에 충실하자.
없습니다. 명시적으로 변수를 선언하지 않는다고해도,
없습니다.
명시적으로 변수를 선언하지 않는다고해도, 임시변수란 형태로 반드시 메모리에 올라갑니다.
그냥 조금씩 읽어와서 조금씩 쓰면되지요.
user space 버퍼를 거치지 않고, 데이터를
user space 버퍼를 거치지 않고, 데이터를 전송하는 방법은
여러가지 트릭을 써야합니다.
리눅스 커널 2.6에서는
splice()를 사용하시면 됩니다.
man splice
해보세요.
하지만, zero-copy라는게 때로는 독이 될수도 있습니다.
lwn.net에 있는 Linus Tovalds가 남긴 vmsplice(), splice(), sendfile(), mmap()에 대한 얘기들과
zero-copy에 대한 글들을 읽어보세요.
가령 mmap()은 자칫 TLB miss를 야기 시킬수도 있습니다. 그래서 Linus 는 "사람들은 memory copy가 zero-copy로인하여
가져올수 있는 문제들보다 차라리 훨신 저렴할수도 있다는 사실을 관과하곤 한다"라고 말했던 기억이 나네요.
혹시 I/O, 메모리 구조나 커널수준의 문제를 이해할만한 지식이 없다면
변수에 저장하고도
파일의 크기가 너무 커져서 변수 크기가 너무 커지는 문제를 회피할 방법을 찾아보사기 바랍니다.
댓글 달기