C언어에서 용량큰 파일 read할때
글쓴이: rriiaa / 작성시간: 목, 2016/09/08 - 2:27오후
안녕하세요? 다들 무더운 여름 아무탈 없이 잘보내셨나요?
다름이 아니라 C로 파일의 내용을 읽어서 처리하는 프로그램을 짜고 있는데
읽어야할 파일 용량이 상당히 큽니다. fopen 함수를 사용해서 while((read = getline(&line,&length,table_file))
-->가장 많이 사용하시는거죠 getline으로 파일을 읽고 있는데 읽어야할 파일이 크다보니
killed 되버리네요 ㅜㅜ 스크립트 짜서 파일을 나누고 여러번 실행 시켜도 되기는 하는데 혹시나
용량 큰파일 나눠서 읽는 좋은 방법이 없나해서 이렇게 질문드립니다.
Forums:
> 스크립트 짜서 파일을 나누고 여러번 실행 시켜도
> 스크립트 짜서 파일을 나누고 여러번 실행 시켜도 되기는 하는데
>
적으신 것만으로 추정해보면, 아마 그렇게해도 안될겁니다.
파일의 크기가 문제가 아니라 한 줄의 길이가 긴 것이 문제라 생각됩니다.
읽기만 할 것이라면, 그런 식으로 읽을 필요 없습니다.
https://ko.wikipedia.org/wiki/메모리_맵_파일
while((read = getline(&line,
while((read = getline(&line,&length,table_file)) 을 할 때 읽어드리는 버퍼의 길이가 충분한가요? line 이 char *line = NULL 등으로 NULL로 선언되어 있는지 확인해 보세요.
문제가 없다면 64 bit 컴파일러로 하고 계신가요?
getline 리턴값을 확인해 보세요.
다음의 문서에 의하면, 파일 끝까지 다 읽으면 getline 리턴값은 -1 인것 같네요.
http://man7.org/linux/man-pages/man3/getline.3.html
다음은 해당 페이지의 샘플코드입니다.
사족) 어쨌거나 파일을 전부 버퍼에 올릴거라면, 파일 사이즈만큼 퍼버를 미리 확보하면 더 빠를것 같습니다.
댓글 달기