대용량 텍스트 파일 처리 성능 문의
글쓴이: livey / 작성시간: 토, 2018/12/08 - 1:59오전
안녕하세요
파일에 따라 수백메가에서 1기가 이상되는 텍스트 포멧의 파일들을 읽어 처리해야하는데
파일 용량이 너무 커서 여러개로 분할하여 처리하려고합니다.
파일을 읽어서 특정 포멧으로 변환하고 수메가~수십메가 정도 크기로 작게 분할하여 여러개의 파일로 출력 하는 프로그램을 만들어야하는데요
메모리를 많이 사용하더라도 성능에 초점을 두고싶습니다.
c# 으로 해보니 생각보다 오래 걸리더라구요..
자바의 파일채널처럼 커널 버퍼에 직접 접근하는 기능이 c# 에도 있을것같은데
c++ 로 만들면 확실히 좀 더 빠를까요? 파일입출력부분은 언어와 별개의 문제일것같기도하구요..
아니면 cpu 사용률을 높이는 방법이나 멀티코어를 사용할수있는 방법이 있는지 궁금합니다.
읽어주셔서 감사하고 좋은 주말되세요~~
Forums:
댓글 달기