현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

대용량 텍스트 파일을 C++로 빨리 읽어내는 방법이 궁금합니다.

kleinstein의 이미지
글쓴이: kleinstein / 작성시간: 수, 2009/10/28 - 6:15오전

우연히 notepad++ 라는 텍스트 편집기를 알게되었는데요.

굉장히 긴(혹은 큰, 대략 10MB 가 넘는) 텍스트 파일도 상당히 빨리 읽어내는데에 아주 깜짝 놀랐습니다.

일반적으로 라인별로 읽어내서 파일의 끝까지 for 문 같은걸로 반복시키면 한 몇분씩 걸리는게 일반적이라고 생각했는데..

도대체 어떻게 이렇게 빨리 읽어서 화면에 뿌릴수 있는건지 너무 궁금합니다.

더군다나 읽어낸 다음 특정 단어를 내용중에서 찾을때에도 상당히 빨리 찾아내는것에 감탄했습니다.

어떻게 하면 큰 텍스트 파일을 이렇게 빨리 읽어낼수 있는건가요?

Forums: 
프로그래밍 QnA
cyana의 이미지

글쓴이: cyana / 작성시간: 수, 2009/10/28 - 8:48오전

아마 Memory Mapped File을 사용해서 파일을 읽을 겁니다, 보통은 thread로 라인엔드하고 텍스트 어트리뷰트(예를 들면 신택스 하일라이팅이나 라인 데코레이션 따위)를 처리합니다... notepad+라면 아마 공개 에디터인 scintilla를 사용하지 싶은데요. scintilla가 꽤 막강하긴 하지만 상용 에디터보다는 성능이 좀 떨어지는 편입니다. 기가 단위의 대용량 파일을 처리하거나 할 때 말이에요.

아메스트리에우려먹은사골맹탕의 이미지

글쓴이: 아메스트리에우려먹은사골맹탕 / 작성시간: 수, 2009/10/28 - 10:30오전

그게... 빠른 거라고 할 순 없지 않나요...?
파일을 일정 크기까지 읽어서 메모리에 저장하다가 사용자가 원하는 부분으로 가서 내용을 텍스트로 보여주는 건데...
일반적으로 생각할 수 있는 가장 단순한 텍스트 리더 알고리즘에서도 버퍼 크기와 버퍼를 넘는 사이즈의 파일에 대한 처리를 어떻게 해주느냐에 따라서 속도가 정해지는데, 버퍼를 5-30메가 정도로 잡으면 텍스트 파일은 웬만하면 쉽게 처리될 테고요....
굳이 string 변수에다가 null 문자를 기준으로 일일이 나눠 넣어서 처리한다는 고정관념만 깨면 되죠..

아메스트리에우려먹은사골맹탕의 이미지

글쓴이: 아메스트리에우려먹은사골맹탕 / 작성시간: 수, 2009/10/28 - 10:30오전

그게... 빠른 거라고 할 순 없지 않나요...?
파일을 일정 크기까지 읽어서 메모리에 저장하다가 사용자가 원하는 부분으로 가서 내용을 텍스트로 보여주는 건데...
일반적으로 생각할 수 있는 가장 단순한 텍스트 리더 알고리즘에서도 버퍼 크기와 버퍼를 넘는 사이즈의 파일에 대한 처리를 어떻게 해주느냐에 따라서 속도가 정해지는데, 버퍼를 5-30메가 정도로 잡으면 텍스트 파일은 웬만하면 쉽게 처리될 테고요....
굳이 string 변수에다가 null 문자를 기준으로 일일이 나눠 넣어서 처리한다는 고정관념만 깨면 되죠..

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.