현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

대용량 화일의 처리

scjd2010의 이미지
글쓴이: scjd2010 / 작성시간: 일, 2009/08/23 - 6:34오전

대용량의 스트림화일을 읽어서 처리하는 방법에 대해 아시는분께서는 도움말씀좀 주시기 바랍니다.
화일의 크기가 4.76기가바이트짜리 화일인데, 단 하나의 레코드(즉 한줄)로 구성된 화일이다보니 읽어들이기가 참 난감하군요.
보통은 논리적인 레코드의 맨끝에 뉴라인(\n) 이 들어가기때문에 자바에서는 BufferedReader 를 사용해서 읽으면 될텐데, 이건 그 경우가 아니라 특별한 다른방법이 필요한것 같습니다.
몇백 바이트짜리 레코드로된 온라인트랜잭션을 중심으로만 일을 하다 이런 황당한 화일을 상대방시스템에서 받다보니 처리하기가 난감하여 도움을 청합니다.

감사합니다.

Forums: 
프로그래밍 QnA
antaran의 이미지

글쓴이: antaran / 작성시간: 월, 2009/08/24 - 1:30오전

일단, 저 하나의 논리적인 레코드가 모두 메모리에 로드되서 처리되야 하지는 않겠죠?

모두 로드되야 한다면 뭐 그만큼 메모리를 잡는 수밖에는 없겠지요.

그러나 질문을 하신 내용으로 봐서는 그건 아닌 것 같고...

application에서 어떤 처리를 해야 하는지는 잘 모르겠습니다만, 예를 들어 버퍼를 1MB 잡는다면

1MB로 읽어서 논리적인 단위로 끊어서 처리를 열심히 하다보면 몇 byte 찌꺼기가 남을텐데

이것을 버퍼의 처음에 복사를 한다음에 1MB - n bytes(n은 남은 찌꺼기)만큼 읽어주셔서 또 처리하고

이런식으로 하시면 되지 않을까 싶습니다.

blueiur의 이미지

글쓴이: blueiur / 작성시간: 월, 2009/08/24 - 1:38오전

메모리가 허락하지 않는다고 하면 "읽으면서" 처리하는게 유일한 답입니다.
어떤 처리를 해야하는지 조금 더 구체적으로 적으시면 많은 분들이 도움을 주실거라 생각되네요.

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.