현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

파일 read와 write에 관한 질문입니다

gestoru의 이미지
글쓴이: gestoru / 작성시간: 목, 2012/06/21 - 11:56오전

안녕하세요, 파일을 read해서 다시 write하는 과정에서

더 좋은 방법이 없을까 해서 여쭤봅니다.

하나의 폴더에 500MB의 파일들이 500개가 있고,이 250GB의 폴더가 두개가 있습니다.

argument를 4개를 받아서 두개는 저 각각의 폴더를, 하나는 output이 나올 폴더를,

하나는 버퍼 사이즈를 담고,

저 폴더의 파일들을 순차적으로 읽어서 하나의 파일로 만드는 작업인데요.

작성 언어는 cpp이구요.

로컬이 아닌 서버에서 직접 작업을 하는거라...시간이 너무 오래걸립니다.

현재 간단하게 짠 프로그램은 그냥 원본 파일과, 결과 파일을 각각 열고

결과파일에 원본파일을 버퍼에 담아 쭉쭉 써주고

원본파일이 끝나면 그 다음파일로 옮겨가서 다시 써주는 방식인데

결과물이 될 파일이 한 파일이라 스레드를 쓸수도 없는일이고...(스레드에 대해 잘 모릅니다ㅠㅠ)

좀더 빠르게 할 방법이 없을까요?

Forums: 
프로그래밍 QnA
shint의 이미지

글쓴이: shint / 작성시간: 목, 2012/06/21 - 12:22오후

//
차라리 대용량에 경우는. 지금 처럼 분리된 환경이 더 빠르고 안정적이겠네요.

//
Memory Map File으로 윈도우에서 대용량 파일 처리 빠르게 하기 - http://blog.naver.com/eofl12?Redirect=Log&logNo=50092608644

//
type으로 파일 합치기 - http://baljern.blog.me/140115885527
type 1.txt 2.txt > 3.txt
type *.txt 2.txt > 3.txt

//
copy로 파일 합치기 (끝에 1개 파일이 복사되었습니다.도 추가됩니다.) - http://blog.daum.net/ntmagpie/30
copy /b 1.txt + 2.txt > 3.txt

//
C FILE로 파일 합치기

//
윈도우 메시지를 받아서 파일 포인터 위치에 맞게 파일 합치기

----------------------------------------------------------------------------
젊음'은 모든것을 가능하게 만든다.

매일 1억명이 사용하는 프로그램을 함께 만들어보고 싶습니다.
정규 근로 시간을 지키는. 야근 없는 회사와 거래합니다.

각 분야별. 좋은 책'이나 사이트' 블로그' 링크 소개 받습니다. shintx@naver.com

gurugio의 이미지

글쓴이: gurugio / 작성시간: 목, 2012/06/21 - 3:16오후

파일을 하나씩 복사하는게 아니라요
큰 파일을 만들어서요 합칠 파일들을 따로따로 복사하는게 어떨까요?

1K짜리 파일이 10개 있으면요 10K짜리 빈 파일을 만든다음에
0~1K에 쓰고, 1K~2K에 쓰고... 이것을 순서대로할게 아니라
동시에 여러 쓰레드가 각자 자기 오프셋을 가지고 복사를 하는 것이지요.
IO가 폭주하면서 큰 차이는 안날것 같습니다만 조금은 빨라질것도 같습니다.

근데 사실 파일이라는게 블럭단위로 나눠져있자나요.
파일을 합친다는걸 큰 파일에 복사하는게 아니라
파티션 테이블에서 하나의 inode만 만들고 기존 파일들의 블럭들을 새로운 inode에 연결만해주면
데이터의 복사없이 큰 파일이 생성될것 같습니다.
이걸 어플 레이어에서 할 수 있는지는 모르겠습니다.
뭔가 direct io 관련된 자료를 찾아보면 방법이 있을것 같기도한데 잘 못찾겠네요.

파일을 복사하지 않고 큰 파일을 생성할 수 없을까요?

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.