멀티 쓰레드 파일 읽기

글쓴이: barami / 작성시간: 일, 2012/04/01 - 1:48오후

대용량 텍스트 파일을(수백 MB~그이상)
10등분하여 쓰레드로 read하면서 검색을 하려합니다
대신 부모가 open해서 공용 전역변수 fd를 사용해야고 자식은 변경할수 없어야 합니다.

그래서 자식 지역변수에 fd 복사해서 사용해서 구현하였습니다.

그런데 쓰레드들이 돌면서 제가 원하는 위치에서 찾질 않고 뒤죽박죽이 되는거 같습니다.
원인과 해결책은 무엇인가요?

몇시간째 계속 이것저것 검색해보고 바꿔보는데 잘 되질 않습니다.

Forums:

프로그래밍 QnA

댓글 달기

많은 스레드에서 하나의 파일 디스크립터를 이용해서

글쓴이: chadr / 작성시간: 일, 2012/04/01 - 9:34오후

많은 스레드에서 하나의 파일 디스크립터를 이용해서 데이터를 읽어대면
자신이 원하는 데이터를 얻기 힘듭니다.

read함수를 보시면 어디서부터 읽으라는 것을 지정하는게 없고 얼마만큼 읽어라는
것만 있는것을 보실 수 있습니다.

mmap을 사용 하시면 될것입니다.

-------------------------------------------------------------------------------
It's better to appear stupid and ask question than to be silent and remain stupid.

답글

숙제인가요?

글쓴이: jick / 작성시간: 월, 2012/04/02 - 2:54오전

숙제라면... semaphore나 conditional variable 같은 거 사용해서... 쓰레드 1번이 읽고 2번에게 "읽어도 돼"라고 신호를 보내면 그때 2번이 읽고 그다음에 3번에게 "읽어도 돼"라고 신호를 보내고... 하면 되겠네요.

숙제가 아니라면, 다른 방법을 강구하세요. 파일 하나를 쓰레드 10개가 동시에 읽는 건 완전 삽질입니다. 쓰레드 하나가 읽는 것보다 확실하게 느려질 거라는 걸 보장할 수 있습니다. -_-

답글

그런 방식이면

글쓴이: handrake / 작성시간: 월, 2012/04/09 - 12:08오전

쓰레드 하나가 읽는거와 전혀 차이가 없는 것 아닌가요?

답글

만약 저라면 이렇게 구현하겠습니다. 각 쓰레드별로

글쓴이: 익명 사용자 / 작성시간: 화, 2012/04/10 - 11:24오전

만약 저라면 이렇게 구현하겠습니다.

각 쓰레드별로 자신의 구간을 정하여

fd 는 전역변수를 사용하되 사용할 때에는 lock 을 걸며

fseek 을 이용하여 자기의 다음 읽을 구간으로 이동후 읽는다.

모든 쓰레드가 같은 파일포인트를 쓰되, 다른 구간을 읽을려면 당장 떠오르는 방법은 이 방법 이군요..

답글

댓글 달기

이름

제목

댓글 *

텍스트 포맷에 대한 자세한 정보

텍스트 양식

Filtered HTML

텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
You can use Textile markup to format text.
사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
Quick Tips:
- Two or more spaces at a line's end = Line break
- Double returns = Paragraph
- *Single asterisks* or _single underscores_ = Emphasis
- **Double** or __double__ = Strong
- This is [a link](http://the.link.example.com "The optional title text")
For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

HTML 태그를 사용할 수 없습니다.
web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
줄과 단락은 자동으로 분리됩니다.

CAPTCHA

이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.

부 메뉴