현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

30만건 데이타의 정렬

gmlsehf의 이미지
글쓴이: gmlsehf / 작성시간: 일, 2009/07/26 - 4:47오후

안녕하세요...

하나의 파일에 30만건 정도의 데이타가 존재합니다.(30만 라인)

이 파일을 정렬하려고 합니다.

단순히 sort file.txt 할 경우 아무 문제 없이 정렬이 되나요???

데이타가 너무 많을 경우 정렬에 실패한다는 말을 들은 적이 있어서 질문드립니다.

답변 부탁드립니다.

Forums: 
프로그래밍 QnA
clique의 이미지

글쓴이: clique / 작성시간: 일, 2009/07/26 - 5:06오후

직접 해보시면 될 것 같은데요...

30만 건이 그리 큰 데이터는 아니지만, 안 된다면 sqlite같이 작고 가벼운 dbms로 정렬하셔도 될법하고요.

phonon의 이미지

글쓴이: phonon / 작성시간: 일, 2009/07/26 - 5:15오후

한 줄의 영문 문자열이라면,
한번에 읽어서 벡터에 넣으세요.

stl sort로 정렬하세요.
아마 1~2초도 안 걸릴꺼예요.

gmlsehf의 이미지

글쓴이: gmlsehf / 작성시간: 일, 2009/07/26 - 5:24오후

clique 님//

물론 해보았지요.

성공은 했지만 정렬이 안될 경우에 대해서 여쭤본겁니다. ^^;;

아마 이런 경우가 없을것 같지만요..ㅎㅎ

답변 감사합니다.

phonon 님//

답변 감사합니다. 좋은 아이디어네요 ^^

송효진의 이미지

글쓴이: 송효진 / 작성시간: 월, 2009/07/27 - 8:14오전

너무 커서 실패한다면 메모리 문제일테니 '한번에 읽는 모든 방법'은 안되겠지요.
시도해 볼 방법 중 가장 간단해 보이는 것이 dbms 군요.
저라면 sqlite 는 아무래도 server 가 아니라서 postgresql 로 시도할 것 같습니다.

emerge money
http://wiki.kldp.org/wiki.php/GentooInstallSimple - 명령어도 몇 개 안돼요~
http://xenosi.de/

https://xenosi.de/

다즐링의 이미지

글쓴이: 다즐링 / 작성시간: 월, 2009/07/27 - 9:12오전

30만 라인이면 많은게 아닐텐데요.

버퍼사이즈와 압축 등을 잘 조정하면 큰 문제가 없을껍니다.

------------------------------------------------------------------------------------------------
Life is in 다즐링

------------------------------------------------------------------------------------------------
Life is in 다즐링

cwryu의 이미지

글쓴이: cwryu / 작성시간: 월, 2009/07/27 - 9:22오전

GNU coreutils의 sort 프로그램은 꽤 복잡합니다. 30만이 아니라 3000만이라도 메모리 모자라도 알아서 임시 파일 만들면서 오프라인 머지 소트합니다.

송효진의 이미지

글쓴이: 송효진 / 작성시간: 월, 2009/07/27 - 10:02오전

그럼 애초에 가정이 틀린거네요.
아무리 커도 맘놓고 sort 하면 되겠군요.

emerge money
http://wiki.kldp.org/wiki.php/GentooInstallSimple - 명령어도 몇 개 안돼요~
http://xenosi.de/

https://xenosi.de/

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.