gdbm에서 DB 사이즈 문제 입니다.

kkjin32의 이미지

안녕하세요.
gdbm을 이용하여 어플리케이션을 개발하고 있습니다.
다음과 같은 문제가 있어서 도움 부탁드립니다.

1. 16byte 키를 가진 데이타를 800만건 저장하여 하나의 DB를 만들려고 합니다. 파일 크기가 670M가량 됩니다.
너무 커서 도저히 사용할수 없는데 혹시 데이타를 store할때나 create 할때 옵션등을 이용하여 DB 사이즈를 작게 만들수는 없을 까요?

2. gdbm_delete를 이용하여 DB에서 데이터를 삭제하고 있습니다.
그런데 DB file 사이즈가 줄어들지 않습니다.
어떤 옵션이나 api를 이용해야 file 사이즈가 원래의 크기로 줄어들게 되나요?

아시는 분의 답변 부탁드립니다.
고맙습니다.

monpetit의 이미지

kkjin32 wrote:
2. gdbm_delete를 이용하여 DB에서 데이터를 삭제하고 있습니다.
그런데 DB file 사이즈가 줄어들지 않습니다.
어떤 옵션이나 api를 이용해야 file 사이즈가 원래의 크기로 줄어들게 되나요?

int gdbm_reorganize(GDBM_FILE) 을 사용하세요.
별 다른 건 아니고, 새로 DB를 만들고 온전한 데이터만 복사한 후 예전 DB를 지우는 겁니다.

westin의 이미지

혹시 키의 타잎이 뭔가요? string인가요?

익명 사용자의 이미지

gdbm은 만건 정도의 소규모 DB 구성에 적당한거 같네요.
800만건정도의 DB구성이라면 oracle등의 RDBM를 이용하는게
바람직하지 않나 싶습니다.

kkjin32 wrote:
안녕하세요.
gdbm을 이용하여 어플리케이션을 개발하고 있습니다.
다음과 같은 문제가 있어서 도움 부탁드립니다.

1. 16byte 키를 가진 데이타를 800만건 저장하여 하나의 DB를 만들려고 합니다. 파일 크기가 670M가량 됩니다.
너무 커서 도저히 사용할수 없는데 혹시 데이타를 store할때나 create 할때 옵션등을 이용하여 DB 사이즈를 작게 만들수는 없을 까요?

2. gdbm_delete를 이용하여 DB에서 데이터를 삭제하고 있습니다.
그런데 DB file 사이즈가 줄어들지 않습니다.
어떤 옵션이나 api를 이용해야 file 사이즈가 원래의 크기로 줄어들게 되나요?

아시는 분의 답변 부탁드립니다.
고맙습니다.

litdream의 이미지

저는 그렇게 많은 데이터를 써본적은 없습니다만,
BerkeleyDB 도 많은 양의 데이터를 처리한다고 합니다.
사용도 그다지 어렵진 않습니다.

삽질의 대마왕...

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.