대용량 게시판, 메일에 적합한 인덱스 구조는?

spacelee의 이미지

대용량 게시판이나 메일서버를 위한
인덱스 구조는 어떤 것이 적합할까요?

저두 메일쪽에 오래 있었지만,
쉽게 정답이라고 할만한 것을 찾기가 쉽지는 않네요.

b-tree를 쓰는 것이 가장 정답인지
아니면 다른 인덱스 구조에 대해
조언해주시면 감솨~~~

그리고, 이 쪽 관련 연구 분야에 대해서도
알려주시면 감솨~
아마 주로 DB쪽인것 같은데
DB쪽에서도 이 관련 분야를 대표하는
일반 용어들이 있는지요?

소타의 이미지

게시판처럼 순차적인 정렬이 필요한 경우에는 b-tree같은 방식이 유리하겠죠..
그 외의 일반적인 대안은 별로 없는것 같습니다.

저는 인덱스 타입을 결정할 때 몇가지를 고려합니다.
1. 순차적인 정렬 결과가 나와야 하느냐
2. 범위 검색이 되어야 하느냐(연산자 <, >, <=, >=)
3. 범위 검색이 없이 키에 접근만 하면 되느냐(연산자 =)
4. 특수한 상황인가(배열 데이터, 벡터 등)

1. 2 일 경우에는 b-tree를 사용하고 3일 경우에는 hash를 씁니다.
4 일 경우에는 그때그때 다르지만 보통 GiST의 확장 형태를 사용합니다.
일단 DBMS를 사용한다면 DBMS가 지원하는 인덱스 타입과 데이터의 타입을 따져봐야 하겠죠..
인덱스가 모델링에 영향을 주기도 하지만 모델링에 따라서 방법도 달라질 것 같습니다.

spacelee의 이미지

소타 wrote:
게시판처럼 순차적인 정렬이 필요한 경우에는 b-tree같은 방식이 유리하겠죠..
그 외의 일반적인 대안은 별로 없는것 같습니다.

저는 인덱스 타입을 결정할 때 몇가지를 고려합니다.
1. 순차적인 정렬 결과가 나와야 하느냐
2. 범위 검색이 되어야 하느냐(연산자 <, >, <=, >=)
3. 범위 검색이 없이 키에 접근만 하면 되느냐(연산자 =)
4. 특수한 상황인가(배열 데이터, 벡터 등)

1. 2 일 경우에는 b-tree를 사용하고 3일 경우에는 hash를 씁니다.
4 일 경우에는 그때그때 다르지만 보통 GiST의 확장 형태를 사용합니다.
일단 DBMS를 사용한다면 DBMS가 지원하는 인덱스 타입과 데이터의 타입을 따져봐야 하겠죠..
인덱스가 모델링에 영향을 주기도 하지만 모델링에 따라서 방법도 달라질 것 같습니다.

DB를 쓰지 않고 file IO를 이용하여
메일이나 게시판 index를 직접 만드는 환경일 경우에
기본적인 데이터는 b-tree나 권장해주신 방식을 이용하면 될 것 같은데...

그 상황에서 만약 제목이나 수신자에 대한 검색을 하고 싶다면,
그 검색을 최적화 하기 위해서, 별도의 인덱스나 구조가 필요할 것 같은데
그럴 경우 어떤 방식을 사용하면 좋을까요?

그리고, 이런 분야에 대해서 비슷한 연구가
많이 있었을 것 같은데
관련 연구 분야도 추천해주시면 감솨~~

권위를 의심할 것,어긋남을 존경할 것,자리잡기를 거부할 것,항상 자신을 재창조할 것 - MIT 미디어랩 -

소타의 이미지

풀텍스트인덱스(FTI로 검색해 보시면 좌르륵~)에 정도는 없죠 ^^;
제목이나 수신자 정도라면 간단한 해쉬나 b-tree로 사전 인덱스를 만들고 사전의 키와 각 메일을 연결할 구조(연결도 역시 해쉬나 b-tree)를 하나 만들면 될듯 합니다. 사전식으로 하게 되서 좀 깊이 들어가면 한글 형태소 분석이라는 벽에 부딫히게 됩니다만 검색 결과의 질을 어디에 비중을 두느냐의 문제기 때문에 이건 정책적인 문제;;
제목이나 수신자에 단어가 여러개이니 1:n 관계가 될 터이고 이런 상황이라면 간단한 임베디드 가능한 DB라이브러리를 가져다 구조를 만드시는 것이 훨씬 좋을것 같네요 ㅎ; gdbm이나 sqlite3 정도 쓰시면 뭐.. sqlite3는 SQL도 지원하니까요.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.