[질문]대규모 데이터처리에 적합한 파일 시스템

Raw Data가 의미하는게 무엇인지는 잘 모르겠네요

대용량 데이터를 빠르게 처리하기위해서는 파일상에서
바로 읽는 즉시즉시 처리하는 방식으로는 속도를 내기 힘듭니다.

그래서 운영체제에서 부터 buffering 이란걸 하지 않습니까? :)

시스템 메모리가 허용하는 범위내에서 파일에서 데이터를 읽어 메모리에
로드한다음 처리하고 다시 파일에 write하는식으로 반복해서 처리를
하시는게 좋을거 같네요

심심한 김에 무식하게 테스트 해 보았습니다.

우선 DB에 1000만건의 데이터를 랜덤넘버를 이용해서 만들고,
(랜덤넘버는 소수점 이하 두자리 까지만)

정수 부분에 대하여 새로운 칼럼을 만들고,(ipart)

소수 첫째 자리에 대하여 또 새로운 칼럼을 만들었습니다. (dpart)

그리고 그 두 개의 새로운 칼럼에 대하여 인덱스를 생성하고,

double 값이 (100.1, 100.2)인 ID 를 sql로 select 하는 sql 작성

sql1 : select id from XXXX where value in (100.1, 100.2)
sql2 : select id from XXXX where  ipart=100 and dpart in (1,2)

위의 두 sql 을 실행한 결과를 비교하면,

sql1 : cpu time 2.68 초
sql2 : cpu time 0.63초

이런 무식한 방법도 쓸수 있지 않을 까요? (':D')

전 리눅서라고 하기도 좀 그렇고 띰띰할 때 마다 이 사이트에서 글만 읽다가
오늘은 기어이 가입하고 첫 글을 답변으로 쓰게 되네요.

약 1000만건의 데이타가 테이블에 들어 있고 인덱스가 없는 Double형의 필드에 대해서 SQL문을 보내면 DBMS가 아주 열심히 일하게 됩니다. 처음부터 끝까지 조건에 맞는지 모조리 검사를 하게 되지요.

microcos 님께서 든 예제라면 저 같으면 검색 효율을 위해서 다음과 같이 하겠습니다.

1. MySQL이 처리할 수 있는 최대 범위 정수형으로 필드(NewFld라고 하죠)를 하나 추가를 합니다. 이 필드에 대해서 Unique하지 않은 인덱스를 만듭니다.

2. 그 필드에 Double형 필드값(123.45 등)에 적당한 10의 배수를 곱하여 정수로 바꾼후에 넣어 둡니다. 이때 최대값이 정수형 필드의 최대값 자리수 정도가 되도록 하면 좋습니다.

3. 이렇게 해 둔 후에 microcos 님께서 찾고자 하는 double형 값과 오차율을 이용하여 적당한 범위(A<= .. <= B, A B는 정수)를 구한 다음에 NewFld에 대해서 그 범위의 조건식을 Where 조건절 앞쪽에 부여 합니다.
(예: Where NewFld BETWEEN A and B 이런 식으로요..)

4. 그리고 그 조건의 뒷 부분에 double형 필드에 대해서 허용오차내인지 검사를 하면 됩니다.

만약 최대범위의 정수형(제가 오라클과 SQL서버, 인포믹스 이런 거만 쓰다보니 MYSQL을 잘 몰라서.. ^^;)을 초과해서 처리를 해야 한다면 적당한 길이의 문자형 필드를 만들고 Double에서 적당한 10의배수를 곱한 것을 문자열로 변환하여 저장하시고 같은 방법을 쓰면 됩니다.
이때는 자리수를 맞추기 위해서 앞쪽의 빈자리에는 000을 추가해야 합니다.(예: 000123)

맨날 꼼수로만 문제를 처리하다 보니 답변도 꼼수밖에 드릴게 없네요.