PHP의 개안습 같은 속도와 극히 대조적인 C언어의 속도(?)

112만 7603 레코드, 10개 필드, 93개 데이터베이스에 해당하는 규모의 데이터 (50MB 가량)를 읽어서 메모리에 적재하고, 그걸 또 계산할 일이 있어서 프로그램을 작성했다.

데이터 출처 자체가 온라인상이라서 PHP를 사용하여 해당 웹 페이지를 긁어와서 저장했고, 계산까지도 PHP를 사용했다. 그리고 이 프로그램에 먼지가 쌓이도록 내버려뒀었다. 거의 1년간.

이제 와서, 본격적으로 뭔가를 해보려는데, 뭘 해보려 해도 파일을 읽고 쓰는 속도가 너무 느려서, 속도를 개선할 필요를 느끼게 되었다.

PHP에서는 마땅히 좋은 방법이 없는 것 같아서, C언어로 짜보기로 했다. 그래서, 얼마나 빨라졌나 볼까?.

첫 번째 테스트 (PHP 사용) : 1.8초
Plain Text 읽어오기, fscanf, fgets 사용

두 번째 테스트 (C언어 사용) : 2초~3초
Plain Text 읽어오기, fseek(파일 한꺼번에 버퍼에 읽어오고 버퍼내용 일일이 훑으며 메모리에 적재), sscanf, atof 사용
오버헤드를 유발하는 비효율적인 함수(sscanf , atof) 같은 거 쓰니까 PHP와 별 속도차이 없거나 오히려 느림

세 번째 테스트 (C언어 사용) : 0.4초
Plain Text 읽어오기, fseek(파일 한꺼번에 버퍼에 읽어오고 버퍼내용 일일이 훑으며 메모리에 적재), 약간의 하드코딩
포인터를 이용하지만, 여전히 float 소수점을 일일이 변환하는 과정에서 문제 발생. - 여전히 오버헤드 있음.
while(*p!='\0'){
'\t'가 나올때마다 ~ 지금까지 버퍼에 저장된 문자열을 일일이 char-'0' 하고 각 자릿수에 해당하는 자릿수를 일일이 계산해서 곱하고 ~~ 블라블라
}
이 과정 자체도 오버헤드 있음.

그리고 PHP에 비해 그렇게 압도적으로 빠르지 못함.

저 속도는 한때 나의 희망이었던 C언어의 속도일 수가 없어!
그래서 메모리의 내용을 파일에 그대로 저장하는 방법이 없나 검색을 해봤다.

대충 보니까 바이너리 읽기모드라는게 있더만?

그래서 Plain Text를 바이너리 파일로 바꾸려고 별별 걸 다 실험해봤다.
제일 처음에, 데이터베이스에 대한 메타정보가 담긴 파일을 바이너리로 작성해봤는데, 아주 잘 되어서 만족스러웠다.

그래서, 그 다음에 모든 데이터를 바이너리 파일로 바꾸려 했다. 음, 여기엔 문제가 하나 있는데 모든 데이터를 새로 받아올 생각을 하니 막막해졌다. 1시간 정도 집중하면 다 받을 수 있겠지? 사실 나는 이런 종류의 작업이 모두 자동화되도록 머리를 쓰기 싫어한다. 뭔가가 막 복잡해지는 것 같고.

뭐 내 실력이 여기 까지겠지.
솔직히 로직은 전부 함수별로 분리되어 있어서 그냥 for 문 쓰면 장땡인데...
거기다 데이터가 어디서 시작하는지에 대한 메타정보까지도 있겠다, 시간 예측까지 다 할 수 있잖아? 그런데 난 그렇게 안 했다. 왜냐하면 귀찮으니까.

그냥 지금 받아놓은 데이터를 바이너리파일로 변환하기로 했다.
이제 와서 생각해보면 그 때 그냥 그냥 C언어로 바이너리파일을 만들 걸 그랬나 하는 생각이 든다.
아무튼 간에 PHP의 pack함수로 바이너리 파일을 작성했다. 시간이 꽤 걸리더라. 그래도 30초 안에는 마치더라.

두둥! 그렇게 해서 바이너리 파일을 읽기...

네 번째 테스트 (C언어 사용) : 0.7초
Binary 읽어오기, fread(&변수,sizeof(형식),1,fp)

아놔! 워째서 바이너리 읽기가 Plain Text 읽어오기보다 느린 거야? 이건 말도 안돼!
이럴 수는 없어!

내가 프로그램을 어떻게 짰냐면, 레코드가 112만개인데, 거기에 10개나 되는 필드를 일일이 1개씩 읽어오니까 느려질 수밖에 없다. 웬만한 연산도 1120만개 정도 되는 데이터를 일일이 읽어오면 그만큼 느려진다. 게다가, fread 함수 자체도 1120만번인가 불려왔으니까 느려질 수밖에 없지!?

거기다 하드디스크 I/O도 있지? 이건 윈도7의 경우는 메모리가 웬만큼 버퍼해주는거 같으니까 상관없을테고...

아무튼 그래서 바이너리 파일의 구조를 변경할 수밖에 없었다.

다섯 번째 테스트 (C언어 사용) : 0.026초 !!!!!!!
Binary 읽어오기, fread(&변수,sizeof(형식,recN,fp);

와우! 이건 내가 기대했던 대로의 성능인데?
소스코드도 엄청나게 심플해져서 좋았다.

아무튼 이런 아주 간단한 일을 낑낑대면서 하는 걸 보면 나는 고급 프로그래머 축에는 절대 못 낀다.

아무튼 파일 입출력문제를 해결해서 기분 좋다.

예전에 포기한 OpenCL도 다시 한 번 파볼까나.... 자자자자자자자자자 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ