튜닝의 한계는 어디까지?

안녕하세요. IT 업체(정확히는 인터넷 서비스 업체) 에서 SE 로 근무한지 이제 1년이 갓 넘은 초보 엔지니어입니다. 그동안 실무를 해오면서 참 많은 일이 있었네요. 가끔씩은 저보다 경험이 많은 분들은 이럴때 어떻게 대처했을까 하는 생각이 떠오를 때가 많죠.

제 생각에서는 튜닝이랍시고, 여러군데에서 모아놓은 정보들을 취합해서 서버튜닝을 했다고 자부했었는데, 리눅스 컨설팅 회사(이름은 못 밝힙니다. 죄송 --;) 에서 컨설팅을 받아본 적이 있었는데, 거기 컨설팅 팀장이 이렇게 얘기하더군요. "커널 파라메터 등 튜닝과정이 초기화에 가깝다" 라고요.

시간이 짧아서 구체적으로 어떤 부분이 어떻게 안되었다라는 기술적인 얘기는 못해봤습니다만, 적어도 제가 자부하는 환경의 서버에서 컨설팅 회사의 시점과는 많이 틀렸나 보더라구요. (결국에는 컨설팅 회사의 도움을 안 받고, 자체적으로 해결을 했습니다. :)

튜닝...상당히 논란의 여지가 많은 단어라는건 알겠습니다만, 여러분들의 의견은 어떠신지 궁금하군요. 어디까지가 튜닝의 한계인지, "성능극대화" 라는 표현이 쓰일수 있을 만한 튜닝 경험은 있으신지....

저희 회사 같은 경우는 JAVA 기반으로 웹서비스를 돌리고 있는데, 초기에는 달랑 DB 서버1대, 웹서버 1대 이렇게 서비스했었습니다. 당연히 시점이 지날수록 버거웠죠. 그래서 LVS(Linux Virtual Server) 기반인 DirectRouting 메소드를 이용하여 로드발란서를 구축 했습니다. 지금 쓰고있는 리눅스 LB 사양이 PIII 850 Dual, 1G memory 인데 메인보드에 플래쉬 메모리를 장착, 리눅스 커널을 압축이미지로 플래쉬 메모리에 마운트해서, 부팅시 Memdisk 를 띄워, 커널이미지를 Memdisk에 remount 해서 쓰고 있습니다. 제 생각으로는 하드디스크가 없으니 메인보드와 디스크간의 I/O Access 를 상당량 줄여서 어느정도의(솔직히 많은) 속도향상을 기대했었는데, 벤치마크 결과로는 다른 같은 사양의 리눅스 서버와 그렇게 큰 차이가 나지는 않더군요.

그래서 커널쪽에 불필요한 부분이 있지 않을까 싶어, 커널 튜닝을 다시 해보려는데, 경험 많은 엔지니어분 들이 하나같이 다음과 같이 얘기하더군요. "커널 튜닝은 아무리 최적화를 시켜놔도 전체적인 성능에서 30% 이상 효과를 보기 힘들다" 라는 것입니다.

그래서 전 이렇게 얘기했죠. "30% 면 어디냐, 실질적으로 30% 이상 효과를 끌어내면 성공한것 아니냐" 하면서 저 수치를 이끌어내기 위해 상당량 노가다를 했죠. 이렇게도 해보고, 저렇게도 해보고....모르는 부분은 리눅스 Guru 메일링 리스트에서 질문도 해가면서...그렇게 해서 제 나름대로 더이상 손볼 곳이 없다고 판단됐을때 벤치마킹을 해보았는데 정말 기대 이하였습니다. 체감속도라는건 둘째 치고서라도 수치상으로도 별 진전이 없더군요. :(

실제로 웹서버 튜닝에 있어 "성능극대화" 를 일으키는 부분이 API 쪽 튜닝이라는걸 지금은 경험상 알게 되었습니다. 물론 커널 튜닝은 기본이고요 :) 웹서버가 하도 다운이 자주 되길래 JAVA Connection Pool 을 약간만 바꾸어 놓았더니 쌩쌩 돌아갔던 적도 있고, DB 서버가 아무런 이유없이 뻗길래 이틀동안 노가다로 원인을 찾아냈는데, 오라클 리스너가 DNS Resolving 값을 못받아와서(이때는 DNS 가 죽어있었습니다.) 계속 호출만 하더군요. 결국에는 DNS 까지 같이 튜닝했다는....

갑자기 "서버튜닝은 종합예술이다" 라는 한국 IBM 에서 관련분야에 종사하시는 어떤분의 말씀이 생각 나는군요. 그만큼 여러쪽으로(특히 API 단에서..) 넓게 접근해야 하는것을 새삼 느낍니다.

얼마전 한 SI 업체 에서 리눅스 서버 161대로 클러스터링해서 슈퍼컴퓨터를 제작해냈죠? IBM 과 기술제휴로 만들어낸것 같은데...세계 슈퍼컴퓨터 서열에서 (http://www.top500.org) 에서 100위 안까지 진입했던걸로 아는데, 현재는 161 위로 밀려났네요. :) 회사는 posdata 라고, 포스코 의 계열사 이던가? 암튼 포스코와 관련 있는 회사인것 같습니다.

여건이 허락된다면 저정도까진 아니더라도, 단일 성능의 최고치 까지 뽑을수 있는 클러스터링 서버도 제작해 보고싶은게 전산계에 몸담고 있는 사람으로서의 욕심입니다.

kldp 오시는분들, 여러분의 튜닝 경험, 착오, 기타 튜닝에 대한 생각은 어떠신지 궁금합니다. 고견 부탁드리겠습니다 :)