코드 크기와 성능을 2차원으로 분석한 새로운 프로그래밍 언어 벤치마크 분석법

그 동안 프로그래밍 언어들을 비교하는 벤치마크의 대표적인 문제점 중 하나는 소스코드의 길이를 비교하지 않기 때문에 언어 구현체의 low level 기능이나 꼼수를 총동원해서 성능만 올려 놓는 코드가 과연 프로그래밍 언어를 비교하는 데 별로 의미가 없어지고 누가 그런 꼼수를 잘 부리냐에 좌우된다는 비판에서 자유롭지 못하다는 겁니다. (극단적인 비유로는 고급언어로 코딩했다고 하는데 사실은 인라인 어셈이 있어서 어셈으로 코딩한 거나 마찬가지다 ... 뭐 이런 거죠 ... 실제로 그런 코드를 제출하는 일은 없지만) 그런 문제점을 극복하기 위한 새로운 벤치마크 방법입니다.

http://gmarceau.qc.ca/blog/2009/05/speed-size-and-dependability-of.html

이 벤치마크에서는 각 언어별로 여러 가지 벤치마크를에 대해 세로축을 소스코드의 길이 그리고 가로축을 성능으로 평가한 2차원에 배열해 놓고 그 무게중심(?)이 어디쯤에 위치하고 어떤 분포를 가지는가를 한눈에 알아볼 수 있도록 해서 현재 프로그래밍 언어들의 구현체에 대한 어느 정도 유의미한 직관을 얻을 수 있도록 정리하였습니다. 2차원 그래프의 사각형의 각 꼭지점이 의미하는 바는, 좌표축의 원점에 가깝다면 소스 코드도 짧고 성능도 좋다면 모든 용도에 이상적인 언어 혹은 언어 구현체, 세로축에 가깝지만 높이 있다면 소스 코드가 길어져도 성능을 얻을 수 있으면 시스템 프로그래밍에는 적합하지만 스크립팅에는 적합하지 않으며, 가로축에 가까이 있지만 원점에서 멀면 짧은 소스 코드로 문제를 해결하는 스크립팅에는 적합하지만 시스템 프로그래밍에는 적합하지 않고, 아예 원점에서 대각선으로 멀리 있는 넘은 언어나 언어 구현체에 문제가 있어 개선이 필요하다 이런 식으로 볼 수 있다고 하는군요. 소스코드의 크기를 측정하는 LOC나 바이트 수가 아니라 gzip으로 압축했을 때의 크기를 사용해서 정보이론적인 측정을 하려 노력한 거 같은데, 결과가 상식과 크게 다르지 않은 걸 보면 유의미한 방법인 것 같네요.

@ 출처는 haskell 메일링 리스트에서 퍼왔습니다.