X 윈도우가 느린 이유

해를 거듭하면서 리눅스의 GUI도 참 많이 발전했구나 하는 생각을 했습니다.
모양도 화려해졌고 편의성도 많이 증대되었고요.
그러나 왜 X윈도의 속도는 전혀 개선되지 않는가라는 궁금점이 생기더라구요.
오히려 속도는 갈수록 느려진다는 느낌이었습니다.
너무 무겁게 느껴졌고 순간적으로 반응하는 속도도 많이 느린것같습니다.
여러 게시판에 질문해봐도 대개 윈도 매니져를 xfce로 바꿔쓰라는 대답뿐이
었습니다. 또는 `데스크탑 운영체제(win xp)와 서버 운영체제(linux)를 비교
하기에는 문제가 있다.` 라고 하더라구요. 우분투가 데스크탑을 대상으로한
리눅스 개발에 주력하는 상황에서 틀린말이 아닐까 싶고, 느리다는게 결국
은 win xp랑 비교했을때를 말하는건데 xfce랑 winxp를 비교하기는 좀 그렇더
라구요.

지금까지 찾아본 x가 느린것의 여러 의견은
1. 서버/클라이언트 형태의 X의 구조
(반면 윈도는 다이렉트 렌더링방식이라죠)
2. xlib의 비효율적인 구현방식
3. 범용 컴파일러인 gcc의 속도문제
4. 비디오 드라이버의 문제
이렇게 나눠서 보고 있던데 혹시 외국 포럼이나 이런곳에서도 문제화된적
이 있었나요? 영어가 된다면 우분투 개발자들이나 freedesktop에 질문하고
싶지만 영어가 짧기 때문에 좀 그러네요.