X윈도우 포워딩할때 느린 속도의 원인은?

안녕하세요.
rpm 패키지 의존성관계를 모조리 깨뜨려가면서 gimp설치한 뒤에 좀 찝찝하지만 업그레이드된 기능들을 쓰면서 놀고 있습니다.
(몇가지는 다운그레이드... script-fu가 먹통이군요. 파이썬-fu는 없어졌고... 뭐가문제일까?)

저는 윈도우환경에서 리눅스서버로 접근해서 쓰는데, X윈도우도 포워딩(용어맞나요?)해서 쓰고 있습니다. 항상 속도가 느려서(특히 노틸러스 장난아니게 느림) 기가빗 이더넷이 아니어서 그러려니 했는데, 오늘 우연히 네트웍 전송량그래프를 보니 네트웍 파워는 50%도 안 쓰더군요. 근데 CPU자원은 75~80퍼센트를 쓰고 있습니다.
저는 X윈도우 포워딩할때 모든 처리는 서버에서 하고 결과만 랜으로 전달하는 걸로 알고있는데, 아닌가요? 클라이언트 컴퓨터는 서버하고 동급 성능이지만 윈도XP가 깔려있어서 훨씬 무겁습니다.(메모리 대역폭은 서버컴보다 딸림) 네트웍이 느려서 안되는건 아니고, 서버에 직접 모니터달아서 노틸러스돌리면 포워딩해서 쓸 때보다 10배가량 빠릅니다.(폴더를 열 때 콘솔에서는 1초이내(0.5초가량)지만 포워딩하면 5초정도 걸림)
이게 왜 이러는건지 혹시 아시는 분 계십니까?
그럼...

추신 : CPU파워도 왜 20퍼센트정도 남기는지 이해가 안됩니다. 참고로 X서버는 Xmanager2 쓰고 있습니다.