ubuntu 의 kvm

제가 노트북에 리눅스를 주운영체제로 쓰고 virtualbox 위에 위도우를 돌리면서 같이 쓰는데요.
그러자니, 아무래도 좀 느리고 노트북 사양이 좋은걸 들고 다녀야 하니 좀 무겁기도 해서 말이죠.
집의 컴퓨터에 우분투를 깔고 가상 기반위에 윈도우도 함께 돌려 놓고.
실제로는 노트북에서 freenx 로 원격 접속해서 쓸려고 합니다. 집의 컴퓨터는은 서버 개념이죠.
그래서 집에 우분투 서버 9.04 를 깔고 kvm 위에 vm 게스트들로 우분투 데스크탑과,윈도우를 깔려고 하던차에 문득 드는 생각이
우분투 데스크탑은 게스트로 깔 필요없이 그냥 서버쪽에 붙으면 성능이 더 좋지 않을까 해서 말입니다.
만약, 그렇다면 우분투 서버 버젼위에 다시 X 를 까는것 보다 처음부터 우분투 데스크탑 에디션을 깔고 KVM 관련 패키지를 깔아서 윈도우를 설치하는게 더 맞는게 아닌가 하는 생각도 드는 한편.. freenx 로 접속하면 노트북이 X서버 역할을 하니 서버에는 X 가 필요없을수도(?) 있고 그럼 그냥 지금처럼 우분투 서버 위에 파이어폭스같은거 깔아도 노트북에서 사용될련가 싶기도 하네요.
어떤 구성이 좋을련지 조언부탁드립니다.