원격 데스크탑 성능 결정 요인? server or clinent?

윈도우 원격 데스크탑 이용할 때요, 네트워크 속도가 충분히 빠르다고 할때 (동일 허브에 물려 있는..등)
서버 pc와 클라이언트 pc 사양 중 실제로 최종 성능을 결정하는 요인은 무엇인지요?

즉, 그래픽 카드, 메모리, cpu 등이 서버 pc 사양 따라 가나요? 아니면 클라이언트 pc 사양 따라 가나요? 아니면 각각 요소에 따라 다른가요...