XFCE나 LXDE같은 가벼운 데스크탑 환경에 GNOME 깔면 느려지나요?

XFCE나 LXDE같은 가벼운 데스크탑 환경을 주로 사용하면서 그놈 애플리케이션을 사용하고자 하기 위해서 그놈 패키지를 깔면 두개가 중복되서 더 느려지는 거 아닌가요?

아니면 그놈 애플리케이션을 실행할 때만 그놈 패키지가 메모리에 올라가는 건가요?

Xubuntu를 쓰는데 그냥 우분투로 바꿔도 속도가 같을지 궁금해서 묻습니다.