X11에서 Buffer 주소 얻어오는 방법이 있을까요?

현재 x86계열 보드에 그래픽 라이브러리를 포팅하는 중입니다.
그래픽코어로는 ATI 칩셋을 쓰고 있습니다.

문제는, 제가 사용할 수 있는 ATI Driver가 X Server만 지원한다고 합니다.
Driver의 API가 아마 X Server에서 돌아갈 수 있는 것만 있어서...라고 추측되는데, 정확히 모르겠습니다.
API 문서도 주지 않더라구요...

결국 X Server와 X Protocol 통신으로 그래픽 라이브러리를 만들어야 하는 상황입니다.

가장 중요한 문제가,
지금 이 그래픽 라이브러리에서 그림을 그릴 메모리 영역, 즉 Buffer를 얻어와서,
위쪽 레이어인 응용프로그램 쪽에 전달해야 한다는 것입니다.
현재 라이브러리와 응용프로그램이 다 이렇게 만들어져 있어서, 제가 포팅할 때도 그 API를 맞춰야 합니다.

그런데 X 의 디자인상(Server-Client) Server에서 관리하는 Buffer 주소를 Client쪽에서 얻지 못하지 않습니까?

이 문제를 어떻게 해결해야 할지, 고수형님들의 조언을 듣고 싶습니다. 부탁드립니다.

세줄 요약
1. X용 Driver밖에 제공받지 못해서, X Server와 통신하는 라이브러리를 만들어야 함
2. 그런데 그림 그릴 Buffer 주소를 꼭 얻어서 응용프로그램에 넘겨줘야 함
3. 이를 어떻게 해결해야 하나요?

--------사족들-----
ps 1.
X11위에서 totem등의 미디어 플레이어로 동영상 플레이를 할 경우에, 동영상이 플레이 되는 부분은 어떤 방법을 이용합니까? 현재 제 경우와 비슷할 것 같아서요. 이규명씨의 "Frame Buffer 이야기" 문서에 따르면 X-Server와 Frame Buffer는 동시에 사용 못하는 것으로 나오는데, 제가 잘못 이해했거나, 미디어 플레이어에서 다른 방법을 쓸거라고 생각됩니다. 둘 중에 어떤게 맞는지요?

ps 2.
리눅스용 Quake 같은 경우는 GLX로 OpenGL + X11 을 구현한다고 들었습니다. 이때 Device Driver가 OpenGL을 지원한다는 가정이겠지요? (OpenGL과 API를 맞춘 거겠지요?) 지금 제 상황에서 GLX를 써서 그래픽 라이브러리를 구현한다면, Driver가 OpenGL을 지원한다는 이야기일텐데, 그러면 차라리 X11이고 뭐고 OpenGL을 써서 구현하는게 옳은 방법이겠지요? (OpenGL을 지원하는지는 확인 못해봤습니다.)

질문이 좀 난잡한 것 같습니다.
계속 고민 중이었는데, 뾰족한 답이 안 나옵니다.
고수님들 무심코 던지신 한마디에 개구리가 우물밖으로 나올 수 있습니다. 굽신굽신