메모리 주소공간에 대한 질문

안녕하세요.
컴퓨터에 대해서 공부하는 학생입니다.
공부하다 헷갈리는 부분이 있어 질문드립니다.

32bit 구조 컴퓨터에서 메모리 주소가 2^32 개가 되어 4GB의 메모리가 사용가능하다고 배운것 같습니다.
여기서 헷갈리는 것이
1 byte = 8 bit = 2^3 bit이므로
2^32 이면 2^29 byte 가 되어서 4GB가 되지 않는 것이 아닌지 헷갈립니다.

아니면 혹시 1 메모리 주소에 1byte의 정보가 저장되어서 전체 용량이 4GB가 되는 건가요??

아직 개념이 명확하게 이해가 되지 않는것 같습니다.
도와주세요.. ㅠ