UNIX에서 특정 확장자를 제외한 파일 삭제 어떻게 하나요?

예를 들어

text.01
text.02
text.03
text.04

가 있다고 할 때, text.03을 제외한 나머지 파일을 한번에 지우고 싶습니다.

저는 이를 위해, text.03을 다른 폴더로 mv 한 후, rm text.* 하고, text.03을 다시 mv 해 옵니다.

이 과정이 너무 번거러운데요, 혹시 특정 확장자 또는 파일을 제외하고, 나머지 파일을 삭제하는 명령어가 있을까요?