소켓 통신을 할 때, 서버가 클라이언트보다 먼저 종료되었을 때....도와주세요 ㅠㅠ

소켓 통신을 할 때, 서버가 클라이언트보다 먼저 종료되었을 때 클라이언트는 여전히 종료되지 않은 상태에서
서버를 재실행 하면 accept 할 때 Invalid argument error가 발생합니다. accept() 함수를 사용할 때 주소구조체의 크기변수도 초기화 잘 되있구요.
서버가 종료될 때 종료시그널이 오면 소켓 전부 닫고 종료하도록 해놓았습니다.
소켓 재사용 옵션도 사용해봤구요. 위에 내용들은 서버소켓뿐만이 아니라 클라이언트 소켓도 포함되는 것입니다.
아 그리고 서버가 종료되고 클라이언트가 실행중일 때 서버가 종료된지 약 1분 후에는 정상적으로 서버가 잘 실행되더라구요.
그래도 서버를 종료되자마자 바로 실행하고 싶은데 뭐 방법이 없을까요?
도와주세요 ㅠㅠ