리눅스 페도라3 를 설치하고 ssh 원격접속

안녕하세요. 레드햇 페도라3 를 설치하고 ssh 까지 셋팅을해서
원격으로 잘 접속을 하고 있습니다.
로컬에서는 잘 접속이 되는거 같은데,
외부에서 해당 서버로 접속하면 됐다 안됐다하는 경우가 생기거든요.
ssh 접속을 시도하면 refuse 되었다고 나와서..
아무래도 인터넷업체쪽에서 패킷을 거르는거 같은데.. 여기에 문의해본 결과 그런거 하지 않는다고 하고 -.-

또 어떨땐 접속이 잘 되거든요.. 리눅스에서 이렇게 셋팅을 할 수 있는건가요? (어떤 아이피[외부]의 접속요청에 대하여 허용했다, 거부했다가) ssh2 이용하고 있고요.. 다른 설정은 별다르게 건드린것은 없는데..

답변기다리겠습니다. 감사합니다.