서버간 ssh 접속문제

A서버와 B서버가 있습니다.
A : CentOS 6.2 / openssh 6.1
B : CentOS 5.8 / openssh 4.3

A에서 B의 ssh(22포트)로 접근이 안되는 문제가 있습니다.
두 서버 다 selinux는 disabled 되어 있고, iptables도 내려가 있습니다.
/etc/밑에 호스트 deny, allow는 아무것도 없습니다.
B서버의 /var/log/secure에 아예 기록이 없고, B까지 못오는 것 같아서 테스트를 해봤습니다.

A -> B로의 22포트 telnet 접근 테스트. 아래는 B에서 확인한 결과
20:55:19.426450 IP AAA.38453 > BBB.ssh: S 3318873700:3318873700(0) win 14600
20:55:19.426475 IP BBB.ssh > AAA.38453: S 729883309:729883309(0) ack 3318873701 win 5792
20:55:22.426199 IP AAA.38453 > BBB.ssh: S 3318873700:3318873700(0) win 14600
20:55:22.426215 IP BBB.ssh > AAA.38453: S 729883309:729883309(0) ack 3318873701 win 5792

A에서 확인한 결과
11:39:52.575804 IP AAA.38454 > BBB.ssh: Flags [S], seq 2881577999, win 14600, options [mss 1460,sackOK,TS val 2283765509 ecr 0,nop,wscale 8], length 0
11:39:55.574935 IP AAA.38454 > BBB.ssh: Flags [S], seq 2881577999, win 14600, options [mss 1460,sackOK,TS val 2283768509 ecr 0,nop,wscale 8], length 0

A가 B에게 syn을 보내고 A의 Syn_Sent 상태 확인
B Syn_recv 상태 확인. tcpdump 로그를 보니 B가 A에게 syn/ack를 보낸것 같은데
A는 그 메세지를 못받고 있습니다.
이거 스위치단에서 패킷이 누락되는 건가요?
아니면 서버상에 설정이 잘못 되어 있는건가요?