웹로봇 웹사이트를 돌아다니는것은 어떤방식으로.....???

csk6124의 이미지

웹로봇은 웹사이트를 다니면서 사이트를 수집하는것으로 아는데요..웹문서 수집..
음... 웹사이트를 돌아다니는 방식이 어떤식으로 하시는지 아시는..분 계신가요...
웹로봇을 구현해야 하는데.....
^^;;
많은 조언 부탁드립니다..