웹페이지 크롤링 목적으로 만든 소스가 디도스로 오인될 수 있다면..

일단 robots.txt를 준수하시는게 맞습니다.

그리고 하루에 crawl할 페이지 단위가 많이 크지 않으면 좋을 것 같은데

관련 논문을 먼저 찾아보시는게 좋을 것 같네요 : )

그리고 DDOS Block 솔루션들이 어떠한 원리로 ip를 filtering하고 block하는지 찾아보시는게 좋겠네요 : )

방문해야 하는 페이지 수를 한정한 뒤에 그 페이지만 방문하는 서버들을 여러대로 나누어서 작업하는게 ip block 조건을 완화 하는데 도움이 될 것 같아요.
(예를 들면 다른 IP 대역 컴퓨터를 Round Robin으로 돌리면 interval 을 줄일 수 있겠죠)

그리고 crawl은 동적 페이지나 환경 link와 같은 경우 무한 loop을 돌 수 있기 때문에 a tag에 걸려있는 link는 보통 3 depth까지 들어갑니다.

그리고 이미 방문한 페이지를 다시 방문하지 않도록 이미 방문한 목록 데이터를 가지고 있으며 방문 주기도 결정하게 되겠죠.

crawl을 한다 쳐도 특정 페이지에 있는 특정 패턴의 컨텐츠를 긁어올 것인지에 따라 crawler 로직이 조금씩 다를 것이고요

긁어온 페이지를 검색엔진에 어떻게 노출할 것이며 어디까지 보여줄 것인지는 indexer에 등록하는 정책마다 다를 것입니다.

그리고 긁어온 페이지를 indexer에 등록하면서 어떤 tag나 keyword를 검색에서 노출하게 할 것인지(stemming)는 또 다른분야고요..

막연히 crawler를 만들기 보다는 기존에 나와있는 검색 이론 관련 서적을 먼저 공부하시고 배경 지식을 탄탄히 하시는게 좋을 것 같습니다.

검색은 crawler 말고도 해야 할 게 너무나 많아요 ㅎㅅㅎ