웹페이지 크롤링 목적으로 만든 소스가 디도스로 오인될 수 있다면..
글쓴이: koreaccm / 작성시간: 목, 2012/11/29 - 6:14오후
안녕하세요,
회사의 업무 효율을 높이지고 웹페이지 크롤링하는 코드(Python)를 짜봤습니다.
예를 들면 네이버 특정 페이지에 수천개의 쿼리를 입력하고 판단하는 일입니다.
문제는 이 코드가 아무리 interval term 을 주더라도
웹사이트에서 d-dos로 인식될 염려가 있다는 것입니다.
그리고 아주 초보수준으로 만든 코드(Python)다 보니
검색엔진에서 의미하는 제대로 된 크롤러라고도 볼 수 없구요.
D-dos로 오인될 수 있다는 이 문제를 어떻게 돌파할 수 있을까요?
어떤 열린 답변이라도 부탁드립니다.
사실 처음 만들어봤던 프로그램인데 이런 벽에 막히고
다음의 방향성을 잃어버리니 한동안 손을 놓고 있었습니다.
'막연히 검색엔진에 대해서 공부하면 될까?' 하는 생각뿐이네요.
(소스 공개는 너무 기초 수준이라 별 의미가 없을 것 같아서 하지 않을게요 ㅜ)
Forums:
댓글 달기