로봇의 ip ?

lafi-R의 이미지

php-nuke 로 블로그는 아니지만...
내가 생각하는것들과 일상생활을 적는 저만의 블로그로 사용하고 있습니다.

예전에 방문자를 보니 비슷한 ip주소로 10개가 넘는 방문객이 있었는데..
당시에는 그냥 방문자라고 생각했지만..
별볼일 없는 홈페이지에 사람들이 그만큼 접속한다는건 있을수 없을거라 생각이 되어...
언제 부터 인가 그것들이 검색엔진 로봇들이 아닐까 생각이 들더군요..

오늘은 최고 28개의 ip 로 방문자가 접속했는데...
http://www.whois.sc/ 로 몇개의 ip만 검색해 봤는데..
특별히 로봇인지...그냥 순수 방문객인지 잘 모르겠더군요..

로봇인지 순수 방문객인지 ip 주소를 알려는건 아니지만..
제 생각으로는 대충의 검색엔진 로봇은 특정한 ip 대역이 있을듯 싶은데...
제 생각이 맞는건가요?

jee1의 이미지

특정한 IP 대역이 있는 것은 아닙니다.

어짜피 로봇이 돌아가는 서버도 IP는 있어야 하니깐요...

그냥... 우리가 사용하는 IP와 같다고 생각하시면 되요...

angpoo의 이미지

ip는 전혀 의미가 없습니다. 특정로봇이야 특정 ip를 사용하겠지만...
로봇이 대부분 agent 필드에 자신을 밝힙니다.
로그파일안에 남아 있을 겁니다.

php라면 $_SERVER["HTTP_USER_AGENT"]로 확인해 볼 수도 있고
webalizer같은걸 쓰면 로그파일을 agent별로 정리도 해서 보여줍니다.

EcusE의 이미지

angpoo wrote:
ip는 전혀 의미가 없습니다. 특정로봇이야 특정 ip를 사용하겠지만...
로봇이 대부분 agent 필드에 자신을 밝힙니다.
로그파일안에 남아 있을 겁니다.

php라면 $_SERVER["HTTP_USER_AGENT"]로 확인해 볼 수도 있고
webalizer같은걸 쓰면 로그파일을 agent별로 정리도 해서 보여줍니다.

맞습니다. 대부분 자기가 로봇이다라고 알려줍니다.
제가 가지고 있는 로봇들의 이름들입니다. 웹서버 로그에 남거나 퍼온(?)이름들인데 낯익은 것들도 좀 보이는군요 :)

Googlebot/2.1; +http://www.google.com/bot.html
NaverBot-1.0 (NHN Corp. / +82-2-3011-1954 / nhnbot@naver.com)
Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
WISEbot/1.0 (WISEbot@koreawisenut.com; http://wisebot.koreawisenut.com)
BizBot04 kirk.overleaf.com
HappyBot (gserver.kw.net)
CaliforniaBrownSpider
EI*Net/0.1 libwww/0.1
Ibot/1.0 libwww-perl/0.40
Merritt/1.0
StatFetcher/1.0
TeacherSoft/1.0 libwww/2.17
WWW Collector
processor/0.0ALPHA libwww-perl/0.20
wobot/1.0 from 206.214.202.45
Libertech-Rover www.libertech.com?
WhoWhere Robot
ITI Spider
w3index
MyCNNSpider
SummyCrawler
OGspider
linklooker
CyberSpyder (amant@www.cyberspyder.com)
SlowBot
heraSpider
Surfbot
Bizbot003
WebWalker
SandBot
EnigmaBot
spyder3.microsys.com
www.freeloader.com.

랜덤여신의 이미지

제 사이트는... MSN Bot 이 굉장히 많이 왔다가더군요. :twisted:
(msnbot/0.11 (+http://search.msn.com/msnbot.htm))