검색엔진이 사이트를 못긁어가게 하려면 어떻게 하나요?
글쓴이: imone / 작성시간: 수, 2004/09/08 - 12:53오전
설치 및 활용 QnA에 글을 쓰는데 카테고리를 제대로 선택한건지 모르겠습니다.
개인서버를 운영하고 있고 거기에 블로그 형태의 제 홈페이지를 돌리고 있습니다. 신변잡기 위주의 홈페이지라서 저를 잘 알고있는 지인 외에는 어떤 정보를 얻을 수 있다라던지 그런건 전혀 없구요. 그래서 검색엔진에서 제 홈페이지를 긁어가는것을 원하지 않습니다. 제가 잡다하게 떠들어놓은게 구글에서 제이름 치면 나오는건.. 좀 꺼려지네요..
그래서그런데 검색엔진에서 제 사이트를 방문하지 못하게 하거나
방문하더라도 내용을 긁어갈수 없게 하는 방법은 없을까요? 아파치에서 무슨 설정을 해주면 되려나...
아.. 리눅스에 APM 돌리고 있고 홈페이지는 제로보드+태터툴즈 이용하고 있습니다.
Forums:
robots.txt 설정이나, .htaccess, meta tag 설정
robots.txt 설정이나, .htaccess, meta tag 설정 등을 활용하시면 됩니다.
http://www.robotstxt.org위 사이트를 보고 /r
http://www.robotstxt.org
위 사이트를 보고 /robots.txt나 HTML페이지의 메타 태그를 지정하면 되는데, 요즘 로봇은 이걸 무시하는 경우가 많습니다. 그런 경우에는 HTTP의 User-Agent 헤더값을 보고 브라우저(IE, 모질라, lynx, w3m등)가 아니면 막도록 하는데, 요즘 못된 봇은 그것마저 속입니다. :<
--
익스펙토 페트로눔
외부에서 imone님의 블로그로 넘어가는 링크를 없애야 합니다.아니면
외부에서 imone님의 블로그로 넘어가는 링크를 없애야 합니다.
아니면 대문에 플래시 하나 만들어서 걸어 놓으시고
imone님의 블로그로 들어가는 모든 링크를 그 플래시에서만 접근 가능하도록
만들어 놓으시면 됩니다.
역시 문제는 본인 블로그의 링크를 뿌리시면 안된다는겁니다.
로봇이 뛰어난들 플래시를 해석할쏘냐!!
더 이상 없다.
우선은 robots.txt와 User-Agent로 해보겠습니다.
검은해님과 cjh님이 알려주신대로 우선은 robots.txt 설정을 해두었구요. 좀 있다가 User-Agent값 설정을 해줘야겠습니다.
그런데 구글이나 뭐 국내에서 많이 사용하는 검색엔진들이 robots.txt나 User-Agent값을 속이나요? 어차피 사이트가 한글로 된거니 외국어검색엔진에서 긁어가는건 별 상관이 없을꺼같고, 한글검색이 가능한 엔진(이를테면 구글이나 네이버, 엠파스, 야후등의)만 막을 수 있으면 괜찮을것 같습니다만.....
위의 로봇들이 규칙을 잘 지켜준다면 좋겠네요.(혹시 이런거 조사된 사례는 없을까요?)
그리고 forunme님이 말씀해주신대로 외부에서의 링크를 모두 끊어버리고 대문에 플래시 걸어놓는건... 완벽한 방법이겠네요. :wink:
근데 이미 다른 지인들사이에 제 홈페이지의 링크가 걸려있는경우도 많고... 대문을 플래쉬로 장식하는건 좀 생각해볼 필요가...^^
그나저나 이렇게 글을 써놓고 보니 쩝... 걍 잡다구리 개인홈일 뿐인데 무슨 대단한 비밀사이트를 운영하는 것같네요. 답변 감사합니다.
플래쉬로 대문만들면 여기서 flame 거실 유저분들이 많을 것 같군요.
플래쉬로 대문만들면 여기서 flame 거실 유저분들이 많을 것 같군요.
Written By the Black Knight of Destruction
플래시.. 자바스크립트는요?
플래시가 좀 그러면.. 자바스크립트를 써서 링크를 걸어놓으면 잘될까요?
로봇들이 설마 자바스크립트를;; (호..혹시? ; )
댓글 달기