현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

네이버 검색 URL에 대한 궁금한 점

koreaccm의 이미지
글쓴이: koreaccm / 작성시간: 월, 2012/10/08 - 1:17오후

안녕하세요,

파이썬으로 네이버 검색결과를 크롤링하려고 합니다.
제가 왕왕초보자다보니
코드가 얼추 동작하는 것 같긴 한데
제가 정한 검색URL에 문제가 있는 것 같습니다.

원래 웹브라우저에서는
http://search.naver.com/search.naver?query=한예슬
로 입력하면 결과가 잘 나옵니다.

그러나 이 주소를 파이썬 코드에 넣고 실행하면
http://searchc.naver.com 로 redirect 하려는 메세지가 보였습니다.
(아마 스크립트 파일명을 본것 같습니다)

그래서
http://searchc.naver.com/search.naver?query=한예슬
로 테스트해보면 그냥 네이버 메인페이지만 나오는 것 같네요.
(그리고 웹 브라우저에서는 이 주소가 작동하지 않습니다.)

혹시 이 부분에 대한 조언을 들을 수 있을까요?

* 참고: query= 부분에 들어가는 한글은 제대로 인코딩한 것 같습니다.

Forums: 
프로그래밍 QnA
koreaccm의 이미지

글쓴이: koreaccm / 작성시간: 월, 2012/10/08 - 1:39오후

코드는 다음과 같습니다.

#-*- coding: utf-8 -*-
import urllib, urllib2
import StringIO, gzip
from xlrd import open_workbook

xls = open_workbook('test.xls')
sheet0 = xls.sheet_by_index(0)
for row_index in range(sheet0.nrows):

keyword = sheet0.cell(row_index,0).value
query_args = {'query':keyword,'where':'ls'}
encoded_args = 'search.naver?'+ urllib.urlencode(query_args)
print encoded_args

request = urllib2.Request('http://search.naver.com/')
request.add_header('User-agent', 'Mozilla/5.0')
request.add_header('Accept-encoding', 'gzip')
response = urllib2.urlopen(request, encoded_args)

compressedstream = StringIO.StringIO(response.read())
gzipper = gzip.GzipFile(fileobj=compressedstream)

data = gzipper.read().encode('utf-8')
print data

if (data.find('section') != -1 ):
print 'yes'
else:
print 'no'


koreaccm의 이미지

글쓴이: koreaccm / 작성시간: 월, 2012/10/08 - 1:37오후

http://search.naver.com/search.naver?query=한예슬
이 주소를 코드에 넣고 실행하면

<script type="text/javascript">window.location.replace("http://searchc.naver.com/");</script>
이라는 값을 받고 있습니다.

bushi의 이미지

글쓴이: bushi / 작성시간: 월, 2012/10/08 - 2:52오후

urllib2.urlopen() 에 대한 문서를 읽어보세요.
두번째 arg 는 POST 방식에 사용할 data 여야 합니다.
바꿔말하면, 두번째 arg 가 주어지면 GET 이 아니라 POST 요청을 합니다.

적으신 소스에 httplib debug level 만 올려서 보면

send: 'POST / HTTP/1.1\r\nContent-Length: 46\r\nAccept-Encoding: gzip\r\nConnection: close\r\nUser-Agent: Mozilla/5.0\r\nHost: searchc.naver.com\r\nContent-Type: application/x-www-form-urlencoded\r\n\r\n'
send: 'search.naver?query=%ED%95%9C%EC%98%88%EC%8A%AC'

코드를 고치면

send: 'GET /search.naver?query=%ED%95%9C%EC%98%88%EC%8A%AC HTTP/1.1\r\nHost: search.naver.com\r\nUser-Agent: Mozilla/5.0\r\nConnection: close\r\nAccept-Encoding: gzip\r\n\r\n'

가 보이고 response 도 정상적으로 옵니다.
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Mon, 08 Oct 2012 05:50:43 GMT^M
header: Server: Apache^M
header: Set-Cookie: page_uid=Rc5pV35Y7thssbMXyuhssc--237838; path=/; domain=.naver.com^M
header: Set-Cookie: _naver_usersession_=UHJps@lCclAAAGOuwIg; path=/; expires=Mon, 08-Oct-12 05:55:43 GMT; domain=.naver.com^M
header: X-Frame-Options: SAMEORIGIN^M
header: Cache-Control: no-cache, no-store, must-revalidate, max-age=0^M
header: Pragma: no-cache^M
header: Vary: Accept-Encoding^M
header: Content-Encoding: gzip^M
header: P3P: CP="ALL CURa ADMa DEVa TAIa OUR BUS IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE LOC OTC"^M
header: Connection: close^M
header: Transfer-Encoding: chunked^M
header: Content-Type: text/html; charset=UTF-8^M

koreaccm의 이미지

글쓴이: koreaccm / 작성시간: 월, 2012/10/08 - 4:34오후

2일 동안 고민하고 있었는데
어디가 문제인지 알려주신 덕분에 고쳤습니다.

<이렇게 해결했습니다>

urllib2.urlopen(url, data) 이렇게 썼던걸..
GET 방식으로 가져오기 위해서 data 부분을 없애려고 노력했습니다.
그랬더니 아래와 같은 코드로 정상작동하네요.
변경한 부분, 나머지는 동일

query_args = {'query':keyword}
encoded_args = urllib.urlencode(query_args)
request = urllib2.Request('http://search.naver.com/'+'search.naver'+'?'+encoded_args)
.
.
.
response = urllib2.urlopen(request)

감사합니다 :)

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.