현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

wget등을 이용한 구글 웹검색결과 다운로드 방법??

newbeautiful의 이미지
글쓴이: newbeautiful / 작성시간: 월, 2007/10/01 - 10:17오전

안녕하세요.
구글 검색결과를 파일로 저장하고 싶습니다.
예제는 다음과 같습니다.

#include
#include
#include

int main()
{
char wgetUrl[2048];
strcpy(wgetUrl, "http://www.google.co.kr/search?complete=1&hl=ko&q=dd&lr=&aq=t&oq=ddd");
execlp("wget", "wget", wgetUrl, "-O", "googleResult", "-o", "wgetmessage", NULL);
}

wget의 결과는 다음과 같습니다.

--10:13:53-- http://www.google.co.kr/search?complete=1&hl=ko&q=dd&lr=&aq=t&oq=ddd
Resolving www.google.co.kr... 64.233.189.104
Connecting to www.google.co.kr|64.233.189.104|:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
10:13:54 ERROR 403: Forbidden.

403 Forbidden 오류로 다운로드가 되지 않습니다.
다음과 같이 해보면 네이버 검색결과는 오류없이 파일로 저장할 수 있습니다.
strcpy(wgetUrl, "http://search.naver.com/search.naver?where=nexearch&query=sdf&x=8&y=13&frm=t1&sm=top_hty");

이 오류를 해결할 방법이나 wget이외의 다른 파일다운로드 방법을 알려주셨으면 좋겠습니다.
Firefox와 같은 브라우저는 어떤 방법으로 구글에서 검색결과를 얻어오나요???
telnet으로 www.google.co.kr에 접속하려고해도 접속되지 않네요.
감사합니다.

Forums: 
프로그래밍 QnA
aero의 이미지

글쓴이: aero / 작성시간: 월, 2007/10/01 - 1:57오후

Wget 은 HTTP 요청을 보낼때 Header에

GET / HTTP/1.0
User-Agent: Wget/1.8.2
...

형식으로 User-Agent에 Wget/버젼 을 넣어서 요청을 보내는데
google은 아마 wget을 막아 놓았을겁니다.

이것을 Mozilla 등 일반 웹브라우져의 User-Agent로 바꿔서 해보세요.
wget에서 User-Agent를 바꾸는 옵션은
-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.
입니다.

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.