현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

웹사이트 내용을 가져오기 c++프로그램으로...

csk6124의 이미지
글쓴이: csk6124 / 작성시간: 목, 2005/04/28 - 2:32오후

c++로 작성하려고 합니다 현재 배운것도 c++이구요
저가 하고자 하는것은
웹사이트를 넣으면 해당 사이트에 있는 내용을 검사하여 일치하는 문서의 주소는 디비에 저장하려고 합니다.
index.html을 찾아 문서내용을 보구 만약 링크가 걸려져 있으면 링크를 따라 다른문서사이트의 검색어랑 비교하여 맞으면 디비입력 이런식으로 꼬리를 물어서 하는 방식으로 저가 원하는 키워드의 문서주소를 디비에 저장하는프로그램을 하려고 하는데..
웹사이트 문서를 어떻게 가져와서 검사를 하는지..
궁금해서 이렇게 올립니다...

Forums: 
프로그래밍 QnA
tasy의 이미지

글쓴이: tasy / 작성시간: 목, 2005/04/28 - 2:39오후

C++이라고 별다른 방법이 있는 것은 아닙니다.
가볍게 하시려면 소켓사용하셔서 접속하신다음에 while로 문서 내용 가져온 다음 파싱해서 url들을 검색하시고 겸사겸사 가져온 문서 내용을 검색하여 원하는 문자열을 찾고 파싱한 url을 분석하여 같은 사이트(사이트 주소를 기준으로 하면됩니다)의 문서파일(html, txt, htm, php, php3 등등이 있겠죠) 링크들을 추린 다음에 앞서와 같은 방식으로 다시 작업하도록 만들면 됩니다.

중간에 링크를 분석하는데로 자식프로세스(혹은 쓰레드)에게 그 작업을 시키는 방식으로 하시면 될 것 같습니다.

---------
Byeongweon Moon
http://tasy.jaram.org/blog
사랑하면 알게 되고 알면 보이나니 그때에 보이는 것은 전과 같지 않으리라.

nthroot의 이미지

글쓴이: nthroot / 작성시간: 목, 2005/04/28 - 2:40오후 

[nthroot@madnom nthroot]$ telnet yahoo.com 80
Trying 66.94.234.13...
Connected to yahoo.com.
Escape character is '^]'.
GET / HTTP/1.0

HTTP/1.0 200 OK
Date: Thu, 28 Apr 2005 05:39:47 GMT
P3P: policyref="http://p3p.yahoo.com/w3c/p3p.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"
Connection: close
Content-Type: text/html

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="robots" content="noindex,follow">
<title>Yahoo! - Incorrect URL</title>
<meta http-equiv="refresh" content="60; url=http://www.yahoo.com/">
</head>
<body bgcolor="white" alink="white">

이 부분을 소켓으로 구현하시면 됩니다.
자세한건 http 1.0 rfc 를 보시면 되구요

------식은이 처------
길이 끝나는 저기엔 아무 것도 없어요. 희망이고 나발이고 아무 것도 없어.

cinsk의 이미지

글쓴이: cinsk / 작성시간: 목, 2005/04/28 - 2:53오후

wget source를 분석하시는 것도 도움이 될 것 같군요.

C FAQ: http://www.eskimo.com/~scs/C-faq/top.html
Korean Ver: http://cinsk.github.io/cfaqs/

irondog의 이미지

글쓴이: irondog / 작성시간: 목, 2005/04/28 - 4:57오후

w3c에서 배포하는 Libwww을 써보시는건 어떨까요?

C언어 라이브러리니까 C++에서도 별문제 없을 것 같군요.

http://www.w3.org/Library/

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.