URL을 가지고 웹페이지 html 읽어 오는 방법?

bosub의 이미지

URL을 가지고 웹페이지의 HTML을 읽어 올 수 있는 소스가 있나요? 아니면 어떤 식으로 구현을 해야 할까요? 감을 못 잡아서
자바소스는 있는거 같은데 씨언어는 찾기가 힘드네요 ㅠㅠ

sangwoo의 이미지

libwww는 조금 큰 편이었던 거 같구요. libghttp가 간단한 목적으로는 가볍고 좋았던 거 같습니다.
아니면 popen으로 wget을 실행.. (도망)

----
Let's shut up and code.

wfellow의 이미지

별것 아닙니다. 어려운 것도 아니니깐 부담갖지 마시고 가볍게 읽어주셔염^^.

먼저 서버의 80/TCP 로 연결을 합니다. 그 다음 아래와 같이 사정없이 날려주셔요.

GET /index.html HTTP/1.0\n\n

그러면 해당 페이지(여기서는 index.html)가 출력될겁니다. 그리고 나서는 연결이 해제되졈^^

-----[꼬릿말 절취선 시작]-----
삽질전에 먼저 구글신께 기도하자.
-----[꼬릿말 절취선 끝]-----

7339989b62a014c4ce6e31b3540bc7b5f06455024f22753f6235c935e8e5의 이미지

wfellow wrote:
별것 아닙니다. 어려운 것도 아니니깐 부담갖지 마시고 가볍게 읽어주셔염^^.

먼저 서버의 80/TCP 로 연결을 합니다. 그 다음 아래와 같이 사정없이 날려주셔요.

GET /index.html HTTP/1.0\n\n

그러면 해당 페이지(여기서는 index.html)가 출력될겁니다. 그리고 나서는 연결이 해제되졈^^


요즘은 HTTP 1.1로 보내주지 않으면 제대로 페이지를 가져오지 못하는 수가 많습니다.
그러므로, 다음과 같이 요청을 보내야 합니다. (예: http://www.example.com/ 을 가져오기)
GET / HTTP/1.1\r\nHost: www.example.com\r\n\r\n
lacovnk의 이미지

http 프로토콜 문서에서 GET 부분만 보면 간단합니다.

간단한 wget 구현이 과목 숙제였는데.. 어렵지 않습니다 :)

chunked 던가.. 쪼개서 보내기도 하므로 -o- 프로토콜 문서를 조금 보시긴 해야 합니다.

litdream의 이미지

예전에 어느분에 curl 과 libcurl 을 추천해주셨는데, 괜찮은듯 합니다.

삽질의 대마왕...

cinsk의 이미지

sangwoo wrote:
libwww는 조금 큰 편이었던 거 같구요. libghttp가 간단한 목적으로는 가볍고 좋았던 거 같습니다.
아니면 popen으로 wget을 실행.. (도망)

어설프게 구현하는 것보다는 wget을 써서 받는 것이 훨씬 더 효과적일 수 있습니다. 도망가실 필요 없지요. :wink:

wget을 직접 쓸 때, 무겁게 느껴진다면 busybox에 있는 wget을 쓸 수도 있고,
GNU wget을 직접 쓴다면, 여러가지 timeout을 설정할 수 있습니다.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.