python / lisp 에서 소켓통신으로 http response 받기

azura4의 이미지

소켓통신으로 웹서버에서 웹페이지 받아올려고 합니다.

C 에서는 소켓으로 80포트로 접속해 "GET/HTTP/1.1\r\n" 메시지를 보내면 정상적으로 response 헤더와 HTML 문서내용이 받아지는데요,

파이썬에서

>>> from socket import *
>>> s = socket(AF_INET, SOCK_STREAM)
>>> s.connect(("kldp.org", 80))
>>> s.send("GET/HTTP/1.1\r\n")
14
>>> data = s.recv(1024)
>>> data

이런식으로 결과를 받거나

Lisp(SBCL)에서

(defun connect-to-server (domain port)
(let ((sock (make-instance 'inet-socket :type :stream :protocol :tcp)))
(socket-connect sock (host-ent-address
(get-host-by-name domain)) port)
(let ((s (socket-make-stream sock :input t :output t :buffering :none
:element-type 'character)))
(format s "GET/HTTP/1.1~c~c" #\Return #\Linefeed)
(finish-output s)
(dotimes (i 10)
(write-line (read-line s))))))

(connect-to-sever "kldp.org" 80)

으로 response를 받으면 헤더는 없고 html 문서 내용만 있거든요.

왜 헤더가 안받아지는 이유를 모르겠네요. 조언 부탁드립니다.

며칠째 헤매고 있습니다. ㅡㅡ;

seank76의 이미지

lisp는 모르겠지만 python이라면 httplib을 써보시는게 어떠실지...

bushi의 이미지

from socket import *
sock = socket(AF_INET, SOCK_STREAM)
sock.connect(("kldp.org", 80))
file = sock.makefile('rb', 0)
file.write('GET / HTTP/1.0\r\n\r\n')
file.flush()
print file.read()

'rb' 에 주의.

HTTP/1.1 200 OK^M
Date: Mon, 29 Jan 2007 17:29:13 GMT^M
Server: Apache^M
P3P: CP='CAO PSA CONi OTR OUR DEM ONL'^M
X-Powered-By: PHP/5.1.6AnNyung^M
Set-Cookie: PHPSESSID=98e048404e3ae6830e7673a962133433; path=/^M
Last-Modified: Mon, 29 Jan 2007 17:27:48 GMT^M
ETag: "6946c4e22836437a4803cefcf63a57b6"^M
Expires: Sun, 19 Nov 1978 05:00:00 GMT^M
Cache-Control: must-revalidate^M
Connection: close^M
Content-Type: text/html; charset=utf-8^M
^M
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
....
blueskya의 이미지

import httplib
conn = httplib.HTTPConnection('kldp.org',80)
conn.request("GET","/")
res = conn.getresponse()
headers = res.getheaders()
print headers

----------------------------------------------------------------------
인생 뭐있어? 백수로 사는거야~ 가는거야~

----------------------------------------------------------------------
인생 뭐있어? 백수로 사는거야~ 가는거야~

bushi의 이미지

덕분에 http/1.1 을 좀 봤습니다.

from socket import *
 
s = socket(AF_INET, SOCK_STREAM)
s.connect(("kldp.org", 80))
s.send('GET / HTTP/1.1\r\n')
s.send('Host: kldp.org\r\n')
s.send('\r\n')
data = s.recv(1024)
print data

azura4의 이미지

신경써서 답변 달아주신점 감사드립니다.

lisp 도 해결됬습니다. ^^;

HTTP/GET/1.1 -> HTTP / GET/1.1

이런식으로 띄어 쓰니까 해결되네요. 왠지 허무... ㅡㅜ;

7339989b62a014c4ce6e31b3540bc7b5f06455024f22753f6235c935e8e5의 이미지

urllib을 쓰면 내용만 읽어올 수도 있습니다.

import urllib
stream = urllib.urlopen("http://kldp.org/")
print stream.read()
stream.close()

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.