perl에서 mechanize모듈을 사용할 때 발생하는 인코딩 문제 관련해 도움이 필요합니다.

yujong_lee의 이미지

perl mechanize 모듈을 사용함에 있어서 시작부터 문제에 봉착했습니다.
mechanize모듈을 사용하는 것이 처음이라 아래와 같은 간단한 코드부터 시도했습니다.
--------------------------------------------------
#!/usr/bin/perl
use strict;
use warnings;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new( autocheck => 1 );
$mech->get( "사이트주소" );
print $mech->content();
--------------------------------------------------

문제는 여기서 발생합니다.
원하는 사이트주소는 http://hiphople.com/kboard 이곳인데,
print된 결과를 살펴보니 ��mw�F�(�Y:g�C��J��N�RV��D3~˞��LEX �@���{lG�ul���H���^e������Q匳�_�o���nH�"-َgM�|���������G_8vj����H٨(�G�(Buv,4���� ....로 이어지는 깨진 텍스트가 출력되었습니다.
(전체 텍스트파일은 첨부하였습니다.)

그래서 이번엔 다른 사이트로 시도해보기로 하고 http://www.visitkorea.or.kr를 주소로 하여서
같은 코드를 실행해였더니, 이번엔 대상사이트의 HTML이 정상적으로 긁어와져 출력됨을 확인했습니다.

이번엔 http://hiphople.com/kboard 로 주소를 설정한 상태로 is_html 메소드를 실행했을때 정상적으로 1을 반환하나, title 메소드를 실행한 결과를 print하려고 하면 초기화되지 않은 값을 출력하려고 한다는 에러가 발생합니다.
title메소드는 content가 html이 아닐때 undef를 반환한다고 알고있는데,앞서 is_html 메소드를 실행했을때 정상적으로 1을 반환한 결과와는 대치되는 부분입니다.

제 짧은 지식으로는 저렇게 글자가 깨지는문제는 인코딩문제로 생각되어 검색을 해보았고,
KLDP에도 이와 아주 약간의 유사성을 같는 글(https://kldp.org/node/114126)를 찾기도 했으나
제가 겪는 문제랑은 좀 달라보여 도움을 얻지는 못했습니다.

게다가 http://hiphople.com/kboard와 http://www.visitkorea.or.kr의 html를 살펴보면 둘다 chatset이 utf8이라고 적혀있고, mechanize도 기본값으로 utf8을 사용하므로 문제될게 없어보입니다.

정리하자면 http://www.visitkorea.or.kr은 제대로 긁어와지는데
http://hiphople.com/kboard은 왜 그렇지 않냐가 제 질문의 요지입니다.
읽어주셔서 감사합니다.

File attachments: 
첨부파일 크기
Plain text icon out (1).txt17.98 KB
김정균의 이미지

해당 사이트의 response 를 보니 gzip compress encoding 으로 전송하는 것으로 보입니다.
대충 검색해 보니 WWW::Mechanize::GZip 모듈이 있더군요. 이걸 이용해서 압축 전송된 것을 decompress 할 수 있을 것 같습니다.

요는 압축 전송이 되는 것 같으니 받은 데이터를 압축 해제를 하시면 될 것 같습니다.

yujong_lee의 이미지

좋은 답변감사합니다.
제가 웹에 대한 지식이 부족하여 하나만 더 질문 드리겠습니다.

말씀하신 모듈의 설명을 읽어보니 If the response contains a header with 'Content-Encoding: gzip'이런 부분이 보여 해당 사이트의 html의 헤더에 zip과 관련된 부분이 있을까 해서 해당 사이트의 html에서 컨트롤f로 검색을 해봤는데 걸리는게 없는데,

"해당 사이트의 response를 보니 gzip~" 요 부분은 어떻게 확인하신 것인지
궁금합니다. 감사합니다. 꾸벅

익명 사용자의 이미지

yujong_lee의 이미지

궁금했던 점이 해결되었습니다. 잘 배우고 갑니다.

익명 사용자의 이미지

답글을 달았는데 갑자기 안보이네요?

포럼 목록에도 댓글 3개라고 되어 있는데(이거 쓰고 나면 4개겠죠) 두 개밖에 안 보이고.

삭제될만한 내용은 아니었는데, drupal 버그인가요?

익명 사용자의 이미지

위 댓글을 쓰고 나니까 다시 보이는군요. 영문을 모르겠네요.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.