현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

트위터 웹사이트 파싱에 질문 드립니다

tmzks1의 이미지
글쓴이: tmzks1 / 작성시간: 금, 2014/10/03 - 9:17오후

빅데이터 공부중인 학부생입니다.

제가 이번에 트위터 페이지를 실시간 크롤링 하려고 하는데 막히는 부분이 있어 질문드려봅니다.

트위터api를 사용치 않고 웹 페이지를 접속하여 간단하게 파싱하려 하는데 search.twitter 페이지 같은 경우

스크롤을 아래로 내리면 메시지가 뒤이어 추가 로드 되는 방식으로 어찌해야 코드 상에서 그런 추가로드 메시지들도 가져올 수 있을지 막막합니다

혹시 좋은 방법 있으시면 답변 부탁드릴게요 ㅠㅠ

Forums: 
프로그래밍 QnA
yukariko의 이미지

글쓴이: yukariko / 작성시간: 금, 2014/10/03 - 10:08오후

스크롤이 내려가면 추가 로드된다는건, 스크롤이 내려갈때마다 특정 signal을 서버로 보낸다는 것이겠죠.
그럼 네트워크 패킷을 검사해서 그 signal을 찾아내면 간단하게 해결될 것으로 보입니다.

peecky의 이미지

글쓴이: peecky / 작성시간: 금, 2014/10/03 - 11:31오후

크롬으로 트위터 접속해서 개발자 툴 열고, 네트워크 탭에서 XHR만 필터링 해서, 스크롤 내릴 때 어떤 요청을 보내는지 살펴보세요.

tmzks1의 이미지

글쓴이: tmzks1 / 작성시간: 토, 2014/10/04 - 5:59오후

패킷을 와이어샤크와 크롬 개발자 툴로 분석해봤는데 정말 뭔가 나오더군요 ㅠㅠ
이제야 어떻게 해야 겠다 감이 잡혔습니다 정말
제 짧은 지식으로 응용하기는 벅차 다른 글에서도 도움을 받았습니다.

network request를 이용해 크롤링을 하는 튜토리얼입니다.
http://www.youtube.com/watch?v=5FoSwMZ4uJg&index=46&list=UU3IcEolPgWzJzKl38XMP99w

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.