아이폰 스타일로 pagination된 웹페이지를 한꺼번에 파싱하고 싶습니다.

freehn의 이미지

요즘 웹사이트 중에 아이폰 스타일로 pagination된 웹페이지가 많은데요,
처음 로딩시에는 20개의 게시물 정도만 표시하고
스크롤을 맨 밑으로 내리면 그 밑에 추가적으로 20개가 달리는 식으로요.

그런데 이 페이지를 파싱할 때 한 페이지씩 노가다로 스크롤 다운해서 파싱하기가 힘들어서요..
한꺼번에 보고 싶은데
어떤 방법이 있을까요.

mindk의 이미지

아마 대체로 http://sample.com?p=1 ... ?p=10이런 식으로 요청을 보내면 데이터가 몇개씩 넘어올 텐데, 규칙적일 겁니다.
주소를 적당히 분석해서 사용하면 될 겁니다. 그리고 아마 어쩌면 우연히 운좋게, 파라미터에 몇개씩 보여달라는
변수가 있을 수도 있습니다. 그러면 한번에 ?p=1&s=1000 이런식으로 천개씩 가져올 수도 있을 겁니다.
왠지, 미국 와레즈 긁는 느낌이군요. 하하..

익명 사용자의 이미지

답변 감사합니다 :D

그런데
1페이지가 보여진 페이지나 10페이지가 보여진 페이지나 주소의 파라미터값이 변함이 없는 걸 보면
주소는 건드리지 않고 다른 방식을 쓰는 것 같아요.
흠..

cleansugar의 이미지

표시할 페이지는 전달해야 되는 경우가 많습니다.

만약 마지막 게시물 번호만 전달됐다면 내부 SQL문에 적혀있을 겁니다.

아니라면 not get but post나 AJAX 방식일 수도 있습니다.

재벌 2세가 재벌이 될 확률과
금메달리스트 2세가 금메달을 딸 확률이 비슷해지도록
자유오픈소스 대안화폐를 씁시다.

아이디의 아이디어 무한도전
http://blog.aaidee.com

귀태닷컴
http://www.gwitae.com

mindk의 이미지

윗 분이 말씀하신 것처럼 post거나 퀴리형식일 수도 있습니다. 아니면 의도적으로 주소창에 도메인만 표시되게 했을 가능성이 있습니다.
예를 들면 여러 도메인을 쓰는 경우, 몇 개의 도메인은 단순 링크식(포워딩)으로 했을 수도 있습니다. 그렇게되면 완전한 주소가 표시되는게 아니라, 도메인 이름만 표시됩니다.
이런경우에 아마 http://sample.com/blog에서 blog같은 하위주소가 아예 표시되지 않을 겁니다.

해더를 한 번 열어서 보시거나,
단순하게, 페이지를 넘기는 링크버튼에 마우스를 올려보시면, 원주소가 보일 수도 있습니다.

사적인 페이지가 아니라면, 주소를 알려주세요. 한 번 확인해 보겠습니다.

freehn의 이미지

http://couponmoa.com/#/deal/deals?list=global_search&selection[keywords]=&selection[region_id]=0&selection[provider_id]=0&selection[category_id]=0

특이한 게 익스플로러와 크롬, 파폭에서 표시되는 방식이 다르네요.
익플에서는 하방 스크롤 대신 상품 더보기 버튼이 있습니다.
주소는 동일하네요.
변함없는 것도 동일하고.

왠지 점점 노가다를 해야 하는 쪽으로 나가는 것 같습니다...

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.