파이썬으로 크롤링이 안되는 부분도있나요?
글쓴이: rladmsxor93 / 작성시간: 수, 2018/02/07 - 2:12오후
for num in bsobj.findAll("span",{"class":"page_num"}): print(num)
이 코드를 가지고
이 부분의 a 태그를 싹다 크롤링 하려고합니다.
<div id="pageObjNavagtion" style="display:block;"> <div class = "paging"> <a href = "javascript:pageObj.sendPage('27001');" class="prev">..</a> <span class="page_num"> <strong>....</strong> <a href = "javascript"pageObj.sendPage('27551'):">552</a> <a href = "javascript"pageObj.sendPage('27601'):">553</a> <a href = "javascript"pageObj.sendPage('27651'):">554</a> <a href = "javascript"pageObj.sendPage('27701'):">555</a> ..... </span> <a href = "javascript:pageObj.sendPage('28001');" class="next">..</a>
제가 시도 해본건
1 for num in bsobj.findAll("span",{"class":"page_num"}): print(num) 2 for num in bsobj.findAll("div",{"id":"pageObjNavgation"}): print(num) ->이때의 output은 <div id="pageObjNavgation" style="display: none;"></div> 만 나옵니다 3 for num in bsobj.findAll("span",{"class":"page_num"}): print(num) 4.정규표현식
이렇게 제가 해볼수있는건 다 해봤는데 저부분만 수집이 안되더라구요...
어떤 방법으로 접근해볼수있는지 조언좀 부탁드리겠습니다.
제가 저 자바스크립트를 실행하려는건 아닙니다. 단지 수집만 되어서 None객체체크만 하려고합니다.
Forums:
댓글 달기