curl, wget 등으로 동적 웹문서(AJAX 같은) dom 긁어오는 기능 질문.

cococo의 이미지

안녕하세요.
제목 그대로입니다.

작업하는게 웹 크롤러 비슷한건데,
동적 웹이라, dom 을 긁어오는 게 까다롭네요.
긁어오는 순간의 html dom 을 그대로 가져오는게 목적이라서요.

윈도우라면 그냥 MFC 에 브라우저 박아서 doc 객체를 txt 로 떨어뜨리면 되지만,
서버가 리눅스라 그건 안되는군요.
피씨 한 대 사서 윈도우 설치하라고 하니까 관리할 사람 없다고 리눅스로 해달라고...

검색해보니 curl / wget 으론 안된다고 하는데,
혹시 비슷한 경우에 해결법 알고 계신 분이나, 검색 키워드 같은거 알고계시면 알려주시면 감사하겠습니다.

이상입니다. 모두들 좋은 하루 되시기 바랍니다.

peecky의 이미지

Headless Chrome

익명 사용자의 이미지

Selenium + PhantomJS 으로 dom 접근 및 조작 가능합니다.