안녕하세요..웹은 하나도 몰라서 글 올려봅니다...선배님들..개발 고수님들 부탁드려요..

a, b, c 사이트가 글쓰신 분과 관련이 없는 사이트이고 외부에서 접근해서 사용할 수 있는 공식적인 API가 없으면 편법으로 그냥 페이지를 긁어다가 분석해서 원하는 데이터를 추출해야 됩니다.

function euler --description 'euler N : Retrieve http://projecteuler.net Nth problem'
	curl -s http://projecteuler.net/problem=$argv | \ -> curl로 페이지 전체를 받아와서
    xidel --css="div.problem_content p" -q - ^ /dev/null | \ -> xidel로 원하는 항목만을 뽑아 냅니다.
    sed -e 's/$/\n/'
end

저는 쉘에서 쓰기 위해서 curl과 xidel을 이용 했는데 어떤 언어로 작업을 하시던 같은 기능을 하는 라이브러리들이 있습니다.

브라우저로 페이지에 접속해서 원하는 부분을 복사 후 붙여넣기 하는 과정을 자동화 시킨다고 생각 하시면 됩니다. 편법이라는 말에서 짐작하실 수 있겠지만 페이지 구조나 디자인이 바뀌는 것에 대해서 계속 신경써줘야 하고 결정적으로 해당 사이트에서 차단을 당할 수도 있습니다. 사이트 관리자가 보기에 정상적인 고객이 아니고 데이터 긁어가는 봇이라고 생각하면 언제든 차단 조치를 당할 수 있겠지요.

공식적인 API가 있어도 작업 내용은 크게 달라지지 않습니다. 데이터 받아와서 가공, 저장. 하지만 훨씬 더 신뢰성이 있고 가공하기도 편해 집니다.

이 부분을 안정적으로 구현 하시면 나머지 부분은 일반적인 웹 사이트 개발과 크게 다르지 않을 것 같습니다.