현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

파이썬을 이용해서 개발중인데 질문이 있습니다. ( 필터링 ?매칭?)

jinmon의 이미지
글쓴이: jinmon / 작성시간: 수, 2016/02/03 - 10:22오전

안녕하세요

아직 입문자라 혼자 해결하는데 한계가 있어 질문드립니다..

저는 지금 파이썬을 이용해서 간단한 크롤러를 개발중입니다.(검색어를 입력후 관련 사이트 주소만 긁어내는)

현재 진행 상황을 간단히 설명드리면

url을 입력한 상태에서, 전체소스에서

url 추출 -> 추출한 url에 들어가서 특정 정규식으로 매칭 -> 타임아웃,기타 예외처리 -> 페이지 내의 url 마지막인지 확인 -> 마지막 페이지 인지 확인-> 결과값으로 매칭이 안된 사이트 출력

여기까지 진행한 상태입니다.

그리고.....앞으로

1. 예외사이트 리스트1 (이전에 타임아웃,기타 예외처리 결과로 구성)
2. 예외사이트 리스트2 (크롤러 실행했을때 나오는 예외결과로 구성)
3. 결과값 (크롤러 실행했을 때 확인하고 싶은 url)

url 추출 -> 추출한 url에 들어가서 특정 정규식으로 매칭 ->#### 1에 있는 url이면 삭제#####-> 타임아웃,기타 예외처리 ->###예외처리 값 2에 저장///아닌 값 3에 저장 ###-> 페이지 내의 url 마지막인지 확인 -> 마지막 페이지 인지 확인-> ####3출력####

이렇게 하고 싶은데요...
->#### 1에 있는 url이면 삭제#####-> 이거를 어떤 함수나 방식으로 처리해야할 지를 모르겠습니다.,

답변 부탁드립니다......
감사합니다 ..(_ _)

Forums: 
프로그래밍 QnA
shint의 이미지

글쓴이: shint / 작성시간: 목, 2016/02/04 - 1:31오전


크롤러를 그냥 만드셔도 되는지는 저도 잘 모르겠네요.
허가 받으시는것이 좋을겁니다.

파이썬 Python 으로 HTML에서 HREF의 URL 주소와 값 분리하는 방법
http://kldp.org/node/154229

주소부분을 따올수 있는 그런 함수가 필요
http://kldp.org/node/153979

파이썬에서 데이터 읽기
http://kldp.org/node/153697

----------------------------------------------------------------------------
젊음'은 모든것을 가능하게 만든다.

매일 1억명이 사용하는 프로그램을 함께 만들어보고 싶습니다.
정규 근로 시간을 지키는. 야근 없는 회사와 거래합니다.

각 분야별. 좋은 책'이나 사이트' 블로그' 링크 소개 받습니다. shintx@naver.com

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.