PhantomJS 질문 입니다 문제점이라도 알려주세요!

진유비@Google의 이미지

소스코드 참고 해서 올렸습니다..
밑에 파이썬 코드중에 webdriver.PhantomJS에서 PhantomJS연결하는 부분이고
여러 프로세스가 와서 거치게 되는 코드인데 자꾸 멈춤 현상이 발생합니다.
하나가 도는동안 하나는 멈춰져 있고
어쩌다가는 5개가 같이 돌아갈떄도 있고 어쩌다가는 두개 같이 거쳐서 돌아가고
webdriver.PhantomJS 이부분에서 뭔가 대기하는 현상이 일어나는데 phantomjs드라이버 하나를 여러개가
같이 써서 그런건가요?용량도 큰거같던데..
해결방법이나 문제점좀 알려주시면 감사하겠습니다 적어도 10개 이상은 돌아가야하는데..ㅜㅜ
부탁드려요!!
참고로 서버는 가상서버로 싼거를 쓰고있습니다

웹이 느리더라도 드라이버 연결같은 문제라
서버가 느린문제는 아닌거같아서 올립니다 !

print("PhantomJS:"+str(shop_user_id)+"---------")
driver = webdriver.PhantomJS('/root/firstServer/election/phantomjs-2.1.1-linux-x86_64/bin/phantomjs');
driver.get(detail_url)
print("PhantomJS:url connect-> "+str(detail_url)+" user_id : "+str(shop_user_id)+"...wait....")
driver.implicitly_wait(10);
print("PhantomJS:url wait ok-> "+str(detail_url)+" user_id : "+str(shop_user_id)+"...wait..ok passing start")

익명 사용자의 이미지

PhantomJS가 무엇인지 몰라서 이걸 남기신 건 아니라고 믿겠습니다 :(

익명 사용자의 이미지

원 글쓴이가 https://www.phpschool.com/gnuboard4/bbs/board.php?bo_table=qna_other&wr_id=140865&sca= 사이트에도 같은 질문을 올리신 것 같은데, 저기 첫 답글은 "초보자를 위한 질문하는 법" 같은 게 아니라 바로 기술적인 이야기가 나오네요.

익명 사용자의 이미지

저기 저 코드가 어떻게 여러 번 호출되는 건가요? 저 코드를 포함하고 있는 파이썬 인스턴스가 별개의 프로세스로 호출되는 것인지, 아니면 하나의 파이썬 인스턴스 내에서 멀티스레드나 멀티프로세스를 사용해서 여러 번 호출되는 건가요? "phantomjs multiple instance"로 검색해 보시면 PhantomJS 자체를 여러 개 실행시키는 것이 자원 부하가 많이 걸리기 때문에 우회 방법을 찾아보셔야 할 겁니다. 가상 서버로 싼 걸 쓰고 있다고 하셨는데, 실제로 PhantomJS를 여러 개 실행시켰을 때 부하 문제가 발생할 수도 있으니까 htop 등으로 자원을 얼마나 먹고 있는지도 확인해 보세요.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.