프로그래밍 QnA + 설치 및 활용 QnA

koreaccm의 이미지

웹페이지 크롤링 목적으로 만든 소스가 디도스로 오인될 수 있다면..


안녕하세요,

회사의 업무 효율을 높이지고 웹페이지 크롤링하는 코드(Python)를 짜봤습니다.
예를 들면 네이버 특정 페이지에 수천개의 쿼리를 입력하고 판단하는 일입니다.
문제는 이 코드가 아무리 interval term 을 주더라도
웹사이트에서 d-dos로 인식될 염려가 있다는 것입니다.

그리고 아주 초보수준으로 만든 코드(Python)다 보니
검색엔진에서 의미하는 제대로 된 크롤러라고도 볼 수 없구요.
D-dos로 오인될 수 있다는 이 문제를 어떻게 돌파할 수 있을까요?
어떤 열린 답변이라도 부탁드립니다.
사실 처음 만들어봤던 프로그램인데 이런 벽에 막히고
다음의 방향성을 잃어버리니 한동안 손을 놓고 있었습니다.

'막연히 검색엔진에 대해서 공부하면 될까?' 하는 생각뿐이네요.
(소스 공개는 너무 기초 수준이라 별 의미가 없을 것 같아서 하지 않을게요 ㅜ)

koreaccm의 이미지

웹페이지 크롤링 목적으로 만든 소스가 디도스로 오인될 수 있다면..


안녕하세요,

회사의 업무 효율을 높이지고 웹페이지 크롤링하는 코드(Python)를 짜봤습니다.
예를 들면 네이버 특정 페이지에 수천개의 쿼리를 입력하고 판단하는 일입니다.
문제는 이 코드가 아무리 interval term 을 주더라도
웹사이트에서 d-dos로 인식될 염려가 있다는 것입니다.

그리고 아주 초보수준으로 만든 코드(Python)다 보니
검색엔진에서 의미하는 제대로 된 크롤러라고도 볼 수 없구요.
D-dos로 오인될 수 있다는 이 문제를 어떻게 돌파할 수 있을까요?
어떤 열린 답변이라도 부탁드립니다.
사실 처음 만들어봤던 프로그램인데 이런 벽에 막히고
다음의 방향성을 잃어버리니 한동안 손을 놓고 있었습니다.

'막연히 검색엔진에 대해서 공부하면 될까?' 하는 생각뿐이네요.
(소스 공개는 너무 기초 수준이라 별 의미가 없을 것 같아서 하지 않을게요 ㅜ)

bitsonata의 이미지

파일 파싱 및 검색 질문

두개의 파일이 있습니다.

A는 전화번호 리스트를 가지고 있고,
B는 가중치 숫자와 전화번호를 쌍으로 가지고 있습니다. (공백으로 구분)

--- ---
A B
--- ---
01010002000 500 01010012000
01010012000 300 01010052000
... ...

하고자 하는 것은 B 파일의 내용에서 A파일의 번호가 포함된 행만 출력 하고 싶습니다.

별도 스크립트를 파일로 작성해서 하는 방법 말고,

명령줄에서 cat, grep, awk등을 사용해서 할 수 있는 방법이 있을까요?

A파일을 행단위로 입력해서 특정 명령을 실행하도록 하고 싶습니다...

xargs를 사용하면 될듯 한데, 인수가 단일 명령어로 받는 형태를 생각하기가 어렵네요...

chiya의 이미지

정말로 간단한 epxr 문제입니다.

num1=100

num2=`expr\($num1+200\) / 10 \*2`
echo $num2

하면 60이라고 결과 값이 나와야하는데

num2 : command not found라고 나옵니다.

역따옴표 사용 하였고요. 다른 + - 값은 다 잘나오는데..

딱 저기서 계속 안되니.. 답답해 죽겠습니다.

oosap의 이미지

Issue Traker 중에 한글 사용에 문제가 없고 추천할 만한 게 어떤게 있을까요?

http://kldp.org/node/77271
기존에 위와 같은 쓰레드가 있었습니다.

http://en.wikipedia.org/wiki/Comparison_of_ticket-tracking_systems#Features
에 보니 여러 제품들의 비교가 일목요연하게 나와있고요,..

다들 좋아보이긴 하는데 제가 걸리는게 한글문제가 없는가 하는 것이예요.
예전에 Redmine 을 썼었는데 한글로 위키 작성이라던가 상태 업데이트 같은걸 하는게 잘 안되었던 기억이 있습니다.

한글로 사용하는데 아무 문제 없고 추천할 만한게 어떤게 있을까요?

jmonaco88의 이미지

srand가 왜 여러번 실행이 안될까요??

소스내용입니다.

#include
#include

int Random();

int main()
{
int a, b,c, correct=0, incorrect=0, i;

for(i=0; i<10; i++)
{
a=Random();
b=Random();

printf("%d + %d = ", a, b);
scanf("%d", &c);

spark1000의 이미지

웹사이트에서 사용하는 javascript를...

웹사이트에서 사용하는 javascript를 모바일 프로그래밍 javascript 사용할 때 써도 되는 거죠?

junlee112의 이미지

기본적인 시스템 콜 작성에 대해 여쭙고자 합니다.

커널 2.4.31 버전에서 공부하고 있는데요 참고서적은 한빛미디어에서 나온 IT EXPERT 리눅스커널 프로그래밍 입니다.

새로운 시스템 호출을 이용하는 응용프로그램 작성하는 부분인데

_syscall0(int, newcall);

이부분에서 에러가 나옵니다.

unistd.h 에서는 __NR_newcall 253 과 NR_syscalls 254로 #define을 했고

entry.S 에서 .long sys_newall 를 추가했고

newcall.c 라는걸 작성해서 /usr/src/linux2.4.31/kernel에 저장했구요
#include

asmlinkage int sys_newcall()
{
printk("hello, kernel\n");

return 21;
}

kernel/Makefile에 newcall.o도 추가했습니다.

newcall을 호출해서 hello, kernel을 출력하는 시스템 콜 응용프로그램 작성입니다.

asura327의 이미지

UDP Blocking Socket 에서 Echo server가 죽어있을때 recvfrom을 Error 내게 할 수 없나요~?

UDP Blocking Socket에서 Echo server/client 구현중입니다~

예외상황중 server가 죽어있는 상황이라 가정합니다.

Client 코드에서 sendTo 후에 receiveFrom을 하면 Block 되어버리는 것이 정상동작이라고 알고 있습니다.

근데, 프로그램이다 보니 여기서 어느정도 시간이 지나면 Error를 내보내고 싶은데 어떤 방법이 있을까요~?

답변 부탁드립니다!ㅎ

trymp의 이미지

TCP 의 PAWS 에 대해서 궁금합니다.

TCP 에서 PAWS 로 seq 번호가 32bit 를 한바퀴 돌아서 over 되는 경우에 대해서

방지하고자 넣는 방법이라고 RFC 에서 보았습니다. 이전 패킷에 대한 중복 방지???

하지만 명확하게 이 기능이 왜 필요하고 어떻게 동작하는지에 대해 잘 이해가 가지 않습니다.

RFC 봐도 제가 해석을 잘못하는지 이해가 잘 안되고요..

헤더의 옵션에 timestemp 값을 본다고 하는데, wireshark 로 dump 를 떠도 timestemp 값이 보이지 않습니다.

붙을 때도 있고 안붙을 때도 있나요?

PAWS 에 대해서 아시는 분 조언 좀 해주시면 감사하겠습니다.

페이지

프로그래밍 QnA + 설치 및 활용 QnA 구독하기