프로그래밍 QnA

안녕하세요,

회사의 업무 효율을 높이지고 웹페이지 크롤링하는 코드(Python)를 짜봤습니다.
예를 들면 네이버 특정 페이지에 수천개의 쿼리를 입력하고 판단하는 일입니다.
문제는 이 코드가 아무리 interval term 을 주더라도
웹사이트에서 d-dos로 인식될 염려가 있다는 것입니다.

그리고 아주 초보수준으로 만든 코드(Python)다 보니
검색엔진에서 의미하는 제대로 된 크롤러라고도 볼 수 없구요.
D-dos로 오인될 수 있다는 이 문제를 어떻게 돌파할 수 있을까요?
어떤 열린 답변이라도 부탁드립니다.
사실 처음 만들어봤던 프로그램인데 이런 벽에 막히고
다음의 방향성을 잃어버리니 한동안 손을 놓고 있었습니다.

'막연히 검색엔진에 대해서 공부하면 될까?' 하는 생각뿐이네요.
(소스 공개는 너무 기초 수준이라 별 의미가 없을 것 같아서 하지 않을게요 ㅜ)

두개의 파일이 있습니다.

A는 전화번호 리스트를 가지고 있고,
B는 가중치 숫자와 전화번호를 쌍으로 가지고 있습니다. (공백으로 구분)

--- ---
A B
--- ---
01010002000 500 01010012000
01010012000 300 01010052000
... ...

하고자 하는 것은 B 파일의 내용에서 A파일의 번호가 포함된 행만 출력 하고 싶습니다.

별도 스크립트를 파일로 작성해서 하는 방법 말고,

명령줄에서 cat, grep, awk등을 사용해서 할 수 있는 방법이 있을까요?

A파일을 행단위로 입력해서 특정 명령을 실행하도록 하고 싶습니다...

xargs를 사용하면 될듯 한데, 인수가 단일 명령어로 받는 형태를 생각하기가 어렵네요...

소스내용입니다.

#include
#include

int Random();

int main()
{
int a, b,c, correct=0, incorrect=0, i;

for(i=0; i<10; i++)
{
a=Random();
b=Random();

printf("%d + %d = ", a, b);
scanf("%d", &c);

커널 2.4.31 버전에서 공부하고 있는데요 참고서적은 한빛미디어에서 나온 IT EXPERT 리눅스커널 프로그래밍 입니다.

새로운 시스템 호출을 이용하는 응용프로그램 작성하는 부분인데

_syscall0(int, newcall);

이부분에서 에러가 나옵니다.

unistd.h 에서는 __NR_newcall 253 과 NR_syscalls 254로 #define을 했고

entry.S 에서 .long sys_newall 를 추가했고

newcall.c 라는걸 작성해서 /usr/src/linux2.4.31/kernel에 저장했구요
#include

asmlinkage int sys_newcall()
{
printk("hello, kernel\n");

return 21;
}

kernel/Makefile에 newcall.o도 추가했습니다.

newcall을 호출해서 hello, kernel을 출력하는 시스템 콜 응용프로그램 작성입니다.