프로그래밍 QnA

익명 사용자의 이미지

웹크롤러 개발 이슈..

특정 웹사이트를 대상으로하는 웹크롤러가아닌 어떠한 사이트든 사용할수있는 '범용적 웹크롤러를 만들고싶습니다'라고 할때, 이것까지는 가능하다고 생각합니다 단순히 웹페이지 전부를 스크래핑한다고 가정한다면요.

여기서 한가지조건을 더 붙여서, 대상이 '어떠한 사이트든 전부'이고 각 사이트에서 내용 부분을 알아서 컨택해서 크롤링 하는 웹크롤러를 만드려면 ( css 선택자를 이용해 특정부분을 프로그래머가 지정해주지않고..) 그것이 가능할까요? 필요한기술이 뭐가있을까요? 제 생각엔 쉽지는 않을 것 같은데....

질문이 조금 조잡한가 싶기도하고... 제대로 전달되었기를.. ㅠㅠ

Gwondori의 이미지

쉘스크립트 질문 올려요

예를 들어

Address: XXXXXXX
    YYYYY
    ...
    TTTTT
 
Address: XXXXXXX
    ZZZZZ
    ...
    PPPPP

이런 식으로 파일이 저장되는데

이 파일에서 특정 문자열(Address:)부터 특정 문자열(Address:)까지만

읽어들이려면 어떻게 하면 좋나요?

Sangwoo Jung@Google의 이미지

파이썬 3.6 PyQt5 질문

# list.py 와 ui와 view.py 에 관한 질문입니다. PyQt5로 작업하였고, pymysql 을 사용하였습니다. 고수님들의 답변 부탁드립니다 ㅠ

==list.py==
# coding: utf-8

import sys
import os
from PyQt5 import QtWidgets
from PyQt5 import QtGui
from PyQt5 import uic
from PyQt5 import QtCore
from PyQt5.QtCore import pyqtSlot

삼구의신의 이미지

linux에서 ctrl + C 와 코드상에 exit(0) 차이점

linux에서 프로그램 실행 상태에서 ctrl + C 를 눌러 프로그램을 강제 종료하는 것과
코드상에 exit(0)을 이용해 종료하도록 하는것은 차이점이 무엇인가요?

삼구의신의 이미지

linux 에서 ps -ef 궁금점

ps -ef 를 해보면

아래 처럼 프로그램 이름에 [ ] 대괄호가 씌여 있습니다.
원래 프로그램 이름은 aaa 인데 프로그램 안에서 execve를 실행해서 aaa를 죽인후 다시 실행시키는건데
저렇게 뜨는데 이유가 뭘가요?

1166 root 62296 S [aaa]

--------------------------------------------

인터넷 찾아보니

프로세스 이름 중에 argument를 알 수 없는 프로세스(시스템 프로세스, 커널 쓰레드)는 대괄호로 둘러쌓인다.

이런 말이 있습니다.

프로그램안에서 실행한건데 대괄호 있고 없고가 뭐가 다를가요?

astzlra955의 이미지

linux kernel(Android)에서 Memory용량 줄이는 방법

안녕하세요

Android에 사용되는 커널에서, 실제 메모리가 4GB인데, 절반을 인식못하게 하여 테스트가 필요해서 2GB만 인식시키려고 합니다.
dts 파일에서 메모리 정의해 놓은 곳이 있는데, 1GB씩 총 4GB를 정의해 놓았습니다.
- 아래와 같은 것이 4개 입니다.
memory@500000000 {
device_type = "memory";
reg = <0x5 0x00000000 0x0 0x40000000>;
};

그래서 이중에서 2개를 삭제해서 부팅을 시켜보았는데,
제 생각에는 2GB만 인식되어야 할 것 같습니다만, 실제로는 4GB가 전부 인식됩니다.
cat /proc/meminfo 나 free 명령을 통해서 확인했습니다.

사용 환경은 ARMv8 64bit 이며, kernel은 4.9 버전입니다

혹시 dts 파일 외에 수정해 주어야 하는 부분이 있을까요?

raymundo의 이미지

웹사이트가 느린데, 소스에서 현재 사용되지 않는 자바스크립트 파일 찾는 방법...?

안녕하세요,

안드로이드 웹앱이 있는데, 웹뷰에서 화면을 띄우는 시간이 너무 오래 걸리고 있습니다.

현재 웹 화면은 외국 사이트에서 파는, 미리 만들어진 쇼핑사이트용 템플릿을 구매해서 수정하며 쓰고 있는데요,
아무래도 이 템플릿이 원래 PC에서 보는 걸 고려하여 이것저것 화려한 효과가 많이 들어있었는데(마우스가 올라가면 상품 이미지가 360도 회전하는 것 등), 저희가 모바일용으로 화면을 만들면서 그런 효과는 거의 안 쓰고 있기 때문에, 아예 라이브러리 .js 파일 자체를 로드하지 않게 빼버려도 될 것 같은데...

문제는 템플릿 소스에 20여개의 <script src="***/***.js"></script>가 있는데, 각 줄마다 제가 이것을 빼도 정말 괜찮은 걸까 확신을 어떻게 하느냐는 것입니다.

지금은 상당히 무식한(?) 방법으로 하고 있습니다;

khy0419의 이미지

리눅스 loop device에서 write시 발생되는 read 문제

loop device에 대해 write 명령시 아래와 같은 call을 호출하게 되는데요
loop_queue_work->ext4_file_write_iter->ext4_da_write_begin->__block_write_begin_int->ll_rw_block
write 과정동안 캐시 메모리 할당과 버퍼헤드 할당을 받게 됩니다. 이후 ll_rw_block에서 read가 발생하게 되는데요.
이때 어떠한 정보를 read하는지 알고 싶은데 gdb?ftrace?perf?어떤것으로 이것을 알 수 있을까요.

페이지

프로그래밍 QnA 구독하기