웹문서 검색분야 에 대해서...

udanax의 이미지

안녕하세요. (주)조이온에서 근무하는 컴퓨터 프로그래머입니다.

임베디드도 아니고, 게임도 아니고,
제가 가장 개인적으로 관심있는 분야가 바로 웹 검색분야입니다. 인공지능,퍼지논리,네트워크,m-원탐색,언어학,자료구조 등등....
웹 검색분야가 컴퓨터과학중 가장 힘든분야이기때문이죠.

전 세계 웹서버 문서들을 수집하고 어떤 로봇보다
뛰어난 검색을 할수있는 시스템을 구현해보고자 시작하였습니다.
미래엔 online 커뮤니티 사용자 인터페이스가 어떻게 변할지는 모르지만, HDD대용량화, 하드웨어의 발전, 인터넷초고속화에 세상에서 string에 대한 색인과 검색모듈은 앞으로도 중요할것엔 변함이 없다고 확신하기때문에 제가 공부하고 연구하고 하는것이죠.

현재상태는...
http://www.udanax.org/Default.aspx?queryString=%EA%B2%8C%EC%9E%84&lrb=lang_ko

위 링크를 확인해보시면 아시겠지만 아직은 시작단계고
로컬웹서버와, 플레이포럼 에버퀘스트 게시판한군데를 수집해서 인덱스잡았습니다.

M-원탐색트리를 기반으로 디스크 블록을 읽어들이는 속도를 최적화하기위한 노력,
웹문서의 정확한 수집과 랭크 알고리즘들을 연구하고 개발이 목표고 현재로써는 언어학과 인공지능 작업이전에, 웹문서에서 얻을수있는 리소스를 가장 최적화하는게 목표입니다.

그래서, kldp포럼 유저분들중 Web Crawler 로봇제작에 참여하실분 찾습니다. 아웃풋이 나오지않더라도, 이 프로젝트를 통해
얻을수있는것은 굉장히 많을것이라고 확신해요.

바쁘지만 관심갖고 제가 manger를 할것이고, 꾸준히 해나갈것이니 공부를 하시거나 관심있으신분은 참여바랍니다.

wpcasper의 이미지

오오... 저도 검색엔진에 관심이 많습니다.

저는 스토킹쪽으로 활용하려고 했습니다. 검색엔진, 싸이월드사람찾기, 블로그검색 이것으로 사람에 대해 꽤 많이 알수 있더군요. 보통 한 방법으로 이름과 아이디의 매치를 찾고, 그것을 통해 얻은 정보로 또 다른 정보를 찾고 찾고 찾고 찾는 노가다를 하는데 이걸 컴퓨터로 자동화하려고 했으나...

덜덜덜덜.. 해야할 공부가 정말 많더군요. 배울수 있다면 환영입니다. ^^

jachin의 이미지

이런 글은 O/FSS 게시판으로 옮겼으면 좋겠네요. ^^

많은 분들이 참여하시길 바라겠습니다.

qprk의 이미지

예전에 대학교 4학년때 리포트 삼아 하나 만들어봤었고 그놈을 요즘 업그레이드 하는데 뭔가 꼬였는지 잘 안되내요..

국내문서 1000만개 모아서 색인했는데 잘 안되내요 :cry:

저도 빨리 위에 예제처럼 만들고싶내요..

직장생활 하면서 만들려니 시간이 잘 안나내요..

http://way.qprk.pe.kr

인데 뭐 이상한것만 나오니.. ㅋㅋㅋ

잘 구경 했습니다. :wink:[

멋진남자...

kiwist의 이미지

대학원 수업으로 정보검색론이라는 과목을 한 학기 수강한 적이 있는데, 재미있게 들었던 것 같습니다. (물론 내용은 하나도 모르지요 ^^; ) 감사하게도 교수님께서 한 학기 강의 내용 전체를 동영상으로 만들어 다운로드 받게 해주셨는데, 제 전공과는 거리가 멀지만, 언젠가는 도움이 될 것 같아서 차곡차곡 모아 보관하고 있습니다. 혹시 필요하신 분이 계시다면 공유하고 싶은데, 시디 10장 정도 되는 분량이라... 암튼 연락 주시면 방법을 생각해봅시다요 ^^; 참고로 담당 교수님은 현재 학교를 그만두시고, 네XX 라는 회사 CTO로 가셨다고 들었습니다. 국내 검색엔진 분야에서는 꽤 알아주는 분으로 알고 있습니다.

udanax의 이미지

카이스트다니시나보네요.
동영상자료를 받아보았으면 합니다.

udanax@joyon.com 으로 메신저좀 추가해주세요.

ydhoney의 이미지

kldp.net에 프로젝트를 하나 개설하시고 사람을 모으세요. ^^

1day1의 이미지

프로젝트 개설하면 좋겠네요.

저도 응원합니다.

http://www.udanax.org 인상적입니다. ^^

F/OSS 가 함께하길..

1day1의 이미지

kiwist wrote:
대학원 수업으로 정보검색론이라는 과목을 한 학기 수강한 적이 있는데, 재미있게 들었던 것 같습니다. (물론 내용은 하나도 모르지요 ^^; ) 감사하게도 교수님께서 한 학기 강의 내용 전체를 동영상으로 만들어 다운로드 받게 해주셨는데, 제 전공과는 거리가 멀지만, 언젠가는 도움이 될 것 같아서 차곡차곡 모아 보관하고 있습니다. 혹시 필요하신 분이 계시다면 공유하고 싶은데, 시디 10장 정도 되는 분량이라... 암튼 연락 주시면 방법을 생각해봅시다요 ^^; 참고로 담당 교수님은 현재 학교를 그만두시고, 네XX 라는 회사 CTO로 가셨다고 들었습니다. 국내 검색엔진 분야에서는 꽤 알아주는 분으로 알고 있습니다.

앗! 저도 구할 수 없을까요?
제 전공(?)과도 멀지만, 보고 싶네요. ^^ 그런데 많긴많군요. 거의 7G 분량.

ps. 아! clubbox( http://clubbox.co.kr ) 같은 것을 이용하는 것도 좋겠네요.

F/OSS 가 함께하길..

kiwist의 이미지

udanax wrote:
카이스트다니시나보네요.
동영상자료를 받아보았으면 합니다.

udanax@joyon.com 으로 메신저좀 추가해주세요.

컥... 카이스트 아닌데요 ^^; 메신저로 보내드리긴 힘들겠죠?

암튼 추가해봅니다요

mytemp의 이미지

가는곳 마다 악성댓글이 달리는데
컴에 이상한 어플 깐적없고
이상한 프로세스도 없고
현재 패킷은 중간에서 가로채서 보고 있는것같고
일단 야동사이트 가면 이상한경고가 자구뜨는증상

전지금 고민중이에요
어느것일까요?

브라우저일까요
패킷스닙일까요?

근데 설마 가장 공정한 입장에서 운영을 해야하는데 브라우저는 아닐듯한데
트레싱 해보면 특정 아이피는 필히 거치고 지나가는데
아휴 피곤해ㅠㅠ