BBS RSS 알고리즘 변경

김정균의 이미지

기존의 실시간으로 db 에서 정보를 가져오는 방식에서, 5분에 한번씩 back data 를 만들고, 이 back data 에서 정보를 가져오는 방식으로 변경을 했습니다.

back data 는 sqlite 로 구성이 되어져 있으며, rss 를 위한 단일 테이블로 구성이 되어 있어서 속도도 예전 보다 빠를 겁니다.

사용하는 방식은 동일하며, 혹시 문제가 있으면 댓글 남겨 주십시오.

atie의 이미지

feed의 갯수는 종전처럼 15개 이군요.
5분 간격으로 생성되는 아이템이 15개가 넘더라도 sqlite에 저장이 되니 서버쪽은 문제가 없을텐데... 클라이언트에서 30분에 한번씩 feed를 fetch 한다면 15개로는 놓치는 글이 있지 않을까요?
그렇다고 5분에 한번씩 부하를 주기도 싫고, 좋은 방법이 있나요?

----
I paint objects as I think them, not as I see them.
atie's minipage

김정균의 이미지

feed 의 개수는 max 50 개 까지 지정을 할 수 있습니다.

http://bbs.kldp.org/rss.php?c=50

과 같이 지정이 가능 합니다. 또한 category 별 또는 게시판별로 가능 합니다.

http://bbs.kldp.org/rss.php?c=4,5&c=50

이면 4,5 번 카테고리의 글을 50개 까지 출력하라는 의미 입니다.

현재 sqlite 에 최신글 기준으로 1000 건을 저장하고 있으니, 적당하게 잡으시면 무리는 없을 거라 보입니다.

15개 보이는 것은 기존의 정책과 동일 합니다. 다른 점이 있다면 실 db 는 모든 글을 가지고 있지만, 변경된 db 는 최신글 기준으로 1000 건만 가지고 있다는 거죠.

다만, sqlite 에 따로 구성된 data 는 단일 table 을 사용하기 때문에 index 를 잘 타서 속도가 상당히 좋습니다. (sqlite 의 약점인 순간 접속시에 db 가 깨지는 문제가 있기는 하지만, cron job 으로 매번 재 생성이 되기 때문에 이 또한, 크게 문제가 되지는 않을 듯 싶습니다.

Prentice의 이미지

http://bbs.kldp.org/viewtopic.php?t=53951

RFE/Wishlist item을 올려놨는데 이게 반영될 수 있을까요?

김정균의 이미지

검은해 wrote:
http://bbs.kldp.org/viewtopic.php?t=53951

RFE/Wishlist item을 올려놨는데 이게 반영될 수 있을까요?

음 대충 살펴 보았는데.. 반영 자체는 그리 어려울 것 같지는 않습니다. 다만.. phpbb 소스 코드를 변경해야 하는 문제가 있군요.

순선님의 의견을 들어 봐야 할 듯 싶습니다. 순선님은 관리 목적상.. 소스코드 변경을 원하지 않더군요.

Prentice의 이미지

패치를 upstream으로 보냈을 때 upstream에서 반영될 만한 내용이라면 그렇게 됐으면 좋겠네요. :)

안 돼도 사용상 큰 문제(?)는 없지만요. ^^

kall의 이미지

RSS 갱신이 안되는군요

Quote:
<pubDate>Thu, 01 Dec 2005 12:24:39 GMT</pubDate>

----
자신을 이길 수 있는자는
무슨짓이든 할수있다..
즉..무서운 넘이란 말이지 ^-_-^
나? 아직 멀었지 ㅠㅠ

김정균의 이미지

kall wrote:
RSS 갱신이 안되는군요
Quote:
<pubDate>Thu, 01 Dec 2005 12:24:39 GMT</pubDate>

오전에 rss cron job 이 비정상적으로 종료된 듯 싶군요. lock file 이 생성된 채로 삭제되지 않아 skip 하고 있었습니다. 지금 방어 코드를 작성해서 넣었습니다.

atie의 이미지

글쓴이가 poker나 pharmacy이면 피드에서 제외를 부탁 드립니다.

----
I paint objects as I think them, not as I see them.
atie's minipage

김정균의 이미지

atie wrote:
글쓴이가 poker나 pharmacy이면 피드에서 제외를 부탁 드립니다.

적용 되었습니다.

reric의 이미지

글 주제당 하나씩만...그러니까...최초에 글 주제를 만든사람의 글만 feed 하고싶은데요...
가능한지...ㅇ.ㅇ?

김정균의 이미지

reric wrote:
글 주제당 하나씩만...그러니까...최초에 글 주제를 만든사람의 글만 feed 하고싶은데요...
가능한지...ㅇ.ㅇ?

현재 drupal 로의 개편이 진행중입니다. 그러므로 기능 추가는 더이상 지원해 드리지 않습니다. 다만, rss 를 제가 만든 것이 아니라서 해당 기능의 존재여부는 잘 모르겠군요.

예전에 순선님이 올리신 공지에 rss 의 기능에 대해서 적어 놓으셨던 것으로 기억이 나기는 합니다만..

세이군의 이미지

reric wrote:
글 주제당 하나씩만...그러니까...최초에 글 주제를 만든사람의 글만 feed 하고싶은데요...
가능한지...ㅇ.ㅇ?

각 글타래의 첫 번째 글들만 모아서 보여주는 기능을 말씀하시는 것인지요? 현재 쓰고 있는 BBS의 RSS피드는 제가 마지막으로 조정하고 김정균님이 RSS 추출 알고리즘을 조금 바꾼 것입니다. 알고 있기로는 그 방법을 적용하기가 조금 어려운데요. 좀 더 분석을 해 봐야 하겠지만 글타래의 첫 번째 글이라는 표식을 찾기가 좀 어렵습니다. 게다가 PHPBB의 코드가 상당히 꼬여 있어서 분석하기도 어렵구요. 이 문제는 생각을 해보기는 하겠습니다만 KLDP메인에 적용되기는 힘들 것입니다. 분석이 완료되기 전에 drupal로 이전이 완료될 가능성이 많아서요..

atie의 이미지

김정균 wrote:
atie wrote:
글쓴이가 poker나 pharmacy이면 피드에서 제외를 부탁 드립니다.

적용 되었습니다.


다음의 두 개를 받았습니다. 코드 검사를 부탁 드립니다.
http://bbs.kldp.org/viewtopic.php?p=352772#352772
http://bbs.kldp.org/viewtopic.php?p=352797#352797

----
I paint objects as I think them, not as I see them.
atie's minipage

김정균의 이미지

atie wrote:
김정균 wrote:
atie wrote:
글쓴이가 poker나 pharmacy이면 피드에서 제외를 부탁 드립니다.

적용 되었습니다.


다음의 두 개를 받았습니다. 코드 검사를 부탁 드립니다.
http://bbs.kldp.org/viewtopic.php?p=352772#352772
http://bbs.kldp.org/viewtopic.php?p=352797#352797

해당 단어가 포함이 되면 삭제해 달라는 것이었군요. --;
그렇다면 LIKE 검색을 해야 하는데, 너무 버겁습니다.

일단, 설정 파일 형식으로 해서 user 명을 등록할 수 있도록 해 놓았으니, 해당 유저 이름을 등록해 놓도록 하지요. --;

김정균의 이미지

김정균 wrote:
atie wrote:
김정균 wrote:
atie wrote:
글쓴이가 poker나 pharmacy이면 피드에서 제외를 부탁 드립니다.

적용 되었습니다.


다음의 두 개를 받았습니다. 코드 검사를 부탁 드립니다.
http://bbs.kldp.org/viewtopic.php?p=352772#352772
http://bbs.kldp.org/viewtopic.php?p=352797#352797

해당 단어가 포함이 되면 삭제해 달라는 것이었군요. --;
그렇다면 LIKE 검색을 해야 하는데, 너무 버겁습니다.

일단, 설정 파일 형식으로 해서 user 명을 등록할 수 있도록 해 놓았으니, 해당 유저 이름을 등록해 놓도록 하지요. --;

이런, 멍청한.. script 를 다른 이름으로 만들어 놓고.. 적용하지를 않았었군요 --; 일단 지금 적용했습니다.

코드를 조금 더 바꾸면, 님께서 원하는데로 작성이 가능 할 듯 싶습니다. 이번주 중으로 한번 해 보죠.

atie의 이미지

임시 테이블을 쓴다고 본 적이 있는 기억이어서 like를 쓰는것이 버겁다는 글에 저도 움찔했었습니다.

그런데, 새벽 3시에 이 글을 생각하시다니 너무 열심히 하십니다. :wink:
고맙습니다.

----
I paint objects as I think them, not as I see them.
atie's minipage