현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

proc 프로그래밍에서 효율적인 방법이 멀까요..

kyeongchan의 이미지
글쓴이: kyeongchan / 작성시간: 수, 2005/07/20 - 5:52오후

TCP/IP 클라이언트에게서 데이타를 받아
디비에 인서트하고 건건이 커밋을 하고 있습니다.
(오라클)

계산해보니 초당 약 100건정도 처리하고 있는 듯 합니다.

건건이 커밋을 하다보니 부하가 심각하네요...

이걸 1초씩만 모아서 커밋을 한다고 해도 100건을 한꺼번에 커밋을 할 수 있으니 괜찮아 보입니다.

이런구조로 바꾸려고 하니...

급작스럽게 서버가 죽었을경우 데이타 유실이 최대 1초간의 건수가 생길수가 있을거 같습니다.

그렇다면 어디에 저장을 했다가(큐,파이프) 처리하는 구조로 가는것도 생각할 수 있겠는데요...

그렇게 하면 추가적으로 다른 프로세스를 사용해야 할 듯 하네요...

이럴경우 데이타 유실을 최대한 방지하며 해결할 수 있는 방안이 머가 있을까요...

Forums: 
프로그래밍 QnA
서지훈의 이미지

글쓴이: 서지훈 / 작성시간: 수, 2005/07/20 - 6:00오후

파일에 자료를 임시로 보관하는건 DB에 건건히 쏘아 주는것 보다 더 극악의 상황이 될 수도 있으니...
Shared-Memory에 올렸다가 처리하는 방법으로 하시면은 좀 나을듯 합니다.
그런데 이 방식도 건건이 쏘는 것과 어느 정도의 차이를 보일지는 알 수가 없군요.
벤치 한 번 빡씨게 하셔서 좀 더 나은 방법을 선택하셔야 할듯합니다.

<어떠한 역경에도 굴하지 않는 '하양 지훈'>

#include <com.h> <C2H5OH.h> <woman.h>
do { if (com) hacking(); if (money) drinking(); if (women) loving(); } while (1);

albertyun의 이미지

글쓴이: albertyun / 작성시간: 목, 2005/07/21 - 1:18오후

제가 전에 썼던 방법인데.
통신하는 프로세스 와 DB 인서트 하는 프로세스를 분리하고
중간에 파일을 떻어뜨리는 방법을 쓰는건 어떤가요?
DB 인서트 시 commit 을 건건히 하지않고...가능하고...
통신하는 프로세스가 파일로 떻어뜨리기 때문에...
중간에 서버가 죽었을때도..데이타를 복구가 가능합니다..

Think..

ssehoony의 이미지

글쓴이: ssehoony / 작성시간: 목, 2005/07/21 - 2:02오후

데이터가 발생 즉시 기록 될 필요성이 없는 자료인가 보군요.
일종의 통계용 자료나 로그 자료 인가 보죠?
이렇게 즉시 기록될 필요가 없지만 기록양이 많은 데이터를 위해 mysql 같은 데서는 insert delayed 같은 delay 를 주는게 있습니다. (오라클은 사용안해봐서 모르겠지만)
sql 표준인지 mysql 만의 기능인지는 모르겠네요.
서버가 알아서 여유있을 때 몰아서 기록하는 기능인데, mysql 에 있으면 오라클도 유사한게 있을 법 한데요.
한번 찾아보세요.

그게 아니면 차선으로
seg. fault, bug error , term, quit, abort 등에 대한 시그널 핸들링에다가 메모리에 모아논 데이터를 죽기 전에 파일로 기록하고 다시 데몬이 뜰때 그 파일이 있나 확인해서 있으면 메모리로 복원하는 기능을 추가 하셔도 될 듯 하네요. (dump 할 메모리를 망가뜨리는 seg. fault 라면 어케 될지 그건 저도 잘 모르겠네요. ^^; 흔히 undefined 라고 하죠 ㅋ)

위와 같은 방법은 제가 작업한 서버가 일요일 마다 리붓 하도록 되어 있어서 공유메모리 내용을 위의 방법으로 dump/restore 를 하는데 잘 작동합니다. (물론 공유메모리 이므로 세마포어로 뮤텍스 처리를 했지요.)
아! 공유메모리는 데몬이 죽어도 지워지지 않으니깐 공유메모리에 기록하는 방식을 이용하셔도 되겠네요.

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.