현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

Windows 상에서 분산처리를 구현하려고 합니다.

ydh1220의 이미지
글쓴이: ydh1220 / 작성시간: 화, 2015/10/13 - 6:52오후

안녕하세요.

Windows 상에서 대용량 데이터를 실시간으로 처리하는 분산처리 서버를 구현하고자 합니다.

여러 대(3~4대 정도)의 서버 PC를 사용할 예정이고, 다수의 클라이언트들로부터 실시간으로

데이터들을 받아서 처리하는 기능을 구현하려 합니다.

서버 구조는 데이터 통신 및 Job assign, 동기화 관련 태스크만 수행하는 Master 서버와

실질적으로 데이터를 처리하는 다수의 Slave 서버로 구성하려고 합니다.

Master가 클라이언트들로부터 직접 데이터를 수신하고, 이 데이터들을 실시간으로 Idle 상태인

Slave들에게 나눠주는 구조입니다.

(구조를 이미지로 그려보았습니다. 파일에 첨부하였습니다)

혹시 이 모델에 적합한 라이브러리나 참고할만한 서적이나 프레임워크 같은 게 있을까요..?

그리고 제가 설계한 이 모델이 분산처리에 적합한 모델인지도 확인해주시면 감사하겠습니다..

감사합니다!!

File attachments: 
첨부파일 크기
Image icon 구조.png33.86 KB
Forums: 
프로그래밍 QnA
vivisection의 이미지

글쓴이: vivisection / 작성시간: 화, 2015/10/13 - 7:02오후

적합한 모델입니다
근데 화살표가 한방향인데 양방향이여야 합니다

참고할만한 프레임워크는 많은데, 저정도면 프레임워크 공부할시간보다 직접 만드는 시간이 더 짧겠습니다

ydh1220의 이미지

글쓴이: ydh1220 / 작성시간: 화, 2015/10/13 - 7:55오후

우선 답변에 대해 감사드립니다.

한 가지 더 여쭤봐도 될까요?

직접 구현하는게 간단하다는 말씀은 이 구조가 복잡한 데이터 처리 구조가 아니기 때문인가요?

제가 분산처리에 대해 자세히 몰라서 제 나름대로 모듈을 설계해 보았는데,

단순히 데이터를 전송해주는 통신 모듈과 Master와 Slave 동기화 모듈만 구현하면 되겠다 싶었습니다.

이렇게 단순한 게 분산처리가 맞는 지 모르겠습니다...

목적은 다중 사용자의 대용량 데이터에 대해 실시간으로 처리하는 서버의 구현입니다.

혹시나 제가 염두에 두고 있지 않은 헛점이 있을까요?

vivisection의 이미지

글쓴이: vivisection / 작성시간: 화, 2015/10/13 - 8:03오후

분산해서 처리하면 분산처리가 맞고, 분산처리에 대한 코드는 c기준으로 아무리길어도 300줄이내로 끝납니다
master slave 통신부분을 좀 연구해보세요
저라면 동기화말고 비동기화로 하겠습니다

ydh1220의 이미지

글쓴이: ydh1220 / 작성시간: 화, 2015/10/13 - 9:25오후

답변 감사합니다!
마지막으로 하나만 더 여쭤보겠습니다.
동기화 비동기화 라는게 소켓 통신 시 쓰이는 동기/비동기를 말씀하신건가요?

vivisection의 이미지

글쓴이: vivisection / 작성시간: 화, 2015/10/13 - 9:31오후

master 에 부하가 최대한 적게 걸리게, 그리고 그림상으로 세개지만 앞으로 수백개 slave를 연결해도 잘동작하게 연구를 좀 해봐야 할겁니다

ydh1220의 이미지

글쓴이: ydh1220 / 작성시간: 화, 2015/10/13 - 10:56오후

감사합니다~!!

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.