현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

하둡을 연동한 웹어플리케이션을 만들려고 하는데요 질문이 있습니다.

lemeraldl의 이미지
글쓴이: lemeraldl / 작성시간: 월, 2014/12/08 - 10:10오후

작은 빅데이터 프로젝트 목적으로서 하둡 또는 hdfs 를 디비로 이용해서 공공데이타를 대량으로 넣어 놓은다음에 그것을 어떠한 기준으로 연산해서 보여주는 계시판을 만들고 싶습니다.

이 예제를 만들기 위한 질문입니다.
1. hdfs는 분산 저장소이고 하둡은 map and reduce 분산처리를 하기위한 툴로써 쓰이는거가 맞는가요??

2. 프로젝트의 목적을 위해서 hdfs or 또는 하둡을 저장소(정확하게 아직 하둡이 저장소로 쓰이는지 hdfs가 저장소로 쓰이는지 개념을 모르는 관계로) 로 이용 되는것이 올바른 접근인가요?

3. 2번이 올바른 접근이라면 프로젝트를 만들기 위해서 아마도 하둡 이외의 하둡과 파생되어서 나온 여러 tool 들 (예로 zookiper , hive)등이 쓰일텐데 어떠한 툴들이 어떠한 이유때문에 추가되서 쓰일 것인지 가르쳐 주세요

4. 3번과 약간은 비슷합니다 . 데이터의 흐름이 어떤 툴을 거쳐서 어떻게 보내지고 어떻게 연산이 되서 어떠한 기준에 의해 뿌려진 데이타를 계시판으로 보여질것이다 라는
데이타 흐름도를 대략적으로 가르쳐 주시면 감사하겠습니다.

5. 혹시 라도 이런 작은 빅데이터 기초 프로젝트를 하기위한 예제 또는 사이트 , 온라인 무료 강의 , 동영상 , 키워드를 가르쳐 주시면 감사하겠습니다. ( 몰라서 그렇지 알게된다면 웹과 연동한 하둡 프로그래밍의 기초인거 같은데 없습니다.)

6. 2번이 맞다면 웹어플리케이션과 하둡 hdfs를 어떻게 연동시켜서 쓰는지 도저히 감이 안옵니다 .
이클립스에서 웹어플리케이션 소스에 디비 연동 소스처럼 추가하는것인지 연동법 좀 가르쳐 주세요

Forums: 
프로그래밍 QnA
iamoon의 이미지

글쓴이: iamoon / 작성시간: 월, 2014/12/15 - 2:44오후

1. HDFS 는 File System 입니다. 이 위에 HBase 같은 DB 를 설치하고 쓰시면 될 듯 합니다.
2. 하둡은 MR 을 분산 처리하기 위한 건데요.. 이게 시간이 걸리는 거라.. 웹에서 MR 을 실행시키면 그 응답을 받는데 수십초, 수십분 이 걸릴 수도 있으니... 실시간을 생각해보셔야 할 듯.
3. 툴들이 매우 많습니다. HBase, Hive, Zookeeper 부터 보시면 좋을 듯..
4. 맵 리듀스는.. 배치 잡입니다. 시간이 걸리죠.. 매번 동일한 걸 보여준다면.. 미리 해 놓고 결과만 웹 응답을 받으면 될 것이고...
5. ??
6. 하둡 스터디를 차분히 하시는 걸 추천드립니다.. ^^ 저도 안 해봐서..

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.