현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

Hadoop for Windows...

ydh1220의 이미지
글쓴이: ydh1220 / 작성시간: 금, 2015/12/04 - 2:00오후

윈도우즈 상에서 분산처리 서버와 DB서버를 활용하려고 합니다.

여러가지 조사를 해본 결과 윈도우즈 상에서도 하둡을 사용할 수 있다는 정보를 알았고,

현재 공부를 하면서 설치과정에 있습니다. (호튼웍스 사의 하둡 2.3)

특히 하둡의 맵리듀스를 통해 분산처리를 하고자 하는데, 혹시 윈도우즈 상에서도 이 맵리듀스가 가능한 건지.. 알고싶습니다. (질문 1)

그리고 제가 윈도우즈 플랫폼을 고집하는 이유는 저희 연구실에서 만들어놓은 모든 라이브러리 및 알고리즘 소스코드들이

윈도우 기반으로 작성되었습니다..ㅠㅠ

그렇다면 윈도우즈 상에서 하둡 맵리듀스를 구동했을 때 윈도우즈 라이브러리가 활용된 소스코드들이 동작할 수 있는 지 궁금합니다..!! (질문 2)

선배님들의 많은 도움을 구합니다..(_ _)..

Forums: 
프로그래밍 QnA
shint의 이미지

글쓴이: shint / 작성시간: 금, 2015/12/04 - 7:38오후

네이버. 구글. 네이버 책'에서 검색해보니. 몇가지 있네요.

----------------------------------------------------------------------------
젊음'은 모든것을 가능하게 만든다.

매일 1억명이 사용하는 프로그램을 함께 만들어보고 싶습니다.
정규 근로 시간을 지키는. 야근 없는 회사와 거래합니다.

각 분야별. 좋은 책'이나 사이트' 블로그' 링크 소개 받습니다. shintx@naver.com

ydh1220의 이미지

글쓴이: ydh1220 / 작성시간: 토, 2015/12/05 - 2:06오후

없습니다 없어요.

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 화, 2015/12/08 - 2:26오후

질문1) 예 당연히 가능합니다.
질문2) 가능합니다. 그냥 Java에서 하려면 기존 윈도우코드를 자바에서 호출할 수 있게 JNI(Java Native Interface)로 wrapper를 만들어야 합니다. 또는, 기존 윈도우코드(C#, VC++,... ?)를 서버로 만들고 통신(IPC, Inter-process communication)으로 인터페이스하는 방법도 있겠습니다.
그런데 이렇게 하자니, 귀차니즘이 밀려옵니다. HADOOP이 Java말고 .NET상에서 지원이 된다면 좋겠는데요?. 이 필요를 느끼는 세계인이 많으리라고 간주되지요? 그래서, C#으로 하둡 인터페이스가 되는 것을 검색합니다.

* 개인적으로는 아래 2번이 어떨까?합니다.(저도 사용하지는 않았습니다.) 저는 개인적으로 위에 언급된 통신기법을 선호하는 사람입니다.
-------
1) 마이크로소프트에서 만든 HDInsight 가 있는데요.
(곧(아마도) 상용으로 바뀔 수순으로 보입니다.)

http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT

http://www.codeguru.com/columns/experts/how-to-create-mapreduce-jobs-for-hadoop-using-c.htm

--------------

2) 코드플렉스에서 만든 또 다른 것이 있습니다.
http://hadoopsdk.codeplex.com/

http://www.amazedsaint.com/2013/02/a-quick-introduction-to-hadoop-hive-on.html

------------
3) https://bitbucket.org/vadim/hbase-sharp
4) https://github.com/hdinsight/hbase-sdk-for-net

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.