빅데이터 신입
글쓴이: wjsaud1004 / 작성시간: 화, 2015/11/03 - 12:15오전
빅데이터 솔루션/SI 업체에 취업한 신입 개발자 입니다.
저가 배운건 JAVA/JAVASCRIPT/JQUERY/ORACLE 등입니다.
근데 최근에 빅데이터 회사에 취업을 해서 일주일정도 근무를 했는데요..
지금은 현재 SI 로 LG CNS 쪽에서 일을 하고있는데 아직 신입이라 엑셀작업같은 컨트롤 브이 씨 이런것만 시키는데 신입이라서 원래 이런거만 시키는건지 빅데이터 쪽 회사에선 무엇을 원래 신입들한테 시키는건지
제대로 지금 신입으로서 잘 가고있는건지 가늠이 안되서요,
리눅스/파이썬/도 조금해야 한다곤 하는데 어떤 방향으로 공부 방향을 잡아야 될지도 모르겠고 회사를 웹사이트 만드는 쪽으로 다시 전향을 해야할지 조언좀 부탁드립니다.
Forums:
일단은 업무에 익숙해져야 할 시기인것 같네요.
일단 신입이라 적응기간이 필요해서 그런듯 하네요.
빅데이터라는게 결국 기술적인 관점에서는 하둡, 하둡은 Linux, JDK 환경으로 구현된 분산처리 오픈소스입니다.
하둡의 단점은 디스크에서의 I/O처리를 하기 때문에 실시간 분석이 힘들다는 부분이 있습니다. 이 때문에 나온 오픈소스가
Storm, Spark과 같은 인메모리 기반 빅데이터 분산처리 플랫폼 입니다. 데이터를 메모리상에 적재하여 분석하기 때문에 실시간 분석에 용이합니다.
이런 오픈소스들이 요즘 분석 시 Java외에도 Python, Scala등의 언어를 지원합니다.
Python같은 스크립트 언어가 코딩이 심플하기 때문인듯한데 간단한 연산자,문법, 개발환경등에 대해 공부하시면
될 것 같습니다. Python도 2.x 대랑 3.x대랑 확연히 다르기 때문에 2.7버전으로 먼저 공부하시길 권장드립니다.
사실 더 깊게 공부하자면 데이터 사이언티스트 영역인 통계/분석 즉 데이터를 바라보는 인사이트를 길러야 합니다.
분석이라는게 수많은 데이터속에 가치있는 정보를 얻기위한 일련의 행위 이기 때문에 통계지식을 바탕으로
R/Python/HiveQL등의 언어로 Hadoop이나 Spark등의 빅데이터 플랫폼내의 데이터들을 분석해내어 시각화 합니다.
데이터 사이언티스트 영역의 필수 스킬들 입니다.
http://www.kdnuggets.com/2014/11/9-must-have-skills-data-scientist.html
더 자세한 내용이 궁금하시면 답변 주세요. :)
Knowleage Creator.