설치 및 활용 QnA + 자유 게시판

dlsxjsptvmfhxhzhf의 이미지

빅데이터의 처리속도를 높이는 방법으로는 어떤것이 있을까요..?


좀 뜬금없긴 하지만..

시간이 지날수록 쌓이는 수많은 데이터들 속에서 원하는 과정의 값을 보다 빠르게 뽑아내기 위해 어떤 방법을 써야 할

까요..? 한마디로 처리속도를 빠르게 하는 방법을 알고싶어요. 아무래도.. 제가 그간 돌아본 커뮤니티중 가장 전문적

으로 깊게 파고드는 사이트가 kldp 인것 같아서 여기에 질문을 해보려 합니다.. ㅋㅋ;

하둡과+GPU를 이용해서 처리속도를 높일수는 있다고 하지만.. 정확하게는 잘 모르는지라.. 이쪽 부분에 대해서 잘 모

르긴 하지만.. 그래도 통상적으로 빅데이터의 처리속도를 높이는 3가지 정도 유용한 방법에 대해서 알고싶어요.

어떻게 해야 하드웨어/소프트웨어 적으로 원하는 결과를 빠르게 얻을수 있을까요..?

혹시나 현직자분 계시다면 전문적으로 설명 조금이나마 해주시면 정말 감사드리겠습니다 ㅠ. ㅠ..

06dorae의 이미지

리눅스 디스크 풀 상태에서 write시 데이터에 쓰레기 값이..

OS : CentOS Linux release 7.5.1804
커널 : 3.10.0-693.11.6.el7.x86_64

안녕하세요. 좀 특이한 상황이 나와서 검색어도 잘 안떠오르고 해서...

이렇게 글을 올리게 되었습니다.

상황은

데이터 구조가 특정 구조체(char, int, double, 배열이 포함)를 헤더를 정의하고

헤더 뒤 부터 계속 write하는 형태의 데이터 구조를 작성하는 프로그램이 있습니다.
(정확히는 라이브러리화 되어 있고 해당 함수를 콜하는 프로그램입니다.)

근데 테스트로 계속 write시 디스크 풀까지 가는 상황이 오는데 이때가 문제입니다.

보통 디스크가 풀이 나면 더 이상 write를 하지 못해서 프로그램이 죽거나 해야하는데

계속 write하는 것으로 보입니다. 그래서 해당 데이터를 열어서 출력하는 프로그램으로

데이터를 출력해보면 디스크 풀인 시점부터 쓰레기 값들이 작성되어 있습니다.

lalupo20의 이미지

앱을 하나 만들었늗데

어떤 홈페이지 모바일 앱 입니다.

근데 게시글 작성할 때 이미지를 첨부하는 기능이 없어서

무료 호스팅 사이트 경유해서 이미지 올리고 링크 거는 방식으로 기능을 구현했는데

이거 문제 될 수 있나요?

emptynote의 이미지

데비안 사이트 들어갔다가 wayland 와 애도 이런 단어 있어 깜 놀했네요.

wayland 에 말썽없는 한글 사용이라는 희망을 품고 있기에 관심을 갖고 있는데

데비안 사이트 들어갔다가 'wayland' 와 '애도' 이런 단어 있어 깜 놀했네요.

어찌되었든 Lucy Wayland 의 죽음을 애도합니다.

데비안이 인정할 정도의 인재인 분이라 안타깝네요.

----------------------
"데비안 프로젝트는 Lucy Wayland의 죽음을 애도합니다" 참고 주소 : https://www.debian.org/News/2019/20190308

lalupo20의 이미지

입사할때 포폴말인데요.

다른분야 포폴은 보지도 않나요?

그냥 이런 경험도 해봤다는 느낌으로 올려볼까 하는데...

rintrah의 이미지

docker image를 만들거나 live USB를 만들기 위해 시스템 전체를 tar 할 때

잘 돌아가는 임의의 리눅스 시스템(꼭 데비안이나 레드햇 같이 이런 작업을 해주는 툴이 있지는 않은 걸로 아는)의 snapshot을 떠서 base docker image를 만들고자 합니다. 비슷한 질문이 아래 있던데 대답이 없어서 질문을 좀더 구체적으로 만들어 보겠습니다.

docker image는 비어 있는 루트 파일 시스템에다 압축을 풀 tar 파일이 있으면 쉽게 만들 수 있는 것 같습니다. 사실 모든 base image (예컨대 Debian, Ubuntu, Gentoo 이런 것들)는 그렇게 만들 수밖에 없어 보이고요.

보아하니 Live CD/USB에서 새로운 시스템에 리눅스를 설치할 때에도 대략 다음 과정들을 거치는 것 같습니다.

emptynote의 이미지

"나는 그동안 무엇으로 성장했을까?" 글 소개합니다.

좋은 글이라 공유합니다.

----------------------------------- 부분 인용

"나는 그동안 무엇으로 성장했을까?" 참고 주소 : https://m.blog.naver.com/jukrang/221479816946

사람이,

사람과 함께,

사람에게 필요한 무언가를 만드는 일

사람을 모르고 사람과 일을 할 수는 없겠다 싶었다. 설득하고, 협상하고, 인내하는 일련의 과정을 이끌어야만 내가 원하는 것을 얻을 수 있다는 걸 경험으로 배웠다. 이 과정에서 불편한 사람과 대화도 해야 할 것이며, 다수 앞에 나서야 할 일도 있다. 때로는 내가 중요하게 여기는 것을 일부 포기하기도 해야 했다. API를 수집하는 일 외에도 알아야 할, 싫지만 견뎌야 할, 어렵지만 잘 해야 할 일이 있었다.

ysrevol의 이미지

[Help] sftp에서 access granted 이후 먹통

안녕하세요.

sftp로 접속하는데, access granted 이후에 먹통이 되어 버립니다.
root로 접속하면 잘되는데, user id로 접속하면
되는 id가 있고 안되는 id로 있는데 이유를 모르겠습니다.

특별하게 설정한 것도 없는데..

도움 부탁드립니다.

참 .cshrc 사용하고 있구요.
wincp로 접속하니 "매우큰 .... SFTP 패킷이 수신되었습니다"라는 오류 메시지가 나옵니다.

mfgase의 이미지

삼성노트북 5NT550EBZ-AD3A 구매

Tiny core 리눅스 기본 설치
윈도우 시리얼 따로구매.아직 설치 못함ㅎ;
미세 먼지 시국에 구매 ㅎ;;
피씨 XP12년차1대 보유.
아는분께 usb1개 드리며 윈10홈 다운로드 부탁.ㅎ;;; 7일에서15일수령예상.그 동안..ㅎ;;;;

tingyoon의 이미지

yum과 비슷한 인스톨

안녕하세요.
개발한 프로젝트를 사이트에 올리고
유저가 다운로드 Url을 서버에 입력하면
프로그램이 받아지고 설치&실행 까지 자동으로 되도록 구성하려고 합니다.

yum install 과 같이 자동으로 다운로드 되고 설치까지 지원되는 프로그램이 있을까요?
참고로 Centos 환경입니다.

페이지

설치 및 활용 QnA + 자유 게시판 구독하기