현재 위치

홈 ›› Forums ›› 이슈 ›› 토론, 토의

OS를 벤치마킹 한다면...

geekforum의 이미지
글쓴이: geekforum / 작성시간: 금, 2000/08/11 - 10:46오전

어제 오늘 LSN게시판의 논쟁(?)을 보고 생각해 본건데여
여러 종류의 OS를 벤치마킹 한다면 그 기준은 어떤것들을 잡아야 할까
여...
종종 OS 벤치 마킹 관련 글들을 보면 뭐 기준이 잘못됐다던가 한쪽 OS에
만 유리한 기준으로 평가했다는 글들이 올라와 논쟁의 불씨가 되는데..
정말 객관적인 기준은 어떤 것들이 있을 까여...

뭐 물런 사용 목적에 따라 달라 질수 있겠지만
그런 목적에 따른 세부적인 평가 방법들은 뭐 가 있을 지....

또한 정말 제대로된 평가를 KLDP에서 한번 해보는건 어떨지...^.^

Forums: 
토론, 토의
익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 토, 2000/08/12 - 6:46오후

좋은생각입니다.

어떠한 요건들을 비교하며 테스트할것인지에 대한 정리를 했으면 합니다.

그러면, 좀더 객관적으로 바라볼수 있지 않을까 생각되어집니다.

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 금, 2000/08/11 - 2:46오후

말 그대루,

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 토, 2000/08/12 - 12:18오전

벤치-마ː킹 (benchmarking) 기업이 우수한 타기업의 제품이나 기술, 경
영 방식을 배워서 응용하는 일. 미국 기업에 처음 도입되어 다른 나라에
확산되고 있는 새로운 경영 수법임.

야후 사전에 찾으니 이렇게 나오네요.

자세한 건 잘 모르고, 예전에 복사기 업체 중에서

미국 제록스가 최고였는데 일본 캐논에 박살 나고 나서

우리가 왜 이지경이 됐나 생각하다 캐논과 자기네들을 비교하기 시작한

것이 벤치마킹의 시초라는...

머, 어디서 줏어 들은거라 정확한지는 몰겠네요 ^^;

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 금, 2000/08/11 - 12:44오후

어제 논쟁 여파로 게시판에서 벤치마크 얘기를 안하겠다고
마음 먹었었는데... 중독이란 것이 무섭기는 하군요. ^^;;;

지적하셨듯이 기준이라는 것을 잡는 것이 제일 큰 문제가 됩니다.
대부분 이런 기준을 얘기할 때에는 "업계 표준"이라는 말들을
많이 합니다. 이런 류에 속하는 벤치마크로 TCP, SPEC 등이
있죠. 물론 용도별로 다른 벤치마크를 사용하셔야 합니다.

TPC(http://www.tpc.org)의 경우 툴이 있는 것이 아니라
명세(specification)만 달랑 있습니다. 그것을 만족하는 것을
알아서 짜라는 식이죠. 반면 SPEC(http://www.spec.org)의
경우 툴을 구입해서 쓰면 됩니다. 가격이 만만치는 않죠.
SpecWeb99의 경우 달랑 씨디 한장인데 $800 정도 합니다.

위의 두가지 벤치마크의 경우 웬만하면 업계에서 인정을 해주는
편이기 때문에 벤더들이 기를 쓰고 높은 수치를 내기 위해
애를 씁니다. 최신 기술들이 사용되고 예산이 엄청나게 드는
것도 감수하죠.

이런 벤치마크는 일반적으로 개인이나 학교에서 쓰기에는 부담스러운
것이 사실입니다. 그래서 공개된 툴이나 자체 제작한 툴을 사용할
때가 많습니다. 그 예가 논란의 불씨를 당긴 보고서에 사용된
bonnie++, http_load 등이며 그 밖에도 apache bench, lmbench,
iobench 등이 있습니다. 아마 freshmeat이나 기타 검색 엔진에서
쉽게 찾으실 수 있을 겁니다.

그리고... 벤치마크 평가를 하는 것은 어렵고 힘드는 작업입니다.
환경 갖추고 셋업, 튜닝하는 것도 힘들고 테스트를 하는 것도 만만치
않습니다. 게다가 어렵사리 해놓은 결과를 공개했을때 맥빠지게
되는 경우도 많구요.

마지막으로 몇 가지 reference를 추가하면,

http://www.kegel.com - comp.benchmarks에서 자주 보이는 dan kegel의
사이트입니다. 리눅스 관련 벤치마크에 대한 이런 저런 얘기를 많이
접하실 수 있고 ftp benchmark tool인 dkftpbench를 구할 수 있는
곳입니다.

http://bakeoff.ircache.net - squid를 만든 곳에서 공식적으로
proxy 회사 제품을 한 곳에 모아놓고 benchmark를 하는 행사인
bakeoff 결과를 올려놓은 곳입니다. 대형 benchmark 행사를
하는 것이 만만치 않다는 것을 옅볼 수 있습니다.

http://www.spec.org/osg/web99/results - SpecWeb99의 결과가
나와있는 곳입니다. 웹 서버 성능도 비교해보고 OS 별 튜닝
테크닉도 배워볼 수 있습니다.

적어놓고 보니 거의 다 서버 벤치마크 이야기군요. 데스크탑
쪽으로는 OpenGL 벤치마크 등이 있는데 많지는 않은 것 같고
무엇보다 제 관심사가 아니군요. ^^;;;

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 토, 2000/08/12 - 9:55오후

os를 벤치마킹한다는 것은 생각해보면 뜻밖으로 무모할 수도 있을 것 같
습니다. 서버의 경우 성능이나 안정성등 객관적인 자료가 도출될 수 있
는 것이 상당히 중요한 부분이지만 클라이언트OS의 경우 활용분야가 이
미 너무 방대해져 모든것들을 감안한 결과얻기가 힘들 것 같은데요 개개인
의 취향이나 활용분야의 독점경향은 어떤식으로 점수가 주어져야 할지 의
문이군요 벤치마킹의 의미가 앞서말한 성능등등으로 국한 된다면 이미 벤
치마킹으로써의 가치가 의심스러울 것이고..심하게 비약하자면 저같은 경
우 OS의 벤치마킹이라는 것이 '재즈,블루스,뽕짝중에 어떤것이 제일 좋
냐' 하는 것과 다름없다고 생각합니다.

둘러보기