www.tpc.org

P, IBM, SUN, DELL, NEC 등 하드웨어 벤더들은 새로운 서버군을 출시하고 그들의 성능이 우수함을 SPEC 혹은 TPC에서의 자료를 인용합니다.

이러한 성능 측정에 관련된 영역은 다음과 같으며 해당 영역별 어떠한 의미가 있는지 살펴 보도록 하겠습니다.

CPU : SPECint, SPECfp, SPECint_rate, SPECfp_rate
OLTP : TPC-C
Data Warehousing : TPC-H
Web : SPECweb96, SPECweb99, SPECweb99_SSL
Java : SPECjbb2000
Oracle : Oracle Standard Benchmark
SAP
SAP R/3 2-tier, 3-tier
SAP ATO (Assemble to Order) 2-tier. 3-tier

TPC-C Overview

http://www.tpc.org

비교적 복잡한 OLTP 트랜잭션
TPC 조직이 2 년에 걸쳐 개발한 결과
전형적인 주문입력 시스템을 기본 구조로 설정하여 벤치마크를 위한 개념 설립
주문관리 도매상 어플리케이션을 모델로 설정
5개 유형의 트랜잭션으로 구성된 워크로드
처리량에 따른 사용자 및 Database의 증가
Full-Screen 사용자 인터페이스를 SPEC 정의
1분 당 신규 주문 처리 건수(tpmC) 및 가격 대비 성능($/tpmC)에 대한 값을 측정
1992년 7월 23일 TPC-C 테스트 승인
현재 Version 5 발표

TPC-C Workload

OLTP Transaction 유형 (80년대말~90년대초 표준)

New-order : 고객으로부터 새로운 주문 입력
Payment : 고객의 지불 처리 및 잔고 Update
Delivery : 주문 처리 (Batch 작업)
Order-status : 고객의 가장 최근 주문 상태 확인
Stock-level : 창고의 재고현황을 모니터링

한 개의 Database와 9개의 Table로 구성
Update, Insert, Delete 및 Abort Transaction으로 구성 (Primary or Secondary Key Index).
응답시간 요구사항 : 90% 이상의 Transaction이 5초 이하의 응답시간, Stock-level Transaction의 경우는 20초 이하

현재 1위 : IBM eServer p5 595 64p

TPC-H Overview

TPC-H Benchmark (DW, BI)

의사 결정 시스템과 같은 Decision Support Benchmark Test
실제 비즈니스 상황을 반영한 대용량 Database에 대한 복잡한 22개의 Ad-hoc 쿼리 및 2개의 데이터 조작 문장으로 구성

TPC-H에 사용되는 쿼리문

실제 비즈니스 상황에서 필요로 하는 ad-hoc 쿼리문으로 구성
일반적인 OLTP 트랜젝션에 비해 훨씬 복잡함
광범위한 조작과 제약(Constraints) 포함
CPU 성능 외 Memory, I/O 등 데이터베이스 전반적인 부품에 대한 집중적인(intensive) 부하 발생
대용량의 데이터베이스에 대한 요구

TPC-H 단위

QphH@Size (TPC-H Composite Query per Hour)
Size는 Benchmark에 사용된 데이터베이스의 크기로 1GB, 10GB, 30GB, 100GB, 300GB, 1000GB, 3000GB, 10000GB의 몇 가지 지정된 크기를 명시함. 이 Database 크기는 Scale Factor(SF)로 TPC-H 산출 공식에서 사용
사용된 Database의 크기가 1GB 이면 SF=1, 3TB이면 SF=3000

TPC-H의 결과

TPC-H 값이 3000 QphH@300GB라면 이 수치의 의미는 300GB 용량의 Database에서 3000/300 = 10개의 Adhoc Query를 한시간에 수행할 수 있는 능력을 의미 (SF=300)
Database의 Size가 다른 QphH의 비교는 무의미하며 잘못된 결과를 초래할 수 있으므로 주의

현재 1위 : Sun Fire[TM] E25K server

SPEC Overview

http://www.spec.org
Standard Performance Evaluation Corporation

SPECcpu2000

Processor, Memory, Compiler 등과 같은 Unit이 얼마나 뛰어난가 측정하는 표준
정수 및 실수 (부동 소수점) 에 대해 연산 위주의 작업을 수행하여 결과를 측정
SPECint: 하나의 정수연산을 얼마나 빠르게 수행하는가? Speed에 대한 측정
SPECfp: 하나의 실수연산을 얼마나 빠르게 수행하는가? Speed에 대한 측정
SPECint_rate: 주어진 시간동안에 얼마나 많은 정수연산 작업을 수행하는가? 대역폭에 대한 측정
SPECfp_rate: 주어진 시간동안에 얼마나 많은 실수연산 작업을 수행하는가? 대역폭에 대한 측정

SPECweb

SPECweb96: 정적 환경의 Web Server에 대한 성능 측정 (HTML, Image Downloading)
SPECweb99: 동적 환경의 Web Server에 대한 성능 측정 (DHTML, CGI etc)
SPECweb_SSL: SSL 기반의 암호화 기법이 적용된 Web Server에 대한 성능 측정