스트레스 테스트 어떻게 하십니까?

모 회사의 IT실에서 근무하고 있습니다. 본명을 안 쓴 이유는 혹시라도 팀 사람들이 볼까봐... ^^;

최근, WAS의 사용이 많이 늘면서 관련 서비스에 대한 검증이 필요하게 되었습니다.

팀이 하는 일은 하드웨어나 OS의 Capacity를 산정하고 집행하는 일인데, 적당한 시스템을 구입하여 원하는 성능이 나오는가를 검증하기 위해 팀에서는 1억 정도 돈을 들여 스트레스 테스트 툴을 구입해 서비스를 검증하고 있습니다.

그런데 제가 보기엔 그런 돈 들여서 테스트할 필요가 있는가 싶더군요. 돈 값을 하는 결과를 보여준다거나 테스트 플랜 설계가 Open Source인 툴들보다 편하다거나 한 것도 아니거든요.

뭐, 돈 1억이 어떻게 보면 큰 돈이지만 팀에서 집행하는 비용으로서는 상당히 작은 액수니 쓸데 없는 돈 썼다고 배 아파할 이유는 없고, 또 제가 테스트에 관여한 것도 아니니 상관할 이유는 없지만 조금 아쉬움이 남아서 이렇게 글을 올렸습니다.

이 글을 읽는 분들 중에서 테스트를 해보신 적이 있는 분들이나 관심 있는 분들은 어떤 방법으로 어떤 결과를 얻는지 알고 싶네요.

그리고, 제가 생각하기엔 아래의 사항 정도를 체크하는게 적당한 것 같은데 방법이 잘못됐다거나 추가해야 하는 내용이 있으면 말씀해 주시기 바랍니다.

1) 테스트를 통해 얻고자 하는 것
2) 테스트를 위해 필요한 것
3) 테스트 방법

저희 팀의 경우

1) 동시 사용자 1000명 정도일 때, 각 페이지의 response time이 적정한가; 로드가 많이 걸리는 모듈이나 servlet은 어떤 것인가; 서비스 수행 시 시스템 리소스는 적당히 사용하는가.

2) 성능 좋은 client PC 2대(1대는 page request, 1대는 WAS log 수집); 테스트 프로그램; 테스트 하고자 하는 서버와 서비스

3) 동시 사용자 수를 100명부터 100단위로 증가시켜 (response time을 얻는다 | request timeout의 증가 추이를 얻는다 | 시스템 리소스 사용량 변화 추이를 얻는다)

추가로, 전에 IBM 내부적으로 쓰이는 AKTool과 Apache Project의 JMeter를 써봤는데, 이 제품들에 대해서 어떻게 생각하십니까?