Python numpy 의 std 이야기

numpy 패키지는 Python 에서 숫자와 관련된 일들을 할때 쓰는 패키지입니다. 이 패키지의 ndarray (n-dimension-array) 는 MatLab이나 다른 프로그램이 부럽지 않게 해주고, 통계나 연산 관련 많은 서브패키지들이 들어있습니다.

기본적인 통계 함수들은 numpy 에서 바로 import 할 수 있습니다. 그 중 많이 사용하는 것이 표준편차(std)일텐데요,

http://ko.wikipedia.org/wiki/%ED%91%9C%EC%A4%80_%ED%8E%B8%EC%B0%A8

http://en.wikipedia.org/wiki/Standard_deviation

다들 알고 있는 이 표준편차는 기술통계와 추정통계의 계산이 다릅니다. 기술통계의 경우는 제곱편차를 n 으로 나누지만, 추정통계의 경우는 자유도 때문에 n-1로 나누게 되죠.

http://www.mathlove.org/pds/mathqa/faq/probstat/probstat30.html

문제는, Microsoft Excel, MatLab, R, Octave 등등 통계와 관련된 프로그램은 대부분 n-1로 나누는 추정통계를 사용합니다만 (unbiased estimate from sample).. numpy는 n으로 나누는 기술통계를 std 로 사용합니다 (biased) .

http://article.gmane.org/gmane.comp.python.numeric.general/12438/match=var+bias

뭐 다큐먼트에 설명되어 있기는 하지만, 잘 안보고 그냥 쓰다 보면 다른 통계 패키지와 다른 값을 출력해서 화들짝 놀라는 경우가 있습니다. 뭐 이유야 어쨌든 자칫 엄한 값을 뽑을 수 있는데요.

http://www.mail-archive.com/numpy-discussion@scipy.org/msg13279.html

저는 다음과 같이 stdn1() 함수를 정의하는 우회를 선택했습니다. 다른 분들도 통계 낼 때 조심하세요~

from numpy import std
 
def stdn1(*args, **kwargs):
    return std(*args, **kwargs)/sqrt(float(len(args[0]) - 1) / len(args[0]))