[통계학] 14-3. 통계적 추론의 개요 - 유의수준과 검정력

이 포스트는 K-MOOC 숙명여대 여인권 교수님의 통계학의 이해 Ⅱ 강의를 기반으로 작성되었습니다.

이번에는 지난 글에서 다룬 검정통계량과 오류에서 파생된 유의수준에 대해 다뤄보고자 한다.
우선 예시를 통해 제1, 2종의 오류와 그에 따른 유의수준 및 검정력에 대해 알아보자.

유의수준

유의수준(α) : 제 1종 오류 확률의 최대값

ex) 인구 데이터 X가 정규분포 N(μ, 4)를 따른다고 하자.
이 때 관심이 있는 값은 μ이다. 이 값을 알기 위해 X에서 16개의 표본 X1, ... , X16을 추출했다.
이 정규분포 X1, ... , X16 ~ iid N(μ, 4)를 통해 우리가 주장하는 대립가설은 H1 : μ > 0이며, 귀무가설은 H0 : μ ≤ 0이다.
검정 원칙으로는 'X의 표본평균 x̅ ≥ 0.5이면 H0를 기각한다'라고 설정했다고 하자.
만약 가장 이상적으로 H0: μ = 0이었다면 x̅~N(0, 4/16)이 되며 제 1종 오류의 확률 P(x̅≥0.5|H0)을 계산하면 0.1587이다.
만약 H0: μ = -0.5이었다면 x̅~N(-0.5, 4/16)이 되며 제 1종 오류의 확률을 계산하면 0.0228이 된다.

제 1종 오류 확률 계산 과정

오류는 작을수록 좋지만 모든 가능성을 측정하는, 모든 사례에 적용할 수 있는 확률을 고르는 것이 좋다.
H0이 표본평균이 0보다 작거나 같을 경우인 것을 생각한다면, 표본평균 μ가 작아질수록 제 1종 오류확률은 점점 작아질 것이다. 따라서 μ=0일 때 제 1종 오류확률이 최대이며, 이것이 유의수준이다.
그리고 이렇게 됨에 따라 H0 : μ ≤ 0을 H0 : μ = 0으로 나타내도 무방하다.

검정력 (제 2종 오류)

검정력 = 1 - 제 2종 오류(β)
(제 2종 오류의 경우 대립가설 H1은 참인데 H0을 유지하는 경우이다.)

ex) 대립가설 H1 : μ =1이 참이었다고 하면 x̅ ~ N(1, 4/16)이 되어 제 2종 오류 β = P(x̅<0.5|H1) = 0.1587이고
검정력은 1-β = 1-0.1587-0.8413이 된다. (계산과정은 아래 사진 참고)
검정력은 클수록 좋으며, 유의 수준은 작을수록 좋다.

제 2종 오류 예시

유의수준 값 결정

앞에서는 x̅를 기준으로 채택력(기각력)을 정한 뒤 거기에 맞게 유의수준 α 값을 정했다.
하지만 보통 유의수준을 먼저 정한 뒤 채택력을 정하게 된다.

그렇다면 이 α 값은 어떻게 정할까?
H0이 참일 때 비정상적이라는 것을 보여야 한다. 이런 가능성은 적어야 하며, 이에 따라 값도 작게 설정해야 한다.
일반적으로 α = 0.05로 설정하며 α = 0.01, 0.1로 잡기도 한다.
이제 x̅ > k에서가 k가 얼마나 커야하는지 그 값을 찾는 방법을 알아보자.
α = 0.05라면 제 1종 오류 확률 P = 1-α = 0.95 = P(Z ≥ z)에서 표준정규분포표를 통해 z값을 구한다.
그리고 표준화 변환 식을 통해 P(Z ≥ z)=P(x̅ ≥ k|H0)에서 k값을 구할 수 있다.
그렇게 구한 k 값을 통해 제 2종 오류 확률인 β = P(x̅ < k|H1)값도 구할 수 있다.

이제 α, β값이 어떻게 변할 수 있는지에 대해 알아보자.
우선, x̅ ≥ k에서 k 값이 바뀔 때 α와 β 값은 어떻게 변할까?
아래 그림에서 위는 귀무가설 H0, 아래는 대립가설 H1에 대한 그래프이며, 기준값 k에 따라 α, β 값이 변하는 것을 보여준다. 
여기에서 보다시피, k 값이 작아질수록 α 값은 점점 작아지고 β 값은 점점 커지는 것을 볼 수 있다.
즉, k 값을 바꿀 때 α와 β 값을 동시에 커지게 하거나 작아지게 할 수 없는 것이다.

x̅  ≥ k에서의 k 값 변화에 따른 α, β 값 변화

그럼 표본크기 n이 달라질 때는 α, β 값이 어떻게 변할까?
아래 그림에서 n이 커지면 H0, H1이 따르는 정규분포 모양이 좁아지는 것을 볼 수 있다.
그러면서 α와 β 값 모두 작아지게 된다.

표본크기 n 변화에 따른 α, β 값 변화