통계적 가설 검정의 오류
모든 통계학은 기본적으로 불확실성 하의 의사결정(decision under uncertainty)을 전제로 합니다.
우리는 완전한 정보를 가지지 않은 상태에서, 제한된 표본과 관측값을 바탕으로 어떤 판단을 내려야 합니다. 그 판단이 정책일 수도 있고, 신약 개발일 수도 있으며, 단순한 마케팅 캠페인일 수도 있습니다.
통계적 추론은 이렇게 말할 수 있습니다: “우리가 가진 표본에서 관측된 결과가 우연히 발생할 확률이 충분히 작다면, 이는 단순한 우연이라 보기 어렵고, 대안적 설명이 더 그럴듯하다.”
이것이 바로 통계적 가설 검정(hypothesis testing)의 출발점입니다.
하지만, 이런 추론 구조는 본질적으로 오류 가능성을 내포합니다.
표본은 우연의 산물이기 때문에, 우연히 잘못된 결론에 도달할 가능성은 언제나 존재합니다.
통계적 가설 검정을 통과했다고 해서 그 가설이 “진실”임을 의미하지는 않습니다.
단지 주어진 데이터 내에서 우연히 발생하기 어려운 정도의 효과가 관측되었다는 뜻일 뿐입니다.
그렇기에 통계적 판단은 항상 다음의 균형을 요구합니다:
- 신중하지만 결단력 있는 판단
- 형식적 유의성과 실질적 의미의 구분
- 불확실성을 수치화하고, 그 한계를 인식하는 태도
1 귀무가설과 대립가설: 판단의 기준
모든 통계적 검정은 두 개의 상반된 가설을 세우는 것에서 시작됩니다:
- 귀무가설(null hypothesis, \(H_0\)): 기존 구조, 효과 없음, 차이 없음
예: “이 약은 효과가 없다”, “이 정책은 실업률을 낮추지 않는다”, “\(\beta = 0\)” - 대립가설(alternative hypothesis, \(H_1\)): 변화 있음, 효과 존재
예: “이 약은 효과가 있다”, “이 정책은 실업률을 낮춘다”, “\(\beta \neq 0\)”
통계학자는 귀무가설을 기각할 충분한 증거가 있는지를 표본으로부터 판단합니다.
즉, 기본값(\(H_0\))을 유지할지 아니면 바꿀지 결정하는 의사결정의 틀을 제공합니다.
2 오류의 구조: Type I과 Type II
통계적 가설 검정은 본질적으로 두 가지 판단 오류 가능성을 내포합니다. 이는 현실 세계에서의 법적 판단, 의료 진단, 정책 결정 등 다양한 영역에 깊이 관여합니다.
2.1 Type I error (1종 오류, False Positive)
실제로는 효과가 없지만, 있다고 잘못 판단하는 오류입니다.
이는 귀무가설 \(H_0\)이 참인데도 이를 기각하는 상황입니다:
\[H_0 \text{ is true, but we reject } H_0\]
이 오류는 과잉 반응(overreaction) 또는 불필요한 개입을 야기합니다.
- 효과 없는 약이 효과 있다고 판단되어 시판됨
- 정책이 실제로 효과가 없음에도 “유의미하다”고 주장하며 지속됨
- 무고한 시민이 죄를 저질렀다고 오판되어 처벌당함
- “빈대 잡으려다 초가삼간 태운다”는 속담
2.2 Type II error (2종 오류, False Negative)
실제로는 효과가 있음에도 없다고 판단하는 오류입니다.
즉, 대립가설 \(H_1\)이 참인데도 이를 채택하지 못하는 상황입니다:
\[H_1 \text{ is true, but we fail to reject } H_0\]
이 오류는 무기력하거나 소극적인 대응을 초래합니다.
- 실제로 효과 있는 신약이 통계적으로 유의하지 않다고 판단되어 폐기됨
- 의미 있는 사회현상이 “유의하지 않다”며 간과됨
- 권력자의 범죄가 증거 부족으로 무죄 처분됨
- “정의의 실현보다 오히려 불공정의 방조”라는 비판이 따라붙습니다.
2.3 사례 비교: 현실 속 Type I vs. Type II
| 분야 | Type I Error | Type II Error |
|---|---|---|
| 코로나 검사 | 음성인 사람을 확진자로 판단 | 감염자를 놓침 |
| 신약 승인 | 효과 없는 약을 승인함 | 효과 있는 약을 거부함 |
| 범죄 수사 | 무고한 시민을 기소함 | 진범을 방면함 |
| 정책 평가 | 효과 없는 정책을 계속 유지 | 효과 있는 정책을 폐기 |
| 학교 시험 | 공부 안 한 학생이 고득점 | 열심히 한 학생이 탈락 |
2.4 법치주의적 해석: 정의와 자유의 균형
이 두 오류는 법적 판단과 민주주의 시스템에서도 그대로 적용됩니다.
- Type I error는 무고한 시민을 벌주는 것으로, 자유의 침해를 의미합니다.
- Type II error는 권력층의 불법을 놓치는 것으로, 정의의 훼손을 의미합니다.
어떤 오류를 더 심각하게 보는가는 사회의 철학적 전제에 따라 달라집니다.
- 자유주의적 민주주의는 Type I error를 줄이는 것을 우선시합니다. (예: 무죄 추정 원칙)
- 공리주의적 효율성을 중시하는 체제는 Type II error의 위험에 더 민감하게 반응합니다. (예: 시스템의 무력화 방지)