베이즈 정리(Bayes' theorem)
p(A|B) = p(A) * p(B|A) / p(B)
개요
- 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리.
식에 대한 설명
- 결합 확률: A와 B가 모두 참일 확률
- 결합 확률에서는 교환 법칙이 성립한다.
- 따라서 다음과 같이 전개할 수 있다.
가능도(우도)
L(A∣B)=p(B∣A) 이며, A가 주어졌을 때 B의 가능도(우도)라 부른다.
베이즈 이론의 통시적 해석
- 통시적(diachronic) 해석 : 데이터 D의 관점에서 봤을 때 가설 H의 확률을 수정해준다.
- 시간에 따라 새로운 데이터를 접하게 되면서 가설에 대한 확률이 달라진다는 것.
식 | 해석 |
---|---|
p(A∣B) | 사후 확률. 데이터를 확인한 이후 가설의 확률. |
p(A) | 사전 확률. 데이터를 보기 전 가설의 확률. |
p(B∣A) | 우도(가능도). 데이터가 가설에 포함될 확률. |
p(B) | 한정 상수. 어떤 가설에든 포함되는 데이터의 비율. |
즉, 다음과 같이 해석할 수 있다.
사후 확률=사전 확률×우도한정 상수베이즈 이론의 공산 형태
공산(odds)
- 0~1 사이의 숫자가 아니라 비율로 확률을 표현하는 방법
- 승산(The odds in favor): 사건이 일어나지 않을 때의 확률과 일어났을 때의 확률의 비율
- 승률이
75%
라면, 승산으로는3:1
이다. - 승률이
10%
라면, 승산으로는1:9
이다.
- 승률이
- 공산(The odds against): 승산의 반대 형식
- 승률이
75%
라면, 공산으로는1:3
이다. - 승률이
10%
라면, 공산으로는9:1
이다.
- 승률이
- 확률이 낮은 경우 승산보다 공산으로 표기하는 경우가 흔하다.
이 문서에서는 공산을 다음 함수의 의미로 표현하도록 하겠다.
function odds(p) {
return p / (1 - p);
}
A와 B가 상호 배제적이며 전체 포괄적이라면 p(B)=1−p(A) 이므로 사전 확률비, 사후 확률비를 공산으로 쓸 수 있다.
다음은 베이즈 이론의 확률 형태이다.
p(H∣D)=p(H)p(D∣H)p(D)A, B 두 가설이 있을 때 사후 확률비는 다음과 같다.
p(A∣D)p(B∣D)=p(A)p(D∣A)p(D)p(B)p(D∣B)p(D)=p(A)p(D∣A)p(B)p(D∣B)A에 대한 공산을 o(A)라 하면 다음과 같이 베이즈 이론을 공산 형태로 나타낼 수 있다.
o(A∣D)=o(A)×p(D∣A)p(D∣B)사후 공산=사전 공산×우도비