[ML] 최대 사후 확률(Maximum A Posterior, MAP)

최대 사후 확률(Maximum A Posterior, MAP)

[ML] 최대 우도 추정법(Maximum Likelihood Estimation, MLE)

 

MLE는 데이터의 사전 지식 정보를 반영하지 못하고 데이터의 의존적이라는 한계를 가진다.

따라서 이러한 단점을 해결하기 위해 MAP는 데이터에 대한 사전확률 정보를 가진 상황에서 사후확률을 최대화 하는 Parameter를 추정한다.

 

$\hat{w} = \underset{w}{\arg\max}{P(w|X)} = \underset{w}{\arg\max} {\frac{P(X|w) \cdot P(w)}{P(X)}} = \underset{w}{\arg\max} P(X|w) \cdot P(w)  $

 

하지만 사후확률 $P(w|X)$를 바로 계산하는 것은 불가능하기 때문에

베이즈 정리를 이용해 사전확률($P(w)$), 우도확률($P(X|w)$)의 곱으로 표현한다

(이 때, 사전확률 P(w)를 정규분포, 베르누이 분포 등을 따른다고 가정할 수 있다)