[Statistics]Likelihood, MLE, MAP

확률변수 X가 discrete일 때

the likelihood function given the outcome x of the random variable X는 P_theta(X=x)

 

확률변수 X가 continuous일 때

the likelihood function given the outcome x of the random variable X는 f_theta(x), where f is the pdf of X

 

설명:

(1) 

Discrete variable에 대해서는 probability를 가리킨다.

Continuous variable에 대해서는 pdf를 가리킨다.

 

(2)

Parameter가 주어졌을 때 evidence가 일어날 확률을 likelihood라 한다. 즉, P(E|H)

이 때 parameter를 변수로 취급하면 특별히 이 확률을 likelihood function이라 한다.

 

(3)

MLE(Maximum Likelihood Estimation)이란,

P(E|H)가 최대가 되게하는 parameter H_0을 택하는 방식이다.

즉, theta_0 = argmax over theta P(E|theta)

 

(4) 

MAP(Maximum A Posterior)란,

parameter의 prior distribution(g(theta))가 존재하여

P(E|theta)*g(theta)가 최대가 되게하는 parameter H_0을 택하는 방식이다.

즉, theta_0 = argmax over theta P(E|theta)*g(theta)