[기계학습] 가능도 Likelihood / 가능도 함수 Likelihood function

 

기계학습 공부를 하다보니 Likelihood 와 Likelihood function 이라는 것을 접했다.

하지만 이 두개가 각각 어떤 것을 의미하는지, 차이점은 무엇인지 감이 잡히지않아 한번 정리해보려고 한다.

 

Likelihood 

Likelihood는 가능도라고도 하고, 주어진 모델 또는 확률 분포 아래에서 특정 사건이 발생할 확률을 나타낸다. 이렇게 말하면 이해가 잘 안될수도 있는데, 어떤 모델이 데이터를 가장 잘 설명하는지 나타내는 척도라고 이해하면 된다. 

Likelihood는 주로 P(데이터 ∣ 모델)와 같은 형태로 나타낸다.

가능도(Likelihood)의 개념을 이해하기 위해 간단한 예제를 살펴보자. 가장 기본적인 예제 중 하나는 동전 던지기이다.

가정: 우리는 공정한 동전을 가지고 있으며, 이 동전을 던질 때 앞면(H)과 뒷면(T)이 나올 확률이 각각 0.5라고 하자

1. Likelihood 함수의 정의:
   • 동전 던지기에서의 가능도는 주어진 데이터에 대해 동전이 앞면 또는 뒷면을 나타내는 확률을 나타내는 함수이다.
   • 여기서 "데이터"는 동전 던지기의 결과를 나타내며, "모델"은 동전이 앞면 또는 뒷면을 나타내는 확률 0.5로 설정된 공정한 동전 모델이다.
2. 예시 데이터:
   • 동전을 5번 던져서 다음과 같은 결과를 얻었다고 가정한다: H, T, H, H, T.
3. Likelihood 계산:
   • 이제 가능도 함수를 사용하여 위의 데이터가 주어진 공정한 동전 모델에 대해 어떤 확률로 발생했는지 계산할 수 있다.
   • 가능도 함수는 데이터가 주어진 모델 하에서 나타날 확률을 계산하며, 모델은 동전 던지기에서의 확률 0.5를 의미한다.
   • P(H, T, H, H, T ∣ 동전 모델)  P(H, T, H, H, T ∣ 동전 모델)
   • 이 경우, 가능도 함수는 각 동전 던지기 결과에 대한 확률을 모두 곱한 값이다. 예를 들어, 첫 번째 동전이 앞면(H)으로 나올 확률은 0.5이고, 두 번째 동전이 뒷면(T)으로 나올 확률도 0.5 이다. 따라서, 전체 가능도는: 0.5×0.5×0.5×0.5×0.5=0.03125
   • 위의 결과는 주어진 데이터가 주어진 모델에서 나타날 가능성을 나타낸다

즉, Likelihood를 내가 이해한 바로는 위에서 언급했던 것처럼 이 모델이 얼마나 적합하냐를 나타내는 지표이다. 예를 들어 어떠한 사건이 발생할 확률을 2/3이라고 할때, 실제 2/3 확률로 이 사건이 일어날 가능도이다.

 

Likelihood Function

Likelihood function 은 말 그대로 Likelihood 을 구하는 함수표현이다. 즉, 모델에 파라미터에 값에 따라 계산하는 함수를 말한다.

Likelihood function의 목적은 데이터가 어떤 분포, 모델을 따르는게 좋을지 가능성을 판단하는 것이다.

위 그래프보면 파란색 그래프보다 당연히 주황색 그래프가 더 적합한 분포인 것을 알 수 있다

간단히 말해서, Likelihood function을 사용하여 다음을 이해할 수 있다:

1. 데이터의 분포를 어떻게 모델링할 것인가?
   Likelihood 함수는 어떤 확률분포 모델을 사용하여 데이터를 설명할지에 대한 정보를 제공한다. 예를 들어, 정규분포를 따르는 데이터인지, 이항분포를 따르는 데이터인지 등을 결정할 때 Likelihood 함수를 사용한다.
2. 모델의 파라미터를 어떻게 조정해야 데이터에 가장 적합한 모델을 얻을 수 있는가?
   Likelihood 함수를 최대화하는 모델의 파라미터 값을 찾는 것은 모델을 데이터에 가장 잘 맞게 만드는데 도움을 준다. 이것은 주로 최적화 문제로 풀어지며, 최적화 알고리즘(예: 경사 하강법)을 사용하여 모델 파라미터를 조정하여 Likelihood를 최대화하려고 노력한다.

따라서, "best distribution을 찾는다"라는 것은 주어진 데이터에 가장 잘 맞는 확률분포 모델을 선택하거나 모델 파라미터를 조정하여 데이터를 최대한 잘 설명하는 모델을 찾는 것을 의미한다. Likelihood function은 이러한 과정에서 중요한 역할을 한다.