Bayseian

[통계] ELBO(Evidence of Lower Bound)

ELBO ELBO는 VAE의 loss에도 쓰이는 것으로 variational lower bound라고도 불린다. ELBO는 $p(z \mid x)$ 가 다루기 힘든 분포를 이루고 있을 때 이를 다루기 쉬운 분포인 $q(x)$로 표현하는 과정에서 두 분포의 차이(KL Divergence)를 최소화하기 위해 사용된다. 수식 $log_{\theta} P(x)$는 모델의 파라미터($\theta$)가 주어졌을 때 x가 나올 확률이고 이 확률이 높을 수록 좋은 모델이다. 우리는 $log_{\theta} P(x)$를 최대화 하는 방향으로 $\theta$를 학습시켜야 한다. 위의 식에서 KL Divergence는 늘 0보다 크거나 같기 때문에 $log P(x)$는 EL..