Deeper Learning

Diederik P. Kingma, Max Welling, Machine Learning Group Universiteit van Amsterdam. (2013) Abstract intractable posterior, large dataset, continous latent variable 환경에서 directed probabilistic model의 추론, 학습을 어떻게 효율적으로 할 수 있을까? mild 한 미분 가능 조건하에 intractable case에서도 가능하며 large dataset을 다룰 수 있는 stochastic variational inference와 학습 알고리즘을 제시 Contribution variational lower bound에 reparameterization을 적용..

VAE는 생성을 목표로 하는 모델로 AE와 형태는 비슷하나 근간은 명백하게 다르다. 생성모델의 목표는 주어진 dataset $x$ 를 사용하여 density estimation을 통해 $p(x)$를 근사하는 것 generator를 구성하는 모든 parameter set을 $\theta$ 라고 하자 샘플링가능한 분포 $z$ 에서 샘플링한 $z^i$ 는 decoder(generator)인 $g_\theta$ 를 통과하여 데이터를 생성 생성결과 = $g_\theta(x|z=z^i)$ generator까지 고려하였을 때 최대화 해야하는 대상은 $p_\theta(x|z)$ (parameter set $\theta$ 로 구성된 generator를 사용하였을 때 prior $z$ 에서 $x$ 를 생성할 확률) 샘플링..