DeLiGAN: Generative Adversarial Network for Diverse and Limited Data 논문 리뷰

Abstract

GAN은 다양한 이미지를 가지고 사실적인 이미지를 생성하는 데 사용된다. 그러나 일반적으로 GAN 기반 학습 방식은 주어진 데이터 이미지의 양식의 다양성을 학습하기 위해 많은 양의 데이터가 필요하다.

 

본 논문에서는 다양하고 제한된 데이터셋에서 학습이 잘되도록 하는 GAN-based 기반 architecture인 DELIGAN을 제안한다.

 

DeLiGAN은 latent generative space를 mixture model의 parameter를 학습시켜 추출한다. 이를 통해 제한된 데이터로 다양한 이미지를 생성할 수 있으며 이는 IS를 통해 효과를 증명했다. 또한 평가 지표인 modified version of IS를 소개한다.

---

Introduction

다양한 이미지 categories는 extremely complex underying distributions을 가지는 경향이 있다. 이는 이미지의 다양성(범주 내의 변동성이 크다)과 디테일(컬러 사진이 손글씨보다 디테일함)에 의해 발생한다.

 

이러한 데이터셋을 제대로 학습하기 위해서는 Generator가 complexity-inducing factors를 학습하기에 충분한 capacity를 가지고 있어야한다. 이는 deep neural networks으로 해결을 하였고 이를 학습시킬만한 많은 양의 데이터셋이 필요함.

 

Contributions

• DeLiGAN의 구조는 small and diverse한 데이터셋에 fit 하다.
• IS를 수정하여 human assessment를 더 추가함

---

Related work

latent space를 maxture model을 활용하여 랜덤 sampling 하는 것이 중심 아이디어이다. 

관련 연구가 궁금하다면 논문을 보는 것이 명확하고 좋을 듯하다.

---

DeLiGAN

왼쪽은 Baseline GAN, 오른쪽은 DeLiGAN이다. 

Baseline GAN은 \( \mu \) 와 \( \sigma \)를 직접 설정하여 sampling 한다, DeLiGAN은 mixture Gaussian components 중 random으로 \( \mu \)와 \( \sigma \)를 하나 선택하여 sampling 한다.

 

GAN-base model은 단순한 latent space에서 복잡한 데이터 분포로를 매핑하는 것을 훈련한다. 분포 매핑을 하기 위해서는 Deep Neural Network가 필요하고 이를 학습하기 위해서 많은 데이터가 필요하다.

 

따라서 제한된 데이터셋이 있을 때 네트워크의 깊이를 증가시키는 것은 어렵기 때문에 latent space reparameterization을 제안한다.

---

 

위의 분포에서 sampling을 얻기 위해, N개의 components중에 한개를 무작위로 골라 reparameterization을 진행한다.

무작위로 고른 \( \mu \)와 \( \sigma \)를 가지고 z를 구한다.

---

 

Learning \( \mu \) and \( \sigma \)

각 Gaussian component의 parameter를 초기화시킨다.(논문에서는 Uniform distribution(-1. 1) \( sigma \)는 고정시킨다.

학습을 하면 \( \mu \)와 \( \sigma \) 동시에 학습이 진행되는데 GAN 모델은 국소최댓값을 통해 GAN loss를 줄이고 싶어 하기 때문에 \( \sigma \) 가 0에 가까워진다. 그렇기 때문에 따로 L2 Regularization을 실시한다.(고정시키거나)