[논문리뷰] Imagen: Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

https://arxiv.org/pdf/2205.11487v1.pdf

Abstract

• Imagen: a text to image diffusion 모델로 높은 수준의 language understanding과 photorealism을 가짐
• large transformer language models를 통해 text를 이해하고 이를 기반으로  diffusion model이 고화질 이미지를 생성함
• T5와 같은 generic pre-trained large language models로 text를 encoding 하는 것은 image synthesis에 효과적이라는 것을 이 논문에서 밝혀냄 -> LM의 크기를 늘리는 것이 Diffusion 모델의 크기를 늘리는 것보다 성능이 좋게 나옴
• 벤치마크(어떤 것의 성능을 시험하여 수치화 가는 것) DrawBench를 통해 평가를 진행하였고 Imagen의 선호도가 높다는 것을 발견함

 

---

Introduction

• Multimodal은 text to image synthesis에서 두각을 나타내고 있으며 창의적인 이미지 생성 및 편집 applications 쪽에서 관심을 받고 있음
• 수요에 맞는 고퀄리티 공급을 위해 transformer language models과 cascaded diffusion models를 합성한 Imagen 연구
• text-image data만 사용하는 이전 연구 Zero-Shot Text-to-Image Generation 등과 달리 text embeddings from large LMs을 활용하면 더욱 효과적인 text to image synthesis을 할 수 있음
• Imagen은 embedding 매핑을 위한 frozen T5-XXL encoder + super-resolution diffusion model로 구성되어 있음
  • diffusion model은 text embedding sequence에 따라 조정되며 classifier-free guidance를 사용함

• DrawBench: text prompts for text to image evaluation
  
  • DrawBench는 다양한 의미 특성을 조사하도록 설계된 text prompts를 통해 모델을 평가함

Key contributions

1. large frozen language models의 text encoder는 text to image synthesis에 효과적이라는 것을 발견함 -> LMs의 크기를 조정하는 것이 difusion model 크기를 조정하는 것보다 효과가 좋음
2. high guidance weights을 활용하여 사실적인 이미지 생성을 위한 diffusion technique=(dynamic thresholding)을 도입함
3. memory efficient가 좋은 Efficient U-Net을 제안함
4. 7.27이라는 COCO FID(SOTA)를 달성함
5. 새로운 벤치마크인 DrawBench 소개

---

Imagen

• Imagen: sequence of embedding 매핑 + cascase of conditional diffusion

1. Pretrained text encoders

• text to image models은 complexity와 compositionality를 포착하기 위한 semantic text encoder가 필요함
• text encoder는 paired image-text data로 pretrain 된 것을 표준으로 사용하고 처음부터 훈련하거나 다른 paired dataset(CLIP)에 대해 사전학습될 수 있음
• text encoders를 학습시키는 목표는 text encoders를 통해 시각적으로 의미 있는 표현을 encoding 할 수 있음을 보여주기 위함이고 특히 text to image 작업과 관련이 많음
• Large language models은 text encoding에 쓰일 수 있고 큰 텍스트 corpus에서 훈련된 모델이기 때문에 풍부하고 광범위한 분포를 통해 text encoding을 할 수 있음
• 따라서 본 논문에서는 text to image task를 위해 BERT, T5, CLIP와 같은 pre-trained text encoder를 사용하고 단순화를 위해  weights of these text encoders를 freeze 함

result

• text encoder 조정이 이미지 생성 품질에 영향을 끼침을 발견함
• DrawBench에서 CLIP보다 T5-XXL encoder를 더 선호한다는 것을 발견함(왜?)

---

2. Diffusion models and classifier-free guidance

• Diffusion models: 반복적인 denoising process를 통해 Gaussian noise를 학습된 데이터 분포의 샘플로 변환하는 생성 모델
• Diffusion model \( \hat{x}_{\theta} \) 목적함수
  • \( \mathbb{E}_{x,c,\varepsilon ,t}[w_{t}||\hat{x}_{\theta}(\alpha_{t}x+\sigma _{t}\varepsilon, c)-x||^{2}_{2}] \)
  • \( t \sim U([0,1]), \  \epsilon  \sim N(0,I) \)
  • \( (x,c) \)은 data-conditioning pairs이고 \( \alpha_{t},  \sigma_{t}, w_{t} \)는 샘플 품질에 영향을 미치는 t 함수임
  • \( \hat{x}_{\theta} \) 는 \( z_{t}  : =  \alpha _{t}x+ \sigma _{t} \epsilon \)을 \( x \)로 denoise 하게 학습됨
  • Ancestral sampler, DDIM(샘플링 방법)과 같은 샘플링은 \( noise \ z_{1} \sim N(0,I) \)에서 시작하며 \( 1=t_{1}  >  \ldots  > t_{T}=0 \)에 대하여 점진적으로 \( z_{t1},  \ldots , z_{tT} \)을 생성함 이 값은 \( \hat{x}_{0}^{t}=\hat{x}_{0}^{\theta}(z_{t},c) \)의 함수임
• Classifier guidance는 샘플링 중 사전 학습된 모델 \( p(c|z_{t})의 기울기를 사용하여 conditional diffusion model의 다양성을 감소시키면서 품질을 개선하는 테크닉
• 학습 중 랜덤 하게 c를 drop 하여 하나의 diffusion model을 conditional 및 unconditional 목적 함수로 동시에 학습시키는 테크닉으로 수정된 \( x \) 예측값 \( (z_{t}- \sigma  \tilde{\epsilon _{\theta}})/ \alpha _{t} \)를 사용함
  • \( \tilde{ \epsilon_{\theta}} (z_{t},c)=w \epsilon_{\theta}(z_{t},c)+(1-w) \epsilon _{\theta}(z_{t}) \)
  • \( \epsilon_{\theta}:= \frac{z_{t}- \alpha_{t}\hat{x}_{\theta}}{ \sigma_{t}}  \)
  • \( w \)는 guidance 가중치로 \( w = 1 \) 일 경우 gudiance 효과가 사라지고 w가 증가됨에 따라 guidance 효과가 강해짐
  • Imagen은 효과적은 text conditioning을 위해 classifier-free guidance에 의존함

---

3. Large guidance weight samplers

guidance weight란 text와 이미지 간의 상호작용에서 텍스트의 영향력을 제어하는 가중치이다.

guidance weight가 높다면 text에 focus하여 이미지를 생성하고 낮다면 모델이 자체적으로 이미지를 생성하는 것에 집중한다.

• text-guided diffusion 연구의 결과를 확증하고 classifier-free guidance weight를 높이면 image-text alignment가 향상되지만 이미지 fidelity가 손상되는 문제 발견
  • image-text alignment: image와 text간의 관계를 맞추는 능력
• 이는 높은 guidance weight로 인한 train-test 불일치 때문
  • 각 sampling step t에서 \( \hat{x_{0}} \)은 학습 데이터 x와 동일한 범위 내에 있어야 하지만 높은 guidance로 인해 x의 범위를 넘게 됨
  • 이를 해결하기 위해 static thresholding과 dynamic thresholfing을 제안함

Static thresholding

• static thresholding: x-prodiction을 [-1, 1]로 elementwise clipping 하는 것
• 이전 논문(Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS, 2020.)에서 사용되었으나 강조되지 않았고 guided sampling의 맥락에서 연구되지 않음
• static thresholding은 high guidance weight로 샘플링되는데 필수적이며 blank images 생성을 방지함
• 그러나 guidance weight 증가함에 따라 fidelity가 떨어지는 이미지를 생성함

Dynamic thresholding (solution)

• Dynamic thresholding: 각 샘플링 step에서 \( \hat{x}^{t}_{0} \)의 특정 백분위수 절대 픽셍 값을 설정하고 s > 1이면 \( \hat{x}^{t}_{0} \)의 범위를 [-s, s]로 threshold로 지정한 다음 s로 나눔
• 포화된 픽셀(-1, 1과 가까운 픽셀)은 안쪽으로 밀어 넣어 각 step에서 픽셀이 포화되지 않게 능동적으로 방지함
• dynamic thresholding을 사용하면 매우 큰 guidance weight를 사용할 때 image-text alignment가 좋아지며 훨씬 더 사실적인 결과를 얻을 수 있음을 발견함

---

4. Robust cascaded diffusion models

• Imagen은 base 64x64 모델의 파이프라인과 2개의 text conditional super-resolution diffusion model을 활용하여 64x64 -> 256x256 -> 1024x1024로 upsampling 함
• Noise conditioning augmentation 기능이 있는 cascaded diffusion model은 높은 fidelity의 이미지를 생성하는데 효과적임
• noise level conditioning을 통해 저해상도 모델에서 생성된 아티팩트를 처리할 수 있음
• Imagen은 2개의 super-resolution model에 noise conditioning augmentation을 사용하여 이것이 높은 fidelity 이미지 생성에 중요하다는 것을 발견함
• conditioning low-resolution image와 augmentation level(aug_level)(이미지 확대 수준)이 주어지면 aug_level로 저해상도 이미지를 손상시키고 diffusion model로 aug_level을 조정함
  • \( aug\_level  \in [0,1] \)
• 훈련 중 aug_level은 무작위로 선택되지만 inference 단계에서는 다양한 값을 sweep 하여 최상의 샘플 품질을 찾음
• 본 논문에서는 Gaussian noise를 augmentation으로 사용하고 diffusion model에서 사용하는 forward process와 유사한 variance preserving Gaussian noise augmentation을 적용함

---

5. Neural Nerwork Architecture

• BASE MODEL
  • U-Net architecture from for our base 64 × 64 text-to-image diffusion model을 사용함
  • 신경망은 pooled embedding vector로 된 text embedding을 time-step embedding에 대하여 컨디셔링 됨
  • 다양한 해상도에서 text embedding을 cross attentiond에 더해 text embedding의 전체 sequence를 컨디셔링함
  • 성능 개성을 위해 attention layer와 pooling layer에 text embedding을 위한 layer Normalization을 사용함

• SUPER-RESOLUTION MODEL
  • 64x64 -> 256x256 super-resolution의 경우 Improved DDPM과 Palette에 사용된 U-Net model을 사용함
  • 메모리 효율성, inference 속도, 수렴 속도를 위해 U-Net model에 다양한 수정을 하였고 최종 모델을 Efficient U-Net이라고 함
  • 256×256 ->->1024×1024 super-resolution model은 1024×1024 이미지의 64×64 ->  256×256 crop으로 학습시킴
  • 이를 위해 self-attention layer를 제거하고 텍스트 cross-attention layer를 유지함
  • inference 중에는 full 256×256 저해상도 이미지를 입력으로 받아 upsampling 된 1024×1024 이미지를 출력함

---

Evaluating Text-to-Image Models

• COCO
  • text to image 평가, zero-shot 설정을 평가하기 위한 표준 벤치마크
  • metrics로는 FID와 CLIP를 사용함
  • FID는 지각적 품질을 잘 측정하지 못하고 CLIP은 countion에 효과적이지 못하기 때문에 추가적으로 인간 평가를 실시함
• Draw Bench
  • text to image model 간의 평가 및 비교를 지원하는 포괄적이고 어려운 프롬프트 세트를 도입함
  • 모델의 다양한 능력을 테스트하는 11개의 카테고리의 프롬포트를 가지고 있으며 총 200개의 프롬프트로 구성되어 크고 포괄적인 데이터셋에 대한 요구와 사람의 평가가 가능할 만큼 충분히 작은 데이터셋에도 적절한 균형을 유지함

---

Experiments

Results on COCO

MS-COCO 256 × 256 FID-30K.

Imagen은 7.27로 SOTA Zero-shot FID를 달성하였고 DALL-E를 성능을 뛰어넘었다.

---

COCO 256 × 256 human evaluation comparing model outputs and original images.

Image의 quality와 alignment에 대한 인간 평가 결과표이다.

---

Results on Draw Bench

Comparison between Imagen and DALL-E 2 , GLIDE , VQ-GAN+CLIP  and Latent Diffusion on DrawBench

• alignment와 fidelity에 대한 human raters가 Imagen이 높음 -> Imagen이 생성한 이미지를 선호함

---

Analysis of Imagen

다양한 guidance값에 대한 trade-off 곡선

Summary of some of the critical findings of Imagen with pareto curves sweeping over different guidance values.

• text encoder의 크기가 커지면 image-text alignment와 fidelitu가 지속적으로 개선됨 -> U-NET의 크기를 키우는 것보다 Text encoder의 크기를 키우는 것이 개선이 더 잘됨
• Dynamic thresholding을 사용하였을 때 이미지의 품질과 alignment가 좋아지며, 특히 guidance weight가 클 때 큰 효과를 보임

---

Related Work

• Diffusion  models은 fidelity, diversity문제없이 GANs보다 좋은 성능을 보임
• Autoregressive models, GANs, VQ VAE Transformer-based methods, diffusion models, DALL-E 2은 뛰어난 text to image 성능을 보여줌 
• Imagen은 latent prior(잠재공간의 분포)를 배우지 않아도 좋은 성능을 가지기 때문에 훨씬 간단한 모델임
• GLIDE는 cascaded diffusion models을 사용하지만 LMs가 없어 image text alignment 성능이 떨어짐
• XMC-GAN은 BERT를 통해 Encoder 하지만, 본 논문을 통해 text encoder의 효과를 입증함

---

Conclusions, Limitations and Societal Impact

• U-NET(cascaded diffusion models)의 크기 조정보다 괜찮은 LMs를 탐색하는  향후 연구 방향을 장려함
• classifier-free guidance을 강조하며 dynamic thresholding을 도입함

 

• 이 연구의 목표는 Imagen을 test bed로 하여 text to image 연구를 발전시키는 것
• 사용자가 실생활에서 사용하기엔 무리가 있지만 이 연구가 potential downstream applications이 있다고 생각하며 인간의 창의성을 보완, 확대, 증대시킬 수 있는 잠재력을 가지고 있음
• 이 연구는 이미지 편집 등의 확장 프로그램으로 개발될 수 있음
• 잘못된 방식으로 쓰일 경우를 염려하여 source를 공개하지는 않을 예정임

 

• Datsset의 경우 입증되지 않은 대규모 웹 스크랩 데이터셋에 의존하게 되었음
• 이는 연구를 빠르게 발전하게 했지만 윤리적 문제가 존재했음
• 사회적 고정관념, 억압적인 관점 소외된 그룹에 대한 부정적인 데이터 등이 포함된 모델은 소외, 차별, 배제를 경험하고 있는 개인에게 부정적인 영향을 미칠 수 있음

 

• 생성 모델 연구에 대한 윤리적인 문제에 대한 내용