• 개요

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

▪︎논문 리뷰

▫︎ Abstract & Introduction

Image-to-image translation은 “짝 지어진” 이미지 세트를 이용해 input, output을 매핑하는 것이 목표이다.

그러나 많은 태스크에서 짝 지어진 데이터를 얻는 것은 불가능하기 때문에, 짝이 없는 데이터를 가지고 X 도메인의 이미지를 Y 도메인으로 바꾸는 방법을 제안했다.

→ adversarial loss로 G: X → Y, F: Y→X를 학습시키고, F(G(X)) ≈ X, G(F(Y)) ≈ Y를 강제하는 cycle consistency loss를 도입함.

cycle consistency loss : F(G(x)) ≈ X, G(F(Y)) ≈ Y를 강제하는 역할

왜 도입하나?

1. 인풋과 아웃풋이 항상 의미있는 방식으로 짝지어짐을 보장하지 않음.
2. mode-collapse 문제
   • mode-collapse 문제란 GAN에서 발생하는 대표적인 문제로, 어떤 인풋 이미지든 모두 같은 아웃풋 이미지로 매핑하면서 최적화에 실패하는 것을 말한다.

▫︎ Formulation

G: X→Y