GAN generator Loss function

 Deep Learning Quiz를 풀다가 이 문제를 틀린 게 너무 분하고 억울해서 티스토리로 다시 정리함.

---

Original GAN Generator Loss function

↓

Amended GAN Generator Loss function

 

Generator의 Original Loss function(GAN 논문의 Loss function) 실제로 사용 시,

초반에 gradient surface가 stable해서 generator가 어떠한 학습 signal도 받을 수 없다.

 

D(G(z)) = 0 부근에서 기울기가 너무 작아서 gradient surface가 stable해진다.

D(G(z)) = 0 부근에서도 generator가 충분한 양의 train signal을 받는다.

 

따라서, Amended된 Loss function을 적용하여 generator가 초반에 train이 용이하게 만들어준다.