[논문 요약29] [13] X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In Aistats, volume 9, pages 249–256, 2010. 5

[업데이트 2018.09.07 11:45]

1. 베이스 논문

[논문 요약17] Perceptual Generative Adversarial Networks for Small Object Detection

(http://arclab.tistory.com/172)

For the generator and the discriminator network, the parameters of newly added convolutional layers and fully connected layers are initialized with “Xavier” [13].

2. 레퍼런스 논문

[13] X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In Aistats, volume 9, pages 249–256, 2010. 5

(http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf)

3. 주요 내용 요약

3.1 레퍼런스 논문 주요 내용

Deep Neural Network에서는 weight를 어떻게 초기화 하느냐에 따라 학습에 영향을 주게 됩니다. 본 논문에서는 weight를 초기화 하는 방법을 제안하고 있으며, 해당 초기화 방법을 통해 성능 향상을 하게 됩니다.

* 참고 : http://forensics.tistory.com/27

3.2 베이스 논문에서 인용한 내용

Generator와 Discriminator Network 파라메터 초기화시 Xavier Initialization을 사용하였습니다.