[논문 요약7] Network In Network

[업데이트 2018.04.20 17:04]

일곱번째 요약할 논문은 "Network In Network"(https://arxiv.org/pdf/1312.4400) 입니다. GoogLeNet에서 인용한 논문으로 Inception module의 컨셉을 설계하는데 참조한 논문입니다.  GoogLeNet 논문을 리뷰하면서 추가로 찾아본 논문으로 간단히 정리하려고 합니다. 

논문 제목에서 알 수 있듯이 네트워크를 구성 할 때 또 하나의 micro network를 포함하여 설계를 하는 것이 컨셉이며, 이렇게 구성하였을 때, 성능 향상이 있었음을 연구한 논문입니다. 기존 CNN에서 convolution을 수행 할 때, 수행 후 feature map을 얻게 되는데, 본 논문에서는 multilayer perceptron 네트워크를 convolution시 추가로 적용하여 feature map을 만들고 있음을 보여줍니다.

최종적으로 NIN의 전체 구조는 아래와 같으며, 마지막 layer에 average pooling layer를 적용하고, 그 결과를 softmax layer에 적용하여 classification을 수행합니다. 여기서 중요한 포인트는 fully-connected layer를 대체하였다는 점입니다. (one global average pooling layer로 대체)

average pooling을 수행함으로써 다음과 같은 이점들을 얻게 된다고 이야기하고 있습니다.

1. convolution structure를 그대로 따름으로써 feature map과 category간에 관련성을 높입니다.

2. average pooling시 최적화해야 할 파라메터가 필요 없으므로, 해당 layer에서 overfitting을 피할 수 있습니다.

3. average pooling의 경우 spatial information에 대해 더하고 평균을 내는 것이므로, 입력 데이터의 spatial translation에 대해 robust합니다.

* 참고 : https://arxiv.org/pdf/1312.4400