[논문 요약10] Rich feature hierarchies for accurate object detection and semantic segmentation

[업데이트 2018.07.12 13:32] 

열번째 요약할 논문은 "Rich feature hierarchies for accurate object detection and semantic segmentation"(https://arxiv.org/pdf/1311.2524v5.pdf) 입니다. 본 논문은 object detection 분야에서 많이 알려진 R-CNN에 대한 내용입니다. 본 논문에서는 VOC 2012년 가장 좋은 결과 대비 mAP(mean average precision)에 있어서 30% 이상 성능 향상을 시켰음을 보여주고 있습니다. (mAP 53.3% 달성) 또한 OverFeat이라는 CNN에 기반한 sliding-window detector 아키텍쳐와 비교했을 때도 200-class ILSVRC 2013 detection dataset에서 성능에 있어서 큰 차이를 보이며 앞서게 되었습니다.

논문에서는 두 가지 키 인사이트를 조합하여 성능 향상을 하였습니다.

첫째, Convolutional Neural Network 사용 및 bottom-up region proposals(Selective Search) 적용.

둘째, 학습 데이터가 부족 할 때, pre-training된 모델을 사용하여 해당 도메인에 맞게 fine-tuning을 적용. 

region proposals with CNN을 조합하여 R-CNN으로 불리게 됩니다. 아래의 Figure 1은 R-CNN 시스템의 전체 동작 구조를 보여주고 있습니다. R-CNN object detection system은 크게 3가지 모듈로 구성됩니다.

1) 입력된 이미지로부터 region proposals 생성.(~2k) -> Selective Search

2) 생성된 각각의 region proposals에 대해 large CNN을 통해 feature vector 추출.

3) class-specific linear SVM을 통해 image classification(K+1개 분류, +1은 이미지에 object가 없는경우), regression을 통한 bounding box 계산 수행.

1번 모듈에서는 Selective Search란 방법으로 region proposals를 2000개를 만드는데, 해당 방법에 대해서는 추가로 논문을 찾아보고 정리해 볼 예정입니다. 입력 이미지 1개당 각 후보군이 2000개가 생성되고 생성된 후보군 각각에 대해 CNN 및 SVM을 통해 class 분류를 하므로 속도에 있어서 bottleneck이 있을 수 밖에 없는 구조입니다. R-CNN의 Speed bottleneck에 대해 정리해보면 다음과 같습니다.

- 모든 입력 이미지에 N개에 대해 region proposals 2000개 생성.

- 2000개의 region proposals 각각에 대해 CNN feature vector 추출 (N images * 2000)

- 다음 3가지 과정에 대해 분리되어 동작됨(without shared computation)

  . CNN을 통한 feature vector 추출

  . SVM classifier를 통한 image classification

  . Bounding box regression

본 논문이후 Fast R-CNN, Faster R-CNN이라는 속도가 개선된 R-CNN이 발표 되는데, 해당 논문들에 대해서 어떤 부분을 개선하여 속도 향상을 이루었는지 리뷰할 예정입니다. 2번 모듈의 경우 생성된 region proposals의 사이즈는 랜덤한데, CNN의 입력 이미지 사이즈는 고정되어 있으므로 CNN의 입력 이미지 사이즈에 맞게 transformation을 수행해야 합니다. 본 논문에서는 2가지(tightest square with context, warp) 방법으로 접근하였습니다.

* 참고 : https://arxiv.org/pdf/1311.2524v5.pdf

* 참고 : https://lilianweng.github.io/lil-log/2017/12/31/object-recognition-for-dummies-part-3.html