[논문 요약46] An Empirical Evaluation of Deep Learning on Highway Driving

[업데이트 2019.01.07 13:41] 

46번째 요약할 논문은 "An Empirical Evaluation of Deep Learning on Highway Driving" (https://arxiv.org/pdf/1504.01716.pdf) 입니다.

본 논문에서는 실시간 차량 검출을 위해 R-CNN계열의 방법보다 Overfeat CNN detector처럼 single forward pass 방식으로 이루어진 네트워크를 사용합니다. convolution한 결과를 각 계층에서 재사용하여 효율성을 증대시키는 방법입니다. Overfeat은 고해상도 이미지로부터 만들어진 fully connected layer를 convolutional layer로 변환함으로써 이미지 인식 CNN을 "sliding window" detector로 형태로 만듭니다. 변환이후 그리드 형태의 최종 특징 벡터가 생성됩니다. 

본 연구에서는 Szegedy 등이 제안한 mask detector 방법을 사용합니다. Szegedy 등은 하나의 이미지 입력으로부터 regression을 통해 object mask와 object location에 대해 하이라이팅한 결과를 출력으로 만듭니다. 본 연구에서는 Ovefeat의 "sliding window" detector 방법과 Szegedy 등이 제안한 mask detector 방법을 합쳐서 object mask 생성과 bounding box regression을 수행합니다.

예측된 bounding box의 개수를 줄이기위해 Fig. 3 처럼 context view상에서 4x4 pixel 영역에 대해서만 활성화되도록 detector의 상단 계층을 변경합니다. 이렇게 변경하게 되면 4x4 영역이 워낙 작기 때문에 2개의 서로 다른 bounding box가 겹칠일이 매우 낮아지게 되어, context view내에서 임의로 둘중 하나를 선택할 필요가 없게 됩니다. 또한 추론 중에 성능 저하를 일으키는 bounding box를 적게 생성하게 됩니다. 이러한 변경을 통해 bounding box를 선택하는 모호성을 줄일 수 있었으나, bounding box 간에 경계선상에 걸쳐 있을 경우 동일한 이슈가 발생할 수 있는데, 본 논문에서는 해결하기 위해 이러한 문제를 해결하기 위해 bounding box 크기를 75% 줄였습니다.

L2 loss 보다 L1 loss가 bounding box regression 성능 결과에 있어서 더 좋은 결과를 보여주기 때문에, L1 loss를 사용합니다. 여러개의 bounding box 병합을 위해 OpenCV에서 제공하는 groupRectangles 함수를 사용합니다. DNN 구조에 있어서 fully connected layer를 convolutional 하게 변경합니다.

앞에서 설명한 것처럼 각각의 특징 벡터는 355 × 355 픽셀의 컨텍스트 영역으로부터 stride는 32 × 32 pixel을 통해 만들어집니다. 각각의 특징 백터에 대해 예측을 4 x 4 pixel로 하게 되면, 입력 이미지에 간격이 생깁니다. 이를 해결하기 위해 각 4096 feature를 64 softmax 분류기에 대한 입력으로 사용합니다. 이 분류기는 객체가 서로 다른 4 x 4 pixel 영역 내에 있는지를 예측하는 8 x 8 grid로 배열됩니다. 4096 개의 특징 벡터가 32 × 32 pixel의 전체 stride 크기를 커버 할 수 있게 됩니다.

입력 이미지 640 x 480으로부터 1 x 1 x 4096 의 최종 특징맵을 생성하는데, 이것을 본 논문에서는 20 x 15 x 4096형태로 변경하였습니다. 최종 결과는 크기가 160 × 120 인 grid mask detector이며, 640 × 480 전체 입력 이미지에서 4 × 4 픽셀 detecting을 통해 생성된 크기입니다.

*참고

[1] https://arxiv.org/pdf/1504.01716.pdf

[2] http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection.pdf

[3] https://arxiv.org/pdf/1312.6229v4.pdf

[4] https://medium.com/@ManishChablani/overfeat-paper-summary-b55060eeb991

[5] http://vision.stanford.edu/teaching/cs231b_spring1415/slides/overfeat_eric.pdf