[객체 탐지] Feature Pyramid Networks for Object Detection

[참고 자료]

Paper : https://arxiv.org/pdf/1612.03144.pdf

---

Feature Pyramid 방식은 기존의 성능을 개선시키기 위해 많이 사용해왔던 방식이다. 하지만, 딥러닝 방법에서 적용해오지 않았던 이유는 많은 양의 계산과 메모리가 필요했기 때문이다. 이러한 문제를 해결하기 위해 "Lateral Connection" 이라 불리는 측면 연결 방식을 이용하여, 과도하지 않은 추가 연산량을 통해 성능을 개선시키고자 하였다.   

색이 진할수록 압축된 정보를 의미한다.(컨볼루션 연산이 많이 진행)

(a) Featurized image pyramid : 기존의 Hand-crafted 방식에서 많이 사용해왔으며, 각 계층에서 대해 독립적으로 연산하기 때문에 느리다. 

(b) Single feature map : 컨볼루션 신경망에서 주로 사용해오고 있으며, 속도가 빠르지만 압축된 정보만을 사용하기 때문에 성능이 좋지 않다.

(c) Pyramidal feature hierarchy : 컨볼루션 연산에 의해 계산된 피라미드 형상 계층을 재사용하여 연산한다. ex) SSD

(d) Feature Pyramid Network : "Lateral Connection"을 이용하여, 높은 계층의 정보로 부터 낮은 계층의 정보를 결합하는 방식을 사용하여 속도를 유지하면서 성능을 높였다. (Top-down)  

1. Feature Pyramid Networks

• Bottom-up pathway

상향식 Pathway는 컨볼루션 Backbone 신경망의 순전파 계산을 의미한다. 각 단계마다 하나의 특징 피라미드 레벨로 정의되며, 마지막 계층의 특징 맵은 가장 강한 피쳐를 가지게 된다. 

• Top-down pathway and Lateral connection

하향식 pathway는 의미론적(Semantically)으로 강한 특징 계층을 up-sampling 하여 고해상도를 가진 낮은 계층의 특징과 연결하는 방식이다. 여기서 Skip-connection이 사용되며, "Lateral connection"이라 불린다. bottom-up 계층과의 결합을 통해 손실된 지역적 정보를 더해준다.

각 계층마다 공유된 분류기를 사용하기 때문에, predict를 하기 전에 채널수(channels = 256)를 맞춰주기 위해 1x1 컨볼루션 연산이 진행된다. 

2. 실험 결과 (COCO) - Top down 방식 적용

RPN

Fast R-CNN

FPN

3. Extensions - image segmentation