Saliency detection이란?

참고자료

[1] Federico Perazzi ,Philipp Krähenbül, Yael Pritch, Alexander Hornung, Disney Research Zurich Stanford University, Saliency Filters: Contrast Based Filtering for Salient Region Detection

[2] Runmin Cong, Jianjun Lei, Senior Member, IEEE, Huazhu Fu, Senior Member, IEEE, Ming-Ming Cheng, Weisi Lin, Fellow, IEEE, and Qingming Huang, Fellow, IEEE , Review of Visual Saliency Detection with Comprehensive Information 

[3] https://en.wikipedia.org/wiki/Image_segmentation

최근 수행중인 연구와 직접적으로 연관이 있는 saliency detection과 관련하여 포스팅 해볼까 합니다. 

먼저 Saliency detection이란, 관심있는 물체를 관심이 없는 배경(background)로 부터 분리시키는 것을 말하며, 결과물은 아래에서 보시는 것처럼 이진화된 영상이 생성됩니다. 이러한 탐지 방법은 이미지에서 가장 관련성이 높은 부분을 결정하는데 있어 적은 시간과 에너지를 소비할수 있게 도와주는 방법입니다. 즉, 이미지의 표현을 보다 의미있고 쉽게 분석 할 수 있도록 단순화하는 것입니다. 

[그림 1] 왼쪽 부터 원영상, 픽셀들의 평균 색상으로 추론한 영상, saliency map, 정답 이미지(ground-truth map)

이렇게 만들어진 saliency map은 여러 분야에서 사용되고 있습니다. 예를 들면, 이미지나 비디오 압축(image, video compression), 객체 인식(object recognition), 장면 분류(scene classification), 시각적 추적(visual tracking), 행동 탐지(action recognition) 등의 분야에서 유용하게 사용됩니다. 

영상처리의 방법으로는 색(Color), 텍스쳐(texture), 대조(contrast) 등과 같은 사람이 직접 설계한 시각적 특징들을 기반으로 탐지가 진행되었습니다. 하지만 고수준의 의미있는 정보(high level semantic knowledge)를 포착하는데 있어 한계가 있기 때문에 정확도 높은 탐지가 불가능합니다. 

최근 딥러닝의 분야가 발전함에 따라 성능이 좋은 네트워크들이 나오고 있으며, 고수준의 의미있는 정보를 활용하여 퀄리티 높은 saliency map들을 만들 수 있게 되었습니다. 활용하는 목적에 따라 단일 영상에 대하여 saliency detecion을 수행하기도하고, RGBD 즉 , 3채널 영상에 깊이 정보까지 포함하여 탐지를 하기도 합니다. 

       [그림 2] RGBD 이미지 정보를 포함한 Saliency map

관련된 주요 개념들 

• object detection : 이미지안의 객체를 분리 하는것 뿐만 아니라, 객체가 어느 위치에 있는지 (Localization) 위치 정보를 출력하는 것으로, 주로 bounding box를 사용하여 위치정보를 출력하는데 많이 사용한다.  
• image segmentation : 이미지를 특징이 비슷한 것들끼리 뭉쳐서 여러 세그먼트(픽셀세트, 슈퍼픽셀이라고도 함)로 분할 하는 것이다. 세분화의 목적은 이미지를 의미있고 쉽게 분석 할 수 있는것으로 변경하는 것입니다.   
• semantic segmentation : object detection 뿐만아니라, 객체를 픽셀단위로 예측하는 것(카테고리 화)입니다.