[Part 3] Image Segmentation Using Deep Learning, A survey

Written by Shervin Minaee, Yuri Boykov, Fatih Porikli, Antonio Plaza, Nasser Kehtarnavaz, and Demetri Terzopoulos

 

• Fully convolutional networks
• Convolutional models with graphical models
• Encoder-decoder based models
• Multi-scale and pyramid network based models
• R-CNN based models(for instance segmentation)
• Dilated convolutional models and DeepLab family
• Recurrent neural network based models
• Attention-based models
• Generative models and adversarial training
• Convolutional models with active contour models
• Other models

---

Attention-based models

 

Attention 방법은 컴퓨터 비전분야에서 오래전부터 연구되어왔으며, semantic segmentation 분야에서도 큰 성공을 거뒀다. 

 

• Chen et al : 각 픽셀 위치에서 추출된 multi-scale 특징들에 Softly weight를 부여하는 방법을 제안하였다.(Fig 29)
  
  
• Huang et al : 컨볼루션 분류기(Classifiers)가 레이블이 지정된 객체를 학습하는 기존의 semantic segmentation 방법들과는 대조적으로, Reverse Attention 방법을 적용하여 제안하였다.
  
  그들이 제안한 RAN(Reverse Attention Network) 아키텍쳐(Fig 30)는 반대 개념(타겟 클래스와 연관되지 않은 특징)도 포착하도록 모델을 학습시킨다. RAN은 Direct, Reverse-Attention(직접, 반대) 학습 프로세스를 동시에 수행하는 3개의 branch 네트워크이다.
  
  
• Li et al. : Pyramid Attention Network를 이용한 방법을 제안하였다. 이 모델은 Semantic Segmentation에서 Global Context 정보의 영향을 이용한다. 그들은 dilated 컨볼루션과 인위적으로 설계된 Decoder 네트워크 대신 Attention (주의) 매커니즘과 Spatial(공간) 피라미드를 결합한 컨볼루션을 이용하였으며, 최종적으로 pixel labeling을 위한 정밀한 특징들을 추출했다. 
  
  
• 그 외에도, Attention 방법에서 영감을 받아 객체 Context Pooling을 제안한 OCNet, EMANet(Expectation- Maximization Attention), Criss-Cross Attention Network(CCNet)와 같은 다양한 방법들이 존재한다. 

---

Generative Models and Adversarial Training

 

GAN은 다양한 분야에서 활용되며, Semantic Segmentation에서도 응용되고 있다.

 

 

• Luc et al : Semantic Segmentation을 위한 적대적 학습 접근법을 제안했다. 그들은 Semantic segmentation 네트워크에 의해 생성된 것(가짜 map)과 GT맵을 구별하는 적대적 네트워크와 함께 컨볼루션 semantic segmentation 네트워크를 학습했다.(Fig 31) 그들은 적대적인 학습 접근 방식이 stanford Background 및 PASCAL VOC 2012 데이터 세트의 정확도를 향상시키는 것으로 나타났다.
  
  
• Souly et al : GAN을 사용하여 semi-weakly 감독하는 semantic segmentation을 제안하였다. GAN 프레임 워크에서 가짜와 진짜를 구별하는 다중 클래스 분류기에 추가학습 예제를 제공하는 생성기 네트워크로 구성되며, k개의 가능한 데이터 클래스에서 레이블을 추가 할당하여 가짜 샘플을 추가하였다.
  
  
• Hung et al : 적대적 네트워크를 사용하여 semi-supervised semantic segmentation 방법을 제안하였다. 그들은 공간 해상도를 고려하여, 예측된 확률 맵과 GT segmentation 분포를 구별하기 위해 FCN 판별기를 설계 도입하였다.
  
  이 모델의 고려된 손실 함수에는 세가지 Terms가 포함된다. Segmentation GT맵에 대한 Cross-entropy 손실, 판별기 네트워크의 적대적 손실, confidence map에 기반한 semi-supervised 손실 즉, 판별자의 출력에 대한 손실이다.
  
  
• Xue et al : 의료 영상 분할을 위한 다중 스케일(multi-scale) L1손실을 가진 적대적 네트워크를 제안하였다. 그들은 segmentation 레이블 맵을 생성하기 위해 FCN을 Segmentor로 사용했으며, 생성기와 분류기가 먼 거리와 가까운 거리 공간 관계 및 Global and Local 특징을 모두 학습하도록 하는 multi-scale L1 손실함수를 제안하였다. 

---

CNN Models With Active Contour Models

 

FCN과 ACM(Active Contour Model)간의 시너지는 최근연구에서 관심을 끌고있다. 한가지 접근 방식은 ACM 방법에서 영감을 받아 새로운 손실함수를 수식화 하는 것이다. 예를들어, Global Energy 수식에서 영감을 얻은 Chen et al.은 FCN 학습 중에 예측된 마스크의 면적 및 크기 정보를 통합하고, 심장 MRI 에서 심실 분할 문제를 해결하는 방법을 제안했다.

 

초창기 ACM을 FCN 출력의 후처리 과정으로만 사용하려는 다른 접근 방식이 있었으며, 다양한 시도들을 통해 FCN을 사전 학습하여 컨볼루션 신경망과 동시에 학습하는 방법을 제안해왔습니다. 자연 이미지의 의미론적 분할 작업을 위한 ACM 후처리 프로세서의 한 예는 Level-Set ACM이 RNN으로 구현된 Le et al.의 연구에서 볼수 있다.

 

Rupprecht등의 Deep Active Contours는 또다른 예가 있다. 의료 이미지 분할의 경우, Hatamizadeh et al은 새로운 로컬 매개 변수화된 Level-Set 에너지 function의 매개변수 특징을 예측하기 위해 FCN 백본을 학습하는 통합된 DLAS(Deep Active Lesion Segmentation) 모델을 제안하였다. 다른 관점에서 Macros et al은 제안된 DSAC(Deep Structured Active Contours)는 항공 이미지에서 인스턴스 분할을 수행하기 위해 구조화된 Prediction 프레임 워크에서 ACM과 사전 학습된 FCN을 결합하였다.

 

---

Other Models

 

Panoptic Segmentation

위의 모델들 외에도 인기있는 모델들이 있다.

 

• EncNet(Context Encoding Network) : 기본 특징 추출기를 사용하고, 특징 맵을 Context Encoding Module에 공급하는 방법이다.
  
  
• RefineNet : 먼-거리(long-range) residual 연결을 사용하여 고해상도 예측을 가능하게 하였으며, Down-sampling 과정에서 사용 가능한 모든 정보(Global, Local)를 명시적으로 활용하는 multi-path 네트워크이다. 
  
  
  
• OCR(Object Contextual Representations) : GT와의 감독학습을 통해 객체 영역에 대해 학습하고, 객체 영역에 대한 계산, 각 픽셀과 각 객체 영역에 대한 관계 그리고 각 객체의 Context 표현에 대한 특징들을 계산한다.
  

 

• Panoptic Segmentation : 각 픽셀별 레이블링과 instance segmentation을 합친 용어로, Panoptic Feature Pyramid Network, attention-guided network for Panoptic segmentation, Seamless Scene Segmentation, panoptic deeplab, unified panoptic segmentation network, efficient panoptic segmentation 등이 있다.

---

Timeline of DL based Segmentation algorithms