Metrics for segmentation Models

 

서로 다른 Segmentation 모델들에 대해 성능 비교하기 위해서는 benchmark 데이터 셋에 대한 평가지표가 필요하며, 가장 많이 쓰이는 merics들을 정리해보고자 한다.

 

• Pixel accuracy
• Mean Pixel Accuracy(MPA)
• Intersection over Union(IoU)
• Mean-IoU
• Precision/Recall/F1 score
• Dice coefficient

Pixel accuracy : 분할된 픽셀 수(classified)를 전체 픽셀 수로 나눈다. K+1개의 클래스(K는 foreground class - 분할하고자 하는 물체의 수, 1은 background-배경)라고 할때, 수식은 다음과 같다.

 

$ PA = \frac{\sum_{i=0}^{K}p_{ii}}{\sum_{i=0}^{K}\sum_{j=0}^{K} p_{ij}} $

 

$ p_{ij} $에서 class i의 픽셀 수는 class j에 속하는 것으로 예측했다.

 

Mean Pixel Accuracy(MPA) : PA의 확장 버전으로, 올바르게 분할된 각 클래스 픽셀 픽셀수를 각 클래스 픽셀 수로 나누어 계산하며 총 클래스 수에 대해 평균화를 진행한다.

 

$MPA = \frac{1}{K+1}\sum_{I=0}^{K}\frac{p_{ii}}{ \sum_{j=0}^{K} p_{ij}}$

 

Intersection Over Union(IoU) : IoU 혹은 jaccard Index는 semantic segmentation 분야에서 가장 흔하게 쓰이는 metrics들이다. 예측된 분할 map과 정답(ground truth)사이에 교차(intersection) 영역으로 정의되며, 예측 분할 map과 정답 맵사이의 결합 영역(union)으로 나뉜다.

 

$IoU = J(A,B) = \frac{\left | A\cap B \right |}{\left | A\cup  B \right |}$

 

A와 B는 gt와 예측된 분할 맵들을 각각 가리키며 범위는 0부터 1사이의 값이다.

 

Mean-IoU : average IoU는 모든 클래스에 대한 평균 IoU로 정의되는 metric이다.

 

Precision/Recall/F1 score : 수많은 방법들에서 비교하는 방법으로 사용된다. Precision과 Recall은 아래와 같이 전체 집계(aggregation) 수준뿐 아니라 각 클래스에 대해서도 정의할 수 있다.

 

$Precision = \frac{TP}{TP+FP}, Recall = \frac{TP}{TP+FN}$

 

TP는 True positive 비율, FP는 거짓 양성 비율, FN은 거짓 음성 비율을 나타낸다. 

 

Confusion Metrix

• Precdicted class : 모델이 예측한 값
• Actual class : 실제 정답값(gt)

최근 방법들에서는 측정항목을 결합한 방식에 관심을 가지고 있으며, Precision과 recall의 조화 평균인 F1 score라고 한다. 

 

$F1-score = \frac{2Prec * Rec}{Prec+Rec}$

 

Dice coefficient : Medical image analysis에서 유명한 metric으로 예측 및 gt maps의 겹쳐지는 영역을 2로 곱한 후, 두 이미지의 총 픽셀 수로 나누어 정의할 수 있다. Dice coefficient는 IoU와 매우 유사하다.

 

$Dice = \frac{2TP}{2TP+FP+FN} = F1$

 

참고 자료 : arxiv.org/abs/2001.05566

Image Segmentation Using Deep Learning: A Survey