유니디니

Written by Fabio Pizzati, Marco Allodi, Alejandro Barrera, and Fernando Garcia Abstract 차선탐지는 자율주행에서 매우 중요하며, 기존의 방법들에서는 GPS-based localization이나 도로 내부의 차량 정보들을 이용하였다. 그러나, 많은 방법들이 차선의 경계를 분할하는 Task에 초점이 맞추어져 있으며, 이는 차선유형에 관한 도로 주행 계획을 세우거나 현재 차량의 위치정보가 필요할 수 있기 때문에 충분하지 않을 수 있다. 이러한 문제를 해결하기 위해 실시간으로(Real-time) 동작하는 차선 경계(Lane Boundary) 종류를 식별하는 end-to-end 시스템을 제안하였다. 이를 위해, Tusimple 데이터 셋에 대하여..

차선 탐지 데이터 셋에는 TuSimple, CULane, BDD100K 등 다양하게 존재하며, 그중에서 Tusimple 데이터 셋에 대하여 차선의 인스턴스를 분류한 방법을 소개하고자 한다. 차선의 종류를 8가지로 나누어 Annotation하였다.Sigle DashedDouble DashedBotts' DotsDouble Yellow ContinuousSingle White ContinuousSingle Yellow ContinuousDouble White ContinuousUnknown (차선 없을때) 차선의 유무를 classification 한다면 불필요 하지만, LKA(Lane Keeping Assist)와 같은 기능을 적용하려면 dashed line인지 Continuous 인지 분류해야하기 때문에 ..

Written by Changqian Yu, Jingbo Wang, Chao Peng, Changxin Gao, Gang Yu and Nong Sang Semantic segmentation 분야에서는 Spatial 정보와 상당한 Receptive field를 요구한다. 그러나, 현대의 방법들은 공간적인 해상도(performance)와 real-time inference speed 간의 trade-off를 고려하게 된다. 이러한 문제를 해결하고자, Spatial 정보들을 유지하면서 고 해상도 특징들을 추출하고 fast down-sampling 전략을 통해 속도가 빠르며 충분한 receptive field를 유지하는 방법을 소개하고자 한다. 또한, Spatial과 Context path를 통해 나온 정보들..

색상을 표현하는 데에는 다양한 색상모델이 있다. 이러한 색상모델은 3차원 좌표로 나타낼 수 있으며, 카메라, 스캐너, 모니터, 컬러프린터 등의 다양한 컬러 영상 장비 개발 및 응용 단계에서 필수적으로 활용된다. RGB : 색을 혼합하면 명도가 올라가는 가산 혼합 방식으로 색을 표현, 빨강, 녹색, 파랑을 뜻하며 컴퓨터에서 주로 색상을 표현하는데 사용된다. 표현할 수 있는 색상이 많기 때문에 가장 일반적인 색상모델이다. CMYK : 인쇄과정에서 쓰이는 감산 혼합 방식으로, 흰 바탕에 네 가지 잉크의 조합으로 색을 나타낸다. 색을 혼합할 수록 명도가 낮아지며, 옥색(CYAN), 자홍색(Magenta), 노랑(Yellow), 검정(Black)으로 구성된다. 인쇄과정에서 많이 사용되는 이유는 RGB의 경우, 색..

Abstract 최근, Lane Detection 분야에서 Image-segmentation 기반의 방법으로 다양한 환경 시나리오와 처리 속도 문제를 해결하기 위해 노력해왔다. 사람의 인지 시스템을 참고하여, 다양한 외부환경(Extreme lighting conditions)이나 심각한 가림(Severe occlusion) 조건을 Contextual, Global information을 이용하여 해결해 왔다. 본 논문에서는 row-based selecting 방법을 통해 영상 안의 Global 정보를 활용하였고, 계산 비용 또한 줄였다. 확장된 receptive field는 Global 정보를 얻을수 있게 하였고, 이를 바탕으로 다양한 외부환경 문제를 해결할 수 있었다.두개의 Benchmark data-..

[참고 링크] 1. http://karpathy.github.io/2019/04/25/recipe/2. https://pcc.cs.byu.edu/2017/10/02/practical-advice-for-building-deep-neural-networks/ 단순히 해석한 글이며, 학습방법에 대한 견해는 다를 수 있으니 참고만 해주세요~ Building Deep Learning Model 1. 데이터와 하나가 되기 첫번째 단계는 데이터의 분포를 이해하고 패턴을 확인하는 것입니다. 데이터의 불균형(imblance), 편향(bias), 이미지와 라벨(label)등을 확인하는 것은 적용시킬 Deep learning model을 찾는데 도움이 됩니다. 예를들어, 이미지에서 찾아야 하는 정보가 Local 혹은 Gl..

Abstract 기존의 state-of-the-art의 성능을 보이는 차선 탐지 방법들은 좋은 성능을 보이지만, 탐지 가능한 제한된 수의 차선이나 High False Positive(실제 차선이 아니지만, 모델은 차선이라고 인식하는 경우)에 크게 의존성을 가진다. 특히, 높은 False Positive 비율은 위험한 제어를 일으키기 때문에, 이를 효율적으로 줄이는 방법이 중요하다. 본 논문에서는 딥러닝을 이용하여 임의의 차선을 탐지하고, 가장 낮은 False Positive 비율을 가진 방법을 제안하고자 한다. 제안된 방법은 포즈추정에서 사용된 Stacked Hourglass 방법을 기반으로 차선에 대한 정확한 point를 추정할수 있으며, 추정된 point에 대한 인스턴스별 클러스터링(군집화) 문제를 ..

참고자료 : Fixing the train-test resolution discrepancy, Facebook AI Research, https://arxiv.org/abs/1906.06423 [Abstract] Data-augmentation은 이미지 분류를 위해 신경망을 학습시키는데 있어 중요한 부분이다. 본 논문에서는 Classifier가 학습 과정과 테스트 과정에 있어, 이미지 크기에 따라 객체를 보는 차이(discrepancy)가 있음을 보여준다. 실제로, 학습할 때 이미지 해상도가 낮을수록 테스트시 성능이 향상된다. 이를 위해, 학습과 테스트시 사용하는 이미지 해상도를 다르게 설정하여 테스트 하는 간단하고, 최적의 전략을 사용하였다. 테스트 해상도는 fine-tuning을 이용하여, 상대적으로..

참고 자료 : [1] Deep Learning for Generic Object Detection : A survey, https://arxiv.org/pdf/1809.02165.pdf 2. Unified Pipelines (One-stage pipelines) 영역기반 접근법은 저장 및 계산 메모리가 제한적인 모바일, 웨어러블 시스템에서 계산비용이 많이 들수 있다. 따라서, 지역기반 파이프라인의 과정을 최적화하려는 시도 대신 통합탐지 전략을 사용하기 시작했다. 통합된 파이프라인은 One-stage pipelines CNN을 사용하여 전체 이미지에서 Class Probabilities 및 Bbox offset을 직접 예측하는 구조이다. 이 접근방식은 region proposal 생성 및 feature r..

참고 자료 : [1] Deep Learning for Generic Object Detection : A survey, https://arxiv.org/pdf/1809.02165.pdf 1. Region based (Two-stage) Frameworks R-CNN : Girshick et al은 일반 객체 탐지를 위하 CNN을 처음으로 도입하여 RCNN을 개발하였고, AlexNet에서 Region Proposal Selective Search와 통합되었다. 영역 제안 계산, CNN 모델 파인튜닝, SVM 분류기를 이용한 객체 클래스 분류, 클래스 특정 bbox 회귀 학습의 과정을 거친다. 1. Region Proposal Computation : 객체를 포함 할 수 있는 후보 영역 제안 방법은 Sele..

초록 : 자연 영상에서 사전에 정의된 많은 수의 범주에서 객체 인스턴스를 찾는 것을 목표로 하는 객체 탐지는 컴퓨터 비전에서 가장 도전적 인 문제중 하나이다. 최근 객체 탐지 분야에서 딥러닝 방법은 데이터로부터 특징들을 학습하는 가장 영향력있는 방법으로써, Breakthrough (획기적인 발전)을 가져왔다. 본 논문의 목적은 딥러닝 방법에 대한 Survey 논문으로 종합적인 설명을 제안하고 있다. 250가지 이상의 주요 기여가 포함되어 있으며, 객체 제안 생성, 객체 특징 표현, 상황 정보 모델링 및 학습전략, 벤치마크 데이터 셋, 평가 지표 및 최신 성능과 같은 여러 측면을 다룹니다. 소개 : 객체 탐지는 오랜 기간동안 연구해왔으며 컴퓨터 비전 분야에서 도전적인 영역으로 여겨지고 있다. 객체 탐지의 ..

참고자료 : https://arxiv.org/pdf/1911.07034.pdf. Instance shadow detection은 인스턴스 단위 객체들에 대한 그림자 탐지를 목표로 한다. 이러한 목표에 접근하기 위해, 새로운 그림자 데이터 셋 구축, LISA(Light-guided Instance Shadow-object Association) 방법을 제안하고자 한다. 평가 지표로는 그림자와 객체 간의 관계를 AP(Average Precision)를 통해 측정하였다. 향후, 빛의 방향 추정과 Photo-editing 등에 활용될 수 있다. 그림자는 객체가 빛을 막을때 생성되며, 영상을 이해하고 해석하는데 있어 방해요인으로 여겨져 왔다. 이 논문에서는 신경망을 이용하여 객체와 그림자 간에 관계를 예측하여 각..

참고자료 : https://ratsgo.github.io/generative%20model/2017/12/20/gan/ https://towardsdatascience.com/gan-ways-to-improve-gan-performance-acf37f9f59b 블로그들을 참고하여 나름 정리하였습니다. GAN의 경우 생성기와 분류기의 경쟁적 학습에 의해 그럴듯한 가짜 데이터를 만든다는 이론적배경은 그럴듯 하다. 그러나, 실제 데이터를 이용하여 학습 할 경우 몇가지 문제점이 생긴다. Mode Collapsing 학습에서 클래스가 여러 개인 실제 데이터의 분포를 따라가지 않고, 특정 데이터에 강하게 몰리는 현상이다. 즉, 다양성을 잃어버리는 현상이다. 모델은 손실 값만을 줄이려고 학습하기 때문에, 전체 데이터..

참고 자료 Github : https://github.com/microsoft/tensorwatch Youtube : https://www.youtube.com/watch?v=MSWCQ9lRA1Y&feature=youtu.be&list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq Facebook : https://ko-kr.facebook.com/groups/TensorFlowKR/permalink/937082699966122/ "기교가 끝나는 순간 예술이 시작된다" 딥러닝은 내가 가지고 있는 데이터를 가지고 최신 네트워크에 적용해서 단순히 정답을 얻어내는 것이 아니다. 디버깅을 통해 점진적으로 발전시켜가는 것이다. "블랙박스에 맡기는 것이 아니라 하나씩 처방해 가는 것이다", 이 말에..

참고자료 : [1] https://shuuki4.wordpress.com/2016/01/13/batch-normalization-%EC%84%A4%EB%AA%85-%EB%B0%8F-%EA%B5%AC%ED%98%84/ [2] https://astralworld58.tistory.com/65 배치 정규화 배치 정규화는 Gradient Vanishing/Exploding과 같은 문제를 해결하기 위해 나온 방법이다. 지금까지는 이 문제를 활성화 함수(ReLU, Tanh, Sigmoid 등)의 변화, 가중치 초기화 방법, 작은 학습률등으로 해결했지만 이 논문에서는 가중치 초기값이나 학습률에 의존하지 않고 전체적으로 해결하고자 하였다. 미니 배치(mini-batch) 단위로 학습 바로 전,후 데이터를 정규화 하는 ..

참고자료 [1] 경량 딥러닝 기술 동향, ETRI 2019, 이용주, 문용혁, 박준용, 민옥기, DOI: 10.22648/ETRI.2019.J.340205 최근 GPU기반의 컴퓨팅 기술을 활용하여 다양한 딥러닝 모델이 만들어지고 있다. 하지만, 실제 디바이스나 IoT 센서에서 활용하기에는 모델이 무겁고 연산량이 많다. 경량 딥러닝 연구는 기존의 학습된 모델의 정확도를 유지하면서 크기가 작고 연산을 간소화하는 기술로 알고리즘 자체를 효율적으로 설계하거나 만들어진 모델의 파라미터를 줄이는 방법으로 나뉜다. 경량 알고리즘 : 컨볼루션 신경망의 경우, 주로 합성곱 연산량을 줄이기 위한 방법을 사용한다. Resnet, Densenet : 기존 신경망 모델 구조에서 단일 층별 정보만을 사용하는 것이 아닌 다양한 계..

참고 자료 Paper : https://arxiv.org/pdf/1708.02002.pdf [1] https://towardsdatascience.com/neural-networks-intuitions-3-focal-loss-for-dense-object-detection-paper-explanation-61bc0205114e One Stage Object Detector의 경우 속도는 빠르지만, R-CNN 계열의 Two Stage Object Detector 보다 성능이 낮다. R-CNN 계열은 RPN과정을 통해 전경과 배경을 어느정도 분류하지만, One stage의 경우 특징맵의 그리드를 활용하기에 배경영역이 상대적으로 많이 포함되어 있다. 이러한 오류는 데이터의 클래스 불균형(Class - imba..

[참고 자료] Paper : http://www.huppelen.nl/publications/selectiveSearchDraft.pdf [1] https://donghwa-kim.github.io/SelectiveSearch.html Selective Search for Object Recognition 방식은 R-CNN 계열의 논문에서 이미지 후보 영역을 추천할 때 사용하는 알고리즘이다. Segmentation과 Exhaustive search 두가지 방법을 결합하여 후보영역을 추천한다. Segmentation : 이미지 구조를 사용하여, 샘플링 프로세스를 안내 Exhaustive Search : 모든 객체의 위치(Locations)를 찾아내는 것 object detection 분야에서 R-CNN, ..

[참고 자료] Paper : https://arxiv.org/pdf/1612.03144.pdf Feature Pyramid 방식은 기존의 성능을 개선시키기 위해 많이 사용해왔던 방식이다. 하지만, 딥러닝 방법에서 적용해오지 않았던 이유는 많은 양의 계산과 메모리가 필요했기 때문이다. 이러한 문제를 해결하기 위해 "Lateral Connection" 이라 불리는 측면 연결 방식을 이용하여, 과도하지 않은 추가 연산량을 통해 성능을 개선시키고자 하였다. 색이 진할수록 압축된 정보를 의미한다.(컨볼루션 연산이 많이 진행) (a) Featurized image pyramid : 기존의 Hand-crafted 방식에서 많이 사용해왔으며, 각 계층에서 대해 독립적으로 연산하기 때문에 느리다. (b) Single f..

학습데이터 및 테스트 데이터를 라벨링 할때 사용하는 툴을 소개합니다. 상황에 맞게, 목적에 맞게 사용하시면 될거 같습니다. Github [1] https://github.com/wkentaro/labelme [2] https://github.com/AKSHAYUBHAT/ImageSegmentation [3] https://github.com/kyamagu/js-segment-annotator [4] https://github.com/CSAILVision/LabelMeAnnotationTool [5] https://github.com/lzx1413/labelImgPlus [6] https://github.com/seanbell/opensurfaces-segmentation-ui