Small Object Dedicated Network Architecture for Traffic Sign Detection and Recognition

Abstract

In this thesis, a small object dedicated detection algorithm is proposed for traffic sign detection. To detect small objects accurately, we introduce two-stage detection network architecture which contains local context-aware detection network (LDN) and super resolution-aware recognition network (SRN). In LDN, we magnify the small objects' feature information by combining local context feature on deconvolutional feature pyramid. By magnifying the small objects' poor feature representation with surrounding information, we got significant increase of detection performance on small objects. After we detect the traffic signs with LDN, we precisely reclassify the result with SRN. From the detected small traffic sign image patches, SRN generates super resolution images that contains restored objects' own feature information. Classifying the small objects with these super resolution images showed much higher classification accuracy on small traffic signs. Our proposed system was tested on Tsinghua-Tencent 100k traffic sign benchmark, and we got highly increased performance compared to recent state-of-the-art method. This result well demonstrates the superiority of our system in detecting small traffic signs.

본 논문에서는 도로 표지판을 검출하기 위하여 작은 물체 검출에 특화된 네트워크 구조를 제안한다. 작은 물체를 정확하게 검출하기 위하여, 우리는 네트워크를 총 두 단계로 구성하였다. 본 네트워크에서 우리는 먼저 도로 영상으로부터 local context-aware detection network (LDN)을 사용하여 작은 물체를 검출한 뒤 super resolution-aware recognition network (SRN)을 통해 정확하게 인식한다. LDN에서 우리는 deconvolutional feature pyramid network (DFPN)으로부터 local context-aware feature (LCF)를 사용하여 물체의 주변 정보를 더해주는 방식을 통해 작은 물체의 특징 정보를 늘리는 것으로 작은 물체에 대한 검출 성능을 높였다. LDN을 통해 작은 물체를 검출한 뒤 우리는 SRN을 통해 물체를 정확하게 재분류한다. LDN을 통해 검출된 작은 물체의 이미지들로부터 SRN은 super resolution을 사용하여 이미지의 해상도를 높인다. 해상도를 높이는 과정에서 우리는 GAN을 통해 각 물체의 특징 정보가 큰 물체의 특징 정보와 유사하게 복원되도록 학습하였다. 이렇게 생성된 super resolution 이미지들을 인식하는 방식을 통해 SRN은 작은 물체에 대해 높은 인식 성능을 보였다. 제안된 네트워크는 Tsinghua-Tenscent 100k 도로 표지판 벤치마크 데이터셋을 사용하여 평가되었으며, 기존의 state-of-the-art 방식에 비해 매우 높은 검출 및 인식 결과를 보였다. 이 결과는 제안된 프레임워크가 작은 표지판 검출 및 인식에 매우 큰 강점을 가진 것을 보여준다. 이러한 높은 성능을 기반으로 본 시스템은 종래의 자율형 자동차 기술에 큰 도움이 될 수 있을 것으로 판단된다.