정확한 얼굴 정렬을 위한 이기종 전역 및 지역 회귀 네트워크의 효과적인 조합

Abstract

Face alignment detects predefined facial landmark points in face images. These facial landmark points mainly located at corners or edges of facial components such as eyes, eyebrows, a mouth, a nose, and a chin. Many applications such as face recognition, head-pose estimation, face tracking, and facial expression recognition utilize the detected facial landmarks. Despite advances in face alignment, especially using convolutional neural networks (CNNs), it remains challenging due to complications such as occlusions and variations in head pose, illumination, and facial expression.

This dissertation introduces three studies on the combination of heterogeneous regression networks to overcome the challenging problems and proposes new face alignment methods that consider the difficulties of face alignment.

We propose the stage-wise deep face alignment (SDFA) that uses global regression and local regression with cascaded method. This method consists of three independent stages: the initial stage, the global fitting stage, and the local refinement stage. The initial stage finds the centers of facial parts from the whole face image such as a chin, eyes, eyebrows, a nose, and a mouth. These centers of parts are used to initialize starting shapes. The global fitting stage fits the facial shape to current face image with mesh-wise warped image. Also, the global fitting stage predicts the accuracy of the face alignment. This predicted accuracy is used to decide whether to repeat further step or not. The local refinement stage finds detailed location of facial landmark points with image patches. We separate local regression networks into part-wise tasks and each local regression network works independently. The proposed SDFA considers global appearance and local details with stop condition, so it benefits accuracy and efficiency simultaneously.

We propose the complementary regression network (CRN) that combines two heterogeneous regression methods to align faces. A global coordinate regression network generates the coordinates of facial landmark points directly such that all facial landmark points are fitted to the input face on the whole. A local heatmap regression network generates the heatmap of facial landmark points such that each channel localizes the detail of its facial landmark point well. These independent regressions compensate for each other complementarily such that the overall fitting tendency of the coordinate regression compensates for the inaccurate alignment of the heatmap regression due to missing local information, and the detailed localization of the heatmap regression compensates for the relatively inaccurate alignment of the coordinate regression.

We propose the attentional combination network (ACN), which is a highly accurate face alignment method that is tolerant of occlusion. The ACN combines a coordinate regression and a heatmap regression with a spatial attention. The ACN uses the spatial attention mechanism to effectively reject impeditive local features that are caused by the occlusion.

To validate our proposed methods, we conduct experiments on several benchmarks. On the 300-W public test set, the proposed SDFA achieved 3.83%, the proposed CRN achieved 3.14%, and the proposed ACN achieved 3.00% the-state-of-art face alignment accuracy in terms of percentage of normalized mean error which is normalized by inter-ocular distance. On menpo data set, the proposed SDFA achieved 2.56%, the proposed CRN achieved 2.00%, and the proposed ACN achieved 2.11% the-state-of-art face alignment accuracy in terms of percentage of normalized mean error which is normalized by the face size.

얼굴 정렬은 얼굴 영상에서 미리정의된 얼굴의 주요 특징점의 위치를 찾는 기술이다. 이러한 주요 특징점은 눈, 눈썹, 입, 코, 턱과 같은 얼굴 구성요소의 귀퉁이나 가장자리에 위치한다. 얼굴 인식, 얼굴 포즈 추정, 얼굴 추적, 표정 인식과 같은 많은 응용프로그램에서 얼굴 특징점을 활용하므로, 얼굴 정렬은 다른 응용 기술의 기반이 되는 중요한 기술이라 할 수 있다. 컨벌루션 신경망을 사용하는 등의 얼굴 정렬 기술의 발전에도 불구하고, 가려짐이나 다양한 얼굴 포즈, 조명 조건, 얼굴 표정 등의 문제로 인해 얼굴 정렬 기술은 여전히 어려운 기술이다.

본 논문에서는 얼굴 정렬의 어려움을 해결하기 위하여 서로다른 이기종의 회귀 네트워크들을 결합하는 세 가지 방법에 대한 연구를 소개하며, 얼굴 정렬을 어려움을 극복하기 위한 새로운 방법들을 제안한다.

본 논문에서는 계단식 방법으로 전역 회귀와 지역 회귀를 사용하는 단계별 심층 얼굴정렬을 제안한다. 제안된 방법은 초기화 단계, 전역적 피팅 단계, 지역적 개선 단계의 세 가지의 독립된 단계로 구성된다. 초기 단계에서는 얼굴 영상으로부터 턱, 눈, 눈썹, 코 및 입과 같은 얼굴의 주요 부분의 중심 위치를 찾는다. 이러한 얼굴의 주요 부분의 중심은 얼굴 특징점의 시작 모양을 초기화하는 데 사용된다. 전역적 피팅 단계는 얼굴 특짐점을 연결한 그물망 구조별로 현재의 얼굴 이미지에 맞게 얼굴의 특징점 모양을 맞추며, 또한 얼굴 정렬의 정확도를 예측한다. 이렇게 예측된 정확도는 계단식 방법에서 단계의 추가적인 반복 여부를 판단하는 데 사용된다. 지역적 개선 단계는 각 얼굴 특징점 주변의 모양을 사용하여 특징점의 위치를 좀 더 자세히 찾는다. 지역적 개선 단계에서 사용되는 지역 회귀망들은 얼굴의 각 부분들에 대해 각각 독립적으로 동작되도록 구성되었다. 제안된 방법은 전체적인 얼굴의 모양과 각 특징점 주변의 지역적인 모양을 모두 고려하면서 정확도 예측을 통해 단계의 진행을 조정함으로써 정확하고도 효율적인 얼굴 정렬을 구현하였다.

본 논문에서는 얼굴 정렬을 위하여 두 가지 서로 다른 회귀 방법을 결합한 상호 보완적 회귀망(complementary regression network, CRN)을 제안한다. 전역적 좌표 회귀망은 모든 얼굴 특징점이 얼굴 영상의 입력에 맞춰지도록 얼굴 특징점에 대한 좌표를 직접적으로 생성하여 출력한다. 지역적 히트맵 회귀망은 얼굴특징점에 대한 히트맵을 생성하며, 히트맵의 각 채널은 대응되는 각 얼굴 특징점의 위치를 나타낸다. 이러한 두가지 방법의 회귀망은 서로의 방법을 보완해준다. 전역적 좌표 회귀망을 통해 전체적으로 얼굴 특징점을 찾는 방식은 얼굴의 가려짐 등에 의해 누락된 지역적 정보 때문에 지역적 히트맵 회귀망이 부정확해지는 것을 보완하고, 지역적 히트맵 회귀망을 통해 자세한 지역적 특징을 살피는 방식은 전역적 좌표 회귀망에서 전체적으로 얼굴 특징점을 찾느라 상대적으로 각 특징점의 자세한 위치는 소홀히하는 경향을 보완해준다.

본 논문에서는 정확한 얼굴 정렬을 위하여 가려짐에 강인한 주목적 결합망 (attentional combination network, ACN)을 제안한다. 이 방법은 좌표 회귀와 히트맵 회귀를 공간주목도를 사용하여 결합한다. 제안된 ACN은 가려짐과 배경을 제외한 얼굴영역에 집중하는 방식을 사용하여 가려짐에 의해 발생하는 쓸모없는 부분의 영상을 효과적으로 제거한다.

제안된 방법들에 대해 여러 벤치마크 데이터에서 성능을 측정했을 때, 300-W public dataset에 대해서 SDFA는 3.83%, CRN은 3.14%, ACN은 3.00%의 정규화된 평균 오차 (normalized mean error)를 기록함으로써 제안된 방법은 현재까지 제안된 다른 여러 최신의 얼굴 정렬 방법들에 비해 향상된 성능을 보였다.