Robust Face Alignment and Tracking by Combining Local Search and Global Fitting

Abstract

When a face in an image is considerably occluded, existing local search and global fitting methods often can not find facial features due to failures of local facial feature detectors or fitting limitations of appearance modeling, respectively. To solve these problems, we propose a new face alignment method that combines the local search and global fitting methods , where local misalignments in the local search method is compensated by the holistic appearance fitting in the global fitting method or the divergent or shrinking alignments in the global fitting method is compensated by the restricting local movements in the local search method. The proposed alignment method consists of two stages: an initialization stage detects the face, estimates facial pose and obtains the initial facial features by locating the pose-specific mean shape on the detected face and an optimization stage obtains the facial features by updating the parameter set from the combined Hessian matrix and the combined gradient vector. We also extend the proposed face alignment to face tracking by adding a template image that is warped from facial features obtained in the previous frame. In experiments, the proposed method yields more accurate and stable face alignment or tracking under heavy occlusion and pose variation than the existing methods in the various databases (AR, Multi-PIE, LFPW, AFW, HELEN, IBUG, Talking Face Video, and PFF13).

얼굴 정렬은 눈썹, 눈, 코, 입, 턱선 등 얼굴의 주요 특징점을 찾는 것을 의미한다. 얼굴 정렬은 얼굴 인식, 표정 인식, 머리 방향 예측 등 다양한 얼굴 관련 응용 프로그램에 중요한 역할을 한다. 얼굴의 특징점을 찾음으로써 이와 같은 다양한 응용 프로그램의 해 공간을 축소시킬 수 있다. 얼굴 정렬 알고리즘은 지역적 탐색 방법과 전역적 피팅 방법으로 나뉜다. 지역적 탐색 방법은 1) 각 특징점 단위로 탐색 영역을 설정하여 2) 해당 영역 내에서 특징점의 위치를 예측한 후 3) 이를 조합하여 해당 영상의 얼굴을 잘 표현하는 형태 파라미터를 찾는다. 전역적 피팅 방법은 1) 입력 얼굴의 영상과 외관 모델로 부터 생성한 얼굴 영상 사이의 전역적 외관 에러를 계산하여 2) 현재의 전역적 외관 에러를 줄이는 방향으로 현재의 형태 파라미터를 반복적으로 찾는다.

하지만 기존의 두 방법은 영상에서 얼굴의 일부분이 가려졌을 때, 지역적 얼굴 특징점 검출기의 한계 혹은 외관 모델링의 한계로 인해 얼굴 정렬에 실패하는 경우가 많다. 이 방법을 해결하기 위하여 본 학위논문은 지역적 탐색 및 전역적 피팅 방법을 결합한 새로운 얼굴 정렬 방법을 제안한다. 이 방법은 지역적 탐색 방법에서 지역적으로 잘못 정렬된 특징점을 전역적 피팅 방법의 전역적 얼굴 외관 에러로 보상하고, 전역적 피팅 방법에서 얼굴 정렬이 얼굴에서 많이 벗어나거나 줄어드는 문제점을 지역적 탐색 방법에서 얼굴 특징점의 지역적 움직임으로 인한 제약으로 보상한다.

본 학위 논문에서 제안하는 방법은 초기화 단계와 최적환 단계로 이루어진다. 초기화 단계는 멀티뷰 얼굴 검출기를 이용하여 1) 얼굴을 검출하고, 2) 얼굴 포즈를 예측하고, 3) 특정 포즈에 대한 평균 얼굴 형태를 검출된 얼굴에 위치시킨다. 최적화 단계는 지역적 탐색 방법과 전역적 피팅 방법에서 구한 헤시안 행렬과 경사 벡터를 결합하여 얼굴의 특징점을 표현하는 파라미터를 반복적으로 업데이트 한다.

본 학위논문에서는 얼굴 정렬 방법을 얼굴 추적 방법에 확장한다. 비디오에서 이전 프레임의 추적 결과를 템플릿으로 등록하여 얼굴 추적시 사용한다.

본 학위 논문은 제안한 얼굴 정렬 및 추적 방법을 다양한 얼굴 데이터베이스 (AR, Multi-PIE, LFPW, AFW, HELEN, IBUG, Talking Face Video, PFF13)에서 실험하였고, 가려짐과 다양한 포즈의 얼굴 영상에서 기존의 방법에 비하여 더 정확하고 안정적인 결과를 보여주었다.