Detailed 3D Face Reconstruction via Two-Level Learning in UV Space

Abstract

In this thesis, we propose a new solution that recovers fine details in a 3D face. Reconstructing details from a single image is challenging mainly due to two reasons. First, self-occlusion in facial images causes loss of information, making it hard to regress details of the entire face. Second, recovering fine details is especially challenging among various kinds of details. To faithfully reconstruct details of the entire face, our model learns to map an image to a latent and generates a displacement map that captures the detail of the entire face in UV space. We enforce view independent property by leveraging multi-view consistency during training. However, since it is not straightforward to learn latent codes that fully represent all the details, we propose bi-decoder architecture with different regularization strengths to separate detail levels and effectively learn them separately. Experimental results show that our model regresses details of the entire face with a comparable amount of fine details.

본 학위논문은 3DMM 모델 기반 3D 얼굴이 표현해 낼 수 없는 주름 또는 자잘한 특징을 복원하는 문제를 다룬다. 디테일한 3D 얼굴 복원은 사실적인 랜더링을 수행하기 위해 필수적이기 때문에 최근 많은 연구가 진행되었으나, 입력 영상에서 보이지 않는 영역의 디테일 복원이 어렵고 미세한 디테일을 복원하기 어렵다는 문제가 있다. 본 연구는 위의 문제점들을 극복하기 위한 새로운 방안을 제안한다. 디테일 인코더를 설계하여 포즈와 무관한 디테일 코드를 추출하도록 학습시키고 이로 부터 얼굴 전체 영역에 대한 변위맵을 생성하도록 디코더를 구성한다. 이때 디코더를 이중으로 설계하여 각 디코더가 구해야할 디테일의 범주를 나누어 각 디코더의 부담을 줄임으로써 미세한 디테일 복원을 용이하게 한다. 또한 손실 함수 계산을 UV 상에서 수행함으로써 불필요한 랜더링 연산을 줄이고, 변위 맵에 더 직접적인 지도를 한다.