TASN: Tripartite Auxiliary Supervision Network for Robust Face Anti-Spoofing

Abstract

위조 얼굴 검출은 생체 인식 분야의 중요한 연구 분야 중 하나이다. 위조 얼굴 검출 기술은 얼굴인식의 보안을 보장하는 기술로, 실제 환경에 적용되기 위해서는 위조 얼굴 검출 기술의 일반화 능력이 요구된다. 이를 해결하기 위해서 우리는 학습된 환경과 다른 환경에서도 강인한 성능을 보이는 두 가지 위조 얼굴 검출 기술을 제안한다. 첫 번째 방법으로, 우리는 Bipartite Auxiliary Supervision Network (BASN)을 제안한다. 제안된 BASN은 제안된 얼굴 깊이 맵, 반사 맵 보조 정보를 ground truth 정보로 사용하여, 이미지로부터 일반화 가능한 특징들을 추출하고, 추출된 특징들을 효과적으로 결합하여 을 더 풍부한 특징을 얻어내었고, 위조 얼굴이 정확히 검출 되도록 하였다. 또한, BASN의 확장된 방법으로 Tripartite Auxiliary Supervision Network (TASN) 을 제안한다. 제안된 TASN은 얼굴 깊이 맵 정보, 반사 맵 정보와 더불어 생동성을 나타내는 원격 광혈류 (rPPG) 신호를 ground truth 정보를 사용하여 개선된 특징을 추출한다. 순차적 데이터인 원격 광혈류 정보의 특성을 효과적으로 사용하기 위해 우리는 2D-3D 컨볼루션 구조를 차용하여 순차적 이미지로부터 효과적으로 시-공간적 특징을 추출하였다. 우리는 제안된 두 가지 방법을 여러 공개 데이터 셋에 성능 평가를 하여 우수한 성능을 달성하였으며, 이는 여러 실험 결과와 더불어 제안된 방법의 효과성을 입증한다.

This thesis proposes a robust face anti-spoofing method that combines multiple features such as 3D facial depth map, reflection map, and remote photoplethysmography (rPPG) signals. We observe that 3D facial depth and rPPG features show positive/zero values for live/spoof face images, but the reflection features show positive/zero values for spoof/live face images, respectively. From these observations, we build complementary features that subtract reflection features from 3D facial depth or remote photoplethysmography features in order to amplify the feature's strength. We also implement the CNN architectures, Bipartite (Tripartite) Auxiliary Supervision Network (B(T)ASN) that consists of common feature extractor, auxiliary supervisory feature extractor, feature enrichment combinator, and binary classifier. We validate the proposed anti-spoofing method by conducting several experiments on benchmark SiW, Oulu-NPU, CASIA-FASD, and Replay-Attack datasets and achieve state-of-the-art intra-testing and inter-testing performances in terms of ACER and HTER, respectively.