비지도 도메인 적응에서 배치 정규화를 통한 효율적인 도메인별 학습

Abstract

비지도 도메인 적응은 주석이 많은 데이터의 소스 도메인에서 레이블이 없는 타겟 데이터 도메인으로 지식을 전달하는 학습법이다. 최근 도메인 불변 학습 방법으로 약간의 성능 개선이 있음에도 불구하고 기존 방법들은 단일 모델로 서로 다른 두 도메인의 특성을 학습해야 하기 때문에 일반화 능력이 떨어진다. 본 연구에서는 각 도메인별로 배치 정규화 분기를 나누어 도메인별 다른 정보를 학습하되, 모델의 다른 나머지 학습 매개 변수를 모두 공유하여 도메인 불변을 학습하는 새로운 도메인별 배치 정규화 심층 신경망 프레임워크를 설계하였다. 우리는 또한 도메인별 분리가 사전 훈련된 모델에서 얻은 모조 레이블을 사용함으로써 모델 성능을 향상시킬 수 있음을 보였다. 제안하는 프레임워크는 일반적이며 다양한 도메인 적응 알고리즘에 쉽게 적용할 수 있다. 우리의 프레임워크를 최근 두 가지 비지도 도메인 적응 알고리즘에 도메인별 배치 정규화 방법을 적용하여 기존 표준 데이터 벤치마크에서 두 알고리즘 모두에서 탁월한 분류 정확성을 보였다. 그리고 본 연구의 프레임워크를 다중 소스 도메인 적응 문제까지 확장하는 방법을 제시하였고, 다중 소스 도메인 적응에서 뛰어난 분류 정확성을 얻을 수 있음을 제시하였다.

Unsupervised domain adaptation is a learning task to transfer knowledge from a source domain with a large number of annotated data to a target domain with unlabeled data only. Although recent researches in deep adversarial domain adaptation show some improvements, those methods have poor generalization ability since two domains have different characteristics that are not compatible with a single model. In this paper, we propose a novel unsupervised domain adaptation framework that learns domain-specific information by constructing a separate batch normalization layer for each domain, while the rest of the model parameters are all shared so that domain-invariant learning can be achieved. We also show that the domain-specific separation can improve model performance by using pseudo-labels obtained from a pre-trained model. The proposed framework is generic and can be easily applied to various domain adaptation algorithms. We apply our framework to two recent unsupervised domain adaptation techniques and achieve state-of-the-art accuracy in the standard setting for both methods. We also present that the proposed algorithm can be extended to domain adaptation problem with multiple source domains and obtain outstanding results in multi-source domain adaptation scenario.