Development of Feature Augmentation Methods for Domain Generalization

Abstract

Despite the steady progress of neural networks, their applicability to the real world is limited because they often fail to generalize to unseen domains. To overcome this challenge, recent studies have proposed various methods for improving out-of-distribution generalizations. However, these methods require complex architectures or additional learning strategies that involve non-trivial efforts. On the other hand, style randomization, a feature-level augmentation strategy, can increase the networks' generalization capability simply by diversifying the source domains. In this paper, we focus on improving the limitations of style randomization by spatially changing and generating samples that are distributed outside the source domains. To this end, we propose novel feature augmentation strategies to generate diverse samples for contents as well as styles and to generate samples that have not been covered by prior methods. Our methods can be implemented very simply but outperforms all compared methods in experiments on the DomainBed benchmark. Furthermore, our methods can help improve other domain generalization methods as feature augmentation strategies.

본 논문에서는 도메인 일반화를 개선하기 위한 간단하지만 효과적인 Feature Augmentation 기법들을 제안하였다. Neural Networks는 학습에 이용되지 않은 분포를 가진 데이터에 대해 큰 성능 저하를 겪곤 한다. 실제 세계에 Neural Networks를 적용하기 위해서는 모델의 일반화 성능을 개선하는 것이 불가피하다. 따라서 모델의 일반화 성능을 향상시키기 위한 많은 Out-of-distribution 일반화 방법들이 제안되어왔으나, 이러한 방법들은 복잡한 네트워크 구조를 갖거나 추가적인 학습기법들을 필요로 한다. 도메인 일반화를 위한 간단한 Feature Augmentation 방법인 MixStyle은 보다 다양한 학습 도메인을 생성함으로써 모델의 일반화 성능을 향상시킬 수 있었지만 다른 도메인 일반화 방법에 비해 큰 성능 향상을 기대할 수 없었다. 본 논문에서는 기존의 도메인 일반화를 위한 Feature Augmentation 기법인 MixStyle의 한계를 두 가지로 정의하였다. 기존 방법은 Channel-wise linear Interpolation을 사용하여 새로운 샘플을 생성하므로 Feature를 공간적으로 변화시킬 수 없다. 따라서 Style뿐만 아니라 Content에 대해서도 다양하게 변화된 샘플을 생성할 수 있는 방법인 Reweighted Feature Statistics Randomization을 제안한다. 또 다른 한계점은 소스 도메인 간의 linear interpolation으로 생성된 샘플들은 소스 도메인 너머에 분포하는 도메인 샘플들을 생성할 수 없다는 것이다. 소스 도메인 너머를 포함한 보다 다양한 영역에 분포하는 샘플들을 생성하기 위해 소스 도메인 간 linear extrapolation하여 새로운 샘플을 생성하는 방법인 Extrapolation based Style Randomization을 제안한다. 본 논문에서는 DomainBed benchmark를 이용하여 실험을 진행했으며, 제안한 방법에 대한 세부 실험은 DomainBed의 dataset 중 가장 널리 쓰이는 PACS를 통해 진행하였다. 본 논문에서 제안한 두 가지 Feature Augmentation 방법들은 간단히 구현 가능과 적용이 가능함에도 불구하고 DomainBed 상에서 다른 state-of-the-art 방법들과 비교하여 가장 우수한 성능을 달성하였다. 또한 Feature Augmentation 기법으로써 다른 도메인 일반화 방법들에 적용하였을 때에도 일반화 성능을 개선시킬 수 있었다.