Federated Learning with Knowledge Distillation Using Ensemble Method: Towards Averaging the Functions of Client Models

Abstract

본 학위논문에서는 연합학습에서 서버 모델 업데이트 방법을 개선한 FedEM알고리즘을 제안한다. 기존 연합학습 방식들과 달리 서버에서 레이블이 없는 데이터를 활용하는 방식이다. 레이블이 없는 데이터에 대한 클라이언트 모델들의 다수결 투표로 레이블을 획득하며, 이 과정을 통해 얻어진 레이블이 있는 데이터를 이용하여 서버 모델을 학습함으로써 서버 모델이 업데이트 된다. 이를 통해 서버 모델이 클라이언트 모델들의 앙상블 모델과 같은 성능을 내는 것을 기대할 수 있다. 또한, 서버에 가용 가능한 데이터가 없는 경우를 위해 무작위로 생성한 데이터를 활용하는 방안을 고려하였다. 성능 확인을 위해MNIST 데이터셋을 이용한 실험을 수행하여, 기존 FedAVG 알고리즘 대비, 균일한 데이터 분배 환경과 비균일 데이터 분배 환경 모두에서 통신당 예측 정확도가 향상됨을 확인하였다.

In this thesis, we propose FedEM algorithm, which improves the server model update part in federated learning . Unlike existing federated learning methods, it allows the use of unlabeled data in the server. Through majority voting of client models, labels of the originally unlabeled data are obtained, and these labeled data set is used for the learning of the server model. By doing so, we can expect that the server model operates as an ensemble model that consists of the clients models. Also, in case where unlabeled data is not available at the server, we propose a variant of FedEM algorithm where a randomly generated data is utilized instead. Through an experiment using the MNIST dataset, it is shown that the accuracy per communication is increased in both the IID setting and the Non-IID setting compared to the existing FedAVG algorithm.