강화학습을 사용한 영상회의 시뮬레이션 환경 구현 및 분석

Abstract

강화학습은 다양한 현실 세계의 문제를 해결하기 위해 사용된다. 하지만 시간 혹은 자원 이슈, 실제 시스템에 줄 수 있는 영향 때문에 시뮬레이션 환경에서 먼저 테스트를 수행한 후 적용하는 것이 필요하다. 만약 시뮬레이션 환경이 실제 환경과 유사하게 구현된다면 하이퍼파라미터 튜닝, 최적화와 같은 필수적인 과정들을 쉽게 수행할 수 있다는 장점이 있다. 따라서 본 논문에서는 영상회의에서 강화학습을 사용할 때 빠른 최적화와 튜닝을 위한 영상회의 시뮬레이션 환경을 구현한다. 이를 위해 영상회의 트래픽을 모방하기 위한 트래픽 예측기를 개발하고, 이를 영상회의 시뮬레이션에 사용하여 실제 영상회의와 통신하지 않아도 네트워크 데이터를 얻을 수 있도록 한다. 구현한 시뮬레이션 환경은 처리량, 지연 시간, 손실률, 지터, 훈련 속도 면에서 실제 환경과 비교하며, 이에 대한 분석 및 한계점, 향후 연구를 제시한다.