Joint-optimized Handover and Load Balancing using Graph Attention based Reinforcement Learning

Abstract

최근 다양한 모바일 장비들이 판매되고 컨텐츠들이 생산되면서 모바일 트래픽이 매우 증가하고 있다. 이를 안정적으로 처리하기 위하여 다양한 네트워크 기술들이 연구되고 있으며 그 중 소형 기지국을 밀집 배포하여 주파수 대역을 효과적으로 사용하는 방법이 주목받고 있다. 하지만 상기한 방법은 기존보다 훨씬 많은 수의 기지국을 관리할 수 있어야 하는 문제점을 가지고 있다. 이러한 문제를 해결하기 위해 기지국을 소프트웨어화시켜 효율적으로 유지 및 보수할 수 있는 방법인 소프트웨어 정의 네트워킹(SDN)과 이에 기반해 각 기지국이 스스로 최적의 상태를 유지할 수 있도록 설정을 조절하는 자가 조직화 네트워크(SON)가 활발하게 연구되고 있다. 자가 조직화 네트워크가 이루고자 하는 목표 중, 기지국 간 부하 분산과 핸드오버 최적화가 가장 대표적이다. 기지국의 자원은 한정적이기 때문에 과부하가 걸릴 경우, 해당 기지국에 접속된 일부 단말들이 통신 자원을 할당받지 못하는 문제가 생긴다. 이를 해결하기 위한 기술을 부하 분산이라 한다. 핸드오버 최적화는 핸드오버가 진행되는 동안 단말과 기지국 사이의 데이터 통신이 중단된다는 점을 고려하여, 안정적인 데이터 통신을 위해 불필요한 핸드오버를 줄이는 기술을 일컫는다. 부하 분산을 위해서 기지국에 연결된 모바일 단말을 다른 기지국으로 핸드오버시켜야 한다는 점에 있어서, 부하 분산과 핸드오버 최적화는 밀접한 관계에 놓여 있다는 것을 알 수 있다. 올바르지 않은 부하 분산은 다수의 불필요한 핸드오버를 야기시키므로, 안정적인 자가 조직화 네트워크를 구성하기 위해서는 두 기술을 공동 최적화(Joint optimization)할 수 있어야 한다. 본 논문에서는 핸드오버에 사용되는 셀 별 오프셋 파라미터(CIO)를 최적화하여 기지국에 걸리는 과부하를 해소하고, 부하를 해소하는 과정에서 불필요한 핸드오버가 발생하지 않도록 최적화 과정에 기지국 사이의 관계를 반영하는 방법을 제안한다. 제안 방법은 강화학습을 통해 각 기지국이 주어진 상황에 알맞게 파라미터를 조정할 수 있게 한다. 이 과정에서 어텐션(Attention) 메커니즘에 기반한 그래프 컨벌루션(Convolution)을 통해 각 기지국이 주변 기지국을 고려하여 본인의 상황을 올바르게 해석할 수 있게 한다. 소형 기지국이 밀집 배포되어 있는 환경에 대한 시뮬레이션을 진행한 결과, 제안 기법이 과부하 문제를 해결하는 동시에 핸드오버 횟수를 최소화하며 안정적인 데이터 처리량을 보임을 확인하였다.

Future mobile network requires dense deployment of small base stations to deal with rapidly rising mobile traffic. Unfortunately, the dense deployment incurs frequent occurrence of overloaded base station and handover. To solve this issue, we propose the joint optimized load balancing and handover method called JOHOLB, which aims to find optimal handover parameter at each time step. We utilize deep Q-Learning with attention-based graph convolution. It enables base station to update its state with considering states of neighboring base stations then the base station can choose its handover parameter in cooperation with neighbors. We analyze the performance of proposed method via simulation. The simulation result shows that JOHOLB successfully resolve the overload issues while reducing unnecessary handover.