Reinforcement Learning based Load Balancing for Data Center Networks

Abstract

데이터센터 네트워크는 많은 양의 서비스를 한번에 처리하기 위해 대규모의 네트 워크 용량을 필요한다. 대부분의 데이터센터 네트워크는 대규모의 네트워크 용량을 확보하기 위해 fat tree 토폴로지와 같은 다중 루트 (Multi-Rooted) 토폴로지를 사 용한다. 이러한 토폴로지는 경로 다양성이 높고 네트워크 용량을 효율적으로 활용 하기 위해서 로드밸런싱 알고리즘이 필요하다. ECMP 알고리즘은 트래픽을 여러 경ᄅ로 균등하게 분산하는 기본적인 로드밸런싱 알고리즘이다. ECMP의 한계를 해결하기 위해, Hedera와 같은 중앙 집중식 컨트롤러를 사용하는 로드밸런싱 알고 리즘과 LetFlow와 같은 더 작은 스케쥴링 단위로 라우팅 결정을 내리는 로드밸런싱 알고리즘이 제안되었다. 하지만 이러한 로드밸런싱 알고리즘들은 네트워크 정보를 수집하기 위한 컨트롤러와 통신 딜레이로 인해 짧은 플로우들을 처리하기 어렵고, 데이터센터의 토폴로지와 트래픽 패턴에 맞도록 알고리즘의 파라미터를 조정하는 작업이 필요하다. 본 연구에서는 데이터센터 네트워크에서 트래픽 패턴을 학습하 여 미래의 트래픽 균형을 최적화 하기 위한 강화 학습을 이용하는 RWCMP로드 밸런싱 방법을 제안한다. RWCMP의 강화 학습 모델은 요구 시퀀스 및 네트워크 사용량을 입력으로 사용하여 링크 점수를 반환한다. RWCMP로드 밸런싱 알고리 즘은 세개의 서로 다른 트래픽 패턴에서 기존 LetFlow 알고리즘과 비교하였다. Fat tree 환경에서 RWCMP 알고리즘은 기존 알고리즘에 비해 24-36% 낮은 네트워크 활용율을 보여 기존 알고리즘 보다 더 우수한 성능을 보였다. 또한 하나의 링크에 장애가 발생한 Fat tree 환경에서도, RWCMP 알고리즘은 12-27% 낮은 네트워크 활용율을 보여 기존 알고리즘보다 더 우수한 성능을 보였다. 이러한 실험 결과는 제안하는 RWCMP알고리즘이 트래픽 패턴과 토폴로지에 따라 로드밸런싱을 학습 하고 있음을 보인다.

Data center networks require a large bisection bandwidth for providing a large number of services. Most data center networks are designed with multi-rooted topologies such as a fat-tree topology to provide the large bisection bandwidth. These topologies provide high path diversity and need a load balancing algorithm to utilize bisection bandwidth efficiently. Equal-cost Multipath (ECMP) is a basic load balancing algorithm that distributes traffic evenly across multipaths. To solve ECMP’s limitations such as hash collision problem, congestion-aware, and fine-grained load balancing algorithms are suggested. However, these algorithms need to set parameters depending on topologies and traffic patterns. Also, they suffer from control plane delays with a centralized controller while processing mice flows. This thesis presents a reinforcement weight-cost multipath (RWCMP) load-balancing method on a data center network to balance the traffic and minimize network utilization. It uses reinforcement learning to learn the optimal traffic split ratio of egress ports for each node. Moreover, it determines the routes of multiple flows simultaneously. The reinforcement learning model in RWCMP uses demand sequences and network utilization as inputs and returns the link scores. We compared the network utilization of our RWCMP load balancing al- algorithm with that of the LetFlow algorithm. In a fat-tree topology, the RWCMP load balancing algorithm outperforms the traditional load balancing algorithm with 24-36% lower network utilization in three different traffic patterns. In the same topology with a link failure, the RWCMP load balancing algorithm outperforms the traditional load balancing algorithm with 12-27% lower network utilization. These results demonstrate that RWCMP learns traffic split ratio depending on underlying traffic patterns and topology of the data center.