An FPGA-based Device Control Mechanism for Fast Inter-device Communication

Abstract

현대의 고성능 서버는 짧은 시간에 대용량의 데이터를 처리하기 위하여 많은 수의 고대역폭 주변장치(예: NVMe SSD, GPU)를 사용한다. 하지만 사용하는 주변장치의 수가 늘어나면서 서버의 CPU와 메모리는 주변장치 제어를 하는 것 만으로도 많은 수의 사이클을 소모하게 된다. 이는 주변장치를 제어하는 커널의 코드가 복잡하기 때문이다. 이 문제를 해결하기 위하여 몇몇 연구에서는 커널 코드를 우회하는 방법들을 제안하였지만 주변장치의 최대 성능을 끌어내기에는 부족하였다. 다른 연구에서는 주변장치 간 직접 통신을 활용하여 CPU와 메모리의 부담을 줄여보려고 시도하였다. 하지만 주변장치 사이에 데이터를 전달 중에 CPU가 해당 데이터에 접근하게 되는 경우에는 적용할 수 없어서 활용성이 떨어지는 문제가 있었다. 이 문제들을 해결하기 위하여, 본 논문에서는 디바이스 간 빠른 데이터 통신을 위한 FPGA 기반 디바이스 제어 기술을 제안한다. 제안된 방법에서는 고성능과 높은 확장성, 높은 활용성을 달성하기 위하여 다음과 같은 방법들을 사용한다. 우선 주변장치 제어를 위한 표준 주변장치 제어 모듈을 FPGA에 구현하여 다양한 주변 장치 간의 직접 통신을 가능하게 한다. 두 번째로는 주변장치 제어를 FPGA에게 전담시킴으로써 CPU와 메모리의 부담을 최소화한다. 마지막으로 FPGA 위에서 CPU 대신 연산을 수행할 수 있도록하여 활용성을 극대화한다. 본 논문에서는 제안된 기술을 실제 시스템 위에서 구현함으로써 제안된 기술이 CPU와 메모리의 부담을 줄이고 클라우드 컴퓨팅 워크로드의 성능을 향상시킴을 확인하였다.

Modern high-performance servers employ a large number of high-throughput peripheral devices to meet the demands of server applications, which process a large amount of data in a short time. However, as the number of peripheral devices increases, the host CPU and memory becomes extremely busy only for executing the complex kernel routines to control the devices and handle incoming interrupts from them. Some architects suggested bypassing the kernel routines to alleviate the control overheads. However, they failed to leverage the full performance potential of the peripheral devices. In such architectures, the host CPU is still controlling peripheral devices and the host memory bandwidth is consumed in handling data movements. Other architects exploit direct device-to-device (D2D) communication to reduce the overhead on both the host CPU and the host memory bandwidth. Unfortunately, existing D2D communications suffer from low flexibility, because they can not perform the D2D communication if an intermediate data processing decouples device operations. To address the issues, we propose a fast, scalable, and flexible FPGA-based device orchestration method. The key idea is to implement a low-overhead, but flexible device-control mechanism on an independent FPGA-based orchestrator. The proposed method achieves high performance, scalability and applicability as follows. First, the orchestrator has standard device interfaces to enable direct inter-device transfers between any commodity peripheral devices. Second, the orchestrator handles all device controls and data transfers within the server to achieve the performance and save host resources. Third, the orchestrator per- forms intermediate data processing on its FPGA block to more actively invoke D2D communications. The evaluation results show that our scheme reduces the host overhead and improves warehouse scale workloads. Our scheme also shows higher scalability than host-centric server architecture and takes full advantage of emerging high- throughput peripheral devices.