Accelerating Auto-tuning for Deep Learning Compilers through Prior Knowledge Reuse

Abstract

Deep-learning compilers(DLCs) were developed to increase the performance and portability of deep-learning applications. The DLC uses the auto-tuning technique to reduce the burden of library producers for different optimizations for an increasing number of devices and to improve by considering complex optimizations that experts have not considered. However, auto-tuning consumes a large amount of time because the process must find the optimal parameter in a huge search space, then learn and predict the statistical cost model. In this thesis, I propose a method to increase the speed of online learning by defining few-shot learning in a DLC, and a method for auto-tuning by using a neural predictor without online learning. As a result, when using the proposed method, the TVM compiler can increase the speed by about two times when using meta-learning and about two times to sixty-four times without additional training when the compiler uses the cost model that applies the neural model.

딥러닝 컴파일러 프레임워크는 CPU,GPU,DSP와 같은 다양한 하드웨어에서 딥러닝 애플리케이션의 성능과 이식성을 높이기 위한 프레임워크로 자리 잡고 있다. 딥러닝 컴파일러는 증가하는 장치에 대한 각기 다른 최적화에 대해 라이브러리 작성자의 부담을 줄이고 전문가가 고려하지 못한 복잡한 최적화를 고려하여 성능 향상하고자 오토튜닝(Autotuning) 방법을 사용한다. 그러나 오토튜닝 과정에서 실시간으로 거대한 탐색공간에서 최적의 파라미터를 찾으며 통계적으로 모델링한 비용모델을 학습하며 예측하는 과정은 최적의 파라미터를 찾기까지 상당한 시간을 소모하게 된다. 이 연구에서는 딥러닝 컴파일러에서 퓨샷러닝(few-shot learning)에 대한 문제 정의하여 실시간 학습의 속도를 높이는 방법과 뉴럴 예측기(Neural Predictor)를 이용하여 실시간 학습하지 않고 오토튜닝을 하는 방법을 제안한다. 결과적으로 제안하는 방법을 사용할 시에 TVM 컴파일러에서 실시간 학습 시에 약 2x, 실시간 학습을 하지 않을 시에 약 2x ~ 64x의 속도 향상을 가져갈 수 있다.