Reducing DRAM Energy for Efficient Deep Neural Network Training on GPUs

Abstract

Training modern deep neural networks (DNNs) requires a huge amount of computation on large data and results in high energy consumption for not only computation but also memory accesses. Thus, the GPU, which is the most popular processor used for DNN training, consumes a substantial portion of its energy on high-bandwidth memory devices such as GDDR and HBM. In this work, we propose to reduce the DRAM power consumption of GPUs based on a novel observation that the iterative nature of the training algorithms for deep DNNs can be exploited to prudently find out the best data mapping across channels for each GPU kernel in terms of energy and performance. Also, since feature maps, which do not persist across iterations, dominate the memory capacity, the amount of data movement needed for changing data mapping is not significant. To this end, we propose MERIT (Memory Energy Reduction for Iterative DNN Training), which reduces DRAM energy consumption in DNN training while meeting user-specified performance slowdown limit. MERIT gradually reduces the number of active memory channels for each kernel across iterations until reducing the channels further violates the given performance requirement. Inactive memory channels can then be put into the self-refresh mode to reduce energy. If every further reduction of the channel violates the performance slowdown limit, MERIT conducts dynamic frequency scaling for each kernel for additional energy reduction. Our evaluation results show that MERIT reduces DRAM and total GPU energy by 33\% and 10.1\%, respectively, while increasing the per-iteration training time by only 2.9\% on average for various DNNs.

현대의 심층 신경 네트워크(DNN) 학습을 위해 대용량 데이터에 대한 엄청난 양의 계산이 필요하며 결과적으로 계산뿐만 아니라 메모리 접근에도 높은 에너지 소비가 발생한다. 따라서 DNN 훈련에 사용되는 대표적인 프로세서인 GPU는 GDDR과 HBM과 같은 고대역폭 메모리 장치에서 에너지의 상당 부분을 소비한다. 본 연구에서는 에너지 및 성능 측면에서 각 GPU 커널에 대한 채널 간 최상의 데이터 매핑을 찾기 위해 DNN에 대한 학습 알고리즘의 반복적 특성을 이용할 수 있다는 새로운 관찰에 기초하여 GPU의 DRAM 전력 소비를 줄일 것을 제안한다. 또한 매 train iteration에 걸쳐 지속하지 않는 feature map이 대부분의 메모리 용량을 차지하기 때문에 데이터 매핑을 변경하는 데 필요한 데이터 이동량은 크지 않다. 이를 위해 DNN 훈련에서 DRAM 에너지 소비를 줄이면서 사용자 지정 성능 저하 한계를 충족하는 MERIT(Memory Energy Reduction for Iterative DNN Training)을 제안한다. MERIT은 채널을 감소시키는 것이 주어진 성능 요구사항을 위반할 때까지 iteration에 걸쳐 각 커널에 대한 활성 메모리 채널의 수를 점차 감소시킨다. 비활성 메모리 채널은 self-refresh 모드로 전환하여 에너지를 절감할 수 있다. MERIT는 DRAM과 총 GPU 에너지를 각각 33\%와 10.1\% 줄이면서 DNN에 대한 iteration당 훈련 시간은 평균 2.9\% 증가하는 것으로 나타났다.