Characterizing Hardware-based Memory Compression Algorithms for Deep Neural Networks

Abstract

Recent developments in computation performance of hardware for Deep Neural Network (DNN) operations have made memory bandwidth to become a bottleneck in DNN training. Hardware-based memory compression can solve the bottleneck by addressing memory capacity, memory bandwidth, energy consumption, and communication bandwidth with low overhead. Prior works on DNN tensor compression adopt memory compression algorithms developed for High-Performance-Computing workloads. However, the compression efficiency of those algorithms change with DNN training settings, such as model, layer, data layout,input size, and compression window size. In this paper, I analyze compression efficiency of the algorithms on DNN tensor compression. The result shows that DNN tensor compression is challenging problem, and existing compression algorithms can be efficient by exploiting spatial similarity of a tensor. However, DNN training environment limits the compression algorithms to exploit the spatial similarity. Therefore, I suggest future research for hardware-based compression algorithms specialized for DNN tensor compression.

최근 심층 신경망은 컴퓨터 비전, 자연어 처리 등의 다양한 분야에서 폭넓게 활용되고 있다. 심층 신경망의 학습은 데이터 셋에 대한 반복적으로 진행되어 많은 연산과 메모리를 요구한다. 이에 따라 많은 기계학습 프레임워크는 CPU에 비해 연산량과 메모리 대역폭이 높은 GPU를 지원한다. 또한 Google TPU 등 심층 신경망 학습에 특화된 하드웨어도 개발되었다. 이렇게 심층 신경망 학습을 위한 하드웨어가 발전함에 따라 연산량이 빠르게 증가하였다. 하지만, 증가하는 연산량에 비해 상대적으로 메모리 대역폭의 발전이 느려 심층 신경망 학습의 병목이 되었다. 메모리 병목을 해소하는 방법으로 모델 압축, 변화도 압축, 그리고 텐서 압축 등의 방법이 연구되고 있다. 상기한 방법 중 모델 압축은 심층 신경망의 구조 혹은 연산을 바꾸고, 변화도 압축은 여러 하드웨어를 통한 병렬적 학습을 전제로 하고 있기 때문에 다양한 심층 신경망에 폭 넓게 적용하기 어렵다. 이에 비해 텐서 압축은 다양한 심층 신경망과 학습 환경에 적용할 수 있으며 메모리 용량, 대역폭, 전력 소비량 등을 개선할 수 있다. 텐서 압축에 대한 기존의 연구는 널리 사용되는 하드웨어 기반의 데이터 압축 알고리즘을 심층 신경망 텐서에 적용하였다. 현재의 심층 신경망 학습은 레이어, 모델, 데이터 레이아웃, 입력 크기 등을 설정할 수 있고, 이에 따라 심층 신경망 텐서는 다른 특징을 가질 수 있다. 하지만 기존의 연구는 오래된 심층 신경망을 사용하거나 다양한 심층 신경망 학습 설정을 고려하지 않는 등 현재의 심층 신경망 학습 환경에 적용하기 어렵다. 본 논문에서는 다양한 심층 신경망 학습 설정에 따른 텐서 밀도, 압축 알고리즘의 압축률, 그리고 편차를 계산하고 비교하였다. 결과를 통해 심층 신경망 압축이 어려운 문제라는 것을 밝혔으며, 심층 신경망 텐서의 공간적 유사성을 활용하는 설정이 압축에 유리하다는 것을 확인했다. 하지만 심층 신경망 구조, 학습에 사용되는 하드웨어의 요구 사항, 그리고 압축 하드웨어의 구조 등에 따라 기존의 압축 알고리즘은 공간적 유사성을 활용하는 설정을 선택하는데 한계가 있다. 이에 따라 다양한 학습 설정에서 공간적 유사성을 활용할 수 있는 심층 신경망 텐서 압축 알고리즘의 개발이 필요함을 보인다.