Hardware-Friendly DNN Architecture for Deep Learning on Edge Devices

Abstract

In this thesis, an accuracy scalable architectures of convolutional neural networks (CNNs) are studied to reduce a computational complexity of a practical deep learning applications. First of all, a distorted image classification task on edge device is considered. Different from the images in general deep learning datasets for training and testing, images that edge-level devices practically encounter are easily exposed to various kinds of noises like Gaussian and defocus blur noise. Proposed FFT-based noise classifier analyze input image, and choose network prepared for specific noise with minimum energy consumption. Furthermore, for the general image classification task on edge device, we proposed multiple mode CNN network by adopting a structured weight pruning method that enables a CNN to be trained with multiple pruning ratios and thereby allows for adaptive energy-accuracy trade-offs. The memory overhead required to store several different networks is kept to a minimum by adopting a method for including smaller lower-accuracy networks as subnetwork of larger higher-accuracy networks and by using a unique multi-level indexing scheme that can effectively store compressed weight data for the proposed stacked-CNN architecture. To verify the impact of proposed CNN architectures, CIFAR-10, CIFAR-100, Tiny ImageNet datasets are simulated using VGG-16, ResNet-18, MobileNetV2 network.

최근 소프트웨어와 병렬 컴퓨팅 하드웨어의 급격한 발전덕분에 다양한 분야에서 딥러닝을 이용한 접근들이 시도되고 있다. 본 논문에서는 상황에 따라 사용하는 네트워크의 종류를 바꿔 정확도와 에너지 소모량을 선택할 수 있는 시스템을 구축하기 위해 네트워크를 학습하고 압축하여 저장하는 방법을 제안하고 있다. 먼저 노이즈가 포함된 이미지에 강인한 시스템의 경우 고속 푸리에 변환을 이용해 입력으로 받은 이미지의 노이즈 종류를 파악하고, 이를 기반으로 이미지 인식에 사용할 딥 러닝 네트워크의 종류를 선택하는 방식을 통해 실시간으로 외부의 상황을 분석하고 대응할 수 있는 능력을 갖추었다. 준비된 네트워크들은 필터 전환형 네트워크와 채널 전환형 네트워크로, 기존의 왜곡된 이미지 데이터셋들을 이용해 학습한 네트워크와 비교할 때 더 높은 정확도를 보이거나 최대 40% 적은 에너지 소모 만으로도 노이즈에 강인함을 보여주었다. 다음으로 우리는 상위 레벨 네트워크가 하위 레벨 네트워크를 포함하는 방식으로 구성된 스택형 네트워크를 새롭게 소개하였다. 이는 전력이나 저장 공간이 제한된 종단 장치에서 상황에 따라 에너지 소모량과 성능을 선택할 수 있는 구조를 목표로 만들어졌는데, 기존에 제안되었던 다수준 색인방식과 더 높은 압축을 보일 수 있는 구조적 프루닝 기법을 활용해 약간의 정확도 감소만으로 메모리 점유율을 최대 45.9%만큼 줄일 수 있음을 보였다. 이와 같이 제안된 하드웨어 친화적 딥러닝 구조를 종단장치에 적용한다면, 동일하거나 더 적은 전력 소모로도 기존과 유사한 수준의 정확도를 보이는 응용 프로그램들을 만드는데 큰 도움을 줄 수 있을것으로 기대된다.