대칭가중치를이용한가벼운비전 트랜스포머에대한연구

Abstract

본논문은컴퓨터비전에대한대표적인트랜스포머모델인비전트랜스포머모 델에대해다룬다. 비전트랜스포머의한계점인크기가크고연산량이많다는점을 개선하기위한프레임워크를아래와같이제안한다. • 대칭구조의웨이트를적용시킴으로써해당방법이적용된웨이트는기존웨 이트대비크기가 50%감소한다. 이를통해비전트랜스포머의모델경량화에 기여한다. • 이차원대칭프루닝방법을이용하여기존일차원프루닝방법대비안정적인 정확도 감소를 달성하였다. 이를 통해 비전 트랜스포머의 모델 크기와 연산 량을감소시킨다. • Ablation 스터디를 통해 비전 트랜스포머의 많은 레이어 중 SymLight가 어 디에적용되어야적합한지를찾았으며이는다양한데이터셋에대해서좋은 성능을달성하였다. 제안하는기법과프레임워크는 Cifar-10, Cifar-100, Tiny-Imagenet에대해이미지 분류 작업에서 모델의 크기와 연산량을 대폭 감소함에도 훌륭한 성능을 달성하였다.

The transformer model has demonstrated remarkable performance in the realm of language processing. Correspondingly, in computer vision, various models, such as the vision transformer and swin-transformer, have been introduced and have exhibited impressive capabilities. Even though these models have been showing exceptional performances, transformers suffer from the drawback of quadratic increase in compu- tation complexity and memory consumption mainly due to attention operations that address long-range dependencies. In this paper, I propose SymLight, a novel model framework that employs symmetric weight to the original vision transformer, to com- press parameters. This approach introduces two-dimensional symmetric pruning, a departure from the conventional one-dimensional row or column unit pruning.