Group-Equivariant Transformer Without Positional Encoding

Abstract

Self-attention is a permutation-equivariant operator in its basic form and can further extend to achieve equivariance for a specific symmetry group by incorporating group-invariant positional encoding. In this work, we propose an effective group-equivariant transformer without positional encoding. Instead of using group-invariant positional encoding, we replace point-wise MLPs with group-equivariant convolutions that act as both a group mixer and an implicit positional encoding. This allows to reduce the group of self-attention to translation only while preserving group equivariance, resulting in less computation and memory. Our strategy not only retains dynamic long-range interactions of transformers but also incorporates the effective static kernel learning of convolution, resulting in a significant accuracy gain. We also find that adopting a group-equivariant convolution stem and a translation-equivariant pooling further improves the performance. The proposed method sets a new state of the art in standard benchmarks, outperforming the existing group-equivariant transformers by a large margin.

군 등변성은 대칭을 이용하여 데이터 효율성을 향상하는 신경망의 이상적인 귀납적 편향 중 하나이다. 셀프 어텐션의 기본 형태는 순열 등변 연산이며 군 불변 위치 인코딩을 사용하면 특정 대칭군에 대해 등변성을 만족하도록 확장할 수 있다. 본 연구에서는 군 등변성을 확보하기 위한 군 불변 위치 인코딩의 문제점을 분석하고, 이를 바탕으로 위치 인코딩을 사용하지 않는 효율적인 군 등변 트랜스포머를 제안한다. 트랜스포머에 군 불변 위치 인코딩을 도입하는 대신, 점별 다층 퍼셉트론을 군 혼합과 암묵적인 위치 인코딩으로써의 역할을 하는 군 등변 합성곱으로 대체한다. 이는 군 등변성을 유지하며 셀프 어텐션의 군을 오직 평행이동 군으로 축소하여, 연산량과 메모리를 줄이는 결과를 가져온다. 우리의 방법론은 트랜스포머의 동적인 장거리 상호작용을 유지할 뿐만 아니라 합성곱의 정적이고 효율적인 커널 학습을 결합하여 상당한 정확도의 향상을 얻는다. 또한, 군 등변 합성곱 스템과 이동 등변 풀링을 적용하여 성능을 더욱 향상한다. 제안한 방법론은 이전의 군 등변 트랜스포머의 성능을 큰 폭으로 능가하며, 표준 벤치마크에서 새로운 최첨단의 성능을 달성한다.