3D Shape Classification with Attention-based Pooling

Abstract

This work is a 3D shape classification algorithm that directly processes point cloud and outputs a class label. The proposed algorithm employs PointNet to attend to a few representative points of an input point cloud, and extracts local geometric information of attended points with EdgeConv operation. A few representative points can be learned in an end-to-end fashion since they are computed as attentions to an input point cloud. Also, considering local neighborhood demands substantial computation since point cloud is an unordered and irregular representation. Proposed algorithm avoids exhaustive computation of nearest neighbor search and feature extraction by reducing the number of points using attention-based pooling. Due to reduced number, each representative point is able to refer to a greater number of neighbors in original point cloud. Also, intermediate embedding layers can use higher dimensional representation as a result of pooling. Proposed algorithm achieved comparable performance to the state-of-the-art techniques in 3D shape classification benchmark, ModelNet40 dataset.

본 연구는 점 구름을 직접 입력으로 받아 물체의 종류를 출력하는 3차원 물체 분류 알고리즘이다. 제안된 알고리즘은 기존에 제안되었던 포인트넷을 기반으로 입력 점 구름에서 소수의 대표점들을 추측하고, 대표점들 주변의 지역적, 기하학적 정보를 그래프 컨벌루션의 한 종류로 추출한다. 소수의 대표점들은 입력 점 구름에서 어텐션을 계산하는 네트워크에 의해 얻어질 수 있으므로 전체 구조를 손실 함수와 확률적 기울기 강하 방법으로 학습하는 과정중에 같이 학습된다. 한편, 점 구름은 순서가 없고 비정형적인 표현으로, 이미지와 같은 정형 데이터와 달리 특정 점 근처의 정보를 계산하려면 전체 점에서 근처 점을 탐색하는 등의 작업이 필요하여 상당한 계산을 요구한다. 제안한 알고리즘은 어텐션 기반의 풀링을 이용하여 먼저 점의 수를 줄인 후에, 줄인 점들의 특징벡터를 계산하므로 모든 점에 대해 비효율적으로 수행되는 주변 점 탐색과 특징 추출에 사용되는 계산을 줄일 수 있다. 그리고 점의 수를 줄였기 때문에 각각의 대표점들은 더 많은 이웃들을 참고하여 특징을 계산할 수 있다. 또한, 중간 임베딩 레이어들도 더 높은 차원의 벡터 표현을 사용할 수 있게 되어 복잡한 구조를 학습할 수 있게 된다. 3차원 물체 분류 벤치마크인 모델넷40에서 분류기의 정확도를 측정한 결과, 본 알고리즘이 현재 최고 수준의 기술과 견줄만한 성능을 달성했다.