딥 메트릭 러닝을 위한 국소적 최적 학습

Abstract

본 논문에서는 딥 메트릭 러닝에 이용되는 인공신경망을 학습시키기 위한 국소 최적 학습 (locally-optimal learning, LOL)이라는 새로운 학습 알고리는을 제안한다. LOL은 딥 메트릭 러닝에서 인공신경망이 맞는 국소적 선형성을 이용하여 학습을 위한 가이드를 생성한다. LOL은 인공신경망의 매개변수를 데이터에 적합하도록 학습시키는 경사도 기반 최적화 알고리즘과 이를 위한 가이드를 생성하는 고유값 기반 최적화 알고리즘을 번갈아 실행하며 인공신경망을 학습시킨다. 또한, LOL은 인공신경망을 학습시키면서 고유값을 기반으로 사상 공간의 차원 (인공신경망 출력층 뉴런의 수)을 자동으로 결정할 수 있다. 본 논문에서는 LOL에 의해 생성된 가이드가 인공신경망의 출력층에 대해 출력층의 매개변수를 국소 최적점으로 이동시킨다는 것을 이론적으로 입증하며, LOL에 의해 생성된 인공신경망은 일반화된 분산 최대화 잠재 속성 모델이라는 것을 보여준다. 여러 실세계 데이터셋에 대한 종합적인 실헝을 통해 본 논문에서는 AdaGrad와 Adam과 같은 기존의 경사도 기반 최적화 알고리즘에 비해 LOL은 수렴 속도가 빠르며, 더 좋은 매개변수를 찾을 수 있음을 입증했다.

This paper proposes a new training algorithm called locally-optimal learning (LOL) to train neural networks on deep metric learning. LOL exploits local linearity of neural networks on deep metric learning to generate a guide for training. LOL trains neural networks by jointly executing a gradient-based optimizer that fits model parameters, and an eigenvalue-based optimier that generates the guide. Furthermore, LOL can automatically determine the dimensionality of the embedding space (the number of neurons in the output layer) based on eigenvalues. I theoretically prove that the guide of LOL leads model parameters of neural networks to the locally-optimal solution with respect to the output layer, and show that LOL generates a fully-generalized maximum-variance latent feature model. With comprehensive experiments on several real-world datasets, I demonstrated that LOL converges faster and trains better than conventional gradient-based optimizers such as AdaGrad and Adam.