행렬의 공동분해를 이용한 학습방법

Abstract

문제에 따라 주어진 부가 정보를 활용함으로써, 학습 알고리즘의 성능을 향상시키거나 보다 효율적으로 문제를 푸는 것이 가능하다. 행렬의 공동 분해는 기존의 대상 데이터와 부가 정보가 모두 행렬의 형태로 주어진 문제에서, 이들에 포함된 정보를 통합적으로 활용하는 체계적인 방법이다. 행렬의 공동 분해는 각각의 주어진 입력 행렬을 행렬 분해를 사용하여 성분 행렬들로 분해하되, 특정 성분이 여러 데이터 행렬과 연관되어 있을 경우 해당되는 성분 행렬을 여러 행렬의 분해 과정에서 공유하는 방식으로 동작한다.본 학위 논문은 다양한 행렬의 공동 분해 방법과, 행렬의 공동 분해와 관련된 이론적 결과들을 제시하는 것을 목표로 한다. 변분 베이지안 행렬 공동 분해 방법은 일반적인 관계형 데이터를 다루고, 과적합 문제에 대해 강인한 학습 알고리즘을 제시하며, 베이지안 크레이머-라오 바운드를 통해 이론적으로 성능을 검증한다는 면에서 본 학위 논문의 핵심적인 부분을 이룬다. 이와 더불어 본 학위 논문에선 압축된 데이터로부터의 행렬 분해 문제 및 드럼 음원 분리 문제에서 부가 정보를 활용하기 위해 설계된 특수한 행렬의 공동 분해 방법도 소개한다.

Learning with side information aims to achieve more accurate and efficient behaviors of the learning algorithms by utilizing available additional information. Matrix co-factorization is considered as an approach for learning with side information, where additional information is given in the form of multiple matrices. Matrix co-factorization provides a way to systematically exploit the multiple matrices to integrate the information contained in the additional information matrices, as well as the target input matrix, by sharing related factor matrices in the decompositions of the target and side information matrices.This thesis presents several algorithms and theoretical results for the matrix co-factorization. Variational Bayesian matrix co-factorization for relational data forms a central part of this thesis, especially with the Bayesian Cram´er-Rao bound which theoretically shows the benefits of co-factorization over simple factorization. We also present two specific matrix co-factorization modelswhere the use of side information brings beneficial effects, one is the matrix factorization from the compressed data matrix, and the other is the drum source separation from a music signal.