협업 예측을 위한 베이지안 학습

Abstract

데이터에 누락 값이 존재하는 상황에서, 모델을 학습하고 해답을 추론 및 예측하는 과정은 기계학습과 통계적 데이터 분석의 영구적인 과제이다. 특히 지난 10년간, 행렬의 전체 원소 중 일부만을 관찰하여 나머지 누락된 원소의 값을 예측하는 행렬 복원과 협업 예측 문제에 대한 연구가 활발히 진행되어 왔다. 협업 예측 문제는 분석 대상인 사용자-상품 평가 행렬이 매우 규모가 크고 희박하기 때문에 전자 계산학적 및 통계적으로 매우 어려운 문제이다. 또한 데이터의 누락 메커니즘이 비임의결측을 따르기 때문에 문제 해결의 난이도가 여타 행렬 복원 문제에 비해 더욱 높다.

본 학위 논문은 협업 예측에서 발생하는 여러 기술적 문제들에 대한 해결 방안을 베이지안 학습 관점에서 제시하는 것을 목적으로 한다. 첫째, 콜드 스타트 문제 해결을 위해 보조 정보를 활용하는 베이지안 행렬 분해 모델을 제시하고, 제시된 모델을 대용량 데이터로부터 빠르게 학습할 수 있는 변분 베이지안 추론 알고리즘을 제시한다. 둘째, 행렬의 원소가 비균일하게 관측된 상황에서 사용되는 가중 대각합 노름 정규화와 변분 베이지안 추론의 관계를 설명한다. 셋째 비임의결측을 따르는 데이터 분석을 위한 베이지안 이항 혼합/잡음-논리합 모델을 제시하고, 제시된 모델을 대용량 데이터로부터 빠르게 학습할 수 있는 변분 베이지안 추론 알고리즘을 제시한다.

Learning, inference, and prediction in the presence of missing data are permanent problem in machine learning and statistical data analysis. Especially over the past decade, much research has been done on the matrix completion and collaborative prediction, a problem of predicting missing entries on the data matrix based on a random subset of observed entries. The real-world collaborative prediction problem is challenging both computationally and statistically because the user-item rating data matrix is extremely large and sparse. In addition to size and sparseness problem, the collaborative prediction is much harder than other matrix completion problem, because of the non-ignorable missing data mechanism, one of the main concern of this thesis.

In this thesis, we address several issues related to Bayesian learning for collaborative prediction. First, we present new Bayesian matrix factorization model which incorporates the side information to handle cold-start problem and its scalable learning algorithm based on variational Bayesian inference. Second, we show the relationship between variational Bayesian learning and the weighted trace norm regularization, when entries of the matrix are sampled non-uniformly. Finally, we present a Bayesian binomial mixture/noisy-OR model for collaborative prediction with non-random missing data and its scalable learning algorithm based on variational Bayesian inference.