Transparent and Sparse Prediction Models for Multi-task Learning

Abstract

MTL (Multi-task Learning)은 각 예측 모델을 독립적으로 학습하지 않고 동시에 학습하는 것을 말합니다. 예측 모델의 해석가능성은 실질적 중요성 때문에 주목을 받고 있습니다. 이 연구의 목표는 MTL을 위한 해석 가능한 예측 모델을 제안하는 것입니다. 구체적으로, 1) 동시 학습을 기반으로 과제 관련성을 활용하여 예측 모델의 일반화 성능을 향상하고, 2) 투명 모델을 추정하여 예측 모델의 해석성을 달성하고 3) 모수에 희소성을 부과하여 유의미한 변수를 선택하고 예측 모델의 해석성을 향상시킵니다.

우리는 선형 방법, 변수 상호 작용 모델 및 모델 트리를 포함하여 세 가지 투명한 예측 모델을 제안합니다. 선형 모델은 변수 선택과 작업간에 겹치는 그룹 구조를 학습을 동시에 수행합니다. 선형 모델은 낮은 행렬 분해를 사용하고 여기에 따라 발생하는 상관관계를 활용하면서 두 행렬에 희소성을 부과합니다. 우리는 결과적인 다중 볼록 목적 함수를 최소화하기 위해 좌표 최소화 및 근위 선형을 기반으로 두가지 최적화 절차를 제안합니다. 변수 상호 작용 모델은 희소 텐서 분해를 기반으로 중요한 상호 작용 및 선형 항을 선택합니다. 우리는 텐서 분해와 대칭 트릭을 사용하여 예측 모델간에 모수를 공유하고 목표 함수를 최소화하는 새로운 초기화 절차를 제안합니다. 모델 트리는 리프 노드에서 선형 모델을 추정 할 때 예측모형간 관련성을 활용합니다. 우리는 다중 출력 선형 모델을 적용하여 리프 노드에서 선형 모델을 추정하고 후보 분할 무시를 선택하여 새로운 2 단계 분할 절차를 제안합니다. 또한 제안 된 방법을 산업 프로젝트에 적용하고 그 효과를 입증했습니다.

Multi-task Learning (MTL) refers to simultaneously learning of prediction models of related tasks rather than learning each prediction model independently. Interpretability of prediction models has gained attention because of its practical importance. The goal of this research is to propose interpretable prediction models for MTL. In details, 1) we improve the generalization performance of prediction models by leveraging task relatedness based on simultaneous learning, 2) we achieve interpretability of prediction models by estimating transparent models, and 3) significant variables are selected to enhance the interpretability of prediction models based on imposing sparsity to parameters.

We propose three transparent prediction models including a linear method, a variable interaction model, and a model tree. The linear model aims to simultaneously perform variable selection and learns an overlapping group structure among tasks. The linear model uses a low-rank matrix factorization and imposes sparsitities to the sum-matrices while exploiting possible correlation. We propose two alternating optimization procedures based on coordinate minimization and proximal linear to minimize the resulting multi-convex objective function. The variable interaction model selects significant interaction and linear terms based on a sparse tensor decomposition. We use a low-rank tensor decomposition and a symmetrization trick to share parameter among interaction models and provide a novel initialization procedure to minimize the resulting objective function. The model tree exploits task relatedness in estimating linear models at leaf nodes. We apply a multi-output linear model to estimate linear models at leaf nodes and propose a novel two-stage splitting procedure by selecting promising candidate splits. Furthermore, we applied the proposed methods to industrial projects and demonstrated their effectiveness.