Exploiting Multi-task Structure with Task Conditioned Models

Abstract

While deep neural networks have been making remarkable advances on learning recognition models and interactive agents for a single task, building a system that is capable of solving diverse tasks is still an open area of research. Contrary to deep neural networks, which is very good at optimizing a single task performance and sometimes demonstrate super-human performance, human is capable of learning and solving extremely wide range of tasks with a single interface for communicating with the world based on perception and action. To imitate such ability with deep neural network, this dissertation studies task conditioned models, a class of models that have specifications of tasks as an additional input. The task specifications span the space of tasks and modulate the behaviour of a model to represents solutions to diverse tasks as different mappings between inputs and outputs of the model.

Considering that the task conditioned models aim to solve multiple different tasks with a single model, capturing the repetitive or shared structure among tasks and exploiting them to reuse knowledge learned in one task in other tasks is an important research area for building a model that scale in terms of the number of tasks. For this purpose, we introduce task representation and task conditioned decision strategy as two internal modules of a task conditioned model and study their roles for learning task conditioned models. The task representation is an internal representation of a task, which captures and reveals repetitive structure of a space or distribution of tasks. The task conditioned decision making strategy is a part of the model that makes final output based on the input and the task representation. This module functions as a task agnostic skills for solving multiple different tasks by exploiting the structure represented by a task representation.

To study the role of task representation and decision strategy, I first present an example with well engineered task representation and decisions strategy. In a few shot imitation learning problem, I present how good task representations revealing the true multi-task structure benefits learning and improves generalization. Based on this intuition, I study how we could learn good task representations and decision strategies for task conditioned models based on deep neural networks. I present approaches based on model parameterization, representation learning, pretraining with proxy task distribution, and structured regularization as effective tools for learning good task representation and decision strategy. The experiments on visual question answering and multi-task reinforcement learning demonstrate the effectiveness of the approaches in terms of the quality of learned task representation and the performance on target multi-task problem. Additionaly, I present that the learned task representation and decision strategy can be transferred and reused for different problem settings.

최근 딥러닝의 적용으로 인식 문제와 상호 작용이 가능한 에이전트의 학습에는 많은 발전이 있었다. 하지만, 이러한 발전은 대부분 하나의 문제를 푸는 모델에 대한 것으로, 여러개의 문제를 풀 수 있는 하나의 인식 모델 또는 상호 작용이 가능한 에이전트의 학습은 아직 많은 연구가 필요한 분야로 남아있다. 이러한 딥러닝 기반 방법과는 달리, 인간은 주어진 신체에 국한된 하나의 인터페이스 만으로도 다양한 문제를 동시에 풀 수 있는 능력을 가지고 있다. 이러한 능력을 모방하기 위해 본 논문에서는 문제 정의에 기반하여 동작을 변경하는 다중 문제 풀이를 위한 모델에 관하여 연구한다.

이러한 문제 정의 기반 모델은 다양한 문제를 풀 수 있도록 학습하기 위한 것이기 때문에 다양한 문제들 사이에 존재하는 공통된 구조나 반복되는 패턴을 찾고, 이를 활용할 수 있는 능력이 중요하다. 즉, 모델은 반복되는 패턴을 활용함으로써 한정된 자원으로 부터 수많은 문제를 풀수 있는 재사용 가능한 기술을 효율적으로 익히고 새로운 문제에 적용할 수 있어야 한다. 이러한 목적을 달성하기 위한 한 방법으로, 이 논문에서는 문제의 내부적 표현 방식와 문제의 내부 표현에 기반한 문제 해결 과정을 문제 기반 모델의 중요한 두 모듈로 정의하고 연구한다. 문제의 내부적 표현 방식은 주어진 문제의 구조를 드러내며 각 문제를 일반적인 지식이나 기술의 조합으로 표현하여 한 문제에서 배운 지식이나 기술을 다른 문제에 적용 가능하도록 나타낸다. 문제 해결 과정은 내부적 표현 방식과 입력에 따라 결과를 출력하는 과정으로, 내부적 표현 방식에 나타난 대로 일반적인 지식이나 기술을 적용한다.

이 논문에서는 문제의 내부적 표현 방식 및 문제 해결 과정의 역할을 연구하기 위하여 우선 잘 디자인된 표현 방식과 해결 과정의 예를 소개한다. 해당 예시에서는 적은 개수의 시행 과정 영상을 모방하는 문제에서 문제의 구조를 적절히 표현하는 내부 표현 방식이 학습 성능의 향상과 일반화 능력의 측면에서 장점이 있음을 보인다. 또한 이 논문에서는 딥러닝을 사용한 문제 정의 기반 모델에서 내부적 표현 방식 및 문제 해결 과정을 학습을 통해 얻을 수 있는 방법에 대해서 연구한다. 구체적으로 모델의 매개 변수 구조, 표현 학습, 대리 문제 분포를 통한 표현 방식의 사전학습, 구조적 정규화 방법 등을 소개하며, 시각 기반 질의 응답 및 여러개의 문제를 위한 강화학습에서 이러한 방법이 좋은 문제 내부 표현 및 해결 과정을 학습하고 풀고자 하는 문제에서의 성능을 향상 시킬 수 있음을 보인다. 추가적으로, 학습된 문제 표현 방식 및 해결 과정을 다른 문제 상황에 전이 하여 재사용 할 수 있음을 확인한다.