설명 문장 생성을 통한 해석 가능한 시각적 질의응답 모델 분석

Abstract

본 연구에서는 설명 문장 생성을 통한 해석 가능한 시각적 질의응답 모델과 학습 방법을 소개한다. 설명 문장은 시각적 질의응답 모델이 응답을 예측하는 데에 적절한 이미지 및 질문 정보의 논리적인 연결과 정답 추론 과정이 함의되어있을 것으로 기대된다. 이를 바탕으로, 시각적 질의응답 예측과 그에 대한 설명 문장 생성을 동시에 수행하는 모델을 제시하고, 여러가지 학습 기술을 통해 학습하고 검증함으로써, 설명 문장 생성과 질의응답 예측 두 가지 과정 사이에 주고받는 상호작용에 대해 분석한다. 그리고 이러한 상호작용을 적극적으로 활용할 수 있는 보다 개선된 시각적 질의응답 모델을 제안하고, 모델의 학습 결과를 바탕으로 설명 문장의 특성을 활용하여 시각적 질의응답 추론 과정을 개선함으로써 시각적 질의응답 모델을 더욱 발전시킬 수 있는 방향을 논의한다.