Hybrid Answer Ranking for Multi-Source based Question Answering System

Abstract

Question answering (QA) systems find answers to natural-language questions. QA systems are of two types: Knowledgebase-based QA (KBQA) systems that use structured knowledge bases (KBs), and Information Retrieval-based QA (IRQA) systems that use unstructured raw text data. KBQAs are divided into curated KBQAs and auto-extracted KBQAs. I propose a system that use several sources to find an answer; these sources include a curated KB, raw text, and an auto-extracted KB which is a large set of triples. To rank answer candidates from multi-source, I use (1) a semantic answer-type classifier to filter answer candidates, (2) a multi-source tagged text database, and (3) a hybrid answer ranking model trained with multi-level features extracted from multi-source tagged text database. The proposed hybrid answer ranking method for multi-source question answering system achieves higher accuracy and Mean Reciprocal Rank (MRR) than single-sources based QA.

질의 응답 시스템은 사용자의 자연어 질문에 대해 정답을 출력하는 시스템이다. 질의 응답 시스템은 지식베이스 기반 질의 응답 시스템과 정보 검색 기반 질의 응답 시스템으로 분류된다. 지식 베이스 기반 질의 응답 시스템은 구조화된 지식베이스에서 답을 찾고, 정보 검색 기반 질의 응답 시스템은 구조화 되어 있지 않고 가공되지 않은 텍스트에서 답을 찾는다. 지식베이스 기반 질의 응답 시스템은 사람의 노동에 의해 정제된 지식베이스 또는 자동 추출된 지식베이스에 기반하는 질의 응답 시스템으로 나뉜다. 본 논문에서는 사람에 의해 정제된 지식베이스, 가공되지 않은 텍스트, 대량의 트리플로 이루어진 자동 추출된 지식베이스를 모두 활용하는 질의 응답 시스템을 제안한다. 다양한 자원에서 추출된 정답 후보를 순위화 하기 위하여 (1) 의미적 정답 유형 분류기를 사용하여 정답 후보들을 필터링하고, (2) 다중 소스 레이블 데이터베이스를 사용하고 (3) 다중 소스 레이블 데이터베이스에서 추출한 다계층적인 자질을 사용하여 하이브리드 정답 랭킹모델을 훈련시킨다. 본 논문에서 제안하는 다중 소스를 이용한 질의 응답 시스템에서의 하이브리드 정답 랭킹 방법은 단일 소스를 사용한 질의 응답 시스템 대비 정확도와 상호간의 순위 평균을 향상시켰다.