Alleviation of Generic Responses by Adjusting Ngram Usage in Chit-chat Dialogue Systems

Abstract

Chit-chat dialogue systems, which have unstructured conversations with users, aim to generate diverse and interesting responses. However, it has reported that neural chit-chat dialogue systems using standard maximum likelihood training generate too many short, dull and meaningless responses. Recently, a new method for adjusting vocab usage through unlikelihood training was proposed to generate diverse responses. However, this method may interfere with generation of diverse responses by failing to delicately give penalties; it only considers the frequency of each word, not the context each word makes. Therefore, we propose a method, which is adjusting ngram usages, by extending the previous method. Our proposed method could lose less diversity caused by wrong penalties because it can consider the context of word.

Chit-chat 대화시스템은 사용자와의 자유로운 일상 대화를 수행하며, 다양한 재미있는 응답을 생성하는 것을 목표로 한다. 그러나 심층신경망 기반의 대화시스템에서 일반적으로 사용되는 likelihood training 기반의 학습방식은 짧고, 따분하며, 큰 의미가 없는 상투적인 응답을 과하게 자주 생성함으로써 시스템에 대한 사용자의 흥미를 떨어뜨리는 문제를 일으킨다. 이에 최근 unlikelihood training을 통해 고빈도로 등장하는 단어의 사용을 제어함으로써 다양한 응답을 생성하는 학습 방식이 제안되었다. 그러나 이는 각 단어 별로 등장빈도만을 고려해 페널티를 줄 뿐, 각 단어가 어떠한 맥락으로 사용되었는지 고려하지 못하는 한계를 가진다. 따라서 본 연구에서는 이를 확장하여 고빈도로 등장하는 엔그램의 사용을 조절하는 방식을 제안한다. 제안된 방식은 엔그램 단위의 맥락 정보를 바탕으로 응답의 상투적인 정도에 따라 섬세하게 페널티를 줄 수 있다.