Encoder-Decoder 기반 한국어 문법 오류 교정을 위한 Encoder에서의 신경망 언어 모델 도입

Abstract

문법 오류 교정은 주어진 문장에서 나타난 문법적인 오류들을 탐지하고 이를 올바르게 교정하는 것으로, 특정 언어를 배우고자 하는 L2 학습자들을 돕거나 시스템의 잘못된 입출력 수정 등 다양한 응용 분야에 활용 가능하다. 본 논문에서는 한국어 문법 오류 교정 학습에 필수적인 교정 병렬 데이터가 부족한 문제를 보완하기 위하여 단일 말뭉치를 활용하는 기법을 제안한다. 단일 말뭉치로 학습시킨 신경망언어 모델을 Encoder에 도입하여, 신경망 기계 번역 기반 교정 모델이 올바르게 사용된 음절과 문법적으로 잘못 사용된 음절을 보다 명확하게 구분할 수 있게 한다. 이를 토대로, 올바르게 사용된 음절의 복사량을 증가시키면서 기존 Encoder-Decoder 모델의 잘못된 교정을 방지하는 것을 확인할 수 있었다.