다중 인코더 Transformer 기반 번역문 자동 사후 교정 모델의 디코더 주의 구조 연구

Abstract

번역문 자동 사후 교정은 기계 번역 시스템의 결과물을 자동으로 교정하여 더 나은 번역문을 만들어내는 과정으로, 기계 번역 시스템 외적으로 기계 번역의 품질 향상을 수행하기 위해 제안된 연구 분야이다. 본 논문에서는 번역문 자동 사후 교정 문제에 사용되는 다중 인코더 Transformer 기반 교정 모델의 기본 구조를 살펴본 뒤, 디코더에서 인코더 출력과의 상호 의존성을 담당하는 주의 구조를 다양하게 구성하고 적용해 보았다. WMT18 사후 교정 말뭉치를 이용한 실험에서는 다중 인코더 Transformer를 이용한 모델 전부가 기계 번역 시스템의 결과물에 비해 더 나은 품질의 문장을 생성하였으며, 디코더 내에 번역문에 원문의 문맥 정보를 반영하는 구조를 적용하는 것이 사후 교정의 성능 향상에 크게 기여함을 확인할 수 있었다.