개체명 인식과 단어 정렬을 이용한 통계적 기계번역의 성능 향상

Abstract

통계적 기계번역에서 개체명은 데이터 부족문제(Data sparseness problem), 동음이의어로 인한 모호성, 다중단어표현(Multi-word expression) 과 같은 문제들로 인해 올바른 번역문장 생성에 어려움을 준다. 이와 같은 문제들을 해결하기 위해, 본 논문은 학습 시 전처리 단계에서 개체명인식기(Named Entity Recognition System)와 단어정렬(Word-Alignment) 정보를 이용한 개체명 처리방법과, 번역 시 후처리 단계에서 올바른 번역문 생성을 위한 개체명 번역 방법을 제시한다. 최종적으로 한국어-베트남어 통계 기반 번역시스템에 제안하는 방법을 적용하여 양쪽 방향 모두에서 번역 성능이 향상됨을 보인다.