Simultaneous Translation and Paraphrase using Pre-trained Autoencoder and Beam Reranking

Abstract

다중 번역(Simultaneous translation and paraphrase)은 원문 문장을 가장 잘 표현하는 하나의 번역 문장으로 변환하는 기계 번역(Machine translation)과 달리, 하나의 원문 문장에 대해 가능한 여러 개의 번역 문장을 생성하는 기술이다. 언어 교육 플랫폼에서는 사용자에 따라서 같은 문장에 대해서도 구성이나 단어가 다른 문장을 생성할 수 있는데, 한 문장에 대해서 단 하나의 번역 문장만을 생성하는 기존의 기계 번역 시스템은 수많은 서로 다른 번역을 평가하기에는 무리가 있다.

현재 존재하는 다중 번역 데이터셋은 원문 문장 기준으로 2500개 문장이 존재하여 기계 번역에 사용하기에는 문장의 개수가 매우 적고, 기존의 기계 번역과는 달리 문장 단위에서 평가되기 때문에 더욱 정확한 언어 모델과 생성 모델을 필요로 한다. 이러한 사유로, 본 논문에서는 BART를 사용한 전이 학습 기반의 영-한 다중 번역 기법을 제시한다. 해당 시스템은 우선 한국어 위키피디아와 한국어 뉴스 말뭉치를 사용하여 BART를 사전 학습한 후, 사전 학습된 BART의 임베딩 레이어를 제거하고 무작위로 초기화된 인코더로 교체된다. 이후 해당 인코더를 학습하기 위하여 해당 인코더와 BART의 첫 번째 인코더 레이어의 사영 행렬(Projection matrix)을 제외한 모델의 다른 파라미터를 동결한 후 웹 크롤링 말뭉치를 사용해 사후 조정을 거친다. 이후 2020 Duolingo 공식 학습 말뭉치로 모델의 모든 파라미터를 사후 학습하고, BART 디코더의 은닉 벡터(Hidden vector)를 사용하여 번역 가중치를 예측하는 feed-forward 네트워크를 학습한다. 이 제안 방식은 2020 Duolingo test data를 사용한 평가 실험에서 기본 시스템의 성능을 크게 웃돌아 weighted macro F1 점수로 0.312를 달성하였다.

In this paper, we propose a transfer learning based simultaneous translation model by extending BART. We pre-trained BART with Korean Wikipedia and a Korean news dataset, and fine-tuned it with an additional web-crawled parallel corpus and the 2020 Duolingo official training dataset. We also tried beam reranking with feed-forward network using decoder hidden vector for predict translation weight. In our experiments on the 2020 Duolingo test dataset, our model achieves 0.312 in weighted macro F1 score that improves +0.263 compared to the baseline.