Error Simulation-based Pronunciation Feedback for Korean English Learners

Abstract

국제적인 의사소통이 늘어 날수록 실용적인 외국어 능력의 필요성이 점차 커지고 있다. 이러한 변화는 언어 능력과 성취도를 평가하기 위한 많은 연구를 이끌었다. 일반적으로 치러지는 시험들에서는 구어 능력을 평가 하기 위해 수험생들에게 즉각적인 반응의 말하기를 요구한다. 이와 같은 말하기 평가에 대한 연습을 보조하기 위해서 컴퓨터 보조에 의한 발음 훈련 (CAPT) 프로그램들이 다양한 이점에 의해서 주목 받아 왔다. 이와 같은 CAPT 시스템에는 보통 음성 인식기 (ASR)이 포함 되어 있는데, 이를 통해 발음 오류를 검출하고 그에 대한 피드백을 생성하는 경우가 많다. ASR 모듈은 CAPT 시스템에 음소 단위의 음성 인식 결과와 그 결과에 대한 확률 값 내지는 점수에 관한 크게 두 가지 정보를 제공하는데, 우리의 접근 방법은 두 가지 정보를 모두 사용한다. 한국인 영어 학습자가 주어진 영어 문장을 읽은 발화 데이터를 모았고, 이로부터 발음 사전을 확장하기 위한 한국인의 발음 변이에 관한 지식을 추출 해 낼 수 있었다. 그 지식으로부터 (1) 가장 주요한 결정 요인인 정상 발음에 기반한 간단한 초기 결정으로부터 출발할 것, (2) 발음에 대응하는 문자를 주요한 결정 요인으로 사용할 것, (3) 주변의 음소들에 따라 다른 결정을 내릴 수 있을 것, (4) 여러 개를 동시에 선택할 수 있을 것의 한국인의 발음 변이 모델링을 위한 네 가지 설계 조건을 발견 하였다. 이러한 지식에 바탕을 두고 음소 수준의 발음 전사로부터 음소 발음 변이 규칙을 학습 하기 위해 오류 주도 학습에 의한 접근 방법을 설계하였다. 제안된 방법은 음성 인식에서 의사 결정 나무나 변환 기반 학습 방법과 비교하여 가장 낮은 단어 인식 오류율을 보였다. 또한 이는 발음 오류 검출을 위한 발음 변이 예측에도 사용되어 세 가지 발음 오류 검출 방법에 있어서 무제한 음소 고리 방식을 대체 하여 의미 있는 오류 검출 정확도 향상을 이끌어 내었다.

As international communication increases so does the need for practical foreign language skills. This change has driven a lot of research in assessing language proficiency and achievement as well as teaching English to speakers of other languages. Generally, a test to assess oral proficiency often requires testee to answer questions in improvised manner. To support practicing for that kind of test, computer-assisted pronunciation training (CAPT) applications have received much attention for their advantageous feedback generation properties. Automatic speech recognition (ASR) module often supports the detection of mispronunciation and generation of feedback, which is usually contained in the CAPT system. The ASR module provides a CAPT system with roughly two kinds of information: information about the phoneme recognition results and information about the probability or confidence of the results. Our approach utilizes both of the information. We collected English-read speech data uttered by Korean learners of English and extracted pronunciation variation knowledge from the phoneme differences to adapt the canonical English pronunciation dictionary into the Korean non-native phoneme variants. We discovered four desiderata for a pronunciation variant prediction method: (1) to begin with a simple initial decision based on the canonical phoneme that is the most significant factor, (2) to make the best use of grapheme factors, (3) to be sensitive to surrounding contextual phonemes, and (4) to learn multiple choices. With this knowledge, we designed an error driven learning approach that learns phoneme variation rules from phoneme-level transcriptions. The proposed method achieved the lowest word error rate against two baselines:DECE이종훈, Jonghoon Lee, Error Simulation-based Pronunciation Feedback for Korean English Learners, 한국인 영어 학습자를 위한 오류 시뮬레이션 기반 발음 피드백, Division of Electrical and Computer Engineering, 2012, 79 pages, Advisor: Gary Geunbae Lee. Text in English20055315ABSTRACTdecision tree and transformation-based learning. The proposed method was applied also on the pronunciation variation prediction in the phoneme recognition process of three different mispronunciation detection methods and yielded significantly better results than did the methods with phoneme recognition on a traditional unlimited phone-loop.