혀 운동 전위 기반 혀-기계 인터페이스

Abstract

보조 공학 (assistive technology)은 외부 장치를 이용하여장애인의 감각/운동 능력을 보완하는 기술이다. 특히, 혀는부드럽고 유연한 움직임이 가능하며, 팔/다리에 비해 뇌에가까운 곳에 위치하고 있기 때문에, 척추 손상이나 근위축증과 같은마비 질환의 영향을 적게 받는다. 따라서, 혀의 움직임을인식하는 인터페이스 기술은 마비 환자 들의 재활에 실질적인도움을 줄 수 있다.본 논문은 이러한 목적을 달성하기 위해, 혀를 볼에 접촉시켰을 때발생하는 혀 운동 전위 (glossokinetic potential)를 이용하여,혀의 수평적인 방향을 탐지하는 인터페이스 기술을 제안하였다.혀의 끝은 주변 조직에 비해 수 백 마이크로 볼트 (mV) 정도 낮은전위를 띄고 있기 때문에,혀를 볼에 접촉시킬 경우, 접촉한 부분 전위에서 전위의 감소가나타나며, 이 변화는 접촉점에서 멀어질수록 감소한다.이 때문에, 혀를 볼에 접촉시킨 상태에서 왼쪽으로 움직이면, 얼굴의 왼쪽에서는전위의 감소가, 오른쪽에서는 전위의 증가가 나타난다.따라서, 얼굴 및 두피에 4~8개의 전극을 부착한 후, 얼굴에서나타나는 전위 변화를 분석하면, 혀의 수평적인 방향을탐지할 수 있다.본 논문은 혀의 수평적인 위치와 혀 운동 전위 간의 관계를최초로 규명하였고, 이를 바탕으로 혀의 위치를탐지하는 인터페이스를 개발하였다.또한, 인터페이스 동작에 악영향을 미치는 두 가지 요인인드리프트 (drift, 전위 기준점이 시간에 따라 서서히 변하는 현상) 및안전도 (electrooculogram, 눈의 움직임에 의한 전위 변화)에 의한간섭을 제거하는 기술을 개발하였다. 간섭 요인을 제거하기 위해행렬의 동시 대각화 (simultaneous diagonalization)를 기반으로 한특징 추출 기법을 이용하여, 눈의 움직임이나 드리프트가 아닌혀의 움직임에만 민감하게 반응하는 특징 값을 얻었다.이 기술을 통해 눈을 움직이는 상황에서도,혀를 왼쪽 및 오른쪽으로 움직이는 동작을 78.7% 의 정확도로2.77초내에 탐지할 수 있었다. 또한 혀의 움직임을 연속적인각도의 형태로 탐지하는 실험에서는 혀를 왼쪽 볼에 접촉시켰을 때를-90도, 오른쪽 볼에 접촉시켰을 때를 90도라할 때, 혀의 방향을 약 18.9도 내의 오차로 탐지하는 것을 확인하였다.개발된 인터페이스를 이용하여, 마비 환자를 도울 수 있는어플리케이션인 Tongue rudder와 GOM-Face를 개발하였다.Tongue rudder는 혀의 움직임을 통해 전동 휠체어를조종할 수 있게 만든 시스템이다. 개발된 인터페이스가 혀의 부드러운움직임을 각도의 형태로 탐지할 수 있다는 장점을 활용하여, 피험자가자동차 핸들을 움직이듯이 부드럽게 휠체어를 움직일 수 있도록 하였다.GOM-Face는 얼굴에서 측정할 수 있는 대표적인 생체 전위인혀 운동 전위, 안전도, 근전도를 동시에 측정 및 분석할수 있는 시스템으로, 눈, 혀, 턱과 관련된 5종류의 운동을탐지할 수 있다. 개발된 GOM-Face를 인간형 로봇에 연결하여,사용자가 로봇의 이동 방향이나 행동(특정 문장을 읽거나,음악을 재생하거나, 사진을 찍는 등)을 조종할 수 있게하여, 마비 환자가 인간형 로봇을 통해외부와 소통할 수 있는 시스템을 개발하였다.이러한 응용 연구를 통해, 개발된 인터페이스가 기존의혀-기계 인터페이스에 비해 갖는 장점, 즉,혀의 움직임을 탐지하기 위해 입 안에 센서를장착할 필요가 없어 위생적이고 편리하며,혀의 부드러운 움직임을 연속적의 각도의 형태로탐지할 수 있다는 점을 확인하였다.

Assistive technologies have been developed for persons withlimb motor disabilities,in order to help them perform daily tasks.The tongue is regarded as a suitable organ for manipulatingassistive devices, because of the following reasons:1) the tongue is directly connected to the brain by cranial nervesso it generally escapes severe damage in most spinal cord injuries andneuromuscular degenerative disorders

2) the tongue consists of special musclesenabling quick and accurate movements with little fatigue

3) tongue movements can be hidden by the mouth cavity, which is a cosmetic advantage.To utilize these advantages, this thesis presents a novel tongue-machineinterface (TMI), which detects tongue positions solely by usingglossokinetic potentials (GKPs) that are bioelectricalpotentials related to tongue movements.This thesis first identify the relation betweenGKP and horizontal tongue movements, and proposea linear model to translate GKP responsesto the direction of the tongue.We also resolve two technical issuesessential to implement a practical interface:1) interference between GKP and drift, and2) interference between GKP and electrooculogram (EOG).For both issues, we exploit the simultaneous diagonalization-basedfeature extraction method to extract the features, which aresensitive only to tongue movements but insensitive toartifact signals from the EOG or drift.With these methods, the developed interface can detectthe occurrence of tongue movements to left and rightwith an accuracy of 78.7 % within 2.77 s,even in the occurrences of eye movements.In the experiment to detect the horizontal directionof the tongue in angular measurement, the interfacecan detect the direction with an accuracy of 18.9°.As a practical example for assistive technology,we apply the developed interface to the tasks of humanoid robotand wheelchair control,which are referred to as "GOM-face" and "Tongue-rudder", respectively.The GOM-face is a multimodal interface integratinga GKP-based tongue machine interface, an EOG-basedgaze-tracking interface, and an EMG-basedteeth-clenching detection interface,by analyzing electric potentials recorded on the face.GOM-face is connected to the humanoid robot,and it enables the patients to execute various patients-assistingtasks, such as walking, speaking a pre-defined sentence,and taking picture.In Tongue-rudder system, the interface is appliedto the task of wheelchair control.Due to the fine-grained controllability of the interface,which can recognize continuous tongue movements, the subjectcan maneuver the wheelchair smoothly in a mannersimilar to driving with a steering wheel.From these applicative researches, we find unique advantages ofthe developed TMI. The interface candetect the tongue's position from the sensors located outside the mouth,so it is more comfortable and hygienic thanexisting TMI techniques that require the injection of sensors ormagnets inside the mouth. Second, the interface enables continuous analogmanipulation, unlike conventional TMIs generate discretely separated commands.Last, the interface can easily be integrated withbioelectrical potentials-based interface systems,such as EOG or EMG-based interfacesas shown in the case of GOM-face, due toGKP's distinctive signal pattern.