Human-like Haptic Assistance: Performance-based Haptic Assistance Using Neural Networks for Driving Skill Enhancement and Training

Abstract

A driving skill is a routine sensorimotor skill, regarded as a fascinating but a challenging research target in the area of sensorimotor skill control and learning. In this thesis, we propose human-like haptic assistance, an advanced data-driven framework using artificial neural networks and performance-based haptic feedback, for driving skill enhancement and training. As an initial study, we conducted a training experiment to show the feasibility of hybrid haptic assistance that combines two haptic assistance methods (haptic guidance and disturbance) for virtual steering task. In the hybrid scheme, haptic guidance is used in the initial phase of learning, but it is progressively turned into haptic disturbance as the learner’s performance improves. Experimental results indicates some advantages of hybrid scheme, but did not show statistically significant differences in any retention tests. To extend the prior work to practical driving, we developed a haptic driving training simulator which can provide realistic driving experiences. We recruited experienced drivers and recorded their driving data by using the simulator. Then, we trained neural networks with the collected data to obtain the optimized skill models which can predict the expert drivers' steering and pedaling behavior. We tried to show the validity and applicability of our modeling approach in human experiments. In results, our approach was valid to extract expert driving skills. However, only the steering model was applicable to performance-based haptic feedback. Therefore, we implemented an autopilot algorithm using both expert skill models instead of performance-based haptic feedback, and conducted a test of autopilot runs on various paths. In results, the autopilot algorithm utilized by expert skill models can complete driving on every path. Further, we found the simulator can shows a steering control similar to human behavior due to the models trained by human expert drivers. Therefore, we named our framework as human-like haptic assistance, and we implemented human-like haptic guidance under this framework. We conducted a final training experiment comparing two performance-based, progressive haptic assistance methods for steering skill: human-like haptic guidance and conventional robotic haptic guidance. In results, human-like haptic guidance showed a better performance improvement than robotic haptic guidance in both the accuracy and stability, because it mirrors an intrinsic nature of human steering skill. In conclusion, our human-like haptic assistance can be effective on driving skill enhancement and training, and also it can be extendable to other sensorimotor skills such as trajectory-following.

운전 기능은 실용성 및 연구적 필요성이 높은 대표적인 감각운동 기능이다. 본 논문에서 저자는 운전 기능의 향상과 교육을 목적으로 하는 인간-유사 햅틱 어시스턴스를 제시한다. 인간-유사 햅틱 어시스턴스는 신경망 알고리즘과 성능-기반 햅틱 피드백을 사용하는 새로운 형태의 데이터 주도 햅틱 어시스턴스 프레임워크라고 할 수 있다. 사전 연구로 저자는 혼합형 햅틱 어시스턴스라고 부르는, 기존 두 가지의 성능-기반 햅틱 어시스턴스(햅틱 가이던스 및 디스터번스)를 혼합한 어시스턴스 방법을 개발하고 이를 이용하여 가상 조향 기능을 교육하는 실험을 진행하였다. 이 혼합형 방법은 교육 초반에는 햅틱 가이던스가 사용되지만 훈련자의 성능에 따라 점진적으로 햅틱 디스터번스로 변화하는 형태를 가지고 있으며, 실험 결과 해당 방법의 다양한 장점을 확인할 수 있었으나 통계적 유의성은 확보할 수 없었다. 저자는 이러한 사전 연구를 확장시켜 더욱 실제 상황과 유사한 운전 교육을 진행하고자 하였고, 이를 위해 실제와 유사한 시뮬레이션이 가능한 햅틱 운전 훈련 시뮬레이터를 개발하였다. 그리고 전문가 모델 수립을 목적으로 시뮬레이터를 통해 숙련된 운전자의 운전 데이터를 수집, 수집한 데이터로 인공 신경망을 훈련시켰다. 그 결과, 인공 신경망을 통해 전문가의 성공적인 운전 기능(조향 및 페달)을 예측값을 제공할 수 있는 최적화된 기능 모델을 개발할 수 있었다. 수립한 기능 모델의 타당성 및 성능-기반 햅틱 피드백에의 적용 가능성을 확인하기 위한 사용자 실험을 진행한 결과, 우리의 방법이 전문가의 조향 및 페달 양상을 타당하게 추출하는 것을 확인하였다. 단, 성능-기반 햅틱 피드백의 적용 가능성에 대해서는 조향 모델에 대해서만 확보할 수 있었다. 이에 따라 저자는 해당 전문가 모델을 사용하여 성능-기반 햅틱 피드백이 아닌 자율주행 알고리즘을 개발, 다양한 도로 상황에서의 자율주행 테스트를 진행하였다. 그 결과 우리의 기능 모델로 개발된 자율 주행 알고리즘이 모든 도로에서 성공적인 주행이 가능하다는 사실이 확인되었으며, 특히 시뮬레이터의 주행 자체가 인간 전문가에 의해 개발된 모델 덕에 인간과 유사한 조향 양상을 보인다는 사실을 확인하였다. 이에 따라 저자는 본 논문의 프레임워크를 인간-유사 어시스턴스로 명명하였고, 프레임워크를 충실하게 따르는 인간-유사 가이던스를 개발하였다. 그리고 대조군인 기존 로봇 가이던스에 대비하여 인간-유사 가이던스가 조향 기능 교육에 가지는 이점을 확인하기 위해 두 방법 각각에 성능-기반 점진적 알고리즘을 적용, 최종적인 조향 기능 교육 실험을 진행하였다. 실험 결과, 로봇 가이던스 교육 방법에 비해 인간-유사 가이던스 교육 방법이 조향의 정확성 및 안정성 모두를 더욱 높게 향상시킬 수 있다는 사실을 확인하였으며, 이는 인간-유사 가이던스가 인간의 자연스러운 조향 양상을 반영하기 때문으로 이해할 수 있다. 따라서, 저자는 우리의 인간-유사 햅틱 어시스턴스 방법이 운전 기능의 향상 및 교육에 모두 효과를 나타낸다는 사실을 입증할 수 있었으며, 궤도-추적과 같은 다른 감각운동 기능 교육에도 해당 프레임워크가 확장될 수 있을 것으로 기대한다.