1인칭 슈팅 게임을 위한 실시간 다중촉감 청-촉각 변환 시스템

Abstract

영화와 게임 등과 같은 멀티미디어 콘텐츠를 감상할 때 적절한 햅틱 피드백을 제공하는 것은 사실감, 몰입감 등 사용자 경험을 향상시킨다. 적절한 햅틱 피드백의 수동 저작에 필요한 비용이 커 햅틱 피듭백 저작을 자동화하려는 시도들이 계속되어왔다. 콘텐츠의 소리를 이용한 방법은 그러한 시도들 중 한 종류이다. 하지만, 소리를 이용한 기존의 청-촉각 변환은 그 맥락에 대한 정보를 반영하지 못하거나, 진동만을 사용한 단일 모달리티의 햅틱 피드백만 제공하여 표현 가능한 범위에 한계가 있다.

본 연구에서는 일인칭 슈팅 게임 플레이 중 발생하는 소리에 상응하는 햅틱 피드백을 자동으로 생성해주는 자동화된 실시간 다중촉감 청-촉각 변환 시스템을 제시한다. 이 시스템은 실시간으로 현재 순간의 소리가 햅틱 피드백을 제공하기에 적절한지 감지하며, 감지된 소리를 진동과 더불어 짧고 강한 힘을 표현하는 임팩트 효과로도 표현한다. 햅틱 피드백의 제공 여부와 그 종류의 판별은 소리로부터 MFCC와 음향심리학적 특징들로 이루어진 총 25차원의 특징 벡터를 구성하고, 이를 머신 러닝을 이용한 분류기에 대입하여 수행된다. 분류기를 거쳐 결정된 햅틱 피드백은 렌더링 알고리즘을 거쳐 최종적으로 사용자에게 제공된다. 기존 청-촉각 변환 방법들과 비교하여 본 연구에서 개발된 시스템의 주관적 품질을 평가하기 위해 사용자 실험을 진행했다. 그 결과, 우리의 다중촉감 청-촉각 변환 시스템이 더 긍정적인 사용자 경험으로 이어질 수 있다는 것을 보여주었다.

Providing haptic feedback suitable for multimedia content such as movies and games can improve user experiences. Due to the high cost of manual authoring of appropriate haptic feedback, there have been several attempts to automate haptic feedback authoring. One of those attempts is using the sound of the multimedia content to create haptic feedback. However, the existing audio-to-haptic conversion methods do not reflect information on the context of the content or have a limited range of expression as they utilize a single haptic feedback modality only; the vibrotactile feedback.

This thesis presents an automated real-time multimodal audio-to-haptic conversion system that generates multimodal haptic feedback corresponding to the sound of first-person shooting games. The system detects whether the sound of the current moment is appropriate to provide haptic feedback, and expresses the detected sound with both vibrotactile and impact feedback, the latter of which provides a single strong striking sensation, in real-time. To determine whether haptic feedback is provided and which type of haptic feedback should be provided, we extract 25-dimensional feature vectors consisting of psychoacoustics-based and MFCC-based features from audio stream, and we pass them into a machine learning-based classifier. The haptic feedback determined through the classifier is provided to the user through our haptic rendering algorithm. We conducted a user study to assess the subjective quality of our system compared to the existing conversion methods. The results showed that our multimodal audio-to-haptic conversion system could lead to a more positive user experience.