VR-Immersion Quantification Using a MR-Compatible Haptic Display

Abstract

Achieving immersion in artificial environments like virtual reality and re- mote control robotics is crucial for users to attain a realistic experience, yet limited sensory information complicates providing full immersion. Immersion entails a sense of presence in the virtual environment and an emotional connec- tion to it. Various techniques have been explored to enhance this immersion, with studies traditionally using qualitative methods like surveys for user en- gagement evaluation. However, these methods fall short in real-time measure- ment and reflecting precise user states. Functional magnetic resonance imaging (fMRI) serves as a non-invasive method enabling the repetitive assessment of neural activity in the brain without radiation exposure. Its application as a quantitative tool for evaluating user engagement within virtual reality enables real-time measurement of immersion levels. This approach holds significance in providing a fundamental basis for the progression of virtual reality technology and the enhancement of user experiences. Conventional haptic devices pose limitations while scanning MRI due to their strong magnetic fields. As a solution, a haptic display compatible with fMRI and linkable to virtual reality was proposed. The research was structured in three primary phases. First, the developed haptic system’s compatibility with fMRI was tested by installing it within the MRI, capturing images with and without the system to statistically compare their compatibility. Second, an analysis of the proposed haptic display was conducted, measuring delay times resulting from pneumatic driven and long transmission lines and exploring the force transmission ratio due to asymmetrical about double-acting cylinder. This led to characterizing the pressure-to-force transfer ratio between chambers and the end force generated. Lastly, brain imaging via fMRI during virtual real- ity tasks with the proposed haptic display determined the impact of haptic feedback presence and synchronization with audiovisual feedback on brain ac- tivation and user immersion. The findings confirmed that synchronized haptic and audiovisual feedback heightened user immersion through increased brain activation.

가상 현실이나 원격 제어 로봇 애플리케이션과 같은 인공적인 환경에서 사용자들이 현실과 유사한 경험을 할 수 있도록 몰입을 달성하는 것은 매우 중요합니다. 그러나 이러한 환경은 제한된 감각 정보로 구성되어 있기 때문에 사용자에게 완전한 몰입형 경험을 제공하기가 어려울 수 있습니다. 몰입은 사용자가 가상 환경 속에서 실제로 그 공간에 존재하는 듯한 느낌과 그 공간과의 감정적 연결을 경험하는 것을 의미합니다. 이러한 몰입을 향상하기 위해 다양한 방법과 기술이 연구되었습니다. 기존 연구들은 사용자의 몰입 수준을 평가하기 위해 설문조사와 같은 정성적인 방법을 사용해 왔습니다. 그러나 정성적인 방법은 실시간으로 몰입 수준을 측정하거나 사용자의 정확한 상태를 반영하는 데 제한이 있습니다. 기능적 자기공명영상(fMRI)은 방사선의 위험 없이 두뇌의 신경 활동을 반복 측정이 가능하여 가상현실에서 사용자의 뇌 활동을 평가하기 위한 정량적 도구로 사용됩니다. fMRI를 통해 사용자의 가상현실 몰입도를 실시간으로 측정함으로써 가상현실 기술 발전과 사용자 경험 향상에 중요한 기반을 제공할 수 있다. 그러나 기존의 자기공명영상(MRI) 기기의 강력한 자기장으로 인해 상용 햅틱 디스플레이에 대한 사용이 제한됩니다. 이에 fMRI와 호환이 가능하며 가상현실과 연동이 가능한 햅틱 디스플레이가 제안되었습니다. 연구는 크게 세 가지 부분으로 진행되었습니다. 첫 번째로, fMRI에 대한 호환성을 검증하기 위해 개발된 햅틱 시스템을 MRI에 설치하여 이미지를 촬영하였습니다. 해당 이미지를 햅틱 시스템이 설치되지 않았을 때 촬영된 이미지와 통계적으로 비교하여 호환성을 검증하였습니다. 두 번째로, 제안된 햅틱 디스플레이를 분석하였습니다. fMRI와의 호환성을 위해 MRI에서 멀리 떨어진 위치에서 공압을 제공하여 햅틱 디스플레이가 구동되기 때문에 이에 따른 지연 시간을 측정하였습니다. 햅틱 디스플레이를 구성하는 비대칭 형태의 복동 실린더로 인해 동일한 압력에도 발생하는 밀어내는 힘과 당기는 힘이 서로 다릅니다. 따라서 이에 실린더 앞뒤 체임버에 공급되는 압력과 실린더 끝에서 측정되는 힘 사이의 전달 비율을 측정하였습니다. 세 번째로, 제안된 햅틱 디스플레이를 사용하여 피실험자가 가상 현실에서 작업을 수행할 때 뇌 활동을 fMRI로 촬영하여 햅틱 피드백의 존재와 시청각 피드백과의 동기화가 뇌 활성화 및 사용자의 몰입도에 미치는 영향을 조사하였습니다. 결과적으로, 단순히 사용자의 손 움직임을 모방하는 데이터 글러브를 사용하였을 때와 달리 햅틱 장치를 사용하여 사용자에게 햅틱 피드백이 주어질 때 몰입과 관련된 감각 및 인지, 주의와 관련된 사용자의 뇌 영역들에 대한 활성화가 높아짐을 보였습니다. 더불어 햅틱 피드백이 시청각 피드백과 시간상으로 비동기화 되었을 때와 비교하여 동기화되었을 때 더 높은 활성화가 나타나는 것을 보임으로써 실험에서 나타난 사용자의 뇌 활성화가 몰입으로 인해 유도된 것임을 입증하였습니다.