햅틱 증강현실: 실제 물체의 강도 변경

Abstract

햅틱증강현실이란 가상과 실제의 촉각정보를 혼합하여 사용자에게 제공함으로써 증강된 실제 환경을 만들어 내는 기술이다. 예를 들어, 햅틱증강현실은 의학도들의 암 진단 훈련을 위해 실제 마네킹 내부에 가상의 종기를 만들어 낼 수 있고, 학생들이 시간적 공간적 제약 없이 이를 촉진하면서 훈련을 수행할 수 있게 한다. 그러나 햅틱 증강현실의 큰 가능성에도 불구하고 지금까지 이러한 기능을 수행하기 위한 일반적이고 체계적인 방법론은 거의 제시되지 않았다. 본 연구는 햅틱증강현실을 위한 일반적이고 체계적인 방법론, 즉 ``햅틱 AR Toolkit'', 을 개발하는 것을 최종 목표로 삼는다. 본 연구에서는 우선 아직 개념조차 정립되지 않은 햅틱증강현실 연구 분야를 명확히 하고 햅틱증강현실 시스템의 분류를 위한 분류법을 제안하였다. Milgram이 제안한 시각을 위한 실제-가상 수직선 (Reality-Virtuality Continuum)을 촉각으로 확장하여 시-촉각 수직선을 만들고, 이를 이용해 기존의 햅틱증강현실 관련 문헌 및 시스템을 분류, 분석하고 관련 연구 이슈들을 도출하였다. 분석 결과, 햅틱증강현실을 현실화하기 가장 필요한 기능은 가상의 햅틱 피드백을 이용해 실제 물체의 햅틱속성(강도, 마찰력 등)을 변경해 주는 기능이라는 것을 알 수 있었다. 이 개념의 실현가능성을 보기 위해 우선 본 연구에서는 가장 중요한 촉감속성중의 하나인 강도 (Stiffness)를 선택하고 실제물체의 강도를 변경시키는 방법을 개발하였다. 이를 위해 상용 햅틱 장치에 힘 측정 장치를 달고, 실제물체와 햅틱장치 끝단과의 충돌검사, 실체물체의 기하학적인 정보 없이 물체 변형정도 추정, 원하는 강도를 렌더링 하기 위해 햅틱장치가 내야 하는 힘 계산 및 햅틱장치의 제어 등을 위한 알고리즘들을 개발하였다. 각각은 난이도에 따라 단계적으로 개발되었는데, 우선 간단한 1차원 두드리기 동작을 위한 알고리즘을 개발하고 이를 긁기, 윤곽 따라가기 등의 3차원 동작을 지원하는 시스템으로 확장하였다. 특히, 모든 알고리즘들은 증강현실 시스템의 적용 가능성을 높이기 위해 실제 환경 모델링을 위한 전처리 과정을 최소화 하는 방향으로 설계되었다. 다양한 실제 물체에 대해서 각각의 알고리즘들의 물리적인 성능평가가 수행되었고, 전체 시스템의 인지적인 평가를 위해 사용자를 대상으로 한 정신물리학 실험이 수행되었다. 성능평가 결과 본 시스템은 인지적으로 충분히 만족할만한 성능이라는 것이 검증되었다. 다음으로, 햅틱증강현실의 적용 가능성을 알아보기 위해 전술한 의학도를 위한 유방암 검사 훈련에 강도변경 시스템을 적용하였다. 실제 실리콘으로 만들어진 유방 모형 안에 실제 종기모형의 촉감 데이터를 기반으로 렌더링 된 가상의 딱딱한 종기를 제공함으로써 훈련 시스템의 사실성을 높였다. 훈련시스템의 사용성 평가 결과 본 시스템은 실제 연습용 모형을 사용하는 훈련 시스템과 성능 적으로 차이가 없으면서 좀 더 유연한 환경을 사용자에게 제공할 수 있었다. 최종적으로 본 햅틱증강현실 기술은 기존의 시각증강현실 시스템과 통합되어 시-촉각 증강현실 시스템을 구성하고, 이를 위의 가상의 종기모형을 가시화 하는데 응용되었다.

Haptic Augmented Reality (AR) enables a user to feel a real environment augmented with synthetic haptic stimuli. For instance, medical students can palpate a virtual tumor inside a real mannequin using a haptic AR system to practice cancer detection. To realize such functionalities, we need to alter the haptic attributes, such as stiffness and friction of a real object by means of virtual haptic feedback. Despite its potential, attempts to develop systematic and general computational algorithms for such functionalities of haptic AR have been scanty. This dissertation aims at developing a systematic and sophisticated methodology for haptic AR, i.e., a ``haptic AR toolKit.'' Towards this goal, the author begins with establishing a new taxonomy for haptic AR based on a composite visuo-haptic reality-virtuality continuum extended from the conventional continuum for vision. Previous studies related to haptic AR are reviewed and classified using the composite continuum, and associated research issues are discussed. Second, the feasibility of haptically modulating the feel of a real object with the aid of virtual force feedback is investigated, with the stiffness as a goal haptic property. A commercial haptic interface is extended with a force sensor, and all required algorithms for contact detection, stiffness modulation, and force control are developed for 1D interaction of tapping. Their individual performances are thoroughly evaluated. The resulting haptic AR system is also assessed in a psychophysical experiment, demonstrating its competent perceptual performance for stiffness modulation. Third, the initial system is extended so that a user can interact with a real object in any 3D exploratory patterns while perceiving its augmented stiffness. A series of new algorithms for 3D interaction of tapping, stroking, and contour following are developed for contact detection, deformation estimation, force rendering, and force control. A particular focus has been on minimizing the amount of preprocessing such as geometry modeling while preserving reasonable perceptual performance. The physical and perceptual performances of algorithms are also thoroughly evaluated with real samples. Our haptic AR system can provide convincing stiffness modulation for real objects of relatively homogeneous deformation properties. Fourth, to demonstrate the potential of haptic AR, a case study is presented for physical training of breast cancer palpation. A real breast model made of soft silicone is augmented with a virtual tumor rendered inside. Haptic stimuli for the virtual tumor are generated based on a contact dynamics model identified via real measurements. A subjective evaluation confirmed the realism and fidelity of our palpation system. Finally, the haptic AR system is combined to the state-of-the-art visual AR framework, enabling the augmentation of both the real visual and haptic environment seamlessly with virtual information.