비균일 햅틱 정보의 모델링 및 전달

Abstract

많은 햅틱 응용 프로그램에서 비균일한 햅틱 정보를 다루는 것은 중요한 요소이다. 특히 의생물 분야의 정보는 본질적으로 비균일하며 의료 햅틱 응용에서는 비균일한 정보 사이의 상호작용으로 발생하는 정보를 모델링하고 재생할 수 있는 복잡하고 효좌적인 햅틱 알고리즘을 필요로 한다. 이 박사학위 논문에서는 비균일한 햅틱 정보를 다루고 전달하는 두 가지 주요한 응용 분야를 다루기로 한다.

우리는 먼저 비균일한 동적 변형을 보여주는 실제 물체의 거동을 모델링하고 렌더링하는 것에 초점을 두었다. 이를 위해 우리는 실제 물체로 부터 측정하고 저장한 햅틱 정보를 바탕으로 하고 이를 보간하여 제시하는 "data-driven haptics" 방법론을 이용하였다. 이 방법론은 다양한 범위의 물리적인 현상을 하나의 프레임 워크로 다룰 수 있다. 우리의 프레임 워크는 특히 수평적인 방향의 비균일적인 성질, 즉 마찰과 제한 되지 않은 거동 즉 미끄지거나 문지르는 거동을 정확하게 측정하고 렌더링 할 수 있었으며, 이는 햅틱 모델링 및 렌더링 방법론에 있어 첫번째 시도이다. 중요한 요소는 물체와 프로브 사이의 sliding/stick state를 표현하는 slding yield surface를 이용한 proxy 거동의 시뮬레이션이다. 전처리 과정 동안 sliding yield surface는 자동적으로 물체와 상호작용하며 작성된다. 내부적인 radial-basis function도 전처리 과정동안 계산된다. 렌더링 시에 proxy의 위치는 sliding yield surface 모델을 이용하여 추정되며 radial basis interpolation model의 입력으로 이용된다. 우리의 성능 평가에 따르면 이 프레임 워크는 대체로 0.5N 이하의 힘 에러를 수직, 수평방향으로 보여주었다.

두 번째 목적은 비균일한 과학 정보의 인지적으로 정확한 전달이다. 과학정보 내부의 비균일 성은 포함된 정보를 사용자가 잘못 이해하도록 할수 있다. 예를 들어 AFM을 이용한 물체의 강성과 형태 정보를 전달할 때, 기존의 균일 강체를 전달하기 위해 개발된 햅틱 렌더링 알고리즘은 정확한 정보 전달에 실패할 수 있다. 최악의 경우, 낮은 강성을 가진 높은 위치를 높은 강성을 가진 낮은 위치 보다 낮게 인지할 수 있는 것이다. 이 문제는 사용자가 물체의 형태를 알고자 할 때 일정한 힘을 가하면서 만진다는 force constancy 이론을 통해 설명할 수 있다. 이 논문에서는 메쉬 형태로 표현한 물체의 형태과 강성을 전달하는 topography compensation algorithm for mesh를 제시하고 검증하였다. 이 알고리즘은 force constancy를 바탕으로 물체의 형태를 변형하여 사용자가 정확한 강성 정보와 형태 정보를 모두 느낄 수 있게 한다.. 또한 기존의 햅틱 렌더링 알고리즘의 렌더링 결과를 비교하고 사용자의 실험도 수행하여 제시한 알고리즘의 성능을 평가하였다. 그 결과 우리의 알고리즘은 물체의 형태를 더 잘 느끼게 하고 그에 걸리는 시간도 줄여 더 정확하고 효과적인 정보 지각화가 가능하게 하였다.

Dealing with inhomogeneous haptic data is of importance in many haptic applications. In particular, biomedical data are essentially inhomogeneous, and medical haptic applications usually need sophisticated and efficient computational algorithms for modeling and simulating relevant signals generated from the interaction among inhomogeneous objects. This dissertation presents two core examples for modeling and transferring such inhomogeneous haptic data.

Our first effort focuses on capturing and rendering the behaviors of real objects of inhomogeneous deformation dynamics. We adapted a framework of the "data-driven haptics," where the response forces are modeled based on the recorded haptic data, and they are reproduced using an interpolation schemes. This approach can capture and display a diverse range of physical phenomena within one framework. In particular, inhomogeneity in lateral force, i.e., friction, in an unconstrained movement, e.g., stroking and rubbing for sliding exploration, can be accurately captured and rendered with our framework, which is one of the first attempts in the haptic modeling and rendering literature. The core point is the simulation of proxy point (actual contact point) movement based on sliding yield surface models, which possess necessary information for separating sliding and sticking states. In an off-line process, sliding yield surface models are built through an automatic palpation of a target real object. Internal radial-basis models are also modeled in the off-line process. During rendering, the movement of a proxy point is estimated using the sliding yield surface models, which becomes an input parameter of the radial basis interpolation models. Based on our performance evaluation, our framework shows less than 0.5N force error ratio in most cases, both in normal lateral direction.

The second example of this dissertation presents a computational algorithm for perceptually-correct haptization of inhomogeneous scientific data captured from the real environment. Inhomogeneity in scientific data may lead a user to misunderstand embedded information. An example of such cases is stiffness data captured by AFM, where conventional haptic rendering algorithms fail to deliver perceptually correct information to the users. In the worst case, a higher region with a smaller stiffness value can be perceived to be lower than a lower region with a larger stiffness value. This problem was explained by the theory of force constancy: the user tends to maintain an invariant contact force when s/he strokes the surface to perceive its topography. In this dissertation, we developed and evaluated a topography compensation algorithm for mesh object that can render the shape of a mesh surface and its stiffness distribution. This algorithm adaptively changes the surface topography on the basis of the force constancy theory to deliver adequate shape information to the user while preserving the stiffness perception. The performance of the proposed haptization algorithm is evaluated in comparison to the constraint-based algorithm by examining relevant proximal stimuli and carrying out a user experiment. Results demonstrated that our algorithm could improve the perceptual accuracy of shape and reduce the exploration time, thereby leading to more accurate and efficient haptization.