Saliency-driven Real-time Tactile Effect Authoring

Abstract

New-generation media such as the 4D film have appeared lately to deliver immersive physical experiences, yet the authoring has relied on content artists, impeding the popularization of such media. An automated approach for the authoring becomes increasingly crucial in lowering production costs and saving user interruption. This paper presents a fully automated framework of authoring tactile effects from existing video images to render synchronized visuotactile stimuli in real time. The spatiotemporal features of video images are analyzed in terms of visual saliency and translated into tactile cues that are rendered on tactors installed on a chair. A user study was conducted to evaluate the usability of visuotactile rendering against visual-only presentation. The result indicated that the visuotactile rendering can improve the movie to be more interesting, immersive, appealing, and understandable. However because the initial algorithm had a weakness in extracting salient areas in realworld situations, the algorithm was revised for improvement. Another user study was conducted to evaluate the usability of visuotactile rendering against the initial method, manual authoring, and visual-only presentation. The result elucidated that the new approach fixed the previous problem and improved the visualtactile environment.

3D효과에 물리적효과가 추가 된 4D영상은 4D영화관이나 써드파티등의 하드웨어를 통해서 손쉽게 감상할 수 있다. 영상을 감상하면서 시각 및 촉각적인 느낌이 동시에 제공 되는 경우 정보전달 및 흥미유발에 도움을 주지만 그 제작에 있어 많은 노력과 시간이 필요하다. 본 논문에서는 동영상 내 주변보다 주목성을 갖는 두드러진 대상에 대하여 공간적 및 시간적 주목도를 이용하여 영상의 시각적 주목도를 자동으로 만들고 이를 바탕으로 촉각적 주목도를 완성하여 촉각 자극을 주며, 이렇게 만든 촉각 자극과 주어진 하드웨어의 성능적 한계를 인식하여 인지적 조화에 문제가 없이 시촉감각적 자극을 동시에 제공하는 알고리즘을 제안한다. 시각적주목도를 바탕으로 이진역치방법과 다운샘플링을 통해서 구해진 촉감렌더링 방법은 가장 기본이 되는 공이 나타났다 사라짐을 반복하는 영상과 공의 영상에 선형적 동작이 추가 된 영상, 그리고 실제 영상으로 동물원에서 곰이 나타나는 것을 촬영한 영상, 총 세 가지 영상에 대한 사용자평가실험을 진행했다. 시촉감각적 자극을 동시에 제공하기 위해 특별 제작된 햅틱 의자를 이용하였다. 하드웨어의 특성인 구동지연시간때문에 시각과 동기화가 어려운 점을 고려하여 하드웨어의 성격을 재어 하드웨어 지연시간 보상 알고리즘을 구성해주었다. 또한 사용자에게 보다 뚜렷한 효과를 주기 위해 구한 촉감지도 중 그 크기가 가장 큰 세 가지의 셀을 골라 해당하는 진동을 제공해주었다. 이렇게 구성한 알고리즘을 바탕으로 변환된 촉각 주목도 지도들과 함께 촉각 효과를 사용자에게 실시간으로 전할 수 있다. 사용자평가실험 결과 비촉감렌더링 방법보다 몰입감을 증가시키고, 흥미도를 증가시키고, 선호도가 증가되고, 이해도 역시 증가한다고 나왔다. 하지만 마지막영상인 실제 영상에서의 시촉감각적 효과 제공은 알고리즘이 정확하게 시각효과를 촉각효과로 변환해주지 못하여 사용자에게 되려 혼돈을 주기도 하였다. 이에 따라 촉감렌더링방법 개선이 필요하게 되었다. 개선된 방법은 영상의 대비조정향상방법과 역치방법을 거쳐서 다운샘플링을 하여 촉감지도를 완성하였으며 연속적인 촉감효과를 제공하기 위해 이동평균필터를 적용하였으며 다시 데드존 과정을 통해 촉감효과를 강조하기 위해 주목도가 낮은 부분을 제거하여 사용자에게 촉감효과를 제공하였다. 개선된 알고리즘 또한 사용자에게 보다 뚜렷한 효과를 주기 위해 구한 촉감지도 중 그 크기가 가장 큰 세 가지의 셀을 골라 해당하는 진동을 제공해주었다. 마지막으로 촉감효과를 제공해주는 촉감의자의 진동 해상도를 높여 사용자에게 풍부한 느낌을 제공하였다. 개선된 알고리즘의 유용성을 알아보기 위해 사용자평가실험을 진행하였으며 이를 위해 이전 사용자평가실험에서 사용되었던 공 영상, 레이싱차들이 경주하고 있는 레이싱영상, 그리고 폭탄이 터져 폭발하는 극적인 영화영상 등 총 세가지 영상이 사용되었다. 비교한 방법으로는 개선한 방법, 첫번째 방법, 수동으로 촉각효과가 저작된 방법, 영상만 제공되는 방법 등 네 가지 방법이 사용되었으며 사용된 설문으로는 기존의 설문과 동일하며 사용자평가 실험 결과 개선된 알고리즘이 촉감효과 비제공방법과 비교하여 통계적으로도 유의하게 좋다는 응답을 얻었다. 하지만 기존의 알고리즘과 비교한 결과는 그 평균수치만 높을 뿐 통계적으로 유의하게 좋다는 결론을 얻지는 못했다. 4D효과 저작에는 시간이 많이 들며 이제는 손쉽게 사용자가 체험할 수 있으며 기존의 연구에서는 촉감효과를 저작하기 위해 저작툴을 만들어서 사용자에게 촉감효과를 제공했으나 본 연구에서는 촉감효과 저작에 걸리는 시간을 단축시키기 위하여 촉감효과를 자동으로 저작하여 사용자에게 제공한다는 점에서 의의가 있다.