복합 촉감 자극의 인지적 및 감성적 특성

Abstract

Tactile stimuli are widely used in recent human-computer interaction (HCI) applications, but their roles generally have been limited to delivering simple information. Recent advances of vibrotactile actuator and rendering enable us to generate more diverse and complex vibrotactile stimuli, which can help to expand roles of tactile stimuli. However, such complex stimuli could not have chances to show their potential in interactions yet, since we have lack of understandings of the perceptual characteristics of them. Moreover, large extents of their emotional characteristics have not been unveiled, although touch is the most affective and empathetic sense among the five senses of the human. Therefore, in this research, we investigate the perceptual and affective characteristics of complex tactile stimuli, as well as suggest some applications of them.

As perceptual characteristics, we investigated the perceived intensity of superimposed vibrations, which is the most fundamental property. Using the stimulus power absorbed by the skin as a metric, we found a simple way to estimate the perceived intensities of superimposed vibrations and verified it through a user study. Then we focused on the qualitative characteristics. Based on the concept of musical chords, we evaluated the degree of consonance (perceived harmony) for superimposed vibrations. Experimental results showed a well-structured relationship between the degree of consonance and two frequencies. We also conducted a large-scale survey that sought appropriate verbal expressions to describe the subjective quality of vibrotactile sensations. Expressions of heaviness and thickness were frequently chosen to describe single frequency vibrations' sensations, and dual-frequency superimposed vibrations were described by fastness, denseness, and bumpiness, bearing a more physical meaning. The low-frequency components such as the beat of superimposed vibrations were described by roughness and bumpiness. Based on these findings, we conducted magnitude estimation experiments for perceived heaviness, roughness, and bumpiness to confirm their appropriateness to express the subjective quality of sensations. The results showed clear relationships between the physical parameters of stimuli and the perceived degree of the subjective quality of sensations. The degree of heaviness is correlated with the frequency components, while those of bumpiness and roughness are highly dependent on the superposition ratio.

In addition to perceptual characteristics, we investigated the emotional properties of complex tactile stimuli. Using the valence-arousal space (VA space), we measured the valence and arousal of various vibrotactile stimuli in user experiments. The results indicated that four parameters-amplitude, carrier frequency, duration, and envelope frequency-showed clear relationships to the valence and arousal of tactile stimuli. Then, we measured emotional responses of multimodal vibrotactile-thermal stimuli. The results indicated that constant temperature stimuli generally shift and intensify the emotional responses of vibrotactile stimuli while preserving the effects of the vibrotactile parameters. However, responses of vibrotactile stimuli with varying temperatures showed a different tendency. Vibrotactile parameters such as frequency and amplitude have considerable effects on arousal, while less on valence. Thermal parameters such as direction (cooling/warming) and extent of temperature change are closely related to valence rating, but rarely related arousal.

Finally, to explore the applicability of the complex tactile stimuli, we suggested two applications. First, we made an adjective-based authoring tool, provide an easier design of superimposed vibrations on an adjectival space. The adjectival space is a 1D or a 2D Cartesian space with adjectival axes that represent the perceived degrees of subjective quality of sensation corresponding to the expressions. We utilized the experimental results abovementioned to build them. The results of user experiment showed the adjective-based authoring is useful and intuitive for composing complex vibrations. Second, we suggested a concept called emotional augmentation, means adding haptic stimuli to convert or enhance the existing emotional contents. We validated this by a user experiment with some emojis which have strong emotional meanings. Experimental results indicate that 1) high-frequency vibrations increased arousal, while low-frequency vibrations decreased valence, 2) warming stimuli increased arousal and decreased valence for both positive and negative emojis while cooling stimuli intensify valence ratings. In the post-hoc survey, a considerable number of participants mentioned that sometimes they felt different emotional meanings from the original ones by adding tactile stimuli. Some of them pointed out that adding vibrations which have similar emotional responses (emotionally congruent stimuli) generally enhance the original emotional meaning elicited by emojis and vice versa; supports the valence-arousal rating results.

촉감 자극은 모바일 기기, 웨어러블 기기 등 다양한 인간-컴퓨터 상호작용에 응용되고 있으나, 그 역할은 비교적 단순한 의미 혹은 정보 전달에 그치고 있다. 이러한 문제를 해결하기 위하여 다양한 형태의 촉감을 제공하는 액츄에이터가 개발되었으며, 복잡한 형태의 진동을 효율적으로 사용자에게 전달하기 위한 기법들이 연구되는 등 많은 진전이 있었으나, 이들 다양하고 복잡한 형태의 촉감들은 아직까지 그 인지적 및 감성적 특성에 대한 연구가 이루어지지 않은 바 실제 활용된 사례가 매우 드물다. 이와 더불어, 촉감이 가지는 그 특유의 감성적 특성이 있음에도 불구하고 이와 관련된 연구 또한 아직까지 매우 미흡한 실정이다. 따라서, 본 연구에서는 이러한 문제를 해결하기 위하여 촉감 자극, 그 중에서도 중첩 진동자극을 이용한 진동촉감 및 열 촉감의 복합 촉감 자극들에 대하여 그 인지 및 감성적인 특성을 조사하고, 복합 촉감 자극의 활용 가능성을 알아보기 위한 응용 사례를 제시하였다.

인지적 특성으로는 기존에 잘 알려져 있지 않은 중첩 진동 자극의 인지 강도와 정성적인 특성들에 대한 조사를 수행하였다. 피부에 흡수되는 진동 에너지의 추정치를 기반으로, 개별 주파수 성분의 인지 강도의 삼각 합(피타고리안 합)을 이용한 중첩 진동의 인지 강도 추정 방법을 제안하고 이를 실험을 통하여 검증하였다. 정성적 특성으로는 우선 중첩 진동의 협화도 음악의 화음 개념을 바탕으로, 인지적인 어울림의 척도인 협화도 개념을 진동에 적용하여 진동 화음의 어울림 정도를 조사하였다. 그 결과 협화도는 진동 주파수 및 주파수의 중첩비 (f1 : f2)의 함수 형태로 나타낼 수 있었으며, `고르다', `부드럽다', `깨끗하다' 등의 형용사 표현과 관련이 있었다. 이를 시작으로, 우리는 정성적 특성을 잘 나타낼 수 있는 표현 및 어휘에 주목하여, 대규모의 설문조사를 수행하여 진동 촉감의 정성적인 느낌을 표현하기 적합한 어휘를 도출하였다. 조사 결과 단일 주파수 사인파 진동의 느낌은 무게감(가벼움-무거움) 및 두께감(얇음--두꺼움)으로, 중첩 진동의 경우는 속도(느림-빠름), 밀도(듬성듬성함-빽빽함), 굴곡감(울퉁불퉁함-평평함)과 관련된 어휘로 주로 표현되었으며, 특히 중첩 진동의 경우는 물리적인 의미보다 비유적으로 활용되는 것을 볼 수 있었다. 또한, 거칠기 및 굴곡감은 중첩 진동의 맥놀이(beat)와 같은 저주파수 성분을 표현하는 데 자주 사용되었다. 이들 결과를 바탕으로, 무게감, 거칠기, 굴곡감의 세 가지 어휘를 대상으로 진동의 물리적 특성에 따라 정성적 특성, 즉 느낌이 어떻게 변화하는지를 수치적으로 알아보기 위한 강도 추정 실험을 수행하였다. 강도 추정 실험 결과 주파수가 높아지고, 강도가 약해질수록 무게감, 거칠기, 굴곡감이 모두 감소, 즉 가볍고, 매끈하며, 평평하게 느껴지며, 낮은 주파수 및 강한 진동은 그 반대의 양상을 보였다. 중첩 진동의 중첩비는 1을 약간 상회하는 (1.1--1.3) 구간에서 거칠기와 굴곡감을 큰 폭으로 상승시키는 것을 확인할 수 있었다.

촉감 자극의 감성적 특성 또한 조사하였다. 감성의 정량적 표현에 널리 쓰이는 Russell의 Circumplex model을 사용하여, Valence와 Arousal 두 개의 파라미터로 진동 및 열자극의 감성적 특성을 사용자 실험을 통하여 조사하였다. 그 결과, 진동의 주파수, 강도, 길이 및 엔벨로프(envelope) 모두 두 가지 감성 파라미터에 유의미한 영향을 줌을 확인할 수 있었으며, 대표적으로 주파수가 높아질수록 Valence가 증가하고, 강도가 강해지고 길이가 길어질 수록 Arousal이 증가하며, 엔벨로프 주파수가 증가하면 Valence가 감소하였다. 또한, 상온 자극의 온도에 따라 Valence 및 Arousal, 즉 감성 반응 결과가 이동하는 것을 볼 수 있었는데, 특히 고온 자극의 경우 부정적이고 강렬한 (negative valence, high arousal) 방향으로 이동하는 것을 관찰할 수 있었다. 그러나, 뜨거워지거나 차가워지는 등 온도가 변화하는 자극과 진동을 동시에 제공하는 경우에는 감성 반응의 경향이 상당히 달라지는 것을 확인할 수 있었다. 온도 변화 열자극과 진동이 동시에 주어지는 경우, 진동의 주파수 및 강도는 모두 Arousal의 변화를 가져왔으며, valence에 미치는 영향은 크게 줄어들었다.

복합 촉감 자극의 활용 가능성을 알아보기 위해, 위 연구 결과를 활용하는 응용 연구 또한 진행하였다. 우선, 형용사 표현을 이용하여 정성적인 특성의 정도를 수치화한 실험 결과를 바탕으로 `형용사 공간' 및 이를 이용한 진동 저작 방법을 제안하고, 기존의 주파수 등 파라미터를 직접 조절하는 저작 방식과 사용성을 비교하였다. 그 결과 파라미터의 개수가 2개 이상인 복잡한 형태의 진동을 저작함에 있어서 형용사 공간을 이용한 저작이 결과물 및 사용자 선호 측면에서 기존 방법보다 더 우수함을 보임을 확인하였다. 마지막으로, 촉감 자극의 감성적 응용 사례로 촉감을 이용하여 기존의 콘텐츠에 존재하는 감성적인 의미를 변화시키는 감성 증강(emotion augmentation)의 개념을 제안하고, 실험을 통하여 그 가능성을 확인하였다. 실험에서는 감정적인 의미를 강하게 나타내는 시각 이모티콘들을 대상으로, 진동과 열촉감 자극을 더하여 감각적으로 증강시켰을 때 사용자들이 느끼는 감성이 어떻게 바뀌는지 조사하였다. 실험 결과, 1) 고주파 진동은 arousal만을 증가시키고 저주파 진동은 valence만을 감소시키며, 2) 온열감(warming)은 전반적으로 arousal 증가, valence 감소를 보였다. 또한, 냉감(cooling) 자극은 이모티콘의 긍정/부정의 정도를 강화하는 모습 또한 발견할 수 있었다. 이들 결과를 통하여, 촉감을 통하여 시각 등의 콘텐츠에 존재하는 감정을 어느 정도 변화시킬 수 있음을 확인할 수 있었다. 실험 후 설문조사 결과, 다수의 피실험자들은 촉감이 더해짐으로써 이모티콘의 본래 의미와는 다른 감정을 느낄 수 있었다고 응답하였으며, 또한 일부 피실험자는 촉감과 이모티콘의 감성적 특성이 잘 어울릴 경우 감정의 폭을 증대시켜주며, 그렇지 않을 경우 그 반대라는 응답을 하였다.