음성 사용자 인터페이스에서 음성적 특징이 사용자와의 사회적 관계 형성에 미치는 영향

Abstract

최근 스마트 스피커나 음성 비서와 같이 음성 사용자 인터페이스를 적용한 기기 및 서비스가 다양해지고 있으며, 헬스케어나 마케팅 분야에서도 적용되고 있다. 특히, 심리 상담과 같이 기기와 사용자 사이에 사회적인 관계가 기반이 되는 사회적 기능의 중요성이 증가함에 따라 사용자와 기기 사이의 사회적 관계에 영향을 미치는 요인에 대한 연구들이 진행되고 있다. 하지만, 비대면 상황에서 기기와 사용자간의 사회적 관계를 형성하고 관계를 발전시키기 위한 음성 디자인에 대한 고려가 부족한 실정이다. 음성적 특징은 대상의 성향을 파악하는데 중요한 요소이며, 이를 통해 감정을 표현하여 기기의 사회성을 도입할 수 있다. 또한 음성을 통해 기기의 구별되는 성향을 생성하면 치료에 필요한 수준으로 사회적 관계를 발전시킬 뿐만 아니라 지속적이고 적극적인 사용을 유도할 수 있다. 그러므로 상담과 같은 사회적 상황에서 기기의 음성은 중요하게 고려되어야 한다. 본 연구에서는 음성의 특징을 조절하여 한국어 상황에서 성향을 표현할 수 있는 합성 음성을 제작하고, 합성 음성 성향과 사용자의 성향 조합에 따라 사회적 관계 형성에 미치는 영향에 대해 살펴보고자 하였다. 성향 항목 중 측정 신뢰도가 높고 대인 관계에서 중요하게 판단되는 외향성을 기준으로 합성 음성과 사용자 그룹을 나눴으며 각 그룹별로 나타나는 사회적 반응의 차이를 파악하고자 하였다. 본 연구에서는 실험 1을 통해 24명의 남성 참여자를 대상으로 한국어 상황에서 음성 합성 시스템을 통해 만들어진 외향적인 음성과 내향적인 음성의 차이를 인지하고 구분할 수 있음을 확인하였다. 이후 실험 1 의 합성 음성 검증 결과를 토대로 실험 2 에서는 Wizard of OZ 방법을 통해 외향 혹은 내향 음성을 가진 스마트 스피커와 상담하는 상황에서 사용자가 보이는 자기 공개 정도와 음성 비서에게 느끼는 친밀감과 신뢰감을 알아보고자 하였다. 실험 2 는 총 40 명의 남성 참여자를 대상으로 하였으나, 실험 설계가 미흡하여 음성에 따른 자기 공개 차이를 파악할 수 없었다. 실험 2 에서 나타난 문제점을 보완하여 실험 3 을 다시 설계하였으며, 사용자가 두 가지 성향의 음성과 각각 상호작용하고 사회적 관계를 형성하기 위해 중요한 사회적 반응으로 사회적 존재감과 목소리 선호도, 사회적 호감을 자기 공개와 함께 확인하였다. 실험 3 은 남성 20 명, 여성 20 명의 참여자를 대상으로 진행하였으며, 사회적 존재감과 목소리 선호도, 사회적 호감에서 외향적인 음성을 더 높게 평가한 것을 확인하였다. 또한, 외향적인 성향을 가진 피험자가 사회적 존재감과 사회적 호감에서 합성 음성의 성향에 따라 유의미한 차이를 보이는 것을 확인하였다. 자기 공개에서는 유의미한 차이를 발견할 수 없었지만, 결과적으로 상담과 같은 사회적인 기능을 수행할 때 외향적인 음성이 사회적 관계를 형성에 있어 더 적합함을 확인할 수 있었다. 특히 외향적인 사용자에게 있어 음성적 특징은 사회적 관계를 형성하는데 큰 영향을 미치므로, 이를 고려하여 사회적 기능을 수행하는 음성을 디자인할 필요가 있음을 확인할 수 있었다. 본 연구는 한국어 기반의 음성 합성 시스템에서 외향성을 구분할 수 있는 합성 음성의 특징을 검증하여 실험이나 실제 서비스 및 기기에서 활용할 수 있다는 점에서 의의를 가진다. 또한, 사용자의 성향에 따라 기기의 음성적 특징이 사용자와의 사회적 관계 형성에 미치는 영향을 확인했다는 점에서 음성 사용자 인터페이스의 사회적 관계 연구에 기여했다고 할 수 있다.

Recently, voice user interfaces(VUIs) such as smart speakers and voice assistants have been used in various ways. In healthcare and marketing fields, the importance of social functions such as psychological counseling is increasing, and voice user interfaces are actively used. As the importance of social relationships increases, many studies investigate the factors that affect the social relationships between a user and a device. However, there is a lack of consideration for voice design to form and develop a social relationship between a voice user interface device and a user. The non-verbal cues are essential factors in grasping the character of the object to be interacted with. Synthetic voice features allow devices to express emotions and create distinctive characters, influencing the social interactions with users. In addition, it can affect the development of social relationships, leading to continuous and active use and self-disclosure. Therefore, in social situations such as psychological counseling, the voice of the device should be considered necessary. The purpose of this study was to examine the effects of the extroversion of synthesized speech and the extroversion of users on the formation of social relationships. Since extroversion is highly reliable in measurement and is vital in interpersonal relationships, groups were divided based on this personality. In the first experiment of this study, we tried to produce synthetic speech expressing extroversion in the Korean context using non-verbal cues. Extroverted voices and introverted voices were distinguished by 24 male subjects. The synthesized voices cues verified in the first experiment were also used in the second and third experiments. In the second experiment, we tried to find out the degree of self- disclosure, the closeness, and trust felt by the voice assistant according to the extroversion of the synthesized voice. In the context of psychological counseling with a smart speaker, the experiment was conducted through the Wizard of OZ method and a total of 40 men participated. However, the experimental design was insufficient, so the difference in self-disclosure according to the voice could not be identified. In Experiment 3, each subject listened to two types of voice and evaluated the social presence, liking of voice, and social attraction in the same conditions of Experiment 2. 20 men and 20 women participated, and extroverted voices were evaluated higher in social presence, liking of voice, and social attraction. In addition, extroverted subjects showed a significant difference according to the extroverted voice in social presence and social attraction. According to the results of this experiment, in psychological counseling, an extroverted voice is more suitable for forming social relationships with users. In particular, for extroverted users, since voice characteristics have a significant influence on developing social relationships, it is necessary to design a voice that performs social functions in consideration of the user’s extroversion. The results of this study can be used in experiments or the real-life setting of services and devices by verifying the characteristics of synthesized speech that can distinguish extroversion in a Korean-based speech synthesis system. In addition, this study confirmed the effect of the device's voice characteristics on forming social relationships with users according to the user's extroversion.