Investigating Congruent Motion Effects with Visual Scenes in 4D Content

Abstract

Four-dimensional (4D) content is becoming increasingly prevalent with the development of immersive technologies. 4D content provides audiovisual content with physical effects called 4D effects, such as seat motions, vibrations, flashes, and scents in synchronization. Motion effects, which refer to the motions of a user’s seat, are most frequently used among these 4D effects. Congruent—in other words harmonious or appropriate—motion effects should be designed with respect to the audiovisual elements of content because motion effects are inserted into 4D content as additional drivers to enhance user immersion. However, no empirical study has investigated the factors that affect congruency between motion effects and audiovisual content or the effects of congruency on user’s 4D content experience. This research aims to design congruent motion effects and identify the relationships with other subjective factors of the 4D content experience. To achieve the objectives, influencing factors on congruency and effects of congruency on other experiential factors were investigated by a literature survey. The direction and tilted position of a seat’s motion were selected as features of motion effects that should be studied by priority. Design strategies of motion effects, which were four direction strategies and four position strategies, were derived by considering the relative motion of a seat and a visual object on a screen. Two empirical studies were conducted to identify congruency affected by the design strategies and effects of congruency on the other experiential factors. The first empirical study was conducted using a contextless visual scene, and the second study was conducted using contextual visual scenes. The first experiment found that the direction of motion effects more greatly affects congruency than the tilted position. Participants felt the highest congruency when their seat tilted forward/backward (pitch down/up) and right/left (roll right/left) according to the upward/downward and right/left visual motions in a contextless scene, respectively. The participants could discriminate the degree of congruency by the tilted position if the direction of the motion effects matched the visual motions. Congruency had a significant negative relationship with workload and complexity of visual impression, but it had no significant relationship with dynamicity of visual impression. In the second experiment, the participants felt the highest congruency when the seat tilted forward/backward (pitch down/up) and right/left (roll right/left) according to the upward/downward and right/left visual motions, respectively, in all contextual scenes, which is the same result of the first experiment. However, the participants also felt the highest congruency when the seat tilted backward/forward (pitch up/down) and right/left (roll right/left) according to the upward/downward and right/left visual motions when contextual scenes are filmed horizontally with a ground of a virtual environment. Congruency had a positive effect on presence, dynamicity of visual impression, valence, and immersion, whereas it had a negative effect on mental load and complexity of visual impression. However, no significant effect was found on physical load. A Congruency–Immersion Model (CIM) was developed to describe how congruency affects immersion. Findings show that congruency can affect immersion directly or indirectly through several experiential factors. The significance of this study is that it can strengthen the basis for empirical studies related to congruency of motion effects in 4D content. This research provides the following contributions. First, the results can be used by 4D effects producers when they design motion effects of commercial 4D content and by algorithm developers of automatic authoring tool of motion effects. Second, the results show that congruency is an important factor of immersive experience and help understand how congruency affects immersion.

몰입형 기술의 발전으로 4차원 (4D) 콘텐츠가 점점 더 보편화되고 있다. 4D 콘텐츠는 시청각 콘텐츠에 의자의 움직임 및 진동, 섬광, 향기 등을 포함하는 4D 효과가 동기화되어 더해진 콘텐츠를 의미한다. 다양한 효과들 중에서 콘텐츠 사용자가 앉아 있는 의자의 움직임 효과를 일컫는 동작 효과가 4D 효과로써 자주 활용된다. 동작 효과는 4D 콘텐츠에 사용자의 몰입도를 높이기 위한 추가적인 동인으로 삽입되는 부가적인 요소이기 때문에 콘텐츠의 시청각 요소에 합치되는 동작 효과가 설계되어 사용자들에게 제공될 필요가 있다. 그러나 동작 효과와 시청각 콘텐츠 사이의 합치성 또는 사용자의 4D 콘텐츠 경험에 대한 합치성의 영향을 조사하는 체계적이고 깊이 있는 경험적 연구를 찾기 힘든 실정이다. 본 연구는 시각 장면에서 나타나는 물체의 움직임과 합치되는 동작 효과를 조사하고 합치성과 4D 콘텐츠 경험의 다른 주관적 요소와의 관계를 식별하는 것을 목표로 한다. 목표를 달성하기 위해 합치성에 영향을 미칠 수 있는 자극의 특징들과 합치성이 영향을 미칠 수 있는 경험적 요소들을 문헌 조사를 통해 파악하였다. 의자 움직임의 방향과 기울어진 위치는 우선적으로 연구되어야 할 동작 효과의 물리적인 특징으로 선택되었다. 이를 기반으로 화면 속 물체의 움직임과 의자의 움직임의 상대적인 운동 방향과 위치를 고려하여, 동작 효과의 설계 전략인 네 가지 방향 전략과 네 가지 위치 전략을 도출하였다. 동작 효과의 설계 전략에 의한 합치성과 합치성이 다른 경험적 요소에 미치는 영향을 조사하기 위해 두 가지 경험적 연구를 수행하였다. 첫 번째 연구는 맥락이 없는 시각적 장면에 대하여 실험을 수행하였으며 두 번째 연구는 맥락이 포함된 시각적 장면에 대하여 실험을 수행하였다. 첫 번째 실험을 통해 동작 효과의 방향이 기울어진 위치보다 합치성에 더 큰 영향을 미친다는 것을 발견하였다. 실험 참여자들은 맥락이 없는 장면에서 위/아래 및 오른쪽/왼쪽 시각 물체의 운동에 따라 좌석이 각각 앞/뒤 및 오른쪽/왼쪽으로 기울었을 때 가장 높은 합치성을 느꼈다. 동작 효과의 방향에 의해 시각 물체의 운동과 합치되는 경우, 실험 참여자들은 의자의 기울어진 위치에 따라 합치성의 상대적인 차이를 구별할 수 있었다. 하지만, 동작 효과의 방향이 시각 물체의 운동과 합치되지 않는 경우 의자의 기울어진 위치와 상관없이 모두 동일하게 낮은 합치성을 느꼈다. 합치성은 관찰 작업 부하 및 시각적 인상의 복잡성과 유의미한 부정적인 관계가 존재했지만, 시각적 인상의 역동성과는 유의미한 관계가 없었다. 두 번째 실험에서 실험 참여자들은 맥락이 포함된 모든 장면에서 위/아래 및 오른쪽/왼쪽 시각 물체의 운동에 따라 좌석이 각각 앞/뒤 및 오른쪽/왼쪽으로 기울었을 때 가장 높은 합치성을 느꼈다. 이는 첫 번째 실험과 동일한 결과이다. 하지만 실험 참여자들은 가상 환경 속 지면과 수평이 되는 방향으로 촬영된 장면에서 좌석의 앞/뒤 방향이 반대인 경우에도 가장 높은 합치성을 느꼈다. 합치성은 감정가, 시각적 역동성, 존재감 (혹은 실재감), 몰입감에 유의하게 긍정적인 영향을 미쳤으며, 정신적 부하와 시각적 복잡성에는 유의하게 부정적인 영향을 미쳤다. 하지만 신체적 부하에는 유의한 영향을 미치지 않는 것으로 나타났다. 합치성이 콘텐츠 몰입에 미치는 영향을 설명하기 위해 Congruency-Immersion Model (CIM)을 개발하였다. 이를 통해 합치성은 주로 직접적으로 몰입에 영향을 미치거나, 존재감을 매개하여 합치성에 간접적으로 영향을 미친다는 것으로 나타났다. 몰입은 동작 효과의 합치성 뿐 아니라, 존재감 및 감정가에 직접적인 영향을 받는 것으로 나타났다. 본 연구는 4D 콘텐츠에서 동작 효과의 합치성과 관련된 경험적 연구의 토대를 마련하였다는 점에서 큰 의의가 있다. 본 연구의 결과는 4D 효과 제작자가 4D 콘텐츠의 동작 효과를 설계하거나 동작 효과의 자동 저작 알고리즘을 개발할 때 사용자를 이해하기 위한 기초 자료로써 활용될 수 있다. 그리고 합치성이 몰입 경험의 중요한 요소이며, 합치성이 몰입에 미치는 영향을 심층적으로 이해하는데 높은 기여를 할 것으로 판단된다. 궁극적으로는 4D 콘텐츠 사용자들의 콘텐츠 경험 만족도를 증진시킬 것이라 예상된다.