4D 영화를 위한 모션 및 진동 효과의 자동 생성

Abstract

4D는 영상에 의자의 모션, 진동, 바람, 물 등 다양한 물리적 효과를 함께 입혀 사용자의 몰입감을 더욱 높여주는 기술을 말한다. 최근 4D 영화 전문 상영관이 늘어나고 모바일 기기, 게임기, 홈시어터 등 개인용 기기로 까지 4D 기술이 퍼지고 있으나 4D 효과 제작은 여전히 전문가의 수작업을 통해서만 이루어지고 있다. 우리는 이러한 문제를 개선하기 위해 영상과 소리를 분석하여 이를 의자의 모션 효과 또는 진동 효과로 자동으로 변환해주는 기술을 개발하였다.

먼저 우리는 4D 효과와 영화에 대한 심도있는 사전 조사를 통해 다양한 4D 효과를 총 6개의 종류로 분류하였고, 이 중 5 종류의 4D 효과에 대한 자동 생성 알고리즘을 개발하였다. 첫번째 분류는 폭발, 충돌 등과 같은 특수 효과에 따라 발생하는 모션과 진동 효과이다. 우리의 알고리즘은 소리를 분석하여 이러한 효과를 생성해 낸다. 소리를 분석하여 자동으로 진동 등의 특수 효과를 생성하는 기존 기술은 대부분 저역 통과 필터와 같은 신호 수준의 단순한 방법을 사용한 것이 대부분이었다. 반면 우리가 제안하는 방법은 신호적 특성을 거칠기, 세기 등과 같은 인지적 특성으로 변환한 후 인지적인 특성만을 고려하여 소리와 진동 또는 소리와 모션 사이의 변환을 수행한다. 인지적인 특성은 그 자체로 사람이 쉽게 이해할 수 있는 의미를 가지고 있으므로 이 방법을 사용하면 더 쉽고 직관적으로 변환 모델을 설계할 수 있으며 모델의 결과 또한 설계 단계에서 부터 쉽게 예측이 가능한 장점이 있다. 두번째 분류는 영상에 나타난 빠른 카메라 움직임에 대해 빠르고 역동적인 모션 효과를 제공하는 것이다. 세번째 분류는 느리고 잔잔한 카메라 움직임에 대해 연속적이고 부드러운 모션 효과를 제공하여 몰입감을 높여주는 것이다. 이 두 가지 분류의 효과를 위해 본 알고리즘은 먼저 컴퓨터 비전 기술을 이용해 영상에서 카메라의 움직임을 복원해 낸다. 그 후 복원해 낸 카메라 모션을 두 가지 서로 다른 방법의 알고리즘을 사용해 적절한 모션 효과로 변환한다. 네번째와 다섯번째 분류는 화면상 3인칭 시점에서 움직이는 물체의 동작에 어울리는 모션 효과를 제공하는 것이다. 우리는 이를 위해 2D 화면상에서 물체의 움직임만을 바탕으로 동작하며 시청자의 예상되는 시선 이동 방향을 따라 의자를 움직여주는시청자 중심 렌더링 방식을 고안하였다. 세부적인 알고리즘과 설정 사항 선택을 위해 사용자 평가 실험을 여러번 수행하여 최적의 알고리즘을 구현하였다.

본 논문의 방식으로 모션 및 진동 효과를 생성할 경우 기존의 수동 제작 방식에 비해 최소 10배 이상 빠른 속도로 제작이 가능하다. 다양한 방법의 알고리즘 성능 평가와 사용자 선호도 평가 결과 우리가 제안하는 알고리즘이 실제 전문가가 직접 제작한 효과와 거의 비슷한 수준의 우수한 4D 효과를 자동으로 생성해 내고 있음을 확인할 수 있었다.

4D film is an immersive entertainment system that presents various physical effects with a film. Despite the recent emergence of 4D theaters, production of 4D effects relies on manual authoring and remains laborious. To enhance the productivity of 4D effects production, we present algorithms that synthesize motion and vibration effects from the audiovisual content of a film.

We classified various motion and vibration effects into different categories and developed synthesis algorithms for each class of motion effects. The first class is for special effects, such as explosions and collisions, and our algorithm uses audio for the synthesis of impulses and vibrations. Unlike previous signal-level audio-to-vibration conversion methods, our algorithm considers only perceptual characteristics, such as loudness and roughness, of audio. This perception-level approach allows for designing intuitive and explicit conversion models with clear understandings of their perceptual consequences. The second class of effects is related to camera motion and it has two subclasses. The first subclass is those responding to fast camera motion to enhance the immersiveness of point-of-view shots, delivering fast and dynamic vestibular feedback. The second subclass moves viewers as closely as possible to the trajectory of slowly moving camera. Such motion provides an illusional effect of observing the scene from a distance while moving slowly within the scene. For these two camera related subclasses, our algorithms compute the relative camera motion using computer vision techniques and then map it to a motion command to a 4D chair using appropriate motion mapping. The third class of motion effects tracks the motion of an object of interest. An object tracking algorithm estimates the position of the target object, and then motion effects are synthesized according to the estimated position. The conversion between the position of the object and the motion commands to the 4D chair is performed by a viewer-centered rendering that matches the chair motion to the movement of the viewer's visual attention.

We assessed the subjective quality of our algorithms by user experiments, and all the results indicated that they are able to provide compelling 4D effects, sometimes even comparable to those manually designed by expert 4D designers.