Image-Based Texture Styling for Motion Effect Rendering

Abstract

4D 라이드 모션 효과는 모션 플랫폼 기술의 대표적인 응용 사례이며, 일반적으로 1인칭 시점 영상과 함께 제공된다. 모션 큐잉 알고리즘(MCA)은 원하는 각속도와 선형 가속도로부터 적절한 모션 효과를 자동적으로 생성하는 기술이다. Lee et al. 은 1인칭 시점 영상의 모션 효과를 자동적으로 생성하는 Fast Camera (CF) 알고리즘을 개발하였다. 이 알고리즘은 영상으로부터 컴퓨터 비전 기술을 이용해 카메라의 움직임을 추정하고 워시아웃 필터를 적용하여 모션 효과를 생성하였다. Lee et al.의 알고리즘과 대부분의 MCA가 효과적으로 비디오에서의 전체적인 움직임을 표현할 수 있지만, 바닥 표면의 세밀한 특징들은 표현할 수 없다. 본 논문에서는 이미지 기반 질감 스타일 모션을 생성하는 알고리즘을 제시한다. 해당 알고리즘은 이미지 주파수 분석, 스타일 모션 효과 생성, 모션 크기 조절, 그리고 기존 모션 효과와의 병합의 세가지 단계를 통해 질감 이미지로부터 높은 주파수의 모션 효과를 생성한다. 이미지의 각 행과 열을 선형 예측 코딩을 통해 선형 모델을 구축하고 해당 모델로부터 롤과 히브 채널에서의 대표 모션 효과를 생성한다. 생성된 대표 모션 효과는 4D 라이드 영상에서의 카메라 속도에 따라 시간 축에서 리샘플링되고 크기가 조절된다. 마지막으로, 모델 예측 제어를 통해 스타일 모션 효과와 기존 모션 효과를 인지적 손실을 최소화하며 병합한다. 사용자 실험 결과 본 논문의 방식으로 모션 효과를 생성할 경우 기존 Lee et al.의 CF 알고리즘보다 더 사실적이고 어울리고 몰입감있다는 평가를 받았다.

Motion effect is a typical application of motion platform technology in entertainment. The most famous example is 4D Ride, which present a video of POV shot and motion effects synchronized with the camera motion of the video. Lee et al. proposed an automatic motion effect synthesis algorithm for POV shots. Their algorithm estimates camera motion from POV shots by computer vision and generates motion effect by applying a washout filter. Although the algorithm can effectively express overall motion in the video, it cannot capture the detailed characteristics of floor texture, such as roughness and bumpiness. In this thesis, we propose an algorithm for styling the motion effects based on a texture image. Our algorithm transforms a texture image into a high-frequency style motion and stylizes the original motion, generated by Lee et al.'s CF algorithm, using the synthesized style motion. First, the style motion is synthesized based on a texture image while also considering the camera speed on the video. Then, to compensate the masking effect of low-frequency CF motion, the amplitudes of the style motion is scaled by the perception model, which is obtained by the results of a perceptual experiment. Finally, the style motion and the CF motion are added and then merged by Model Predictive Control to fit in the limits of the motion platform with minimal perceptual loss. The user study showed that texture styling could increase immersiveness, realism, and harmony more than Lee et al.'s CF algorithm.