Robust Visual Object Tracking by Reinforcing Sequence-level Performance

Abstract

Visual object tracking is a task of localizing an arbitrary target object over a sequence of video frames. Most existing trackers are trained by optimizing frame-level objective function of randomly sampled video frames. However, this frame-level training differs from the actual test-time tracking procedure. We experimentally observe that this mismatch decreases tracking performance. In this paper, we propose a novel sequence-level training method to relieve this mismatch between training and testing. We train a tracker by actually tracking a video sequence and reinforcing sequence-level performance (e.g. average overlap). We use reinforcement learning method to conduct this sequence-level training. Our method successfully improves the robustness of SiamRPN++ without additional parameters. We validate the effectiveness of our method on various tracking benchmarks such as GOT-10k, VOT2016, TrackingNet and LaSOT.

물체 추적은 어떤 비디오에서 임의의 목표 물체의 위치를 추적하는 문제이다. 기존의 물체 추적기들은 대부분 프레임 수준의 목적 함수를 최적화하여 학습한다. 하지만, 이런 프레임 수준 학습은 실제 물체 추적 절차와 차이가 있다. 우리는 이러한 차이가 추적 성능을 하락시키는 것을 실험을 통해 관찰했다. 본 논문에서는 이러한 학습-테스트 불일치 문제를 해결하기 위한 새로운 시퀀스 수준의 학습방법을 제안한다. 제안한 방법은 강화학습을 기반으로 하며, 실제로 물체 추적을 진행하면서 시퀀스 수준의 성능을 최적화하는 방식으로 추적기를 학습한다. 우리의 방법은 추가적인 파라미터 없이 SiamRPN++ 물체 추척기의 강건함을 크게 향상시켰다. 우리는 제안한 방법을 GOT-10k, VOT2016, TrackingNet, LaSOT과 같은 다양한 물체 추적 벤치마크에서 검증하였다.