Instance-aware Monocular Depth Estimation

Abstract

단안 깊이 추정은 단일 뷰 이미지에서 3차원 공간을 이해하는 것을 목표로 한다. 최근 학습 기반 접근 방식이 큰 성공을 거두었지만, 여전히 존재하는 문제는 단안 깊이 추정 네트워크가 모든 픽셀에서 정확한 깊이를 예측하는 데 초점을 맞추고 있다는 점이다. 이로 인해 오히려 물체의 많은 부분에서 올바른 깊이를 예측하지 못하는 경우가 발생한다. 따라서 본 연구에서는 픽셀별로 정확한 깊이를 아는 것보다는 물체들이 3차원 공간에서 어떤 기하학적 관계를 형성하는지 파악하는데 초점을 둔다. 해당 연구를 위해 구축한 InstaOrder라는 데이터 셋 및 베이스라인 네트워크들을 소개한다. 해당 데이터셋은 일상 장면으로 구성된 101 k 이미지로 구성되어 있으며, 각 이미지에는 클래스 라벨이 부여된 물체 간 기하학적 순서를 나타내는 290 M 개에 대한 라벨이 있다. 구체적으로, 데이터 셋은 (1) 가리는 물체/ 가려진 물체를 식별하는 occlusion order와 물체 간 깊이 순서를 설명하는 (2) depth order로 구성된다. 데이터 셋 외에도 네 개의 네트워크를 제안한다. 오클루션 순서 예측 네트워크 (OccOrderNet), 깊이 순서 예측 네트워크 (DepthOrderNet), 오클루션 및 깊이 순서 예측 네트워크 (OccDepthOrderNet)를 통해 기존 예측 네트워크를 개선함을 보인다. 또한 깊이 맵 및 깊이 순서 예측 네트워크 (DepthNet)를 제안하며 이를 통해 물체 간 깊이 순서 학습이 픽셀별 깊이 예측 성능 향상에 도움이 됨을 보인다.

Monocular depth estimation aims at predicting 3D space from single-view images. It is a long-studied computer vision task, and learning-based methods have achieved great success. However, current methods focus on predicting accurate depth values at every pixel, resulting in unwanted visual artifacts in predicted depth maps. To alleviate the artifacts, we propose a dataset and baselines for instance-aware depth estimation. We introduce a new dataset named InstaOrder. The dataset has 2.9 M annotations of geometric orderings between class-labeled instances for 101 k of natural scenes. The dataset consists of (1) occlusion order that identifies occluder/occludee and (2) depth order that describes depth ordinal between objects. Besides the dataset, we propose four baseline networks: occlusion order prediction network (OccOrderNet), depth order prediction network (DepthOrderNet), and both occlusion and depth order prediction network (OccDepthOrderNet). We show that the proposed baselines improve state-of-the-art order prediction tasks. Moreover, we propose dense depth and depth order prediction network (DepthNet) to demonstrate depth order supervision enhances the performance of dense depth prediction.