Color and 3D Semantic Reconstruction of Indoor Scenes from RGB-D Streams

Abstract

최근 3D 복원 기술의 발전에도 불구하고 대부분의 연구는 기하 정보만을 복원하는 것에 집중해왔다. 많은 컴퓨터 그래픽스 어플리케이션들이 기하 정보 외에도 환경의 조명, 물체 표면의 재질, 의미론적 분류 등 다양한 보조 정보를 요구하지만 기존의 3D 복원 기술은 이러한 보조 정보 복원을 고려하지 않는다는 한계점이 있었다. 그럼에도 불구하고 이러한 보조 정보를 복원하는 것은 최근 각광받고 있는 가상현실이나 증강현실 등에 풍부한 사용자 경험을 제공해준다는 점에서 연구할만한 가치가 있다. 본 학위논문에서는 기하 정보 이외의 보조 정보를 복원하는 세 가지 기술인 본질 영상 분리, 3D 복원을 위한 텍스쳐 맵 생성, 3D 의미론적 복원을 제안한다.

첫 번째로 색상-깊이 영상을 입력으로 한 본질 영상 분리 시에 영상의 텍스쳐 무늬 분리를 통해 간단한 최적화로 좋은 성능을 얻을 수 있는 기술을 제안한다. 또한 노멀 맵을 바탕으로 한 기하 정보 기반의 새로운 음영 영상 제약 방법을 제시해 결과 음영 영상에서의 국소적, 전반적 일관성을 향상시키는 방법을 제안한다. 제안된 기술은 기존 기술에 비해 매우 뛰어난 성능을 보여준다.

두 번째로 3D 복원 모델을 위한 선명한 텍스쳐 맵 생성 기술을 새롭게 제안한다. 본 논문에서 제안하는 방식은 3D 복원을 위한 색상 표현 방식으로써 기존 정점의 색을 이용하던 방식을 벗어나 컴퓨터 그래픽스에서 주로 사용되는 텍스쳐 맵을 이용한다. 보다 선명한 텍스쳐 맵을 얻기 위해 시공간적 샘플링을 통해 텍스쳐 맵 생성에 사용되는 영상의 품질을 높이며, 색상 일관성을 최대화시키는 부 텍스쳐 맵을 GPU를 이용해 병렬적으로 최적화한다. 제안된 기술을 통해 방 하나 정도의 대규모 3D 복원 모델을 위한 텍스쳐 맵을 수 초 이내에 생성할 수 있다.

마지막으로 3D 복원 모델의 의미론적 분리를 위한 의미론적 복원 기술을 제안한다. 본 논문에서 제시한 알고리즘은 3D 복원 도중 딥러닝 네트워크를 통해 입력 색상-깊이 프레임으로부터 의미론적 2D 맵을 얻고, 이를 3D 복원에 사용되는 균일한 복셀 격자에 누적시키는 의미론적 공간 병합 기술을 이용한다. 영상 신뢰도 기반의 가변적 병합과 조건부 임의 필드를 이용한 최적화를 통해 3D 복원 모델의 깔끔한 의미론적 분리가 가능하며, 기존 기술에 비해 정성적, 정량적으로 높은 성능을 보인다.

Despite recent successes of 3D reconstruction, the majority of researches mainly focus on acquiring the precise geometric representation. Even though many computer graphics applications need more than just scene geometry such as lighting condition, surface materials and semantic labels of the scene, existing 3D reconstruction algorithms leave such auxiliary information behind their consideration. Nevertheless, investigating the reconstruction of such auxiliary information can provide richer user experience to the virtual/augmented reality applications. In this thesis, we present three auxiliary reconstruction techniques: intrinsic image decomposition, texture map generation for 3D reconstruction, and semantic reconstruction.

First, we present a novel image model for handling textures in intrinsic image decomposition, which enables us to produce high-quality results even with simple constraints. We also propose a novel constraint based on surface normals obtained from an RGB-D image to promote local and global consistency on the shading image. As a result, the proposed method can produce superior decomposition results to existing approaches.

We also present a novel texture map generation for 3D reconstructed scenes. To represent the color information of 3D reconstruction, the proposed method uses texture mapping with simplified mesh instead of millions of vertex colors. We acquire an accurate texture map by optimizing the texture coordinates of the 3D model to maximize the photometric consistency among multiple keyframes. Our method can generate a texture map in a few tens of seconds for a large 3D model, such as a whole room.

Lastly, we present a 3D semantic reconstruction technique for generating semantically segmented triangular meshes of reconstructed 3D indoor scenes. During dense surface reconstruction, our framework predicts 2D CNN-based semantic segmentation of multiple frames and integrates them into an uniform voxel grid via volumetric semantic fusion. The proposed framework equipped with a structure-aware adaptive integration and CRF-based regularization can easily generate a high-quality 3D scene model with precise and dense (i.e., per-vertex) semantic labels.