비연결 지지영역을 활용한 실시간 스테레오 매칭 방법에 관한 연구

Abstract

3D data acquisition is required for modern computer vision-based applications, such as immersive 3D conferencing, 3D user interfaces, and robot navigations. Stereo matching is one of the most promising ways to get 3D data. This is because it has the advantage of a sensor that is high resolution, robust to outdoor environments, and inexpensive. Stereo matching is the process of computing the disparity from a stereo image pair, which is taken by a stereo camera. The disparity is a positional difference between the corresponding points in the image pair. The depth is inversely proportional to the disparity and can be computed from the disparity when camera parameters are known. Many stereo matching applications require the real-time operation. However, stereo matching could not be performed in real-time due to massive computations. In recently, parallel processing technologies have evolved dramatically in both hardware and software. Thereby, real-time stereo matching has been extensively studied to meet the need for accurate real-time stereo matching methods. Stereo matching methods are classified into two types: global and local stereo matching methods. Global methods replace the stereo matching problem with an energy function. The optimal solution is then computed by minimizing the energy function. In general, global methods suffer from massive computations, and are not even appropriate to parallel processing. Therefore, global methods are not suitable for real-time systems. Local methods compute the dissimilarity and determine the disparity of each pixel, independently. Local methods require relatively low computations, and suitable for parallelization. Thus, recent researches on real-time stereo matching have adopted a local stereo matching method. Local stereo matching methods generally consist of four steps: cost computation, cost aggregation, disparity computation, and disparity refinement. Among four steps, the cost aggregation step is most important in terms of accuracy and operation speed. Aggregation methods that use real-valued weights yield relatively accurate results but require relatively huge computations. In contrast, aggregation methods that use binary weights show inaccurate results while requiring lower computations, compared to the real-valued one. Thus, there is still a strong demand for more accurate stereo matching methods that can operate in real-time for practical use. This dissertation presents an accurate real-time stereo matching method, referred to as unconnected support region-based stereo matching. The proposed stereo matching method provides highly accurate results by using the novel method of generating a support region while requiring low computations by adopting the binary weight in the cost aggregation step. The basic idea of the proposed method is to create more flexible and suitable support regions for aggregation so that the proposed method can achieve highly accurate stereo matching results. More specifically, the proposed method eliminates the connectivity constraint and uses unconnected support regions, whereas all existing binary weighted aggregation methods compulsorily followed the connectivity constraint with the center pixel when creating support regions. The support region of the proposed method is generated using two new approaches. The first approach is to perform aggregations remotely across color boundaries to get more aggregation targets, making the aggregation step more robust. The second approach is to exclude cost outliers from the support region so that erroneous costs cannot be propagated. From the two approaches, a flexible and suitable support region is created. It is noticeable that the proposed method employs the binary weight for low computational complexity. In addition, methods to effectively reduce the required computations are presented to achieve a real-time operation. Experimental results show that the proposed method provided better accuracy than all existing real-time stereo matching methods, providing the average error rate of 5.12 % when using the Middlebury stereo dataset. In addition, the generality of the proposed method was validated through further experiments using challenging datasets. The entire stereo matching process was implemented on a GPU using CUDA. As a result, the proposed stereo matching method operated at up to 300 fps for a stereo image pair of 320 × 240 resolution with a disparity range of 32 pixels.

스테레오 정합은 스테레오 카메라로부터 획득된 스테레오 이미지 쌍으로부터 디스패리티를 획득하는 과정이다. 디스패리티란 이미지 쌍에서 상응되는 점의 가로방향 위치 차이이다. 깊이 정보는 디스패리티에 역비례하고, 카메라 파라미터들이 알려져 있다면 디스패리티로부터 계산이 가능하다. 실감형 3차원 화상회의, 3차원 유저 인터페이스, 로봇용 네비게이션 등 스테레오 정합을 사용하는 분야들 중 실시간으로 동작되는 시스템을 요구하는 곳들이 많다. 그럼에도 불구하고 이전에는 스테레오 정합에 필요한 연산량이 너무 큰 관계로 실시간 동작이 불가능했었다. 다행히 최근 병렬 처리 기술이 크게 발전함에 따라 실시간 스테레오 정합이 가능해졌고, 이에 대한 연구가 활발히 진행되고 있다. 스테레오 정합 방법은 크게 전역 방식과 지역적 방식 두 가지로 분류된다. 전역 방식의 경우 스테레오 정합을 하나의 에너지 함수로 변환시키고, 이 에너지를 최소화하는 최적해를 찾는 방식으로 이루어진다. 일반적으로 전역 방식은 필요로 하는 연산량이 많을 뿐만 아니라 병렬 처리에 적합하지 않다. 따라서 전역 방식은 실시간 시스템에는 적합하지 않다. 반면 지역적 방식의 경우 각 픽셀에 대해 독립적으로 대응 픽셀들과의 유사성을 판별하고 최적의 디스패리티를 계산한다. 지역적 방식의 경우 일반적으로 적은 연산량을 요구함은 물론 병렬 처리에 적합한 특성을 지닌다. 이에 따라, 최근의 실시간 스테레오 정합 방법들은 지역적 방식을 활용해 주로 연구되고 있다. 지역적 스테레오 정합 방식은 주로 비용함수 계산, 비용함수 종합, 디스패리티 계산, 디스패리티 개선의 네 단계로 이루어진다. 이 네 단계 중, 비용함수 종합 단계가 정확도와 연산 속도 모든 측면에서 가장 큰 영향을 끼친다. 실수 형태의 가중치를 이용한 비용함수 종합 방식은 상대적으로 정확한 결과를 제공하지만 역시 상대적으로 많은 연산량을 필요로 한다. 반대로 이진 형태의 가중치를 이용한 비용함수 종합 방식은 정확도에서 상대적 열세를 보이지만 필요로 하는 연산량이 훨씬 적다. 비용함수 종합 단계에 대한 여러 연구가 있었지만 아직도 적은 연산량으로 빠른 동작 속도를 보장하면서도 높은 정확도를 보이는 스테레오 정합 방법에 대한 요구가 큰 상태이다. 본 논문에서는 높은 정확도를 제공하면서도 실시간 동작이 가능한 스테레오 정합 방법을 제안한다. 제안하는 스테레오 정합 방법은 이진 형태의 가중치를 이용하여 낮은 연산량을 필요로 하면서도 지지영역의 모양에 높은 자유도를 부가하여 더욱 정확한 결과를 제공한다. 즉, 제안하는 스테레오 정합 방법은 기존의 이진 가중치를 이용한 방법들과 달리 중심 픽셀과의 연결성이 강제되지 않는다. 제안하는 스테레오 정합 방법은 두 가지 방식을 함께 사용하여 구성된다. 첫번째로, 색 차이가 뚜렷한 픽셀들 넘어서까지 지지영역을 확장하였다. 이를 통해 비용함수 종합 단계가 더욱 노이즈에 강인해진다. 두번째로, 지지영역 내에 있는 이상점들을 사전에 찾아내 제거함으로써 잘못된 비용함수가 전파되는 것을 차단하였다. 두 방식을 함께 사용하여 기존 방식보다 더 유연하고 적합한 모양의 지지영역을 생성할 수 있다. 또한 앞에서도 언급하였듯이 비용함수 종합을 진행할 때 이진 형태의 가중치를 이용함으로써 필요 연산량을 낮게 유지한다. 이에 더불어 연산량을 효과적으로 줄이는 기법들을 제안하여, 스테레오 정합 방법이 실시간으로 동작할 수 있게 한다. 가장 널리 쓰이는 스테레오 정합 평가방식을 이용하여 기존 실시간 동작이 가능한 스테레오 정합 방법들과의 비교 실험을 진행한 결과 제안하는 스테레오 정합 방법은 5.12 %라는 가장 낮은 에러율을 보였다. 또한, 최근 제안된 고난도의 평가방식을 이용한 실험을 진행하여 제안하는 스테레오 정합 방법이 다양한 상황에서 우수한 성능을 보임을 확인하였다. 제안된 스테레오 정합 방법은 병렬 처리가 가능하게 구현되었으며, 320 × 240 해상도의 스테레오 이미지에서 최대 32 픽셀의 디스패리티를 가정하고 동작시킬 경우 초당 300장이 처리 가능한 수준을 보였다.