Multi-Scale-Stage Network with an Improved Coarse-to-Fine Approach for Single Image Deblurring

Abstract

블러는 영상의 화질을 저하시키고 이로인해 물체 인식과 같은 컴퓨터 비전 문제들의 성능을 저하시킨다. 따라서 블러된 영상으로 부터 선명한 영상을 복원하는 디블러링은 중요한 문제이다. 전통적인 디블러링 방법들은 선명한 영상과 블러 모양을 나타내는 블러 커널을 추정한다. 전통적인 디블러링 방법에서 블러 커널과 선명한 영상을 효율적으로 추정하기 위해서 거친-미세 접근 방식이 널리 사용되어왔다. 거친-미세 접근 방식은 작은 스케일에서 작은 블러 커널과 선명한 영상을 추정하고 이를 다음 스케일의 추정 문제에서 초기 해결책으로 사용한다. 그리고 점차적으로 큰 스케일에서 블러커널과 선명한 영상을 추정한다. 거친-미세 접근 방식은 거친 스케일에서 영상과 블러의 크기가 작기때문에 선명한 영상을 더 효율적이고 정확하게 추정할 수 있다는 장점을 가진다. 이 방법의 효과가 전통적인 디블러링 방법들에서 입증되어왔기 때문에 이를 딥러닝에 적용한 딥러닝 기반 다중 스케일 방법들이 제안되어 왔다. 그러나 최근에는 단일 스케일 방법들이 다중 스케일 방법들보다 질적으로, 속도 측면으로 우수한 성능을 보였다. 이에 따라서 우리는 기존의 딥러닝 기반 거친-미세 접근 방식들의 결점을 분석하고 그에 따른 해결책을 가진 신경망 구조를 제안한다. 기존의 딥러닝 기반 거친-미세 접근 방식들은 블러 스케일을 고려하지 않고 모든 스케일에 동일한 크기의 신경망 구조를 지니며, 스케일간 블러가 제거된 영상의 픽셀 정보를 전달하는 비효율적인 정보 전달 방식을 가진다. 또한 다운샘플링을 사용하여 스케일에 따라 입력 영상을 만들기 때문에 입력의 정보 손실이 발생하는 문제점이 있다. 이러한 분석을 기반으로 우리의 신경망은 세가지 기술적인 요소들을 지닌다. 첫번째로, 스케일에 따라 신경망의 수용영역이 깊어지도록 하위 네크워크들을 구성한다. 두번째로, 스케일간 픽셀 정보가 아닌 특징맵 정보를 전달한다. 세번째로, 픽셀 셔플 기반 다중 스케일 방식을 제안하여 스케일에 따라 입력의 블러 크기는 작아지면서 원본 블러 영상의 정보 손실을 줄이도록 한다. 그리고 학습시에 거친 스케일에서 더 좋은 초기 해결책을 제공하도록 한다. 실험 결과는 우리 신경망 구조의 각 기술적인 요소의 효과성과 단일 스케일 방식 대비 우리의 거친-미세 접근 방식의 효과성을 입증한다. 또한 우리의 새로운 거친-미세 접근 방식을 가지는 신경망은 기존의 최첨단 방법들보다 정확도, 연산량, 신경망 크기의 관점에서 우수한 성능을 보인다.

Most of traditional single image deblurring methods before deep learning adopt a coarse-to-fine scheme that estimates a sharp image at a coarse scale and progressively refines it at finer scales. While this scheme has also been adopted to several deep learning-based approaches, recently a number of single-scale approaches have been introduced showing superior performance to previous coarse-to-fine approaches both in quality and computation time, making the traditional coarse-to-fine scheme seemingly obsolete. In this thesis, we revisit the coarse-to-fine scheme, and analyze defects of previous coarse-to-fine approaches that degrade their performance. Based on the analysis, we propose Multi-Scale-Stage Network (MSSNet), a novel deep learning-based approach to single image deblurring that adopts our remedies to the defects. Specifically, MSSNet adopts three novel technical components: stage configuration reflecting blur scales, an inter-scale information propagation scheme, and a pixel-shuffle-based multi-scale scheme. Our experiments show that MSSNet achieves the state-of-the-art performance in terms of quality, network size, and computation time.