Accurate Lightweight Super-Resolution by Color Separation and Feature Decomposition

Abstract

In lightweight super-resolution (SR) task, it is important to utilize a network parameters efficiently because lightweight SR aims enhancing reconstruction quality of super-resolved images with small number of parameters. This thesis proposes the feature decomposition method to efficiently use a network parameters. The feature decomposition module classifies features into two parts, one is hard to be reconstructed and the other is to be reconstructed, using attention mechanism. Then, we assign more parameters to compute hard features than easy features. This enables a network to reduce number of parameters about half without performance degradation. We also propose the color separated restoration method for lightweight SR to enhance restoration quality. We assume that it is too difficult to restore R, G, and B color channels at once from color aggregated feature map for lightweight networks because of its limited number of parameters. Proposed color separated restoration method converts the SR task from three to three color mapping to one to one mapping by separating each color channels. However, if there is no connection between colors, a SR network cannot utilize whole information in an image. Thus, the color separated restoration method partially fuses separated color features through color feature fusion layer to leverage information from other colors. Extensive experimental results show the novelty of our methods over other state-of-the-art lightweight SR methods. Especially, the feature decomposition module and the color separated restoration applied network, namely CSR-FDN, achieves superior performances on three out of four benchmark datasets with scale factor of 4.

본 학위 논문에서는 경량 초 해상화을 위한 두가지 방법을 제안한다. 첫번째로 제안하는 Feature decomposition 모듈은 input feature map을 복원이 쉬운 feature과 어려운 feature로 나누어 주게 되며 attention과 그것을 reverse한 reverse attention map을 나누어진 feature map에 각각 곱해주어 두 feature map이 서로 다른 영역을 강조할 수 있도록 한다. 이렇게 나누어진 feature 중 복원이 쉬운 부분보다 복원이 어려운 부분을 더 많은 연산하도록 하여 네트워크의 파라메터가 효율적으로 사용될 수 있게 하였다. 추가적으로 Feature decomposition 모듈을 적용한 네트워크인 Feature decomposition network를 제안한다. 두번째로 제안하는 Color separated restoration 방법은 대부분의 초해상화 네트워크가 가지는 공통적인 구조인 3개의 색상을 모두 사용하여 색 이미지를 복원하는 방법이 경량 네트워크에서는 네트워크의 용량에 비해 복잡한 문제라는 가정으로부터 이를 확인하기 위한 실험 결과를 통해 각 색상을 따로 복원하는 방식이 경량 네트워크에서 효과가 있다는 것을 확인하였고 이를 통해 초해상화 문제의 난이도를 낮춰 각 색상이 일대일로 매핑 되는 구조를 적용하고 네트워크의 부분적으로 color feature fusion 레이어를 통해 최소한의 파라메터로 Color separated restoration이 적용된 네트워크가 분리되어 있는 색 특징 간 관계를 학습할 수 있도록 한다. 첫번째로 제안하는 Feature decomposition 모듈은 적당한 크기의 네트워크에서 파라메터 수를 약 절반 가량 줄이면서 성능의 저하는 거의 없는 결과를 보여주었고, 두번째로 제안하는 Color separated restoration방법은 4개의 경량 초해상화 네트워크들에 적용하였을 때 모두 성능을 향상시키는 결과를 보여주었다. 또한 Feature decomposition network에 Color separated restoration을 적용한 CSR-FDN과 기존의 경량 초해상화 네트워크들과 성능 비교를 하였을 때, 3배 초해상화에서 4개중 2개의 테스트 데이터셋에서 가장 좋을 성능을 보여주었고, 4배 초해상화에서는 4개중 3개의 데이터셋에서 가장 좋은 성능을 보여주었다. 이러한 실험 결과를 통해 본 논문에서 제안한 Feature decomposition과 Color separated restoration의 우수성을 보여주었고, 아직까지 초해상화에서 초해상화 네트워크가 색상 간 상관 및 공간적 특징을 직접적으로 고려하게 하는 연구가 없었던 만큼 색상 분리 복원 방법은 개선될 가능성이 있다고 생각된다.