정합을 통한 의미론적 이미지 검색

Abstract

이미지 검색은 컴퓨터 비전에서 중요한 분야 중 하나이다. 이전까지의 이미지 검색은 객체 단위의 이미지 검색에 중점을 맞추어 발전해왔다. 즉, 질문 이미지에 대해 동일한 이미지를 검색해야하는 문제이다. 의미론적 이미지 검색은 이와는 다르게 의미론적으로 유사한 이미지에 대해 검색을 수행한다. 의미론적으로 유사하다의 정의가 주관적인 성질을 포함하고 있기 때문에 의미론적 이미지 검색과 관련된 연구가 본격적으로 진행되지 못했다. 본 논문에서는 의미론적으로 유사하다의 정의를 동일한 카테고리로 정의하였고 이 문제를 의미론적 정합 방법을 활용하여 해결하였다. 의미론적 정합을 통해 추출된 다양한 기하학적인 매개변수를 활용하여 이미지를 변형시키고 이를 학습에 활용하는 방법을 사용하였다. 또한 학습에 활용되는 타당한 이미지 쌍을 구분하기 위해 순환일치라는 방식을 제안하였다. 위와 같은 방법을 통해 의미론적 이미지 검색 데이터셋에서 기존의 특성학습 구조보다 높은 성능을 확인하였고, 거리학습에 사용되는 데이터셋에서 또한 제안하는 방법의 효과를 확인하였다.

Image retrieval is the core task in computer vision. Previously, the image retrieval refers to instance-level image retrieval. It means that retrieving exactly same instances as a given query. However semantic image retrieval differ from instance-level image retrieval. Due to the definition of semantically similar has subjective nature, semantic image retrieval was not developed yet. In this paper, we define semantically similar as same object category and solve the problem using semantic alignment. The geometric parameters extracted from semantic alignment networks can transform the image itself and it is used as training samples. Also, to get the validate training pair, we propose cycle consistency check. Our method outperform the conventional feature learning in semantic image retrieval dataset and metric learning benchmark.