Interpretable and Interactive Image Retrieval using Visual Attributes

Abstract

본 연구에서는 이미지의 시각적 속성을 이용하여 이미지 검색 및 거리 학습 모델을 해석하는 방법을 제안하고, 속성 정보를 추가적으로 활용할 수 있는 방안을 모색하였다. 거리 학습은 제로샷 학습, 이미지 검색, 안면 재인식, 차량 재인식 등 다양한 문제에 활용됨에도 불구하고, 그 중요도에 비해 거리 학습 모델 자체를 분석하는 연구는 거의 진행되어 있지 않다. 우리는 이미지의 시각적 속성을 직접적으로 예측하는 속성 분류기를 학습하여 예측된 속성을 가지고 이 문제를 해결하고자 했다. 속성 분류기는 기존의 거리 학습 모델의 이미지 특징 추출기 뒤에 거리 학습 인코더와 평행하도록 추가하고, 분류를 위한 손실 함수를 더해서 거리 학습과 동시에 훈련시켰다. 또, 하나의 이미지에 대해 속성을 예측하는 것에 더하여, 이미지 쌍이 입력되었을 때 두 이미지 간에 어떤 속성 항목에서 같고 다른지도 분류할 수 있도록 했다. 우리는 이를 이용하여 이미지 검색 모델을 정량적으로 분석하는 방안을 제시했고, 또한 속성 예측이 기존의 거리 학습 성능을 저해하지 않으며, 근접 이웃들을 재정렬하는 데에 도움을 준다는 사실을 실험적으로 확인하였다. 뿐만 아니라, 상호작용을 통해서 이미지의 속성 정보를 조작하고, 원하는 속성을 이용해서 이미지를 검색하는 문제에도 속성 분류기를 활용할 수 있음을