Approach to Inductive Link Prediction in Graph Neural Network based Visual Compatibility Learning

Abstract

Recently, there has been advances in graph-based outfit recommendation system due to its flexible outfit representations and high compatibility prediction performance. However, most existing graph-based models focus on transductive link-prediction problems which is a link-prediction between two item that has a prior structure information. Existing graph-based outfit recommendation system shows low performance on inductive link-prediction between items with only attribute information. To increase the link-prediction performance for items with no available structure information, we utilize a Dual GAE model, a modified graph encoder decoder model. Dual GAE consists of two separate encoders each for transductive link-prediction and inductive link-prediction tasks. While the two encoders and the decoder is trained to maximize the link-probability accuracy, the two encoders are aligned using supervised alignment to ensure consistent outputs between the two encoders. We also proposed a graph-based outfit generation method that enables a recommendation of diverse item categories. The model’s quantitative and qualitative results tested on the Polyvore dataset demonstrates that our model achieves increased inductive link-prediction performance.

패션 아웃핏 추천 시스템은 주어진 옷 상품에 대해 어울리는 패션 아웃핏을 구성하여 사용자에게 추천해주는 시스템으로 이미지들 간의 시각적인 호환성을 학습하고 예측하는 모형이다. 근래 아웃핏추천 시스템에서 옷 아이템간의연관성을더욱유연한구조로반영하고자그래프기반의모형이 많은연구가되고 있다. 지금까지주로발전되어온그래프기반모형(GCN, GAT, SAGE 등)은파라미터의학습에노드의속성정보와그래프의구조정보가함께 사용되는 추론적 링크 예측 (transductive link-prediction) 문제에 중점을 둔다. 이에 따라 신상품과 같이 구조 정보가 없어 노드의 속성 정보만을 활용하여 링크 예측을 해야 하는 귀납적 링크 예측 (Inductive link-prediction) 문제에서는 기존의 그래프 기반 모형이 한계를 보인다. 이를 위해 귀납적 링크 예측을 위한 DNN 기반 인코더와 추론적 링크 예측을 위한 GCN 기반 인코더로 이루어진 Dual GAE 모형을 제안한다. 각 모형은 링크 예측 성능을 향상하도록 학습함과 동시에 지도 정렬 (Supervised alignment) 방법을 통해 두 임베딩 간 일관성을 가지게끔 한다. 제안된 Dual GAE 모형을 통해 생성된 그래프를 이용하여 복종과 복종의 순서에 제약을 받지 않고 다양한 복종에 대한 아웃핏을 생성할 수 있는 아웃핏 생성 방법론을 제안한다. Polyvore 패션 데이터 세트를 활용한실험을 통해 제안한 모형이 귀납적 링크 예측 문제에서 기존의 그래프 기반 모형보다 향상된 성능을 보임을 확인한다. 또한 제안된 아웃핏 생성 방법론 이용한 실제 아웃핏 생성 결과의 예시를 통해 구조 정보가 존재하지 않는 아이템에 대해서도 추천이 됨과 다양한 복종의 아웃핏이 추천됨을확인한다.