Fashion Outfit Diagnosis and Generation using Graph Attention Network

Abstract

Several models have been developed and show great results in predicting Fashion Outfit Compatibility in recent years. However, only few studies tried to explain how to use the prediction model to give recommendation for improving the outfit compatibility. This recommendation will help people to mix-match clothes and give suggestion for better fashion taste. We propose an extended model of existing outfit compatibility learning. We use one of graph learning method named Graph Attention Network (GAT) in Node-wise Graph Neural Network (NGNN). GAT is aimed to learn about the compatibility importance of each pair-items within an outfit which then be used to diagnose the problematic item and give recommendation by replacing it with a more suitable item. Moreover, using the same approach, the model can also generate an outfit. We conducted three experiments: FITB and AUC comparison between our model and state-of-art, HR@K comparison of our model with random retrieval, and outfit diagnosis rate calculation using dataset from fashion expert. The experiments show that the proposed model not only can give a better recommendation for given outfit, but also can boost the performance of existing model. The item retrieval evaluation also indicates that our approach is better 43.73% than random. Furthermore, our diagnosis rate reaches 61.77% and we found that our model focuses on color and category to determine the compatibility of the outfit. Keywords: Outfit, Diagnosis, Item Substitution, Generation, Graph Learning.

최근 들어 패션 아웃핏의 적합도를 예측하는 모델들이 개발되고 우수한 성능을 보이고 있다. 그러나 아웃핏 적합도 개선사항을 추천하기 위해 예측 모델을 활용하는 방안은 많은 연구에서 제시되지 못하고 있다. 이러한 추천은 의류를 매치하고 보다 나은 패션 취향을 제안하는 데 있어 대중에게 도움을 줄 수 있다. 본 연구에서는 현재의 아웃핏 적합도 학습에 대해 확장된 모델을 제시하고자 한다. 이를 위해 NGNN에서의 GAT라는 그래프 학습 방법론을 활용하였다. GAT는 각각의 의복 아이템 쌍에 대해 적합도 중요성을 학습하는데, 이것은 적합도를 저해하는 문제의 아이템을 진단하고 이를 보다 적합한 아이템으로 대체하는 데 활용된다. 또한, 동일한 접근법을 활용하여 모델이 아웃핏을 생성할 수 있다. 본 연구에서는 세 가지 실험을 진행하였다. 첫째, 본 연구에서 개발된 모델과 state-or-the-art 간 FITB와 AUC를 비교하였다. 둘째, 본 연구의 모델과 랜덤 추출 간 HR@를 비교하였다. 마지막으로 패션 전문가로부터 구득한 데이터를 활용한 아웃핏 진단율을 계산하였다. 실험 결과, 제시된 모델은 주어진 아웃핏에 대해 개선된 추천을 제시할 뿐 아니라 현재 모델의 성능 또한 개선할 수 있었다. 아이템 추출 평가에서는 본 연구에서 활용된 방법이 랜덤 추출 대비 43.73% 우수한 성능을 보였다. 본 연구에서의 진단율은 61.77%로 확인되었으며 제시된 모델이 아웃핏 적합도를 결정하기 위해 색상과 복종에 중점을 두는 것을 확인하였다.