소셜/퍼스널 미디어에서의 이벤트 이해

Abstract

본 논문은 소셜 미디어와 퍼스널 미디어에서의 두 가지 미디어에서의 이벤트 이 해를 위해 1) 소셜 미디어에서의 이벤트 감지 및 파악하는 모델과 2) 퍼스널 미디어 에서 이벤트 단위의 앨범을 생성하는 모델을 제안한다. 소셜 미디어에서의 이종성 (multimodality)를 고려하여 이미지 기반의 소셜 미디어인 플리커(Flickr)에서는 정 확한 시간 정보를 활용하고, 텍스트 기반의 소셜 미디어인 트위터(Twitter)에서의 부 정확한 시간정보를 보정하면서도 풍부한 언어정보를 활용하는 방법을 제안하였다. 퍼스널 미디어에서는 이미지 단위의 언어 정보가 부족한 점을 극복하기 위해, 앨범 단위의 언어 정보를 활용하여, 주어진 이미지 집합들에 대해서 이벤트 앨범 단위로 묶어주고(grouping), 앨범에 대한 설명(annotation)을 제공하는 모델을 제안한다. 이 벤트 이해를 위한 두 가지 미디어에서의 모델을 제안하고, 제안하는 각각의 모델에 대해서 실험적으로 우수성을 확인하였다.

In this thesis, we studied event understanding problems in the two types of data streams - 1) social media and 2) personal media. In 1) social media, existing work focuses on event signals of bursty mentions extracted from a single-source of textual streams, these signals are likely to be noisy due to ambiguous occurrences of individual mentions. To extract accurate event signals, we propose a framework capable of "grounding" mentions to unique event (event grounding) and time stamps to actual event time (temporal grounding) by using multiple multimodal sources and show its effectiveness in publicly available datasets. In 2) personal media, photos suffer from the sparseness of such explicit labels (tags). To overcome this sparseness, we propose a novel framework EGNN (Event-album Generation Neural Network) for event album generation, which is trained with implicit labels (album-level description) that are more easily available. We also give multi-modal annotations, such as the type of event or representative photos as explanation. We validate the framework with personal media dataset, and find that our framework outperforms the state-of-the-art baselines in various event album generation tasks.