Cascaded Transformer with Guided Loss for Molecular Representation Learning

Abstract

본 논문은 효과적인 분자 표현 학습을 위해 캐스케이드 트랜스포머 구조와 사전학습전략을 사용하였다. 자기지도 학습과 최소화된 지도학습법을 사용하여 기존 분자데이터셋이 갖고 있는 레이블이 부족한 문제를 겪지않고 대규모 데이터셋에 대해 학습이 가능하다.

캐스케이드 트랜스포머는 각각 구조 인코더와 특성 인코더라고 불리우는 두가지 종류의 분리된 인코더를 갖고 있다. 학습을 위한 테스크로는 분자의 구조를 예측하기 위해 사용되는 구조관련 테스크와 분자의 성질을 예측하기 위해 사용되는 특성관련 테스크로 나누어져있다. 각각의 테스크에 대한 손실함수는 분리되어 구조 손실함수는 구조인코더를 통과한 후 수행되고, 성질 손실함수는 성질 인코더를 통과한 뒤 수행되는 캐스케이드 구조를 갖고 있다. 이러한 사전학습 전략과 이를 잘 반영하는 캐스케이드 트랜스포머 구조를 이용하여 분자의 성질을 예측하는 6가지 downstream 데이터셋에서 모두 기존의 연구보다 좋은 성능을 보여주게 되었다. 이는 이 캐스케이드 트랜스포머 모델이 효과적인 분자표현을 얻는데 사용 될 수 있음을 의미한다.

Informative molecule representation helps to predict molecular properties accurately without expensive and time-consuming experiments. However, insufficient labeling makes it challenging to extract molecular representations by Deep Neural Networks (DNNs) approach, leading to poor generalization. This paper proposes a pretraining strategy and a cascade Transformer model for molecular representation learning. Specifically, the cascade Transformer has two separate encoders, where structure- and property-level tasks for molecules are tackled simultaneously at different levels of Transformer encoders. Our model is pertained on a large-scale molecular dataset with a proper pretraining strategy in a cascade way to encode molecules with both local and global information. The proposed model achieves state-of-the-art performance on various downstream tasks. Further experiments highlight the importance of locating the structure-level and property-level prediction losses at the separate Transformer encoders. Our contribution is threefold: (a) simultaneous pretraining of structure- and property-level tasks, (b) assigning different pretraining tasks to different layers in a cascade way, and (c) improving generalization for unseen data.