Zero-shot Slot Filling with Momentum Contrastive Learning and Pre-trained Knowledge

Abstract

Zero-shot slot filling has received considerable attention to cope with the problem of limited available data for the target domain. One of the important factors in zero-shot learning is to make the model learn generalized and reliable representations. For this purpose, we present mcBERT, which stands for `m'omentum `c'ontrastive learning with \textbf{BERT}, to develop a robust zero-shot slot filling model. mcBERT uses BERT to initialize the two encoders, the query encoder and key encoder, and is trained by applying momentum contrastive learning. Our experimental results on the SNIPS benchmark show that mcBERT substantially outperforms the previous models, recording a new state-of-the-art. Besides, we also show that each component composing mcBERT contributes to the performance improvement.

제로샷 슬롯 채우기는 목적 도메인에 대한 데이터가 제한적인 경우를 해결하기 위한 방법으로서 주목받아왔다. 제로샷 학습에 있어 가장 중요한 요인은 모델이 일반화되고 신뢰성 있는 표현을 학습하도록 하는 것이다. 이러한 목적으로, 우리는 모멘텀 대조학습과 사전학습된 언어모델 BERT를 도입한 모델을 제안한다. 제안하고자 하는 모델은 질의 인코더와 BERT를 사용하여 두 인코더를 초기화하고 SNIPS 데이터셋을 사용한 실험에서 제안 모델은 기존의 제안 방법들과 비교하여 훨씬 뛰어난 성능을 보여주었다. 한편, 우리는 제안 모델의 각 구성 요소들이 성능 향상에 미치는 영향을 확인하는 실험을 진행하였다.