Out-of-domain Sentence Detection based on Dialog Systems

Abstract

대화 시스템은 사람과 기계 사이의 상호작용을 위한 대화 인터페이스를 제공한다. 예를 들어 사용자는 대화 시스템을 통해 일정을 관리하고, 날씨 정보를 얻고, 음악을 검색 할 수 있다. 이러한 대화 시스템은 최근 음성 인식 및 자연어 처리 기술의 비약적인 발전에 따라 차세대 인터페이스로 주목 받고 있다. 그러나 일반적인 대화 시스템은 특정한 영역에 대한 서비스만을 제공할 수 있으므로 사용자로부터 처리 할 수 없는 요청을 받는 경우 적합한 응답을 제공 할 수 없다. 그러므로 대화 시스템이 사용자로부터 영역 외 요청을 받은 경우 이를 감지해 요청을 거절하거나 대안을 제시 함으로써 사용자에게 향상된 대화 경험을 제공 할 수 있다.

본 박사 학위 논문은 대화 시스템을 위한 영역 외 문장 검출 방법을 제안한다. 제안하는 방법론은 데이터 기반 대화 시스템 개발 과정에서 이미 수집된 영역 내 문장만을 학습에 사용하며 영역 외 문장은 필요로 하지 않는다. 학습을 위해 다양한 영역에 대한 충분한 양의 영역 외 문장을 수집하는 것은 많은 노력과 시간을 필요로 하며, 서비스 과정에서 대화 시스템의 영역의 정의가 변경될 때 마다 기존에 수집한 모든 영역 외 문장들의 영역 외 여부를 재검토 할 필요가 있기 때문이다.

제안하는 영역 외 문장 검출 방법론은 두 단계로 구성된다. 첫 번째 단계에서는 사용자로부터 입력 받은 문장을 분산 표현으로 변환한다. 서로 다른 단어로 구성된 문장일지라도 영역 외 문장 검출 관점에서 그 의미가 유사하다면 그 분산 표현이 벡터 공간 상에서 가까운 거리를 갖도록 하기 위함이다. 이를 위해 입력 문장의 영역 범주를 분석하는 재귀 신경망(recurrent neural network)을 학습한다. 해당 재귀 신경망에 의해 추출된 특징은 영역에 대한 정보를 담고 있으므로 영역 외 문장 검출에 사용한다.

제안하는 방법론의 두 번째 단계에서는 추출된 분산 표현을 바탕으로 입력 문장의 영역 외 여부를 판별한다. 이를 위해 분산 표현을 저차원으로 압축하는 인코더(encoder)와 원래대로 복원하는 디코더(decoder)로 구성된 오토인코더(autoencoder)를 학습한다. 학습된 오토인코더는 영역 외 문장에 대해서는 높은 복원 오류를 가지므로 이를 영역 외 문장 검출에 사용한다. 두 번째 단계를 위한 다른 방법은 실제 분산 표현과 만들어진 분산 표현을 구별하는 구분자(discriminator)와 구분자를 속이기 위해 분산 표현을 만들어내는 생성자(generator)로 구성된 생성적 적대 신경망(generative adversarial network)을 학습하는 것이다. 학습된 구분자는 영역 외 문장에 대해서는 낮은 점수를 부여하므로 이를 영역 외 문장 검출에 사용한다. 실험을 통해 이 박사 학위 논문이 제안한 방법론이 영역 외 문장을 정확하게 검출 할 수 있음을 검증하였다.

To ensure satisfactory user experience, dialog systems must be able to determine whether an input sentence is in-domain or out-of-domain (OOD). We assume that only in{domain sentences are available as training data because collecting enough OOD sentences in an unbiased way is a laborious and time-consuming job. This dissertation proposes a novel sentence-embedding method that represents sentences in a low-dimensional continuous vector space that emphasizes aspects that distinguish in-domain cases from OOD cases. We first used a large set of unlabeled text to pre-train word representations that are used to initialize sentence embedding. Then we used domain-category analysis as an auxiliary task to train sentence embedding for OOD sentence detection; the learned sentence representations are used to train one-class classifiers. We propose two one-class classifiers for OOD sentence detection: an autoencoder that generates high reconstruction errors for OOD sentences and a generative adversarial network in which the discriminator generates low scores for OOD sentences. We evaluated our OOD sentence detection method by experimentally comparing it to state-of-the-art methods in a 14-domain dialog system; our proposed method achieved the highest accuracy in all tests.