HECATE: Hierarchicy-Efficient Copy Attention using T5 Encoder

Abstract

자연어 처리의 주된 과제 중 하나인 데이터 대 텍스트(Data-to-Text) 생성은 다양한 형태의 구조화된 입력 데이터를 자연어 형태로 변환하는 작업이다. 데이터 대 텍스트 생 성을 위해서는 데이터가 제공하는 정보를 적절하게 반영하는 텍스트를 생성하는 것이 중 요하다. 그러나 중요한 정보를 생략하거나 관련 없는 정보가 텍스트에 추가된다면 텍스 트가 더 이상 데이터를 적절하게 반영한다고 볼 수 없다. 이미 이를 수행하기 위해 GPT2와 같은 사전 학습된 언어 모델과 복사 메커니즘을 결합한 연구 사례가 존재한다. 그러나 기존 연구에서는 복사 메커니즘의 핵심인 주의 메커니즘에 큰 중점을 두지 않았 다. 이에 우리는 정보를 "집중해야 할 것"과 "집중하지 말아야 할 것"의 두 가지로 구분 하여 주의력 메커니즘을 계층적으로 재정의하였다. 또한 이를 T5에 적용하여 데이터 대 텍스트 성능을 극대화하고자 했다. 실험 결과 우리의 모델은 WebNLG2017 데이터셋에 서 가장 높은 성능을 달성한 것을 달성했다.

As one of the primary challenges in natural language processing, data-to-text generation is the task of converting various forms of input data into natural language forms. For data-to-text, it is important to generate text that appropriately reflects the information provided by the data. However, if important information is omitted or irrelevant information is added to the text, the text can no longer be considered to appropriately reflect the data. Other researchers have already combined a copy mechanism with a pre- trained language model such as GPT2 to accomplish this. However, previous studies have not placed much emphasis on attention mechanism, which is the core of the copying mechanism. Therefore, we redefined the attention mechanism hierarchically by differentiating the information into two categories: “what to focus on” and “what not to focus on.” By applying this to T5, we attempted to maximize data- to-text performance. Experimental results show that our model achieved state-of-the-art performance on the WebNLG2017 dataset.