Type-specific Multi-Head Shared-Encoder Model for Commonsense Machine Reading Comprehension

기계 독해는 주어진 컨텍스트를 기반으로 다양한 문제를 해결함으로써 기계의 자연어 이해를 평가할 수 있도록 도입된 태스크이다. 기계의 자연어 이해 평가를 위해서는 주어진 맥락을 완전히 이해한 상태에서 상식적인 추론이 가능해야 한다. 이러한 추론이 가능하도록 본 연구에서는 일반 상식 기반 기계 독해를 위한 멀티-태스크 학습 방법과 모델을 제안한다. 연구의 기여는 다음과 같이 요약된다: 1) 일반 상식 기반 기계 독해 기술 학습을 위한 태스크 유형별 데이터셋 구성 방법을 제안한다. 2) 상식 학습이 가능한 Type-specific 다중 헤드 공유 인코더 모델을 포함해 멀티-태스크 학습 방법과 배치 샘플링 기법을 제안한다. 3) 제안된 방법을 CosmosQA데이터셋에 평가했을 때 기존 베이스라인 모델보다 2.38% 향상된 성능을 보인다. Machine reading comprehension (MRC) is a task introduced to a machine that can understand natural languages by solving various tasks based on given context. To evaluate natural language understanding of machine, a machine must make commonsense inference under full comprehension of a given context. To enhance model obtaining such abilities, we proposed a multi-task learning scheme and a model for commonsense MRC. Contributions of this study are as follows: 1) a method of task-specific dataset configuration is proposed; 2) a type-specific multi-head shared-encoder model with multi-task learning scheme including batch sampling and loss scaling is developed; and 3) when the method is evaluated on CosmosQA dataset (commonsense MRC), the accuracy was improved by 2.38% compared to the performance at baseline with fine-tuning.