基于Paragraph-BERT-CRF的科技论文摘要语步功能信息识别方法研究

[目的]致力于自动识别科技论文摘要中的语步功能信息,明确论文的研究目的、研究方法、研究结果和研究结论,有助于快速获取文献主要内容,实现智能化语义检索.[方法]提出基于Paragraph-BERT-CRF神经网络架构的摘要语步识别模型,能够充分利用摘要文本中的篇章上下文信息,同时考虑了注意力机制和语步标签序列内部的转移关系.[结果]基于94 456条科技论文摘要数据集进行方法实证,Paragraph-BERT-CRF的加权平均精确率为97.45％、加权平均召回率为97.44％、加权平均F1值为97.44％.通过对比CRF、BiLSTM、BiLSTM-CRF、BERT、BERT-CRF、Paragraph-BERT等模型的消融实验结果,验证了本文方法的有效性.[局限]Paragraph-BERT-CRF模型仅使用了基础BERT-base预训练语言模型,模型参数有待进一步优化,更多预训练语言模型在语步功能信息识别中的应用有待研究.[结论]引入注意力机制和篇章上下文信息,能有效提升模型的预测效果,达到摘要语步信息识别的功能.