基于双向预训练语言模型的文本情感分类

Journal of Xi'an University of Posts and Telecommunications（2020）

引用 1|浏览3

暂无评分

摘要

针对Word2vec和GloVe等词嵌入方法无法学习相同词汇在不同上下文中的一词多义,以及单向语言模型的特征融合能力较弱的问题,提出一种基于双向预训练语言模型的文本情感分类方法.在大型通用语料库上利用双向Transformer语言模型进行无监督的训练,得到预训练语言模型.在预训练语言模型的输出层上添加一层softmax网络,并在文本情感分类的任务语料上微调模型,利用该模型进行文本情感分类.实验结果表明,该方法在SST-2和Yelp14数据集上分类的准确率分别提高了1.8％和1.4％,有效地提高了情感分类准确率.

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要