PRBDN:基于预训练的微博评论情感分类模型
Journal of Chinese Information Processing（2022）
Abstract
文本情感分类是自然语言处理中的经典任务,在判断文本的情感极性、舆情监控、市场呼声、商品评论等领域有重要的应用价值.该文提出了一种基于预训练模型进行细粒度文本情感分类的新方法.基于文章级别的情感分类任务,需要模型同时具有较高的语义概括能力和抗噪能力.为此,该文利用BiLSTM网络对预训练模型中每层Transformer的权重进行调整,通过将各层表达的不同粒度的语义表征进行动态融合的方式,提高模型的语义空间表达能力.为了增强模型的泛化性能,该文在下游任务结合BiLSTM和BiGRU等结构对得到的语义向量进行特征过滤.利用该模型,作者在CCF 2020年举办的科技战疫·大数据公益挑战赛—疫情期间网民情绪识别赛道中位列第三,最终测试集的F1值为0.74537,该模型的参数量比第一名模型少67％,但二者分数差距仅为0.0001,说明该方法具备可行性与有效性.
MoreAI Read Science
Must-Reading Tree
Example
Generate MRT to find the research sequence of this paper
Chat Paper
Summary is being generated by the instructions you defined