基于单词等级和关联性语义多模态主题模型的社会事件分类

多媒体社会事件分类问题是多媒体研究领域中的热点问题.现有基于有监督主题模型的社会事件分类方法,未充分利用语料库(文本、视觉等模态)的内部语义信息,模型分类性能有待进一步提升.针对此问题,提出了一种融合单词等级和单词文档关联性语义的多模态监督主题模型(multi-modal supervised topic model based on word rank and relevance semantic weighting,DPRF-MMSTM),利用依存句法分析结果来划分文本模态单词对文档表征的贡献等级,挖掘出文本单词的等级语义;同时,考虑多模态单词的关联文档频数信息,用于单词文档关联性语义的提取;将2种语义融合到多模态单词的采样过程,实现基于有监督主题模型的社会事件分类.在多模态和单模态数据集上的对比实验表明,对比现有方法,DPRF-MMSTM模型在社会事件分类精度上分别提高了1.200％,1.630％,在主题一致性上分别提高了38.0％,8.5％.