基于文本密度模型的Web正文抽取

ZHU Ze-De,LI Miao,ZHANG Jian,CHEN Lei,ZENG Xin-Hua

Pattern Recognition and Artificial Intelligence（2013）

引用 1|浏览32

暂无评分

摘要

为从大量无关信息中获取有用内容,正文抽取成为Web数据应用不可或缺的组成部分.文中提出一种基于文本密度模型的新闻网页正文抽取方法.主要通过融合网页结构和语言特征的统计模型,将网页文档按文本行转化成正、负密度序列,再根据邻近行的内容连续性,利用高斯平滑技术修正文本密度序列,最后采用改进的最大子序列分割序列抽取正文内容.该方法保持正文完整性并排除噪声干扰,且无需人工干预或反复训练.实验结果表明基于文本密度抽取正文对不同数据源具有广泛的适应性,且准确率和召回率优于现有统计模型.

查看译文

关键词

Text Density,Web Mining,Gaussian Smoothing,Content Extraction,Maximum Subsequence

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要