基于文本数据的过滤式与嵌入式样本选择算法
Data Analysis and Knowledge Discovery(2020)
Abstract
[目的]减少文本数据的训练数据量,缩短模型训练时间.[方法]基于协方差估计,提出一种新的过滤式样本选择算法,并将数据的遗忘性研究成果应用到嵌入式样本选择算法中.[结果]在中文阅读理解模型训练中,本文提出的算法至少可以减少模型训练时间50%.与经典的词频-逆文档频次算法相比,本文小批量协方差估计算法与遗忘算法在召回率、F评价指标上分别提升0.018、0.012与0.017、0.029.[局限]训练数据减少,对模型的准确率评价指标有一定影响.[结论]本文算法能减少模型的训练时间,提高评价指标,由于计算只与批次有关,故适用于大规模数据集的并行运算.
MoreAI Read Science
Must-Reading Tree
Example
![](https://originalfileserver.aminer.cn/sys/aminer/pubs/mrt_preview.jpeg)
Generate MRT to find the research sequence of this paper
Chat Paper
Summary is being generated by the instructions you defined