基于双哈希词典机制中文分词的研究

汉语词典机制很大程度上影响中文分词的效率.为了提高现有基于词典的分词机制的查询效率,在双哈希词典机制和整词二分法相结合的基础上提出了一种有效的中文分词词典机制——双哈希编码分词词典机制.首字采用散列表保存,剩余字符逐个拼接计算其编码后放入余词散列表中,并加入状态值来减少匹配次数.实验结果表明该分词机制节省了内存空间和提高了匹配速度,方便词典更新与维护.