汉语分词索引字数与分词效率的对比研究

作者：何利益 郭罡 郭建彬计算机应用中文分词词典机制三字哈希索引

摘要：针对汉语分词词典中双字哈希索引机制未能充分利用索引分词,而分词效率又明显优于首字哈希索引机制的问题,在充分分析汉语构词特点的基础上,提出了基于三字哈希索引的分词词典机制,并通过将字串的三态标记与下一索引指针的乘积作为哈希值的链地址法,简化了词典结构,节省了内存空间。理论分析和真实语料仿真均证明了三字哈希索引机制与不同字数的其他索引机制相比,具有更好的分词效率。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社