作者:周春晖微博大数据去重simhash多线程
摘要:数据去重是大数据预处理过程中最主要的一个步骤。为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率。实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社
《计算机与现代化》(CN:36-1137/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《计算机与现代化》自创刊以来,以理论联系实际、促进应用开发为宗旨,主要刊登计算机专业方面的新理论、新技术及其在各个领域中应用成果的论文,设有系统分析与设计、软件工程、网络与通讯、过程控制、辅助设计、中文信息技术、人工智能、综合述评、应用与实践等栏目,既有相当的学术水平,又有现实的指导作用。
部级期刊
人气 850677 评论 75
人气 229058 评论 65
人气 212543 评论 35
省级期刊
人气 211817 评论 71