作者：周春晖微博大数据去重simhash多线程
摘要：数据去重是大数据预处理过程中最主要的一个步骤。为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率。实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
《计算机与现代化》（CN：36-1137/TP）是一本有较高学术价值的大型月刊，自创刊以来，选题新奇而不失报道广度，服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《计算机与现代化》自创刊以来，以理论联系实际、促进应用开发为宗旨，主要刊登计算机专业方面的新理论、新技术及其在各个领域中应用成果的论文，设有系统分析与设计、软件工程、网络与通讯、过程控制、辅助设计、中文信息技术、人工智能、综合述评、应用与实践等栏目，既有相当的学术水平，又有现实的指导作用。
部级期刊
人气 850202 评论 75
人气 227724 评论 65
省级期刊
人气 210753 评论 71
人气 210538 评论 35
