作者：赵伟燕; 王静宇文本分类mapreduce并行化tfidf算法
摘要：随着Internet等技术的飞速发展，信息处理已经成为人们获取有用信息不可或缺的工具，如何在海量信息中高效地获得有用信息至关重要，因此自动文本分类技术尤为重要。现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈，不能满足人们的需求，为此提出了基于Hadoop分布式平台的TFIDF算法，给出了算法实现的具体流程，通过MapReduce编程实现了该算法，并在单机和集群模式下进行了对比实验，同时与传统串行算法进行了对比。实验证明，使用TFIDF文本分类算法可实现对海量数据的高速有效分类。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
