HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

基于Spark的并行化主题模型算法研究

作者:邹小波; 詹敏主题模型spark吉布斯采样文本挖掘大数据

摘要:为应对大数据量处理的挑战以及更加有效地进行文本的语义挖掘,本文利用快速通用的计算框架Spark进行典型主题模型潜在狄利克雷模型的并行化研究。根据模型求解过程中利用吉布斯采样估计参数的特点,该文将模型的并行化实现分解为参数初始化、数据集分割以及吉布斯采样等过程,并利用Spark提供的丰富编程接口进行模型的训练设计。基于真实数据集上的实验表明,该文的并行化模型能够提取文本的主题分布。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

电脑知识与技术

《电脑知识与技术》(CN:34-1205/TP)是一本有较高学术价值的大型旬刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《电脑知识与技术》是一本面向计算机全行业的综合性学术刊物。编委委员均来自国内各著名高校的教授和博士生导师,他们是我国计算机科学领域方面的专家、学者和权威人士;稿源来自全国各高等院校,相关专业研究机构以及国内大型信息通讯、软件研发企业设置的专业研究所。

杂志详情