基于LDA的文本聚类在网络舆情分析中的应用研究

作者：王少鹏 彭岩 王洁网络舆情主题模型lda文本相似度

摘要：针对传统的基于词语的文本聚类算法忽略了文本中可能具有的隐含信息的问题，提出了一种基于 LDA （latent dirichlet allocation）主题模型的文本聚类算法。该方法利用TF-IDF算法和LDA主题模型分别计算文本的相似度，通过耗费函数确定文本相似度的融合系数并进行线性结合来获取文本之间的相似度，同时使用F-measure值来对聚类结果进行评估。在构建LDA主题模型时，采用Gibbs抽样来进行参数估计，通过贝叶斯统计的标准方法进行最优主题数的确定。从仿真实验的聚类结果的准确性和稳定性来看，该方法相比传统的文本聚类算法具有更良好的效果。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社