基于互信息的文本分类改进方法研究

作者：余璇; 孙伟; 张翔主题模型词频互信息特征选择

摘要：传统的LDA主题模型没有考虑词频对主题分类的影响,使得主题分布向高频词倾斜。为了综合考虑词频和主题间的相关性,文中利用互信息能够表达变量间相关性的特点,在互信息基础上改进作为特征选择方法,利用评价函数评价特征词的权重值改进LDA算法分类过程,提高对主题分类贡献度高的特征词的作用。通过在新闻语料库上的分类实验证明了该方法的有效性,同时表明分类的准确率也有所提高。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社