基于词向量和EMD距离的短文本聚类

作者：黄栋; 徐博; 许侃; 林鸿飞; 杨志豪短文本emd距离词向量相似度计算聚类

摘要：短文本聚类在数据挖掘中发挥着重要的作用，传统的短文本聚类模型存在维度高、数据稀疏和缺乏语义信息等问题，针对互联网短文本特征稀疏、语义存在奇异性和动态性而导致的短文本聚类性能较差的问题，提出了一种基于特征词向量的文本表示和基于特征词移动距离的短文本聚类算法。首先使用Skip—gram模型（Continuous Skipgram Model）在大规模语料中韧I练得到表示特征词语义的词向量；然后利用欧式距离计算特征词相似度，引入EMD（Earth Mover，SDistance）来计算短文本间的相似度；最后将其应用到Kmeans聚类算法中实现短文本聚类。在3个数据集上进行的评测结果表明，效果优于传统的聚类算法。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社