作者：杨鹤标; 胡惊涛; 刘芳词向量层序softmax增量训练矩估计梯度迭代
摘要：针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB~1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
《江苏大学学报·社会科学版》（CN：32-1655/C）是一本有较高学术价值的大型双月刊，自创刊以来，选题新奇而不失报道广度，服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《江苏大学学报·社会科学版》国内外公开发行的哲学、社会科学类学术理论期刊，主要刊登政治学、哲学、经济学、管理学、历史、文学、艺术、语言学等学科的研究成果，辟有“生态精神与美学、文艺学研究”、“辽金元文学文化研究”、“中国当代史研究”、“赛珍珠专题研究”、“词汇语义学论坛”等专栏。
杂志详情
