作者：沈卉卉; 刘国武; 付丽华; 刘智慧; 李宏伟深度学习无监督学习受限玻尔兹曼机梯度近似算法gibbs采样动量加速泛化能力
摘要：受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种随机网络、概率图模型,它是一种比较有效的的无监督学习模型.针对RBM梯度近似的一种计算方法对动量加速不敏感,以及识别效果不理想等问题,本文提出一种基于修正动量的RBM算法.该算法结合RBM梯度近似方法,通过修改隐单元偏置参数的更新方式,避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题.同时,在RBM预训练阶段采用快速上升的动量方式,以加速网络收敛;在微调阶段引入缓慢下降的动量项,以避免陷入局部最优点并提高识别效果.本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的数值实验结果表明,提出的算法能够有效地提高计算效率和提高网络泛化能力.该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴.
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
