作者:叶小舟; 陶飞飞; 戚荣志; 张云飞; 周思琪...深度学习循环神经网络激活函数lstm模型gru模型
摘要:循环神经网络相比于其他深度学习网络,优势在于可以学习到长时依赖知识,但学习过程中的梯度消失和爆炸问题严重阻碍了知识的按序传播,导致长时依赖知识的学习结果出现偏差。为此,已有研究主要对经典循环神经网络的结构进行改进以解决此类问题。本文分析2种类型的激活函数对传统RNN和包含门机制RNN的影响,在传统RNN结构的基础上提出改进后的模型,同时对LSTM和GRU模型的门机制进行改进。以PTB经典文本数据集和LMRD情感分类数据集进行实验,结果表明改进后的模型优于传统模型,能够有效提升模型的学习能力。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社