作者:牛伯浩语言模型文本智能预测循环神经网络lstm
摘要:近年来随着深度学习越来越流行,许多研究者选择把这种方法用在语言模型领域,并且有着不错的成效,如循环神经网络(RNN)等。不同于之前的N-gram语言模型,通过循环神经网络来建构语言模型,根据RNN共享权重的特性,可以充分利用所有上文信息来预测下一词,对长距离语言进行有效处理。然后根据长短时记忆网络(LSTM)一种特殊的深度循环神经网络,可以实现更好地捕捉文本的长距离信息;我们将其应用在文本的智能预测,实验结果显示,使用LSTM对于大词汇连续文本智能预测的效能与之前相比有相当程度的提升。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社