作者：陈孟强; 颜子杰; 叶彦; 吴维刚深度学习分布式并行天河二号参数服务器陈旧度
摘要：深度学习已被广泛应用于各领域，尤其是大数据分析，然而深度学习所需的计算越来越复杂，规模也越来越大。为了加速大规模深度学习的训练，学术界已经提出了各种分布式并行训练协议。设计了一种新的异步训练协议——加权异步并行协议（WASP），以更有效的方式更新神经网络参数。WASP的核心是对“陈旧梯度”的处理，即基于参数版本号来衡量梯度陈旧性并减少陈旧梯度对参数的影响。此外，通过周期性强制同步模型参数，WASP结合了同步和异步并行协议的优点，可以快速收敛并提高模型训练速度。我们在天河二号超级计算机上使用两个经典卷积神经网络LeNet-5和ResNet-101进行实验，结果表明，WASP可以比现有异步并行训练协议取得更高的加速比、更稳定的收敛。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
