作者：袁宏进; 潘晴卷积神经网络dropweight伯努利分布全连接层泛化能力
摘要：针对卷积神经网络在采用Dropout算法随机选取神经元时,忽略神经元的作用能力有强有弱的局限性,提出一种DropWeight算法。首先在全连接层上,通过伯努利分布按一定概率来随机选择神经元是否激活,然后引入了一个神经元激活程度值变量。它是为未被激活的神经元们赋予较小的激活程度值,使得更新神经元的连接方式发生变化,来丰富网络的多样性和增强网络的鲁棒性。通过Mnist和Cifar-10两个标准数据集进行实验,与加入Dropout层进行比较,DropWeight层在所对应网络当中上都可找到一个最优的激活程度值,并可使图片分类的识别率分别提升0.18%和0.78%。结果表明,DropWeight层在一定程度上提高了网络的泛化能力,具有提高图片分类识别率的效果。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
