关于改进的激活函数TReLU的研究
小型微型计算机系统（2019）
摘要
近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、Re LU和PRe LU在随着研究的深入暴露出越来越多的问题,比如存在"神经元死亡"和偏移现象,对噪声不具有鲁棒性.针对这些问题,结合Tanh和PRe LU的优点,提出了TReLU激活函数,通过参数α控制负半轴非饱和区间获得激活值,输出近似0均值,软饱和性对噪声鲁棒.实验结果表明,TReLU在四种不同的数据集上都取得了最好的效果,对不同优化方法具有鲁棒性,具有一定的实用价值.
更多AI 理解论文
溯源树
样例
生成溯源树，研究论文发展脉络
Chat Paper
正在生成论文摘要