炼数成金 门户 商业智能 深度学习 查看内容

Dynamic ReLU:微软推出提点神器,可能是最好的ReLU改进 | ECCV 2020

2020-9-14 10:07| 发布者: 炼数成金_小数| 查看: 44108| 评论: 0|原作者: VincentLee|来自: 晓飞的算法工程笔记

摘要: ReLU是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据 ...
论文: Dynamic ReLU

论文地址:https://arxiv.org/abs/2003.10027
论文代码:https://github.com/Islanna/DynamicReLU

Introduction
ReLU是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据输入特征来调整ReLU的参数可能会更好。


Definition and Implementation of Dynamic ReLU

Relation to Prior Work

Variations of Dynamic ReLU

论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制:


Experimental Results

图像分类对比实验。

关键点识别对比实验。

与ReLU在ImageNet上进行多方面对比。

与其它激活函数进行实验对比。

可视化DY-ReLU在不同block的输入输出以及斜率变化,可看出其动态性。

Conclustion
论文提出了动态ReLU,能够根据输入动态地调整对应的分段激活函数,与ReLU及其变种对比,仅需额外的少量计算即可带来大幅的性能提升,能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU,也是做动态ReLU,子网结构十分相似,但DY-ReLU由于的存在,可能性和效果比APReLU更大。

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-11-27 22:07 , Processed in 0.166651 second(s), 24 queries .