炼数成金 门户 商业智能 深度学习 查看内容

Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它

2018-7-19 09:56| 发布者: 炼数成金_小数| 查看: 20002| 评论: 0|来自: 量子位

摘要: 32年前,人工智能、机器学习界的泰斗Hinton提出反向传播理念,如今反向传播已经成为推动深度学习爆发的核心技术。然而反向传播自诞生起,也受到了无数质疑。这些质疑来自各路科学家,也来自Hinton自己。主要是因为, ...

网络 工具 算法 神经网络 深度学习 权重

32年前,人工智能机器学习界的泰斗Hinton提出反向传播理念,如今反向传播已经成为推动深度学习爆发的核心技术。

然而反向传播自诞生起,也受到了无数质疑。这些质疑来自各路科学家,也来自Hinton自己。

主要是因为,反向传播机制实在是不像大脑。

去年九月,Hinton站在众人面前,亲口说出他对反向传播“深感怀疑”,并且振臂一呼的号召:“我的观点是把它全部抛掉,重头再来。”

他不止这么说,也在亲自践行。


这些年来,科学家们也为反向传播寻找了不少“生物学上更合理”、也就是更像大脑工作机制的替代品。但这些是通往未来的道路么?

Hinton决定亲自尝试一下。他集结了来自DeepMind和多伦多大学的强大力量,对这些替代品进行了一次评估。结论是:

在比较复杂的分类任务 (如ImageNet) 里,那些更像大脑机制的算法,都远不及反向传播。

对比测试
在Hinton参与的新论文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里,反向传播的挑战者包括:

1号选手,目标传播 (Target-Propagation,TP) 。

2号选手,反馈对比 (Feedback Alignment,FA) 。

3号选手,目标差传播 (Difference Target Propagation,DTP) 。


三位选手,还各自拥有几种变体。

加上守擂方反向传播,四者挑战的有MNIST、CIFAR以及最难的ImageNet这几个分类数据集。

谁的学习能力,能更好地推广到复杂的数据集里,就代表它更有潜力,去解释大脑的运作。

先来看MNIST和CIFAR两项比赛的成绩。


下划线加粗为较佳

无论是在全连接 (Fully-Connected) 还是局部连接 (Locally-Connected) 的神经网络中,反向传播的表现都是较好的。

除此之外,用BP训练的CNN,拥有共享权重 (Shared Weights) ,也能有效提升模型的表现。

这一点值得注意,是因为CNN在生物学意义上,有一个“不太可取”的特性,就是权重共享。

因为,每个神经元的权值,都需要非常较精确地传递开来,这个操作在自然界里太不现实。

不过,数据证明,权重共享并不是“不可取”。它的存在,大大减少了自由参数,让模型的学习能力更容易向复杂任务中推广。于是,BP ConvNet击败了亲近自然的方法,和它们更加自然的变体。

说到更加复杂的任务,下一个比赛场地,就是ImageNet数据集了。


遗憾的是,在ImageNet这座大山面前,所有的方法成绩都不理想。

但在所有的不理想中间,反向传播的表现依然优于其他选手,且以卷积网络的版本为最优。

也就是说,即便无法像人类一样轻取复杂问题,反向传播依然离这个目标更近,加上共享权重就更近。

研究团队在论文中说,如果想从生物学上,找到学习效果更好的算法,反向传播的挑战者们还有很长的路要走。


不论是现有的“生物学合理”的算法,还是大家要找的新方法。

是啊,路还长,这次的比赛成绩也只是阶段性结果。

未来,翘首以待。

论文
为了完成这个研究,来自多家著名机构的学者,组成了一个特混战队。

其中Hinton来自多伦多大学和Google Brain,Sergey Bartunov(一作)和Adam Santoro来自DeepMind,Blake A. Richards来自多伦多大学。Timothy P. Lillicrap来自DeepMind和UCL。

外界对这篇论文也有一些很强烈的赞誉之声。

譬如,有人说这是一个伟大的研究,随着时间的推移,这些讨论会变得越来越有意思;也有人说被这个研究惊到了。

当然,也有人持保留意见。

不知道你会怎么认为,去读Paper吧。


这篇评估了反向传播各路替代品的论文是:

Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures

作者:Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap

最近这篇论文也发到了arXiv上,大家有空可以看一看。

传送门:
https://arxiv.org/pdf/1807.04587.pdf

特立独行
Hinton从来都不是一个跟随主流的人。他声名煊赫的整个家族都弥漫着这样的一种气质。

1972年,25岁的Hinton在爱丁堡大学攻读博士学位,并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。

实际上几十年来,Hinton一直徘徊在人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样思考,依靠直觉而不是规则。


一直到大约2009年前后,神经网络才又引发更多人的关注。谈到那些灰暗的日子,Hinton给出了这样的回答:

“是什么支持着你不放弃?”

“其他人都错了。”

“我们本来在体制之外,力图证明传统路线是错的,然而有趣的是,转眼间我们成了正统。”Hinton的学生、OpenAI创始人Ilya Sutskever说。

作为机器学习的先锋,Hinton从中开辟了“深度学习”这个子领域,这让计算机可以自动建立起一层层的智慧。

得益于近年来计算力的猛增,深度学习成为主流方法,从我们智能手机里的语音识别、图像探测到亚马逊为你推荐的图书,都离不开它。

因为患有腰间盘突出,坐下变成一种痛苦,从2005年开始,Hinton就不再坐着了,工作时就一直站着。而现在站立工作,似乎也是一种风潮。

“我领先于潮流,”Hinton说。
声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754
1

鲜花

握手

雷人
1

路过

鸡蛋

刚表态过的朋友 (2 人)

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-8-21 02:34 , Processed in 0.125370 second(s), 25 queries .