炼数成金 门户 商业智能 深度学习 查看内容

谷歌官方:反向传播算法图解

2018-6-29 14:04| 发布者: 炼数成金_小数| 查看: 16039| 评论: 0|来自: 新智元

摘要: 反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。反向传播算法对于快速训练大型神经网络来说至关重要。本文将介绍该算法的工作原理。

网络 工具 算法 神经网络 商业智能 函数

反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反向传播算法的工作原理。

网站地址:
https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/

反向传播算法对于快速训练大型神经网络来说至关重要。本文将介绍该算法的工作原理。

简单的神经网络


如上图,你会看到一个神经网络,其中包含一个输入节点、一个输出节点,以及两个隐藏层(分别有两个节点)。 


激活函数


每个节点都有一个总输入 x、一个激活函数 f(x) 以及一个输出 y=f(x)。 
f(x)必须是非线性函数,否则神经网络就只能学习线性模型。 

常用的激活函数是 S 型函数:


误差函数


正向传播




现在,我们更新第一个隐藏层。我们取上一层节点的输出 y,并使用权重来计算下一层节点的输入 x。

然后,我们更新第一个隐藏层中节点的输出。 为此,我们使用激活函数 f(x)。



使用这两个公式,我们可以传播到网络的其余内容,并获得网络的最终输出。


误差导数



其他导数


反向传播


一旦得出相对于某节点的总输入的误差导数,我们便可以得出相对于进入该节点的权重的误差导数。


接下来,只需重复前面的 3 个公式,直到计算出所有误差导数即可。


结束。

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-9-22 06:14 , Processed in 0.149734 second(s), 24 queries .