炼数成金 商业智能深度学习
订阅

深度学习

Bengio等人提出图注意网络架构GAT,可处理复杂结构图
Bengio等人提出图注意网络架构GAT,可处理复杂结构图
近日,Bengio 团队提出了基于近邻节点注意机制的网络架构 GAT,可用于处理复杂、不规则结构的计算图,并在三种困难的基准测试中得到了业内最佳水平,研究人员称该模型有望在未来处理任意不规则结构图。该论文现已提 ...
追根溯源!一图看尽深度学习架构谱系
追根溯源!一图看尽深度学习架构谱系
近几年,深度学习高速发展,出现了大量的新模型与架构,以至于我们无法理清网络类型之间的关系。在这篇文章中,香港科技大学(HKUST)助理教授金成勳总结了深度网络类型之间的谱系图,以便于我们索引不同类型网络的 ...
关于深度学习中的注意力机制,这篇文章从实例到原理都帮你参透了
关于深度学习中的注意力机制,这篇文章从实例到原理都帮你参透了
最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例,深入浅出地介 ...
【一文读懂Hinton最新Capsules论文】CNN 未来向何处去
【一文读懂Hinton最新Capsules论文】CNN 未来向何处去
CNN 未来向何处去?做领袖不容易,要不断地指明方向。所谓正确的方向,不仅前途要辉煌,而且道路要尽可能顺畅。Geoffrey Hinton 是深度学习领域的领袖。2011 年,正当 CNN 模型爆发性地取得一个又一个靓丽成就时,老 ...
【TensorFlow开源2年官方回顾】下一个重要方向是分布式模型服务
【TensorFlow开源2年官方回顾】下一个重要方向是分布式模型服务
自从2016年2月 TensorFlow Serving 开源以来,我们做了一些重大改进。现在,让我们再回到这个项目开始的地方,回顾我们的进展过程,并分享我们下一步的方向。在 TensorFlow Serving 启动之前,谷歌公司内的 TensorFl ...
亚马逊发布新版MXNet:支持英伟达Volta和稀疏张量
亚马逊发布新版MXNet:支持英伟达Volta和稀疏张量
Apache MXNet v0.12来了。今天凌晨,亚马逊宣布了MXNet新版本,在这个版本中,MXNet添加了两个重要新特性:支持英伟达Volta GPU,大幅减少用户训练和推理神经网络模型的时间。在存储和计算效率方面支持稀疏张量(Spa ...
如何使用Keras函数式API进行深度学习?
如何使用Keras函数式API进行深度学习?
可以这样说,Keras Python库使得创建深度学习模型变得快速且简单。序列API使得你能够为大多数问题逐层创建模型。当然它也是有局限性的,那就是它并不能让你创建拥有共享层或具有多个输入或输出的模型。Keras中的的函 ...
深度学习教父Geoffrey Hinton的“胶囊理论”终于发出论文
深度学习教父Geoffrey Hinton的“胶囊理论”终于发出论文
目前的神经网络中,每一层的神经元都做的是类似的事情,比如一个卷积层内的每个神经元都做的是一样的卷积操作。而Hinton坚信,不同的神经元完全可以关注不同的实体或者属性,比如在一开始就有不同的神经元关注不同的 ...
23种深度学习库排行榜:TensorFlow最活跃、Keras最流行
23种深度学习库排行榜:TensorFlow最活跃、Keras最流行
我们对23种用于数据科学的开源深度学习库作了排名。这番排名基于权重一样大小的三个指标:Github上的活动、Stack Overflow上的活动以及谷歌搜索结果。排名结果下面是23种用于数据科学的开源深度学习库的排名,按照Gi ...
从2017年顶会论文看Attention Model
从2017年顶会论文看Attention Model
2014 年发表的文章 Neural Machine Translation by Jointly Learning to Align and Translate 使用了单层 Attention Model 解决机器翻译中不同长度的源语言对齐问题。使用 Attention Model 的基本思想是目标语言端的 ...
Google GAN之父 ICCV2017演讲:解读生成对抗网络的原理与应用
Google GAN之父 ICCV2017演讲:解读生成对抗网络的原理与应用
「对抗生成网络之父」Ian Goodfellow 在 ICCV 2017 上的 tutorial 演讲是聊他的代表作生成对抗网络(GAN/Generative Adversarial Networks),这几年,他每到大会就会讲 GAN,毕竟对抗生成网络之父的头衔在呢,这块 ...
GANs正在多个层面有所突破
GANs正在多个层面有所突破
去年我一直在研究如何更好地调整GANs中的不足,但因为之前的研究方向只关注了损失函数,完全忽略了如何寻找极小值问题。直到我看到了这篇论文才有所改变:详解论文: The Numerics of GANs我参考了Mar的三层分析,并 ...
Attention!神经网络中的注意机制到底是什么?
Attention!神经网络中的注意机制到底是什么?
神经网络的注意机制(Attention Mechanisms)已经引起了广泛关注。在这篇文章中,我将尝试找到不同机制的共同点和用例,讲解两种soft visual attention的原理和实现。什么是attention?通俗地说,神经网络注意机制是 ...
从ReLU到Sinc,26种神经网络激活函数可视化
从ReLU到Sinc,26种神经网络激活函数可视化
在神经网络中,激活函数决定来自给定输入集的节点的输出,其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化,激活函数需要是可微分(或者至少是几乎完全可微分 ...
GAN眼中的图像翻译
GAN眼中的图像翻译
首先,什么是图像翻译?为了说清楚这个问题,下面我给出一个不严谨的形式化定义。我们先来看两个概念。第一个概念是图像内容(content) ,它是图像的固有内容,是区分不同图像的依据。第二个概念是图像域(domain), ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-7-16 03:26 , Processed in 0.114172 second(s), 16 queries .