炼数成金 商业智能深度学习
订阅

深度学习

NVIDIA BERT推理解决方案Faster Transformer开源啦
NVIDIA BERT推理解决方案Faster Transformer开源啦
Faster Transformer是一个BERT Transformer 单层前向计算的高效实现,其代码简洁明了,后续可以通过简单修改支持多种Transformer结构。目前优化集中在编码器(encoder)的前向计算(解码器decoder开发在后续特性规划 ...
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
损失函数对神经网络的训练有显著影响,也有很多学者人一直在探讨并寻找可以和损失函数一样使模型效果更好的函数。后来,Szegedy 等学者提出了标签平滑方法,该方法通过计算数据集中 hard target 的加权平均以及平均 ...
像堆乐高一样:从零开始解释神经网络的数学过程
像堆乐高一样:从零开始解释神经网络的数学过程
模型的训练、调参是一项非常费时费力的工作,了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始,一步一步讲解了训练神经网络时所用到的数学过程。神经网络是线性模块和非线性模块的巧妙排列。当 ...
图灵奖得主Hinton和 LeCun最新演讲:深度学习如何继续革命?
图灵奖得主Hinton和 LeCun最新演讲:深度学习如何继续革命?
Hinton表示,自从20世纪50年代开始,人工智能存在两种范式:分别是逻辑启发的方法和生物学启发的方法。逻辑启发的方法(The logic-inspired approach):智能的本质是使用符号规则来操纵符号表达。 我们应该专注于推理 ...
超越TensorFlow!未来我们需要基于图的全新计算模式
超越TensorFlow!未来我们需要基于图的全新计算模式
“图数据本身非常复杂,深度学习数据样本之间可以随意切割,但图数据不行,因为节点之间存在关联。深度学习时代,我们通常基于 TensorFlow 框架,将数据 Tensor 放到一个计算图里在显卡中做计算。未来,我们的计算模 ...
细粒度稀疏也能取得高加速比:神经网络模型压缩与加速的新思路
细粒度稀疏也能取得高加速比:神经网络模型压缩与加速的新思路
深度神经网络让人工智能在多个领域获得了极大的进步,但随着模型日益变大、变复杂,深度神经网络的低延迟推理对应用落地来说至关重要。为此,微软亚洲研究院系统与网络组从模型的稀疏性入手解决计算力需求增长与供应 ...
比Pytorch Hub更早?三分钟带你弄懂PaddleHub!
比Pytorch Hub更早?三分钟带你弄懂PaddleHub!
Hub是什么?Hub本意是中心,docker有docker Hub,大家可以把自己创建的镜像打包提交到docker hub上,需要的时候再pull下来,非常方便,那么模型是不是也可以这样玩呢?完全可以啊!很多时候我们不需要从头开始训练模 ...
深度学习来得太晚也太猛,对话2018年度图灵奖三位「大佬」
深度学习来得太晚也太猛,对话2018年度图灵奖三位「大佬」
虽然曾经遭受质疑甚至嘲笑,但 2018 年度图灵奖获得者 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 一直在他们的研究生涯中不断发展人工神经网络,其研究成果已成为了从搜索到内容过滤等领域不可或缺的组成部分。 ...
推理速度提升5.1倍:谷歌提出新型卷积网络EfficientNet
推理速度提升5.1倍:谷歌提出新型卷积网络EfficientNet
卷积神经网络(CNN)通常以固定成本开发,然后再按比例放大,从而在获得更多资源时可以达到更高的准确率。例如,ResNet 可以通过增加网络层数,从 ResNet-18 扩展到 ResNet-200。近期 GPipe 将基线 CNN 扩展了 4 倍 ...
万字综述,核心开发者全面解读PyTorch内部机制
万字综述,核心开发者全面解读PyTorch内部机制
张量是 PyTorch 中的核心数据结构。对于张量直观上所表示的东西,你可能已有很好的理解:张量是一种包含某种标量类型(比如浮点数和整型数等)的 n 维数据结构。我们可以将张量看作是由一些数据构成的,还有一些元数 ...
如何利用深度学习技术处理图像水印?
如何利用深度学习技术处理图像水印?
水印作为一种保护版权的有效方式被广泛地应用于海量的互联网图像,针对水印的各种处理显得越来越重要,比如水印的检测和水印的去除与反去除。在这里我们和大家分享一下业余期间在水印智能化处理上的一些实践和探索, ...
理解Batch Normalization(含实现代码)
理解Batch Normalization(含实现代码)
随着网络训练,浅层的权重发生变化,导致深层的输入变化很大。因此每层必须根据每批输入的不同分布重新调整其权重。这减缓了模型训练。如果我们可以使层的输入分布更相似,那么网络可以专注于学习类别之间的差异。不 ...
语义分割网络经典:FCN与SegNet
语义分割网络经典:FCN与SegNet
改编当前的分类网络:AlexNet、VGG、GoogLeNet到全卷积网络和通过微调传递它们学习的特征表达能力到分割任务中。然后定义了一个跳跃式的架构,结合来自深、粗层的语义信息和来自浅、细层的表征信息来产生准确和精细 ...
重磅!13篇基于Anchor free的目标检测方法
重磅!13篇基于Anchor free的目标检测方法
感觉是回归吧,以前是没有anchor的,现在觉得还是去掉anchor(“锚”?)好,主要是灵活性强,今后硬件芯片兼容性好。什么是锚框呢?其实就是固定 的参考框。锚框的出现,使得训练时可以预设一组不同尺度不同位置的锚 ...
从图嵌入到图分类——图网络入门综述
从图嵌入到图分类——图网络入门综述
通过与这些希望获得机器学习领域协助的团队交流我们得知,图数据真是无处不在 —— 从疾病诊断,遗传学研究还有健康管理,到银行和工程,图都是一种解决困难问题的强有力的分析模式。简单来说,一张图就是节点(比如 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-7-18 07:32 , Processed in 0.089633 second(s), 16 queries .