炼数成金 商业智能深度学习
订阅

深度学习

RNN 其常见架构:一文带你了解RNN家族知识点
RNN 其常见架构:一文带你了解RNN家族知识点
CNN 和 RNN是当下 Deep Learning 应用领域中主流的两大结构。前篇文章中我们介绍了 CNN,本篇开始我们聊聊 RNN。RNN 跟 CNN 历史相似之处在于,都是上个世纪提出来的概念。但是由于当时计算量和数据量都比较匮乏,它 ...
Dynamic ReLU:微软推出提点神器,可能是最好的ReLU改进 | ECCV 2020
Dynamic ReLU:微软推出提点神器,可能是最好的ReLU改进 | ECCV 2020
ReLU是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据 ...
Jürgen Schmidhuber发文纪念10年前的研究,网友:转折点非AlexNet?
Jürgen Schmidhuber发文纪念10年前的研究,网友:转折点非AlexNet?
LSTM 之父、深度学习元老 Jürgen Schmidhuber 发文纪念 10 年前发表的研究。Jürgen Schmidhuber 每次发博客都会引起一阵「腥风血雨」,这次似乎也不例外。最近,这位机器学习大牛发布博客,纪念 10 年前发表在 Neu ...
基于图神经网络的知识图谱研究进展
基于图神经网络的知识图谱研究进展
近几年来,人工智能技术得到了飞速发展,其进展突出体现在以知识图谱(Knowledge Graph)为代表的知识工程和以图神经网络(Graph Neural NetWorks, GNN)为代表的深度学习等相关领域。融合知识图谱与图神经网络已然成为 ...
一文读懂深度学习中的各种卷积
一文读懂深度学习中的各种卷积
在信号处理、图像处理和其它工程/科学领域,卷积都是一种使用广泛的技术。在深度学习领域,(CNN)这种模型架构就得名于这种技术。但是,深度学习领域的卷积本质上是信号/图像处理领域内的互相关(cross-correlation ...
魔改Attention大集合
魔改Attention大集合
前几天逛github刷到一个『awesome-fast-attention』大列表,整理了一系列关于attention的高效改进文章,包括论文、引用量、源码实现、算法复杂度以及关键亮点。
盘点当前最流行的激活函数及选择经验
盘点当前最流行的激活函数及选择经验
提到激活函数,最想问的一个问题肯定是它是干什么用的?激活函数的主要作用是提供网络的非线性表达建模能力,想象一下如果没有激活函数,那么神经网络只能表达线性映射,此刻即便是有再多的隐藏层,其整个网络和单层 ...
CNN结构设计技巧-兼顾速度精度与工程实现
CNN结构设计技巧-兼顾速度精度与工程实现
深度决定了网络的表达能力,网络越深学习能力越强。宽度(通道数)决定了网络在某一层学到的信息量,另外因为卷积层能重组通道间的信息,这一操作能让有效信息量增大(这也是1x1卷积的作用,它能学习出重组信息,使 ...
CNN一定需要池化层吗?
CNN一定需要池化层吗?
在现有的网络结构设计指导下,似乎卷积层后跟一个池化层下采样,已经是一个准则。我们重新思考了现有SOTA网络,并得出结论最大池化层是能被卷积层给替代。我们设计了一系列小网络,并提出了一种新的「反卷积方法」来 ...
硬刚无限宽神经网络后,谷歌大脑有了12个新发现
硬刚无限宽神经网络后,谷歌大脑有了12个新发现
各位炼丹师平时“炼丹”时最多跑过多深的神经网络呢?152层,256层,还是更多层?那各位跑过最宽的神经网络又有多宽呢?可能一层撑死有10个或20个神经元?对第二个问题,谷歌的回答是:我可以跑无限宽的神经网络。也 ...
YOLOv5被禁用!Kaggle全球小麦检测竞赛结果惹争议
YOLOv5被禁用!Kaggle全球小麦检测竞赛结果惹争议
昨天Kaggle 全球小麦检测(Global Wheat Detection)比赛落下帷幕,共计2,270 支队伍参赛。比赛结束后,讨论区本该是晒成绩或者解决方案的,但却出现了大量关于"YOLOv5"的讨论。因为YOLOv5的license 是GPL 协议 ...
Facebook将Windows版PyTorch的开发维护移交给微软
Facebook将Windows版PyTorch的开发维护移交给微软
Facebook 通过 PyTorch 官方博客宣布,微软已扩大了对 PyTorch 社区的参与,现在拥有 PyTorch 在 Windows 上的开发和维护所有权。PyTorch 是基于 Torch 的开源 Python 机器学习库,由 Facebook 的人工智能研究团队开 ...
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1 同日发布!都有哪些新特性?
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1 同日发布!都有哪些新特性?
7月29日,PyTorch 1.6、TenorFlow 2.3、Pandas 1.1恰巧同时发布。这三个库都是定期滚动更新,大约每个季度更新一次小版本。在AI内卷化达到“灰飞烟灭”的今日,仅仅会对PyTorch或TensorFlow进行调用已经不具有竞争力 ...
MIT研究人员发现 ImageNet 数据集存在系统性缺陷
MIT研究人员发现 ImageNet 数据集存在系统性缺陷
“我们的分析明确指出,嘈杂的数据收集管道是如何导致结果基准与其作为代理的实际任务之间的系统性不一致的”, 麻省理工学院的研究人员 在一篇题为《从 ImageNet 到图像分类:基准测试的情景化进展》的论文中写道, ...
Transformer模型深度解读
Transformer模型深度解读
「Transformer」 是2017年的一篇论文《Attention is All You Need》提出的一种模型架构,这篇论文里只针对机器翻译这一种场景做了实验,全面击败了当时的SOTA,并且由于encoder端是并行计算的,训练的时间被大大缩短 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

社区热帖

     

    GMT+8, 2021-9-26 14:02 , Processed in 0.541857 second(s), 16 queries .