炼数成金 商业智能深度学习
订阅

深度学习

一文读懂深度学习中的各种卷积
一文读懂深度学习中的各种卷积
在信号处理、图像处理和其它工程/科学领域,卷积都是一种使用广泛的技术。在深度学习领域,(CNN)这种模型架构就得名于这种技术。但是,深度学习领域的卷积本质上是信号/图像处理领域内的互相关(cross-correlation ...
魔改Attention大集合
魔改Attention大集合
前几天逛github刷到一个『awesome-fast-attention』大列表,整理了一系列关于attention的高效改进文章,包括论文、引用量、源码实现、算法复杂度以及关键亮点。
盘点当前最流行的激活函数及选择经验
盘点当前最流行的激活函数及选择经验
提到激活函数,最想问的一个问题肯定是它是干什么用的?激活函数的主要作用是提供网络的非线性表达建模能力,想象一下如果没有激活函数,那么神经网络只能表达线性映射,此刻即便是有再多的隐藏层,其整个网络和单层 ...
CNN结构设计技巧-兼顾速度精度与工程实现
CNN结构设计技巧-兼顾速度精度与工程实现
深度决定了网络的表达能力,网络越深学习能力越强。宽度(通道数)决定了网络在某一层学到的信息量,另外因为卷积层能重组通道间的信息,这一操作能让有效信息量增大(这也是1x1卷积的作用,它能学习出重组信息,使 ...
CNN一定需要池化层吗?
CNN一定需要池化层吗?
在现有的网络结构设计指导下,似乎卷积层后跟一个池化层下采样,已经是一个准则。我们重新思考了现有SOTA网络,并得出结论最大池化层是能被卷积层给替代。我们设计了一系列小网络,并提出了一种新的「反卷积方法」来 ...
硬刚无限宽神经网络后,谷歌大脑有了12个新发现
硬刚无限宽神经网络后,谷歌大脑有了12个新发现
各位炼丹师平时“炼丹”时最多跑过多深的神经网络呢?152层,256层,还是更多层?那各位跑过最宽的神经网络又有多宽呢?可能一层撑死有10个或20个神经元?对第二个问题,谷歌的回答是:我可以跑无限宽的神经网络。也 ...
YOLOv5被禁用!Kaggle全球小麦检测竞赛结果惹争议
YOLOv5被禁用!Kaggle全球小麦检测竞赛结果惹争议
昨天Kaggle 全球小麦检测(Global Wheat Detection)比赛落下帷幕,共计2,270 支队伍参赛。比赛结束后,讨论区本该是晒成绩或者解决方案的,但却出现了大量关于"YOLOv5"的讨论。因为YOLOv5的license 是GPL 协议 ...
Facebook将Windows版PyTorch的开发维护移交给微软
Facebook将Windows版PyTorch的开发维护移交给微软
Facebook 通过 PyTorch 官方博客宣布,微软已扩大了对 PyTorch 社区的参与,现在拥有 PyTorch 在 Windows 上的开发和维护所有权。PyTorch 是基于 Torch 的开源 Python 机器学习库,由 Facebook 的人工智能研究团队开 ...
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1 同日发布!都有哪些新特性?
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1 同日发布!都有哪些新特性?
7月29日,PyTorch 1.6、TenorFlow 2.3、Pandas 1.1恰巧同时发布。这三个库都是定期滚动更新,大约每个季度更新一次小版本。在AI内卷化达到“灰飞烟灭”的今日,仅仅会对PyTorch或TensorFlow进行调用已经不具有竞争力 ...
MIT研究人员发现 ImageNet 数据集存在系统性缺陷
MIT研究人员发现 ImageNet 数据集存在系统性缺陷
“我们的分析明确指出,嘈杂的数据收集管道是如何导致结果基准与其作为代理的实际任务之间的系统性不一致的”, 麻省理工学院的研究人员 在一篇题为《从 ImageNet 到图像分类:基准测试的情景化进展》的论文中写道, ...
Transformer模型深度解读
Transformer模型深度解读
「Transformer」 是2017年的一篇论文《Attention is All You Need》提出的一种模型架构,这篇论文里只针对机器翻译这一种场景做了实验,全面击败了当时的SOTA,并且由于encoder端是并行计算的,训练的时间被大大缩短 ...
那些轻轻拍了拍Attention的后浪们
那些轻轻拍了拍Attention的后浪们
Reformer的论文选择了局部敏感哈希的angular变体。它们首先约束每个输入向量的L2范数(即将向量投影到一个单位球面上),然后应用一系列的旋转,最后找到每个旋转向量所属的切片。这样一来就需要找到最近邻的值,这就 ...
深度学习之父Hinton:下一代神经网络
深度学习之父Hinton:下一代神经网络
在机器学习中,有三种不同类型的学习模式:首先是监督学习,即给定输入向量学习预测输出。然后是强化学习,通过学习选择动作以获得最大奖励。最后是无监督学习,其目的是学习输入的内部表征,但是从数学上定义什么是 ...
深度学习败于“捷径”
深度学习败于“捷径”
深度学习的未来在哪里?这一话题已经有过了无数讨论,大部分讨论都承认当前的深度学习还不是真正的智能,必须转向理解、常识。但是只看当前AI成功的案例,似乎还无法窥探理解。近日,来自多伦多大学和图宾根大学的研 ...
吊打一切:YOLOv4的tricks汇总
吊打一切:YOLOv4的tricks汇总
即使是目标检测在过去几年开始成熟,竞争仍然很激烈。如下所示,YOLOv4声称拥有最先进的精度,同时保持高处理帧速率。它在 MS COCO数据集上,使用Tesla V100以接近65 FPS推理速度获得精度43.5% AP (65.7% AP₅& ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2021-6-25 17:25 , Processed in 0.117242 second(s), 16 queries .