炼数成金 商业智能深度学习
订阅

深度学习

图神经网络三剑客:GCN、GAT与GraphSAGE
图神经网络三剑客:GCN、GAT与GraphSAGE
2019 年号称图神经网络元年,在各个领域关于图神经网络的研究爆发式增长。本文主要介绍一下三种常见图神经网络:GCN、GAT 以及 GraphSAGE。前两者是目前应用比较广泛的图神经网络,后者则为图神经网络的工程应用提供 ...
深度学习预训练模型可解释性概览
深度学习预训练模型可解释性概览
近年来预训练模型(ELMo, GPT, BERT, XLNet, ALBERT 等)给许多 NLP 任务带来了显著的改进,但是有一个问题一直困扰着大家:被当做黑盒的神经网络到底是如何做的以及为什么会这样做?最近,人们对解决这个谜团越来越 ...
超越BN和GN!谷歌提出新的归一化层:FRN
超越BN和GN!谷歌提出新的归一化层:FRN
目前主流的深度学习模型都会采用BN层(Batch Normalization)来加速模型训练以及提升模型效果,对于CNN模型,BN层已经上成为了标配。但是BN层在训练过程中需要在batch上计算中间统计量,这使得BN层严重依赖batch,造 ...
新冠肺炎“识别”战,AI算法落地有多难?
新冠肺炎“识别”战,AI算法落地有多难?
人工智能从来没有像现在这么重要过!这段时间的疫情猛烈,AI每一次在医疗领域的落地都在帮助白衣天使拯救生命。从疫情预测到检测体温再到药物开发,人工智能争分夺秒,蓄势待发。更为准确的说是医疗AI公司们站了出来 ...
LSTM之父发文:2010-2020,我眼中的深度学习十年简史
LSTM之父发文:2010-2020,我眼中的深度学习十年简史
在最近十年,大部分AI都是关于长期短期记忆(LSTM)的神经网络。世界本质上是序列性的,而LSTM彻底改变了序列数据处理,例如语音识别、机器翻译、视频识别,联机手写识别、机器人、视频游戏、时间序列预测、聊天机器 ...
搞定千亿参数,训练时间只用1/3,微软全新工具催生超级NLP模型
搞定千亿参数,训练时间只用1/3,微软全新工具催生超级NLP模型
GPU 显存一直是训练先进深度学习模型的最大瓶颈——大规模训练经常会碰到模型参数太多,显存无法容纳的情况。最近,微软提出的全新方法 DeepSpeed 将每个节点的批处理大小增大了 4 倍,而训练时间减少到原来的 1/3, ...
微软新作,ImageBERT虽好,千万级数据集才是亮点
微软新作,ImageBERT虽好,千万级数据集才是亮点
继 2018 年谷歌的 BERT 模型获得巨大成功之后,在纯文本之外的任务上也有越来越多的研究人员借鉴了 BERT 的思维,开发出各种语音、视觉、视频融合的 BERT 模型。近期,来自微软的Bing 多媒体团队在arXiv上也同样发表 ...
使用 Keras Tuner 调节超参数
使用 Keras Tuner 调节超参数
Keras Tuner 是一个易于使用的分布式超参数优化框架,能够解决执行超参数搜索时的一些痛点。Keras Tuner 可让您轻松定义搜索空间,并利用内置算法找到最佳超参数的值,内置有贝叶斯优化、Hyperband 和随机搜索算法, ...
超详细的语义分割中Loss盘点
超详细的语义分割中Loss盘点
何凯明团队在RetinaNet论文中引入了Focal Loss来解决难易样本数量不平衡,我们来回顾一下。 我们知道,One-Stage的目标检测器通常会产生10k数量级的框,但只有极少数是正样本,正负样本数量非常不平衡。
对ResNet本质的一些思考
对ResNet本质的一些思考
最近在总结完成语义分割任务的轻量级神经网络时,看到了MobileNet V2中对于ReLU层的思考,于是我也回过头重新审视ResNet之所以work的本质原因。以下是一些个人的见解,如有错误,还望及时指正。在谈及ResNet之前,我 ...
2020年AI学术界一场突如其来的辩论:到底什么是深度学习?
2020年AI学术界一场突如其来的辩论:到底什么是深度学习?
在过去十年汹涌而来的深度学习浪潮中,大家对深度学习在应用中体现出的各种特点已经非常熟悉了,但毕竟深度学习的理论仍未建立完善。更重要的是,大家已经意识到了深度学习的种种限制,那么想要破除限制、实现更高级 ...
基于 GNN 的图表示学习
基于 GNN 的图表示学习
图数据有着复杂的结构,多样化的属性类型,以及多层面的学习任务,要充分利用图数据的优势,就需要一种高效的图数据表示方法。与表示学习在数据学习中的重要位置一样,图表示学习也成了图学习领域中的十分热门的研究 ...
PyTorch 1.4 最新版放出:支持Python2的最后一版,支持分布式模型并行、Java程序、移 ...
PyTorch 1.4 最新版放出:支持Python2的最后一版,支持分布式模型并行、Java程序、移 ...
继 TensorFlow 更新后,PyTorch 也迎来了最新的 1.4 版。本次更新是最后一个支持 Python2 的版本,同时增加了对分布式模型并行、移动端、Java 程序等方面的支持。紧接着 TensorFlow 更新到 2.1 版之后,PyTorch 在今 ...
完美替代Mask RCNN!BlendMask:实例分割新标杆
完美替代Mask RCNN!BlendMask:实例分割新标杆
BlendMask分支得到的Bases和检测分支得到的attns注意力结果,一一对应按元素相乘再相加合成,得到最终的实例分割结果。作者是在SOTA 目标检测算法FCOS基础上改进得到BlendMask,下图橙色部分为实例分割的检测分支, ...
目标跟踪40年,什么才是未来?
目标跟踪40年,什么才是未来?
目标跟踪是视频分析和计算机视觉的一个重要分支,融合了图像处理、机器学习、最优化等多个领域的理论和算法,是完成更高层图像理解(如目标行为识别)任务的前提和基础。大数据时代的到来及深度学习方法的出现,为目标 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2020-7-14 06:06 , Processed in 0.098952 second(s), 16 queries .