炼数成金 商业智能深度学习
订阅

深度学习

搞定千亿参数,训练时间只用1/3,微软全新工具催生超级NLP模型
搞定千亿参数,训练时间只用1/3,微软全新工具催生超级NLP模型
GPU 显存一直是训练先进深度学习模型的最大瓶颈——大规模训练经常会碰到模型参数太多,显存无法容纳的情况。最近,微软提出的全新方法 DeepSpeed 将每个节点的批处理大小增大了 4 倍,而训练时间减少到原来的 1/3, ...
微软新作,ImageBERT虽好,千万级数据集才是亮点
微软新作,ImageBERT虽好,千万级数据集才是亮点
继 2018 年谷歌的 BERT 模型获得巨大成功之后,在纯文本之外的任务上也有越来越多的研究人员借鉴了 BERT 的思维,开发出各种语音、视觉、视频融合的 BERT 模型。近期,来自微软的Bing 多媒体团队在arXiv上也同样发表 ...
使用 Keras Tuner 调节超参数
使用 Keras Tuner 调节超参数
Keras Tuner 是一个易于使用的分布式超参数优化框架,能够解决执行超参数搜索时的一些痛点。Keras Tuner 可让您轻松定义搜索空间,并利用内置算法找到最佳超参数的值,内置有贝叶斯优化、Hyperband 和随机搜索算法, ...
超详细的语义分割中Loss盘点
超详细的语义分割中Loss盘点
何凯明团队在RetinaNet论文中引入了Focal Loss来解决难易样本数量不平衡,我们来回顾一下。 我们知道,One-Stage的目标检测器通常会产生10k数量级的框,但只有极少数是正样本,正负样本数量非常不平衡。
对ResNet本质的一些思考
对ResNet本质的一些思考
最近在总结完成语义分割任务的轻量级神经网络时,看到了MobileNet V2中对于ReLU层的思考,于是我也回过头重新审视ResNet之所以work的本质原因。以下是一些个人的见解,如有错误,还望及时指正。在谈及ResNet之前,我 ...
2020年AI学术界一场突如其来的辩论:到底什么是深度学习?
2020年AI学术界一场突如其来的辩论:到底什么是深度学习?
在过去十年汹涌而来的深度学习浪潮中,大家对深度学习在应用中体现出的各种特点已经非常熟悉了,但毕竟深度学习的理论仍未建立完善。更重要的是,大家已经意识到了深度学习的种种限制,那么想要破除限制、实现更高级 ...
基于 GNN 的图表示学习
基于 GNN 的图表示学习
图数据有着复杂的结构,多样化的属性类型,以及多层面的学习任务,要充分利用图数据的优势,就需要一种高效的图数据表示方法。与表示学习在数据学习中的重要位置一样,图表示学习也成了图学习领域中的十分热门的研究 ...
PyTorch 1.4 最新版放出:支持Python2的最后一版,支持分布式模型并行、Java程序、移 ...
PyTorch 1.4 最新版放出:支持Python2的最后一版,支持分布式模型并行、Java程序、移 ...
继 TensorFlow 更新后,PyTorch 也迎来了最新的 1.4 版。本次更新是最后一个支持 Python2 的版本,同时增加了对分布式模型并行、移动端、Java 程序等方面的支持。紧接着 TensorFlow 更新到 2.1 版之后,PyTorch 在今 ...
完美替代Mask RCNN!BlendMask:实例分割新标杆
完美替代Mask RCNN!BlendMask:实例分割新标杆
BlendMask分支得到的Bases和检测分支得到的attns注意力结果,一一对应按元素相乘再相加合成,得到最终的实例分割结果。作者是在SOTA 目标检测算法FCOS基础上改进得到BlendMask,下图橙色部分为实例分割的检测分支, ...
目标跟踪40年,什么才是未来?
目标跟踪40年,什么才是未来?
目标跟踪是视频分析和计算机视觉的一个重要分支,融合了图像处理、机器学习、最优化等多个领域的理论和算法,是完成更高层图像理解(如目标行为识别)任务的前提和基础。大数据时代的到来及深度学习方法的出现,为目标 ...
tensorboard 指南
tensorboard 指南
tensorFlow 图表有两种连接关系:数据依赖和控制依赖。数据依赖显示两个操作之间的tensor流程,用实心箭头指示,而控制依赖用点线表示。
深度学习革命及其对计算机架构和芯片设计的影响,讲述AI芯片发展历程与未来
深度学习革命及其对计算机架构和芯片设计的影响,讲述AI芯片发展历程与未来
在过去的十年里,机器学习,特别是基于人工神经网络的深度学习方法取得了一系列显著的进步,从而提高了我们在更广泛的领域建立更精确系统的能力,包括计算机视觉、语音识别、语言翻译和自然语言理解任务。这篇论文是 ...
求解微分方程,用seq2seq就够了,性能远超 Mathematica、Matlab
求解微分方程,用seq2seq就够了,性能远超 Mathematica、Matlab
距离用深度学习技术求解符号数学推理问题,或许只差一个恰当的表示和恰当的数据集。近日,Facebook AI研究院的Guillaume Lample 和Francois Charton两人在arxiv上发表了一篇论文,标题为《Deep Learning for Symboli ...
pytorch入门总结指南(1)
pytorch入门总结指南(1)
本来觉得学个tf和keras就够了,但是用了torch之后觉得真的这个框架太好用了,非常灵活可以很方便的和python语言混编,torch基本可以和cupy并列称为gpu版的numpy,文本部分有torchtext和allenlp,调包有sktorch非常简 ...
一文看尽16篇目标检测最新论文
一文看尽16篇目标检测最新论文
没想到目标检测的论文更新频率这么快(都9102年,还有这么多人玩检测),本文再次更新值得关注的最新检测论文。本文分享的目标检测论文既含刷新Anchor-free mAP的目标检测论文,也有追求 mAP 和 FPS trade-off的论文 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2020-2-22 08:09 , Processed in 0.120866 second(s), 16 queries .