炼数成金 商业智能深度学习
订阅

深度学习

CVPR 2020| 商汤提出大规模多标签目标检测新算法
CVPR 2020| 商汤提出大规模多标签目标检测新算法
在CVPR 2020上,商汤搜索与决策团队与中科院自动化所合作,针对超大规模多标签目标检测任务,提出了有效的解决方案。该工作以真实世界中的通用检测任务为背景,分析了主要面临的痛点,在损失函数和采样方法上提出了 ...
YOLO系列综述:从V1到V4
YOLO系列综述:从V1到V4
YOLO的核心思想就是利用整张图作为网络的输入,直接在输出层回归bounding box的位置和bounding box所属的类别。faster RCNN中也直接用整张图作为输入,但是faster-RCNN整体还是采用了RCNN那种 proposal+classifier的 ...
分类类别不均衡?来试试 Facebook 的学习表征和分类器分离
分类类别不均衡?来试试 Facebook 的学习表征和分类器分离
图像分类一直是深度学习领域中非常基本且工业应用广泛的任务,然而如何处理待分类样本中存在的类别不均衡问题是长期困扰学界与工业界的一个难题。相对来说,学术研究提供的普通图像分类数据集维持了较为均衡的不同类 ...
一个像素的旅行,华人博士卷积网络可视化项目火了:点点鼠标就能看懂的扫盲神器
一个像素的旅行,华人博士卷积网络可视化项目火了:点点鼠标就能看懂的扫盲神器
什么是 CNN?Convolutional Neural Network,中文译为「卷积神经网络」。这个常见但有些深奥的词汇,只可意会,不能言传。如果打开教材,会看到这样一些解释:卷积层是深度神经网络在处理图像时十分常用的一种层。当 ...
模型压缩四大方向,计算机视觉领域的低功耗深度学习前沿技术综述
模型压缩四大方向,计算机视觉领域的低功耗深度学习前沿技术综述
深度卷积网络(Deep Neural Networks, DNN)被广泛用于计算机视觉任务,如目标检测、分类与分割。DNN 往往被设计得很深,从而能在训练时能够对大量参数进行微调从而获得更准确得推理结果。因此,DNN 具有计算量大和 ...
CVPR 2020: 8比特数值也能训练模型?商汤提出训练加速新算法
CVPR 2020: 8比特数值也能训练模型?商汤提出训练加速新算法
卷积神经网络被广泛应用在多种计算机视觉任务中并且取得了优异的精度。由于拥有庞大的参数量,训练和部署卷积神经网络需要耗费大量计算资源和漫长的训练时间,如何用更少资源训练卷积神经网络一直是一个学术研究热点 ...
PyTorch 分布式训练简明教程
PyTorch 分布式训练简明教程
神经网络训练加速的最简单方法是使用GPU,对弈神经网络中常规操作(矩阵乘法和加法)GPU运算速度要倍超于CPU。随着模型或数据集越来越大,一个GPU很快就会变得不足。例如,BERT和GPT-2等大型语言模型是在数百个GPU上 ...
YOLOv4 的各种新实现、配置、测试、训练资源汇总
YOLOv4 的各种新实现、配置、测试、训练资源汇总
YOLOv4 没有理论创新,而是在原有YOLO目标检测架构的基础上增加了近年CNN改进的众多技术,从数据处理到网络训练再到损失函数,遵行“拿来主义”,加上漂亮的工程实践,打造实现最佳速度与精度平衡的目标检测新基准! ...
ResNet最强改进版来了!ResNeSt:Split-Attention Networks
ResNet最强改进版来了!ResNeSt:Split-Attention Networks
ResNeSt 的全称是:Split-Attention Networks,也就是特别引入了Split-Attention模块。如果没有猜错,ResNeSt 的 S 应该就是 Split。GoogleNet 采用了Multi-path机制,其中每个网络块均由不同的卷积kernels组成。Res ...
超全!19 种损失函数,你能认识几个?
超全!19 种损失函数,你能认识几个?
当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。在多分类任务中,经常采用 softmax 激活函数+交叉熵损失函数,因为交叉熵描述 ...
LSTM 为何如此有效?这五个秘密是你要知道的
LSTM 为何如此有效?这五个秘密是你要知道的
长短期记忆网络(LSTM),作为一种改进之后的循环神经网络,不仅能够解决 RNN无法处理长距离的依赖的问题,还能够解决神经网络中常见的梯度爆炸或梯度消失等问题,在处理序列数据方面非常有效。有效背后的根本原因有 ...
使用大batch优化深度学习:训练BERT仅需76分钟
使用大batch优化深度学习:训练BERT仅需76分钟
在海量数据集上训练大型深度神经网络,是非常具有挑战性的。最近,有许多研究均使用大batch随机优化方法来解决此问题。在该研究领域中,目前最杰出的算法是LARS,它通过采用分层自适应学习率,可以在几分钟内在Image ...
PyTorch trick 集锦
PyTorch trick 集锦
Keras有一个简洁的API来查看模型的每一层输出尺寸,这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。在PyTorch中使用交叉熵损失函数的时候会自动把label转化成onehot,所以不用手动转化,而使用MSE需要 ...
挑战 11 种 GAN的图像真伪,DeepFake鉴别一点都不难
挑战 11 种 GAN的图像真伪,DeepFake鉴别一点都不难
近年来,图像合成技术日趋进步,GAN在给我们带来艺术体验的同时也埋下了很多隐患。Deepfake(AI换脸)技术让很多事情的真实性变得扑朔迷离,甚至会产生极大的政治影响。比如加蓬共和国总统的一段录像被反对派声称是 ...
YouTube深度学习推荐模型最全总结
YouTube深度学习推荐模型最全总结
作为全球最大的视频分享网站,YouTube 平台中几乎所有的视频都来自 UGC(User-Generated Content),这样的内容产生模式有两个特点:(1)商业模式不同。国外的 Netflix 和国内的爱奇艺等流媒体,它们的大部分内容都 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

社区热帖

     

    GMT+8, 2021-9-26 14:21 , Processed in 0.121376 second(s), 16 queries .