炼数成金 商业智能深度学习
订阅

深度学习

分布式入门,怎样用PyTorch实现多GPU分布式训练
分布式入门,怎样用PyTorch实现多GPU分布式训练
分布式计算指的是一种编写程序的方式,它利用网络中多个连接的不同组件。通常,大规模计算通过以这种方式布置计算机来实现,这些计算机能够并行地处理高密度的数值运算。在分布式计算的术语中,这些计算机通常被称为 ...
重磅!Facebook更新PyTorch 1.1,打算跨GPU分割神经网络
重磅!Facebook更新PyTorch 1.1,打算跨GPU分割神经网络
时隔半年不到,PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚,Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本,这是对 PyTorch 1.0 的一次大的功能升级。PyTorch 产品经理 Joe Spisak 接受外 ...
为什么MobileNet及其变体如此之快?
为什么MobileNet及其变体如此之快?
在解释特定的高效 CNN 模型之前,我们先检查一下高效 CNN 模型中组成模块的计算成本,然后看一下卷积是如何在空间和通道中执行的。首先,作者直观地解释了如何在空间和通道上执行标准卷积,其计算成本是 HWNK2M。作 ...
是时候放弃TensorFlow集群,拥抱Horovod了
是时候放弃TensorFlow集群,拥抱Horovod了
当数据较多或者模型较大时,为提高机器学习模型训练效率,一般采用多 GPU 的分布式训练。按照并行方式,分布式训练一般分为数据并行和模型并行两种:模型并行:分布式系统中的不同 GPU 负责网络模型的不同部分。例如 ...
大规模拥挤人群:一个破纪录的人群计数算法!
大规模拥挤人群:一个破纪录的人群计数算法!
人脸识别或人脸签到往往是1:1,或1:N的图像识别技术,但如何数人数,少量只要能识别人脸当然就可以数人数了。但当我们面临大规模拥挤的人群,我们可能不需要识别人脸,只是人群计数,是否可以实现呢?能帮我数数图片 ...
卷积神经网络四种卷积类型
卷积神经网络四种卷积类型
首先,我们需要就定义卷积层的一些参数达成一致。卷积核大小(Kernel Size):卷积核定义了卷积的大小范围,二维卷积核最常见的就是 3*3 的卷积核。步长(Stride):步长定义了当卷积核在图像上面进行卷积操作的时候 ...
神经网络训练tricks
神经网络训练tricks
神经网络是特征学习方法,其能力取决隐层,更多的连接意味着参数爆炸的增长,模型复杂直接导致很多问题。比如严重过拟合,过高的计算复杂度。 CNN其优越的性能十分值得使用,参数数量只和卷积核大小,数量有关,保 ...
深度学习的天赐和诅咒:最大的优势也是最大的缺陷
深度学习的天赐和诅咒:最大的优势也是最大的缺陷
传统的计算机视觉就是使用一套算法,从图片里提取信息(通常表示为像素值数组)。比如去噪、增强和检测的算法,一些方法旨在寻找简单的几何图元,例如边缘检测、形态分析、霍夫变换、斑点检测、角点检测、各种图像阈 ...
经典ResNet结果不能复现?何恺明回应:它经受住了时间的考验
经典ResNet结果不能复现?何恺明回应:它经受住了时间的考验
大神何恺明受到了质疑。今天,Reddit 上一位用户对何恺明的ResNet提出质疑,他认为:何恺明 2015 年的原始残差网络的结果没有被复现,甚至何恺明本人也没有。网友称,他没有发现任何一篇论文复现了原始 ResNet 网络 ...
对 ResNet 本质的一些思考
对 ResNet 本质的一些思考
最近在总结完成语义分割任务的轻量级神经网络时,看到了 MobileNet V2 中对于 ReLU 层的思考,于是我也回过头重新审视 ResNet 之所以 work 的本质原因。以下是一些个人的见解,如有错误,还望及时指正。在谈及 ResNe ...
做深度学习这么多年还不会挑GPU?这儿有份选购全攻略
做深度学习这么多年还不会挑GPU?这儿有份选购全攻略
深度学习是一个对算力要求很高的领域。GPU的选择将从根本上决定你的深度学习体验。一个好的GPU可以让你快速获得实践经验,而这些经验是正是建立专业知识的关键。如果没有这种快速的反馈,你会花费过多时间,从错误中 ...
GAN之父Ian Goodfellow加盟苹果
GAN之父Ian Goodfellow加盟苹果
据 CNBC 报道,生成对抗网络(GAN)的创造者,前谷歌大脑著名科学家 Ian Goodfellow 刚刚正式宣布加盟苹果。他将在苹果公司领导一个「机器学习特殊项目组」。虽然苹果此前已经缩小了自动驾驶汽车研究的规模,但 Ian ...
用免费TPU训练Keras模型,速度还能提高20倍!
用免费TPU训练Keras模型,速度还能提高20倍!
很长一段时间以来,我在单个 GTX 1070 显卡上训练模型,其单精度大约为 8.18 TFlops。后来谷歌在 Colab 上启用了免费的 Tesla K80 GPU,配备 12GB 内存,且速度稍有增加,为 8.73 TFlops。最近,Colab 的运行时类型 ...
74.7秒训练完ImageNet!刷新记录,2048 GPU暴力出奇迹
74.7秒训练完ImageNet!刷新记录,2048 GPU暴力出奇迹
在过去两年中,深度学习的速度加速了 30 倍。但是人们还是对 “快速执行机器学习算法” 有着强烈的需求。Large mini-batch 分布式深度学习是满足需求的关键技术。但是由于难以在不影响准确性的情况下在大型集群上实 ...
小样本学习(Few-shot Learning)综述
小样本学习(Few-shot Learning)综述
人类非常擅长通过极少量的样本识别一个新物体,比如小孩子只需要书中的一些图片就可以认识什么是“斑马”,什么是“犀牛”。在人类的快速学习能力的启发下,研究人员希望机器学习模型在学习了一定类别的大量数据后, ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2020-7-14 04:43 , Processed in 0.122252 second(s), 16 queries .