炼数成金 商业智能深度学习
订阅

深度学习

个人深度学习工作站配置指南
个人深度学习工作站配置指南
服务器的配置以个人使用性价比为主,同时考虑到以后的扩展性像是主板和机箱这些配件配置设置一些冗余。首先是CPU平台的选择,虽然AMD这两年实在是香,但是作为生产力工具考虑到软件库的兼容性问题,还是决定选择inte ...
Pytorch中的四种经典Loss源码解析
Pytorch中的四种经典Loss源码解析
了解过Pytorch的应该知道其历史包袱比较重,它吸收了Caffe2的底层代码,然后自己借用这部分底层代码来写各种OP的逻辑,最后再暴露出一层Python接口供用户使用。因此第一次接触Pytorch源代码可能有点不太熟悉,基本上 ...
RealFormer:把残差转移到Attention矩阵上面去
RealFormer:把残差转移到Attention矩阵上面去
大家知道 Layer Normalization 是 Transformer 模型的重要组成之一,它的用法有 PostLN 和 PreLN 两种,论文 On Layer Normalization in the Transformer Architecture 中有对两者比较详细的分析。简单来说,就是 P ...
一文详解神经网络与激活函数的基本原理
一文详解神经网络与激活函数的基本原理
关于模型架构。虽然具有一个隐藏层的神经网络已经可以模拟大部分函数,但是实践证明深度神经网络(即有更多的隐藏层)在图像识别和自然语言处理等任务中具有更优的表现,因此有各类复杂的模型被设计出来,并在相应任 ...
LSRA: 轻量级Transformer,注意力长短搭配
LSRA: 轻量级Transformer,注意力长短搭配
Transformer虽然效果好,但是却对资源要求比较高,很难在端设备上运行。在传统的Transformer中,每个block中都有Multi-head Attention和全连接层,其中,随着序列长度N的增大,全连接层的计算量是线性增长,而attent ...
PyTorch or TensorFlow?
PyTorch or TensorFlow?
机器学习领域,面对各类复杂多变的业务问题,构建灵活易调整的模型是高阶机器学习工程师必备的工作能力。然而,许多工程师还是有一个想法上的误区,以为只要掌握了一种深度学习的框架就能走遍天下了。事实上,在机器 ...
TensorFlow 2.4 Mac 优化版:在 Mac 上实现加速的 CPU 和 GPU 训练
TensorFlow 2.4 Mac 优化版:在 Mac 上实现加速的 CPU 和 GPU 训练
借助 TensorFlow 2,可在跨平台、设备和硬件上实现一流的训练性能,从而使开发者、工程师和研究人员能够在他们喜欢的平台上工作。现在,TensorFlow 用户可以在搭载 Apple 全新 M1 芯片或 Intel 芯片 Mac 上的 利用 T ...
图卷积神经网络理论基础
图卷积神经网络理论基础
Graph Convolutional Networks图卷积网络涉及到两个重要的概念,Graph和Convolution。传统的卷积主要应用于Euclidean Structure的数据上(排列很整齐、Grid形式的),如图像、语句等,主要是因为欧式结构数据能够保 ...
一文看懂CV中的注意力机制
一文看懂CV中的注意力机制
计算机视觉领域注意力机制的开篇之作。提出了non-local operations,使用自注意力机制建立远程依赖。- local operations: 卷积(对局部领域)、recurrent(对当前/前一时刻)等操作。- non-local operations用于捕获长距 ...
YOLO系列:YOLOv1,YOLOv2,YOLOv3,YOLOv4,YOLOv5简介
YOLO系列:YOLOv1,YOLOv2,YOLOv3,YOLOv4,YOLOv5简介
YOLO没有显示求取region proposal的过程。Faster R-CNN中尽管RPN与fast rcnn共享卷积层,但是在模型训练过程中,需要反复训练RPN网络和fast rcnn网络.相对于R-CNN系列的"看两眼"(候选框提取与分类),YOLO只需要Lo ...
英伟达RTX 3080值不值得抢?有人用它在TensorFlow上训练了卷积网络
英伟达RTX 3080值不值得抢?有人用它在TensorFlow上训练了卷积网络
一通跑分猛如虎,结果发现深度学习框架还不支持。自 9 月份英伟达发布新一代安培架构消费级显卡 RTX 30 系列已过去两个月了,随着芯片代工者三星的产能爬坡,未来更多的人将有机会买到最新架构的 GPU RTX 3080 和 30 ...
深度学习GPU最全对比,到底谁才是性价比之王?
深度学习GPU最全对比,到底谁才是性价比之王?
搞AI,谁又没有“GPU之惑”?张量核心、显存带宽、16位能力……各种纷繁复杂的GPU参数让人眼花缭乱,到底怎么选?从不到1000元1050 Ti到近30000元的Titan V,GPU价格的跨度这么大,该从何价位下手?谁才是性价比之王 ...
分布式训练框架Horovod初步学习
分布式训练框架Horovod初步学习
Horovod 是 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式深度学习训练框架。Horovod 的目标是使分布式深度学习快速且易于使用。简单来说就是为这些框架提供分布式支持,比如有一个需求,由于数据量过大(千 ...
再讲卷积的本质及物理意义,解释的真幽默!
再讲卷积的本质及物理意义,解释的真幽默!
卷积这个东东是“信号与系统”中论述系统对输入信号的响应而提出的。因为是对模拟信号论述的,所以常常带有繁琐的算术推倒,很简单的问题的本质常常就被一大堆公式淹没了,那么卷积究竟物理意义怎么样呢?其实我们如 ...
二值化神经网络(BNN)综述
二值化神经网络(BNN)综述
二值化神经网络BNN由于可以实现极高的压缩比和加速效果,所以它是推动以深度神经网络为代表的人工智能模型在资源受限和功耗受限的移动端设备,嵌入式设备上落地应用的一门非常有潜力的技术。虽然目前的BNN仍然存在着 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

社区热帖

     

    GMT+8, 2021-9-26 14:34 , Processed in 0.126576 second(s), 16 queries .