炼数成金 商业智能深度学习
订阅

深度学习

复杂网络算法在平台业务安全中的应用
复杂网络算法在平台业务安全中的应用
对于电商平台和社交平台为主的平台业务,其安全涉及方方面面,常见的如刷 单、黑灰产。本文以 Louvain、FRAUDAR 和 CatchSync 这三种典型的复杂网络算法(基于图的挖掘算法)为例,结合实际业务场景,包括交易、社交 ...
【学界】深度学习如何影响运筹学?
【学界】深度学习如何影响运筹学?
狭义的运筹学,往往特指采用LP/MILP/MIP/QP/NP 等数学模型建模、采用精确算法/启发式算法在线求解并得到满意方案以及进行相关理论分析的一类技术。所以,运筹学最早是作为应用数学的一个分支,服务于人们解决各行各 ...
最强深度学习优化器Ranger开源:RAdam+LookAhead强强结合
最强深度学习优化器Ranger开源:RAdam+LookAhead强强结合
RAdam 可以说是优化器在开始训练时的最佳基础。RAdam 利用动态整流器根据方差调整 Adam 的自适应动量,并有效提供能够根据当前数据集定制的自动预热机制,能够确保训练以扎实的基础顺利迈出第一步。LookAhead 则受到 ...
告别调参炼丹,谷歌“权重无关”神经网络开源了!
告别调参炼丹,谷歌“权重无关”神经网络开源了!
当训练神经网络完成一项给定任务时,无论是图像分类还是强化学习,通常都需要调优与网络中每个连接相关的一组权重。另一种已经取得实质性进展的成功的神经网络创建方法是神经架构搜索,它利用人工设计的组件(如卷积 ...
彻底解决梯度爆炸问题,新方法不用反向传播也能训练ResNet
彻底解决梯度爆炸问题,新方法不用反向传播也能训练ResNet
反向传播是深度学习算法中必不可少的组成部分,但是其固有的梯度爆炸(消失),计算速度慢等问题一直困扰着学界。近日,新西兰维多利亚惠灵顿大学的研究者提出了一种新型的算法,可以让深度学习在不依赖反向传播的情 ...
模型剪枝,不可忽视的推断效率提升方法
模型剪枝,不可忽视的推断效率提升方法
目前,深度学习模型需要大量算力、内存和电量。当我们需要执行实时推断、在设备端运行模型、在计算资源有限的情况下运行浏览器时,这就是瓶颈。能耗是人们对于当前深度学习模型的主要担忧。而解决这一问题的方法之一 ...
基于PyTorch的「Keras」:除了核心逻辑通通都封装
基于PyTorch的「Keras」:除了核心逻辑通通都封装
Keras 和 PyTorch 都是对初学者最友好的深度学习框架,它们用起来就像描述架构的简单语言一样,告诉框架哪一层该用什么就行。很多研究者和开发者都在考虑到底哪一个框架更好,但目前两个框架都非常流行,它们都各有 ...
听,是梯度的声音!用听觉监控神经网络训练,边听音乐边炼丹
听,是梯度的声音!用听觉监控神经网络训练,边听音乐边炼丹
训练神经网络是个极为枯燥的工作。与其盯着Learning Curves发呆,或许可以调动一下其他感官,一起做点更有意思的事情。比如说,眼睛看久了,可以让耳朵也活动活动。一位酷爱弹吉他的数据科学家就希望,在调参时把其 ...
9102年了,语义分割的入坑指南和最新进展都是什么样的
9102年了,语义分割的入坑指南和最新进展都是什么样的
语义分割指的是将图像中的每一个像素关联到一个类别标签上的过程,这些标签可能包括一个人、一辆车、一朵花、一件家具等等。在这篇文章中,作者介绍了近来优秀的语义分割思想与解决方案,它可以称得上是 2019 语义分 ...
那些酷炫的深度学习网络图怎么画出来的?
那些酷炫的深度学习网络图怎么画出来的?
NN-SVG,这个工具可以非常方便的画出各种类型的图,是下面这位小哥哥开发的,来自于麻省理工学院弗兰克尔生物工程实验室, 该实验室开发可视化和机器学习工具用于分析生物数据。
Nature纪念人工智能60周年专题:深度学习综述
Nature纪念人工智能60周年专题:深度学习综述
深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括较先进的语音识别、视觉对象识别、对象检测和许多其它领域,例如药物发现和基因组学等。 ...
为何Keras中的CNN是有问题的,如何修复它们?
为何Keras中的CNN是有问题的,如何修复它们?
在训练了 50 个 epoch 之后,本文作者惊讶地发现模型什么都没学到,于是开始深挖背后的问题,并最终从恺明大神论文中得到的知识解决了问题。上个星期我做了一些实验,用了在 CIFAR10 数据集上训练的 VGG16。我需要从 ...
NVIDIA BERT推理解决方案Faster Transformer开源啦
NVIDIA BERT推理解决方案Faster Transformer开源啦
Faster Transformer是一个BERT Transformer 单层前向计算的高效实现,其代码简洁明了,后续可以通过简单修改支持多种Transformer结构。目前优化集中在编码器(encoder)的前向计算(解码器decoder开发在后续特性规划 ...
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
损失函数对神经网络的训练有显著影响,也有很多学者人一直在探讨并寻找可以和损失函数一样使模型效果更好的函数。后来,Szegedy 等学者提出了标签平滑方法,该方法通过计算数据集中 hard target 的加权平均以及平均 ...
像堆乐高一样:从零开始解释神经网络的数学过程
像堆乐高一样:从零开始解释神经网络的数学过程
模型的训练、调参是一项非常费时费力的工作,了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始,一步一步讲解了训练神经网络时所用到的数学过程。神经网络是线性模块和非线性模块的巧妙排列。当 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-9-22 06:15 , Processed in 0.112753 second(s), 16 queries .