深度学习

Task4——注意力机制与Seq2seq模型 8.1 注意力机制 所谓的注意力机制，其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统，不仅可以自主学习注意力，还可以帮助我们更好的理解神经网络。现在，在计算机视觉当中大多数都是通过掩码来生成注意力，掩码本质上是一组新的权重，可以帮助我们找到需要关注的信息。 目前主要演化出了两种注意力，…

准备入坑下深度学习啦，好好学习，天天向上嘎嘎 整个PPT的思维导图如下，图片来源为深度学习导论 – 读李宏毅《1天搞懂深度学习》 深度学习的三个步骤 1.定义一组函数→即找到合适的神经网络（网络的参数θ：包括权重和偏移bias） 神经网络的思想来源于对人脑生理上的研究。 人类智能最重要的部分是大脑，大脑虽然复杂，它的组成单元却是相对简单的，大脑皮层以及整个神…

微软研究院在IJCAI2016第一天的Tutorial上讲述了自己将深度学习、深度神经网络应用于语义理解上的一些经验和收获。作为小娜和小冰的开发者，微软在自然预言语义理解上的造诣无疑是很高的。而早在一月就将其深度学习开发工具包CNTK开源的举动也表明微软确实希望促进人工智能的发展。这次就让我们通过Tutorial上演讲PPT的概览部分，看看微软在他们最擅长的…

自注意力机制 李宏毅ML-self attention PPT笔记   任务： 输入一个向量序列： [v1, v2, ……，vn] 输出一个相同长度的向量序列， 如词性标注 输出一个向量， 如情感分析 输出任意长度的向量序列， seq2seq   比如考虑序列标注问题， 不能孤立看一个个输入的向量， 而是要考虑整个序列。 self-attention…

transformer 李宏毅ML– Transformer笔记   Sequence to Sequence问题：    Transformer架构                                      Tips： Copy Mechanism Guided Attention Beam Search  

原ppt下载：pan.baidu.com/s/1nv54p9R，密码：3mty   需深入实践并理解的重要概念： Deep Learning： SoftMax Fuction（输出层归一化函数，与sigmoid相似的激活函数，用于解决分类问题（分类大于2时；sigmoid解决二分类问题））           1）           2）每个neuron的…

读博总是不容易，最近导师发给我一个深度学习的课程PPT，讲的太好了，图文并茂，是一门非常硬核的学习课程。作为笔记记录一下，同时付了下载链接方便大家一起学习 深度机器学习的最新发展使视觉识别、语音和文本理解或自主智能体系统取得了前所未有的巨大进步。在此背景下，本课程将深入探讨深度学习架构的细节，重点是学习这些任务的端到端模型。学生将学习实施、训练和调试自己的神…

深度学习小组介绍PPT 1.今天我就介绍一下深度学习，不会讲太细的东西，也不会有太多的数学的公式。 2.现在深度学习能做的事情还非常有限，为什么要去了解深度学习呢？我觉至少有两个方面，可以忽悠比人或者不被别人忽悠 3.这张图展现了人工智能，机器学习，深度学习的关系。深度学习是机器学习现在最火的研究热点 4.下面我给出了近20年机器学习的研究热点。95-02年…

摘要 点云是一种重要的几何数据结构类型。由于其不规则的格式，大多数研究人员将此类数据转化为常规的三维体素网格或图像集合。然而，这使数据变得不必要的庞大，并导致问题。在本文中，我们设计了一种新型的直接处理点云的神经网络，它很好地考虑了点在输入中的排列不变性。我们的网络名为PointNet，为从目标分类、部分分割到场景语义分析等应用提供了一个统一的架构。虽然简单…

1、董振东先生对机器翻译方法的评价： 基于规则和实例的机器翻译是傻子（依赖一定人工，在匹配规则和模板的情况下翻译质量高，但是系统泛华能力有限），统计和神经机器翻译是疯子（只依赖数据，系统健硕性强，但是精度不稳定且翻译过程难以人工干预）。 2、翻译质量评价： 　　有参考答案的评价：在参考答案或者评价标准已知的情况下对译文进行打分； 　　无参考答案的评价：在没有…