李宏毅ML-self attention PPT笔记
任务：
输入一个向量序列： [v1, v2, ......，vn]
输出一个相同长度的向量序列， 如词性标注
输出一个向量， 如情感分析
输出任意长度的向量序列， seq2seq
比如考虑序列标注问题， 不能孤立看一个个输入的向量， 而是要考虑整个序列。
self-attention考虑一整个输入序列后， 再输入到全连接层中
可以交替使用self-attention layer和fully connected layer
self-attention layer处理整个序列， fully connected layer处理单个资讯
自注意力机制学习输入的向量序列向量与向量之间的关系， 找到与某个向量相关的向量
计算关联性的module如上两种， 以下用左边的例子
以下是计算的矩阵表示：
多头自注意力机制也有广泛应用
有时需要考虑向量在序列的位置
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：【深度学习】注意力机制 – 李宏毅PPT笔记 - Python技术站
SGD SGD是深度学习中最常见的优化方法之一，虽然是最常使用的优化方法，但是却有不少常见的问题。 learning rate不易确定，如果选择过小的话，收敛速度会很慢，如果太大，loss function就会在极小值处不停的震荡甚至偏离。每个参数的learning rate都是相同的，如果数据是稀疏的，则希望出现频率低的特征进行大一点的更新。深度神经网络之…
参考链接 菜鸟教程：Python 直接赋值、浅拷贝和深度拷贝解析 概述 直接赋值：其实就是对象的引用（别名）。 浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。 深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。 图解 代码示例 END
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 前言 一，Normalization 概述 1.1，Normalization 定义 1.2，什么情况需要 Normalization 1.3，为什么要做 Normalization…
出处： Michael Nielsen的《Neural Network and Deep Learning》，点击末尾“阅读原文”即可查看英文原文。 本节译者：哈工大SCIR硕士生 李忠阳 (https://github.com/eecrazy) 声明：我们将在每周一，周四，周日定期连载该书的中文翻译，如需转载请联系wechat_editors@ir.h…
空洞卷积： 2020-02-15 1.偏置参数个数 2d卷积时，如果设置该层偏置有效，偏置参数个数= 输出通道数目。 2.2d卷积分组个数限定 分组个数一定要能被输入通道整除，并且要能被输出通道整除。 输入通道整除原因：因为 输入通道/ 分组数目 要=整数。不等于整数时会发生。余数通道怎么处理问题。 输出通道整除原因:不能整除会发生每个通道卷…
所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，网络参数初始化决定模型是否收敛，而优化算法的性能则直接影响模型的训练效率。 前言 所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，…
平台 xCode 5.0 iPhone 4 在Building setting中的 Architectures 部分，有这么一个选项 Architectures，这里有一些选项是 Armv7 和Armv7s ARM 是指令集的意思，这个也分版本，比如：Armv6,Armv7,Armv7s，这些不同的指令集是跟CUP的有关系的。 iPhone设备的升级对应的…
摘要：AI Benchmark旨在衡量AI模型的性能和效能。 本文分享自华为云社区《KubeEdge SIG AI发布首个分布式协同AI Benchmark调研》，作者：KubeEdge SIG AI （成员：张扬，张子阳）。 人工智能技术已经在我们生活中的方方面面为我们提供服务，尤其是在图像、视频、语音、推荐系统等方面带来了突破性成果。AI Benchma…
微信扫一扫 
支付宝扫一扫