李宏毅ML-- Transformer笔记
Sequence to Sequence问题：
Transformer架构
Tips：
Copy Mechanism
Guided Attention
Beam Search
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：【深度学习】Transformer –李宏毅PPT笔记 - Python技术站
微信扫一扫 
支付宝扫一扫
读《Deep Learning Tutorial》（台湾大学 李宏毅 深度学习教学ppt）后杂记
上一篇
2023年4月11日
【深度学习】注意力机制 – 李宏毅PPT笔记
下一篇
2023年4月11日
相关文章
-
深度学习（dropout）
other_techniques_for_regularization 随手翻译，略作参考，禁止转载 www.cnblogs.com/santian/p/5457412.html Dropout: Dropout is a radically different technique for regularization. Unlike L1 and L2 r…
-
人工智能导论——人工智能、机器学习和深度学习之间的区别与联系
一、人工智能–在机器实现智能 人工智能（Artificial intelligence）简称AI。是一门研究如何构造智能机器（智能计算机）或智能系统，使它能模拟、延伸、扩展人类智能的计算机学科。通俗的来说，人工智能就是要研究如何使机器具有能听、能说、能看、会写、能思考、会学习、能适应环境变化、能解决面临的各种实际问题等功能的一门学科。人工智能即是用…
-
基于深度学习的自然图像和医学图像分割：损失函数设计（2）
这篇介绍一下损失函数在医学图像分割问题中的应用。 1. 损失函数在医学图像分割中的应用 上一篇文章中我们讨论了标准的交叉熵损失函数及其加权版本，这些损失函数也都广泛应用在医学图像分割问题中。但是针对大背景中的小前景对象分割问题（常见于医学图像，典型的类别不平衡），基于重叠度的损失函数（例如Dice Loss），优化效果要好于原始的交叉熵损失函数。医学图像种类…
-
实用！7个强大的Python机器学习库！⛵
本文整理了7个非常有效的机器学习Python库：Prophet、Deep Lake、Optuna、pycm、NannyML、ColossalAI、emcee，用简单的方式编写复杂且耗时的代码，大大提升工作效率！ ? 作者：韩信子@ShowMeAI? 机器学习实战系列：https://www.showmeai.tech/tutorials/41? 本文地址：h…
-
[转]机器学习和深度学习资料汇总【01】
本文转自：http://blog.csdn.net/sinat_34707539/article/details/52105681 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep …
-
深度学习 vs SLAM
第三部分：深度学习 vs SLAM SLAM 小组讨论真是乐趣无穷。在我们进入重要的「深度学习 vs SLAM」讨论之前，我应该说明每一位研讨会展示者都同意：语义对构建更大更好的 SLAM 系统是必需的。关于未来的方向，这里有很多有趣的小对话。在争论中，Marc Pollefeys（一位知名的 SfM 和多视角几何研究者）提醒所有人「机器人是 SLAM …
-
深度学习环境配置:Ubuntu16.04安装GTX1080Ti+CUDA9.0+cuDNN7.0完整安装教程（多链接多参考文章）
本来就对Linux不熟悉，经过几天惨痛的教训，参考了不知道多少篇文章，终于把环境装好了，每篇文章或多或少都有一些用，但没有一篇完整的能解决我安装过程碰到的问题，所以决定还是自己写一篇我安装过程的教程，有些参考的文章会给出原地址，比较大众的教程就没有给出了。 本文写于2018年7月27日，注意下时效性，有问题欢迎留言 系统下载地址： http://releas…
-
深度学习5牛顿法
牛顿法解最大似然估计 对于之前我们解最大似然估计使用了梯度下降法，这边我们使用牛顿法，速度更快。 牛顿法也就是要求解，可导，θ用下面进行迭代。 具体看这个图 对于我们刚刚的求最大似然估计，也就是，则 下面在原理上说一说。 摘自：http://blog.csdn.net/luoleicn/article/details/6527049 对于一个目标函数f，求函…
