机器学习
-
【机器学习】李宏毅——Adversarial Attack（对抗攻击）
本文主要介绍了Adversarial Attack（对抗攻击）当前的研究现状，包括如何攻击、攻击的类别，以及原始模型如何进行防御等相关知识点。 研究这个方向的动机，是因为在将神经网络模型应用于实际场景时，它仅仅拥有较高的正确率是不够的，例如在异常检测中、垃圾邮件分类等等场景，那些负类样本也会想尽办法来“欺骗”模型，使模型无法辨别出它为负类。因此我们希望我们的…
-
【机器学习】李宏毅——Unsupervised Learning
本文详细地介绍了关于非线性降维的内容，以及生成模型的相关内容，包括LLE算法、VAE算法、GAN算法等 读这篇文章之间欢迎各位先阅读我之前写过的线性降维的文章。这篇文章应该也是属于Unsupervised Learning的内容的。 Neighbor Embedding Manifold Learning（流形学习） 在实际的数据中，很可能会存在这一种分布：…
-
【机器学习】李宏毅——Anomaly Detection（异常检测）
本篇文章主要介绍了Anomaly Detection（异常检测）的思路具体实现方法，以及可能在实际应用中遇到的各种情况。 异常检测概述 首先要明确一下什么是异常检测任务。对于异常检测任务来说，我们希望能够通过现有的样本来训练一个架构，它能够根据输入与现有样本之间是否足够相似，来告诉我们这个输入是否是异常的，例如下图： 那么这里“异常”具体的含义要根据我们训练…
-
就离谱！使用机器学习预测2022世界杯：小组赛挺准，但冠亚季军都错了 ⛵
本文使用机器学习建模对 FIFA 2022世界杯结果进行了预测，赛后将其与真实结果进行比较，可以看出：小组赛到1/4决赛的预测准确率很高，半决赛和决赛的预测准确率为0，冠亚季军无一预测准确。 ? 作者：韩信子@ShowMeAI? 数据分析实战系列：https://www.showmeai.tech/tutorials/40? 机器学习实战系列：https:/…
-
【机器学习】李宏毅——AE自编码器(Auto-encoder)
本文详细地讲解了什么是AE自编码器(Auto-encoder)，对其内部的原理和各种应用场景进行了叙述。 1、What 在自编码器中，有两个神经网络，分别为Encoder和Decoder，其任务分别是： Encoder：将读入的原始数据（图像、文字等）转换为一个向量 Decoder：将上述的向量还原成原始数据的形式 而目标是希望还原出来的结果能够与原始数据尽…
-
【机器学习】李宏毅——自监督式学习
本文介绍了近几年比较火热的自监督式学习，并介绍了其中最具有代表性的BERT算法和GPT算法，其中对BERT算法进行了详细叙述。 1、BERT简介 首先需要介绍什么是自监督学习。我们知道监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练结果将标签进行比较来修正模型，如下图： 而自监督学习就是没有标签也要自己创建监督学习的条件，即当前只有样本x但…
-
【机器学习】李宏毅——Transformer
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。 Transformer具体就是属于Sequence-to-Sequence的模型，而且输出的向量的长度并不能够确定，应用场景如语音辨识、机器翻译，甚至是语音翻译等等，在文字上的话例如聊天…
-
【机器学习】李宏毅——线性降维
关于李宏毅老师的线性降维课程章节的学习内容记录，包括完整知识脉络及思路 降维，可以用下面这张图来很简单的描述，就是将不同的、复杂的多种树都抽象成最简单的树的描述，也就是我们不关心这棵树长什么样子有什么特别的特征，我们只需要降维，知道它是一棵树即可。 维度下降实际上就是找到一个function，使得输入x得到输出z，而输出z的维度要比输入x的维度小。具体有几种…
-
【机器学习】李宏毅——自注意力机制(Self-attention)
自注意力机制(Self-attention)部分内容，对其原理进行了阐述 前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？ 这一类的场景包括文字识别、语音识别、图网络等等。 那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式： 每个向量对应一个输出…
-
【机器学习】李宏毅——从逻辑回归推导出神经网络
【机器学习】李宏毅——从逻辑回归推导出神经网络 假设现在有两种类别的样本，其类别分别为\(C_1\)和\(C_2\)，而拥有的样本数分别为\(N_1\)和\(N_2\)，那么假设每个样本都是从其类别对应的高斯分布中取出来的，那么则可以进行如下推导： 那么就可以得到《统计学习方法》中第六章的逻辑回归对于两类概率的定义（解决了我的疑惑） 那么逻辑回归就是如何找到…
