深度学习-LSTM

2023年4月10日上午8:51 • 深度学习

前言
LSTM的基本原理
- LSTM的结构和原理
- 遗忘门、输入门、输出门的作用
LSTM的训练方法
- 代码
LSTM的改进
总结
- LSTM的优势和局限性

前言

神经网络的历史和背景

神经网络是一种模拟人类神经系统的计算模型，它由大量简单的神经元单元组成，通过它们之间的连接和传递信息来模拟人脑的学习和推理过程。神经网络起源于上世纪40年代，当时Warren McCulloch和Walter Pitts提出了一种可模拟生物神经元的数学模型，这是第一个神经元模型。

20世纪50年代，Frank Rosenblatt发明了一种称为感知机（Perceptron）的神经网络，可以用来解决二元分类问题。然而，感知机存在一个明显的缺陷：它只能处理线性可分的问题。

在20世纪60年代和70年代，神经网络的发展陷入了低谷。但是，到了1980年代，由于电脑的迅速发展，计算能力大幅提升，使得神经网络的训练和优化变得更加可行。此时，很多新的算法被发明出来，包括误差反向传播算法、径向基函数神经网络、自组织神经网络等。

到了21世纪，深度学习逐渐崭露头角，深度神经网络成为了研究热点。深度神经网络拥有更多的隐含层，可以学习到更加复杂的特征和抽象概念，这种能力使得它在很多领域都取得了很好的表现。神经网络也成为了当今人工智能领域中的一种重要技术，应用广泛，包括语音识别、自然语言处理、图像识别、推荐系统等领域。

循环神经网络的出现及其作用

循环神经网络（Recurrent Neural Networks，简称RNN）是一种用于处理序列数据的神经网络，它可以接受任意长度的输入序列，并通过内部的循环连接来处理序列中的每个元素。RNN的出现是为了解决传统神经网络无法处理时序数据的问题，因为传统神经网络的输入和输出都是独立的，无法考虑上下文信息。

循环神经网络的基本思想是在网络中引入循环结构，使得网络可以保存之前的信息，并将其传递到下一步的计算中。通过这种方式，RNN可以处理具有时序性质的数据，例如语音、文本和视频等序列数据。RNN的一个重要特点是它可以处理变长的输入序列，这使得它在处理自然语言处理、语音识别、机器翻译等领域中非常有用。

RNN的应用非常广泛，其中最有代表性的是自然语言处理领域，例如情感分析、文本分类、语言模型、机器翻译等任务。另外，RNN也被广泛应用于语音识别、股票预测、动作识别等领域。除了基本的RNN，还有很多基于RNN的变体，例如长短时记忆网络（LSTM）和门控循环单元（GRU），它们都是为了解决RNN在长序列数据中存在的梯度消失和梯度爆炸的问题。

LSTM在处理序列数据中的应用

长短时记忆网络（Long Short-Term Memory，简称LSTM）是一种循环神经网络的变体，它可以解决传统RNN在处理长序列数据中存在的梯度消失和梯度爆炸问题，因此在处理序列数据中非常有效。

LSTM的基本单元是一个门控循环单元（Gated Recurrent Unit，简称GRU），由输入门、遗忘门和输出门组成。输入门控制着新输入的重要性，遗忘门控制着上一个时刻的记忆细胞状态的重要性，输出门控制着当前时刻的输出。这些门的作用是控制信息流的传递，从而实现长期依赖关系的建立。

LSTM在处理序列数据中的应用非常广泛，其中最为重要的是语言建模和机器翻译。在语言建模任务中，LSTM可以通过前面的词汇预测下一个词汇出现的概率分布。在机器翻译任务中，LSTM可以将源语言句子编码为一个固定长度的向量，然后再将其解码成目标语言的句子。此外，LSTM还可以应用于图像标注、视频分析、音频识别和时间序列预测等任务中。

总之，LSTM在处理序列数据中的应用非常广泛，它的门控机制可以有效地捕捉序列之间的长期依赖关系，因此在处理具有时序性质的数据时表现出了很好的效果。

LSTM的基本原理

LSTM的结构和原理

长短时记忆网络（Long Short-Term Memory，简称LSTM）是一种循环神经网络的变体，它可以解决传统RNN在处理长序列数据中存在的梯度消失和梯度爆炸问题，因此在处理序列数据中非常有效。

LSTM的基本结构是一个由记忆细胞和门控单元组成的网络，其中门控单元控制着信息流的传递，记忆细胞则负责存储和更新上下文信息。LSTM的一个重要特点是它的门控机制，包括输入门、遗忘门和输出门，这些门的作用是控制信息流的传递，从而实现长期依赖关系的建立。具体来说，输入门控制着新输入的重要性，遗忘门控制着上一个时刻的记忆细胞状态的重要性，输出门控制着当前时刻的输出。

在LSTM中，每个时刻的输入数据和上一个时刻的记忆细胞状态通过门控单元进行处理，计算出当前时刻的记忆细胞状态和输出。LSTM的计算过程可以分为三个部分：

遗忘门控制着记忆细胞的更新，它决定了哪些信息需要从记忆细胞中遗忘掉。遗忘门的输入是当前时刻的输入和上一个时刻的隐藏状态，输出是一个介于0和1之间的数值，表示要保留的信息量。

输入门控制着新信息的输入，它决定了哪些信息需要添加到记忆细胞中。输入门的输入是当前时刻的输入和上一个时刻的隐藏状态，输出是一个介于0和1之间的数值，表示要添加的信息量。

输出门控制着输出的生成，它决定了从记忆细胞中输出多少信息。输出门的输入是当前时刻的输入和上一个时刻的隐藏状态以及当前时刻的记忆细胞状态，输出是一个介于0和1之间的数值，表示要输出的信息量。

LSTM的门控机制使得网络能够有效地捕捉序列之间的长期依赖关系，并且能够在处理长序列数据时避免梯度消失和梯度爆炸的问题。因此，LSTM在处理语音识别、自然语言处理、视频分析和时间序列预测等领域中广泛应用。

遗忘门、输入门、输出门的作用

遗忘门（Forget Gate）：控制着哪些信息需要从记忆细胞中遗忘掉。遗忘门的输入是当前时刻的输入和上一个时刻的隐藏状态，输出是一个介于0和1之间的数值，表示要保留的信息量。如果输出值为0，则表示需要完全遗忘上一个时刻的记忆细胞状态；如果输出值为1，则表示完全保留上一个时刻的记忆细胞状态。

输入门（Input Gate）：控制着新信息的输入，决定了哪些信息需要添加到记忆细胞中。输入门的输入是当前时刻的输入和上一个时刻的隐藏状态，输出是一个介于0和1之间的数值，表示要添加的信息量。如果输出值为0，则表示不添加任何新信息；如果输出值为1，则表示完全添加新的信息。

输出门（Output Gate）：控制着输出的生成，决定了从记忆细胞中输出多少信息。输出门的输入是当前时刻的输入和上一个时刻的隐藏状态以及当前时刻的记忆细胞状态，输出是一个介于0和1之间的数值，表示要输出的信息量。如果输出值为0，则表示不输出任何信息；如果输出值为1，则表示完全输出当前时刻的记忆细胞状态。

LSTM的训练方法

前向传播（Forward Propagation）：将输入序列经过LSTM的各个门控单元，计算得到输出值。

计算损失函数（Compute Loss）：将LSTM的输出值和实际标签值进行比较，计算损失函数，通常使用交叉熵损失函数。

反向传播（Backward Propagation）：根据损失函数对LSTM的参数进行求导，计算出每个参数对损失函数的影响程度，并通过链式法则将梯度传递回每个门控单元。

参数更新（Update Parameters）：根据梯度下降法，按照一定步长调整每个参数的取值，使得损失函数最小化。

重复以上步骤，直到达到最小化损失函数的目标。在实际应用中，通常会采用一些优化算法，如随机梯度下降（SGD）、Adagrad、Adam等，来加速参数更新的过程，并提高模型的收敛速度和准确度。

需要注意的是，在LSTM的训练过程中，由于存在大量的门控单元和非线性激活函数，会产生梯度消失和梯度爆炸等问题，这会导致训练效果不佳。为了解决这些问题，常用的方法包括裁剪梯度、梯度加权平均、残差连接等。

代码

使用Python和Keras深度学习库：

from keras.models import Sequential
from keras.layers import LSTM, Dense

# 定义LSTM模型
model = Sequential()
model.add(LSTM(64, input_shape=(timesteps, features)))
model.add(Dense(num_classes, activation='softmax'))

# 编译模型
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# 训练模型
model.fit(x_train, y_train, validation_data=(x_test, y_test), epochs=10, batch_size=32)

这里的LSTM层有64个神经元，输入形状是(timesteps, features)，其中timesteps是时间步长，features是每个时间步的特征数。输出层使用softmax激活函数，损失函数为分类交叉熵，优化器为Adam，评估指标为准确率。模型在训练数据上进行了10个epoch的训练，每个batch的大小为32。请注意，这只是一个简单的示例，您可以根据自己的需求和数据集对模型进行更改和调整。

使用PyTorch实现的LSTM模型：

import torch
import torch.nn as nn

# 定义LSTM模型
class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, num_classes)

    def forward(self, x):
        # 初始化LSTM隐状态
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        
        # 前向传播LSTM
        out, _ = self.lstm(x, (h0, c0))

        # 提取最后一个时间步的输出
        out = out[:, -1, :]

        # 全连接层
        out = self.fc(out)

        return out

# 创建LSTM模型实例
model = LSTMModel(input_size=features, hidden_size=64, num_layers=1, num_classes=num_classes)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
    for i, (inputs, labels) in enumerate(train_loader):
        # 前向传播
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        # 每隔100个batch输出一次loss
        if (i+1) % 100 == 0:
            print('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, i+1, total_step, loss.item()))

# 在测试集上评估模型
with torch.no_grad():
    correct = 0
    total = 0
    for inputs, labels in test_loader:
        outputs = model(inputs)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

    print('Test Accuracy of the model on the test images: {} %'.format(100 * correct / total))

这里的LSTM模型与之前的Keras实现类似，但是采用了PyTorch的nn.Module基类和nn.LSTM模块来定义模型。模型的训练和测试过程也与Keras实现类似，包括定义损失函数、优化器、训练循环和测试循环等。不同之处在于，PyTorch的训练过程需要手动定义反向传播和优化步骤。

LSTM的改进

GRU

GRU（Gated Recurrent Unit）：GRU是一种与LSTM类似的门控循环单元，但它只有两个门（更新门和重置门），相比LSTM参数更少，计算也更简单，因此在某些场景下速度更快。

Attention机制

计划注意力LSTM（Scheduled Attentive LSTM）是一种具有注意力机制的LSTM模型，它可以在每个时刻动态地选择输入序列中的不同部分进行计算，从而提高了建模效果。此外，计划注意力LSTM还可以根据任务要求进行不同程度的注意力控制，使得模型更加灵活。

双向LSTM

双向LSTM：双向LSTM（Bidirectional LSTM）将输入序列分别从前向后和从后向前进行计算，得到两个隐状态序列，然后将它们连接起来得到最终的输出序列。这种方法可以有效地捕捉序列中的上下文信息，提高了序列建模的精度。

总结

LSTM的优势和局限性

能够有效地解决长期依赖问题：在传统的RNN中，由于梯度消失和梯度爆炸等原因，无法有效地处理长序列，而LSTM通过门控机制和记忆单元的设计，能够有效地保留长期记忆，从而解决了长期依赖问题。

能够处理变长序列：LSTM模型能够处理变长的序列数据，例如自然语言处理中的不定长文本，图像处理中的不定数量的特征点等。

具有较好的鲁棒性：LSTM模型能够处理输入数据中的噪声和缺失值，从而在一定程度上提高了模型的鲁棒性。

可以在多个任务中应用：由于LSTM具有强大的序列建模能力，它可以在多个任务中得到应用，例如自然语言处理、语音识别、图像处理等领域。

然而，LSTM也存在一些局限性：

训练过程较慢：LSTM模型通常需要较长的时间进行训练，尤其是在处理大规模数据时，训练时间可能会非常长。

容易过拟合：LSTM模型具有大量的参数，当训练数据不足或者噪声较大时，容易发生过拟合现象。

难以调参：由于LSTM模型的复杂性，需要调整的超参数较多，这可能会增加模型的复杂性和训练时间。

不易解释：LSTM模型中存在大量的隐藏状态和门控单元，因此对于模型的解释和可解释性方面存在一定的困难。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：深度学习-LSTM - Python技术站

深度学习

0 0 打赏

微信扫一扫

支付宝扫一扫

深度学习基础-优化算法详解

上一篇 2023年4月10日上午8:50

深度学习-RNN

下一篇 2023年4月10日上午8:51

干货收藏！639页《深度学习：Deep Learning》图文并茂课程PPT

读博总是不容易，最近导师发给我一个深度学习的课程PPT，讲的太好了，图文并茂，是一门非常硬核的学习课程。作为笔记记录一下，同时付了下载链接方便大家一起学习深度机器学习的最新发展使视觉识别、语音和文本理解或自主智能体系统取得了前所未有的巨大进步。在此背景下，本课程将深入探讨深度学习架构的细节，重点是学习这些任务的端到端模型。学生将学习实施、训练和调试自己的神…

深度学习 2023年4月11日
000
《tensorflow实战Google深度学习框架》第五章mnist数字识别问题

MNIST数据处理包含60000张数据作为训练数据，10000张数据数据作为测试数据。数据集中的每一张图片都代表了0-9中的一个数字，图片大小都为28*28，数字都在图片的正中间。tensorflow提供了一个类来处理MNIST数据。 one-hot编码 One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，并且在任意时候只…

深度学习 2023年4月15日
000
深度学习

（实战篇）从头开发机器翻译系统！

在本文中，您将学习如何使用 Keras 从头开发一个深度学习模型，自动从德语翻译成英语。机器翻译是一项具有挑战性的任务，传统上涉及使用高度复杂的语言知识开发的大型统计模型。在本教程中，您将了解如何开发用于将德语短语翻译成英语的神经机器翻译系统。完成本教程后，您将了解：如何清理和准备数据以训练神经机器翻译系统。如何为机器翻译开发编码器-解码器模型。 …

2023年2月12日
000
深度学习笔记目标函数的总结与整理 model.compile(loss=’categorical_crossentropy’,optimizer=sgd,metrics=[‘accuracy’])

keras model.compile(loss=’目标函数 ‘, optimizer=’adam’, metrics=[‘accuracy’]) 　　目标函数，或称损失函数，是网络中的性能函数，也是编译一个模型必须的两个参数之一。由于损失函数种类众多，下面以keras官网手册的为例。在官方keras.io里面，有如下资料： mean_squared_…

深度学习 2023年4月10日
000
深度学习

基于深度学习的事件驱动型股票预测[论文研读笔记]

Deep Learning for Event-Driven Stock Prediction [Xiao Ding, Yue Zhang, Ting Liu, Junwen Duan] 2015, IJCAI 论文链接：http://www.ijcai.org/Proceedings/15/Papers/329.pdf 前导论文：使用结构化的事件来预测股价…

2023年4月10日
000
吴恩达《深度学习》第二门课（3）超参数调试、Batch正则化和程序框架

3.1调试处理（1）不同超参数调试的优先级是不一样的，如下图中的一些超参数，首先最重要的应该是学习率α（红色圈出），然后是Momentum算法的β、隐藏层单元数、mini-batch size（黄色圈出）、再之后是Layer、learning rate decay（紫色圈出）、最后是Adam算法中的β1、β2、ε。（2）用随机取值代替网格点取值。下图左边…

深度学习 2023年4月11日
000
深度学习实践系列（1）- 从零搭建notMNIST逻辑回归模型

MNIST 被喻为深度学习中的Hello World示例，由Yann LeCun等大神组织收集的一个手写数字的数据集，有60000个训练集和10000个验证集，是个非常适合初学者入门的训练集。这个网站也提供了业界对这个数据集的各种算法的尝试结果，也能看出机器学习的算法的演进史，从早期的线性逻辑回归到K-means，再到两层神经网络，到多层神经网络，再到最近的…

深度学习 2023年4月11日
000
GIS地理处理脚本案例教程——批量栅格分割-批量栅格裁剪-批量栅格掩膜-深度学习样本批量提取 – 风过无痕

GIS地理处理脚本案例教程——批量栅格分割-批量栅格裁剪-批量栅格掩膜-深度学习样本批量提取 GIS地理处理脚本案例教程——批量栅格分割-批量栅格裁剪-批量栅格掩膜-深度学习样本批量提取商务合作，科技咨询，版权转让：向日葵，135-4855_4328，xiexiaokui#qq.com 关键词：GIS地理处理脚本案例教程—批量栅格分割-批量栅格数据分割-批…

深度学习 2023年4月11日
000