Python实现绘制多种激活函数曲线详解

下面是Python实现绘制多种激活函数曲线的详解攻略。

概述

神经网络中的激活函数对模型的性能具有很大的影响，常用的激活函数有sigmoid、ReLU、tanh等。在实际应用中，我们往往需要对各种激活函数进行模拟和可视化，以便对其进行研究和优化。在这里，我们将详细讲解如何使用Python实现绘制多种激活函数的曲线图。

任务

绘制如下几种激活函数的曲线图：

1. sigmoid函数
2. tanh函数
3. ReLU函数
4. LeakyReLU函数
5. ELU函数

实现

准备工作

在绘制激活函数的曲线图前，我们需要先导入必要的库，包括numpy和matplotlib。在绘制曲线图时，我们要对横坐标和纵坐标进行区分，因此需要创建两个数组，分别作为横坐标和纵坐标。

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-5, 5, 200)
y = np.zeros_like(x)

我们使用linspace函数创建了一个横坐标的数组，其范围为-5到5，共有200个点。而纵坐标的数组初始化为全0数组，后面我们会用不同的激活函数替换其元素值。

sigmoid函数

sigmoid函数的数学公式为：

$$
\sigma(x) = \frac{1}{1+e^{-x}}
$$

在Python中，我们可以使用numpy库的exp函数来计算$e^{-x}$，然后再使用简单的算术计算得出结果。绘制sigmoid函数的代码如下：

y = 1 / (1 + np.exp(-x))
plt.plot(x, y)
plt.title('Sigmoid')
plt.show()

tanh函数

tanh函数的数学公式为：

$$
\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
$$

在Python中，我们同样可以使用numpy库的函数来计算，绘制tanh函数的代码如下：

y = np.tanh(x)
plt.plot(x, y)
plt.title('tanh')
plt.show()

ReLU函数

ReLU函数的数学公式为：

$$
\mathrm{ReLU}(x) = \max(0, x)
$$

在Python中，ReLU函数的实现非常简单，我们只需要将小于0的数全部改为0即可。绘制ReLU函数的代码如下：

y = np.maximum(0, x)
plt.plot(x, y)
plt.title('ReLU')
plt.show()

LeakyReLU函数

LeakyReLU函数是ReLU函数的一种变种，它在负值区域使用一个小的斜率。LeakyReLU函数的数学公式为：

$$
\mathrm{LeakyReLU}(x) = \begin{cases}
x, & x > 0 \
\alpha x, & x \leq 0
\end{cases}
$$

其中，$\alpha$是一个小的斜率，可以设置为0.01或0.3等。在Python中，我们可以使用numpy库的where函数实现LeakyReLU函数。绘制LeakyReLU函数的代码如下：

y = np.where(x > 0, x, 0.01 * x)
plt.plot(x, y)
plt.title('LeakyReLU')
plt.show()

ELU函数

ELU函数是一种近年来提出的激活函数，它结合了ReLU和sigmoid函数的优点，在模型训练时表现较好。ELU函数的数学公式为：

$$
\mathrm{ELU}(x) = \begin{cases}
x, & x > 0 \
\alpha(e^x-1), & x \leq 0
\end{cases}
$$

其中，$\alpha$是一个小的斜率，可以设置为1等。在Python中，我们同样可以使用numpy库函数实现ELU函数。绘制ELU函数的代码如下：

y = np.where(x > 0, x, np.exp(x) - 1)
plt.plot(x, y)
plt.title('ELU')
plt.show()

示例说明

我们可以通过修改上述代码中的参数，比如修改横坐标的范围、线条的颜色和类型等，来实现不同的曲线。下面以绘制三种函数为例进行说明。

绘制不同线条的sigmoid函数

我们可以同时绘制多条线条来对比不同的sigmoid函数，比如在同一张图中绘制黑色、红色、绿色的曲线。修改sigmoid函数的代码如下：

y1 = 1 / (1 + np.exp(-x))
y2 = 1 / (1 + np.exp(-2*x))
y3 = 1 / (1 + np.exp(-0.5*x))
plt.plot(x, y1, 'k', label='sigmoid(x)')
plt.plot(x, y2, 'r--', label='sigmoid(2x)')
plt.plot(x, y3, 'g-.', label='sigmoid(0.5x)')
plt.title('Sigmoid')
plt.legend()
plt.show()

绘制多种函数在同一张图中的对比

我们可以将多种函数绘制在同一张图中，对比它们的曲线趋势，以便更直观地了解各种激活函数的特点。修改代码如下：

y_tanh = np.tanh(x)
y_relu = np.maximum(0, x)
y_lrelu = np.where(x > 0, x, 0.01 * x)
y_elu = np.where(x > 0, x, np.exp(x) - 1)
plt.plot(x, y_tanh, 'b', label='tanh')
plt.plot(x, y_relu, 'r', label='ReLU')
plt.plot(x, y_lrelu, 'g', label='LeakyReLU')
plt.plot(x, y_elu, 'm', label='ELU')
plt.title('Activation Functions')
plt.legend()
plt.show()

总结

这里给出了使用Python实现绘制多种激活函数的曲线的详细攻略，覆盖了Sigmoid、tanh、ReLU、LeakyReLU和ELU五种常用的激活函数。通过对激活函数的详细讲解，我们不仅可以更好地理解各种激活函数的特点，还可以优化神经网络模型，提高模型的性能。