详解TensorFlow报”ValueError: Input contains NaN, infinity or a value too large for dtype “的原因以及解决办法

问题描述

在使用 TensorFlow 进行机器学习或深度学习任务时，可能会遇到以下错误信息：

ValueError: Input contains NaN, infinity or a value too large for dtype

这个错误通常表示输入的张量中包含了 NaN、infinity 或 dtype 大小不支持的值。这可能会导致 TensorFlow 网络无法正常训练或产生错误的结果。

解决方案

查找 NaN 或 infinity 值

首先，我们需要确认输入张量中确实含有 NaN 或 infinity 值。可以使用以下代码来检查：

import numpy as np

data = np.random.rand(5,5)
data[0,0] = np.NaN
data[1,1] = np.Inf

print(data)
print(np.isnan(data).any())     # 检查是否有 NaN
print(np.isinf(data).any())     # 检查是否有 infinity

如果输出结果中有 True，说明张量中确实存在 NaN 或 infinity。

替换 NaN 或 infinity 值

如果张量中确实存在 NaN 或 infinity，我们需要将它们替换为其他值，以避免出现错误。

例如，可以将 NaN 值替换为 0，将 infinity 替换为一个较大的值：

data[np.isnan(data)] = 0
data[np.isinf(data)] = 1e10

print(data)

这样做之后，可以再次检查张量中是否还存在 NaN 或 infinity，确保已经被替换成功。

对输入数据进行标准化或归一化处理

引起此错误的另一个原因是，输入数据中数值的范围过大或不一致，导致某些值过大或过小，超出了 dtype 的支持范围。因此，我们需要对输入数据进行标准化或归一化处理，将所有数值的范围缩放到合理的区间内。

例如，使用 sklearn 中的 StandardScaler 或 MinMaxScaler 对数据进行预处理：

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# StandardScaler
scaler = StandardScaler()
data = scaler.fit_transform(data)

# MinMaxScaler
scaler = MinMaxScaler()
data = scaler.fit_transform(data)

对模型进行调参

如果以上方法均不能解决问题，可以尝试对模型进行调参，例如减小学习率或增加迭代次数等。通过尝试不同的参数组合，找到能够正常运行的参数设置。

总结

ValueError: Input contains NaN, infinity or a value too large for dtype是 TensorFlow 常见的错误之一，通常表示输入张量包含 NaN、infinity 或 dtype 不支持的值。解决方法包括查找并替换这些值、对数据进行标准化或归一化处理以及调整模型参数等。由此引发的错误会导致模型训练失败或产生错误的结果，请务必重视。