详解TensorFlow报”CancelledError: Graph execution cancelled “的原因以及解决办法

问题描述

使用TensorFlow进行深度学习训练时，可能会遇到以下报错信息：

CancelledError: Graph execution cancelled

这个报错信息通常会在模型训练过程中被抛出，它的出现表示当前的训练任务已经被取消了。

这个问题比较棘手，因为它可能有很多不同的原因。下面我们将分析可能的原因，并给出相应的解决方案。

解决方案

手动停止训练

如果您是手动停止训练的话，这个报错信息是很正常的。因为您的程序在接收到停止信号之后，会停止当前的训练任务，所以会抛出这个取消的异常信息。您可以忽略这个错误信息，因为它本质上是一个提示信息。

训练任务过于庞大

如果您的训练任务过于庞大，会导致系统资源耗尽，这个报错信息也会被抛出。为了解决这个问题，您可以尝试以下几个方案：

• 减少训练数据集的大小，避免输入数据过大导致内存不足。

• 降低训练模型的复杂度，减少神经网路的深度和宽度，避免计算负荷过大导致系统崩溃。

• 优化Tensorflow的计算图，例如使用"tf.contrib.graph_editor"对计算图进行进一步的优化。

GPU的显存不足

如果您使用GPU进行深度学习训练，GPU的显存可能不足，导致训练失败。为了解决这个问题，您可以尝试如下几个方案：

• 减少批次大小，降低每次喂入模型的数据量。

• 适当增加Batch Normalization层或者减少模型的参数量。

• 使用更高内存的显卡或者增加GPU的显存。

其他未知异常

如果以上方法都没有解决您的问题，您可以在控制台启用"tf.debugging.set_log_device_placement(True)"，以获取更加详细的错误信息。

另外，您也可以尝试更新TensorFlow版本或者升级GPU的驱动。如果问题依旧存在，建议向官方论坛或者社区寻求技术支持。

总结

取消异常信息的出现很可能是由于训练任务被手动停止，训练数据集过大，GPU显存不足等多种原因导致。我们可以通过减少训练数据集的大小，优化TensorFlow计算图，增加GPU显存等措施来解决这个问题。