[转载]什么情况下应该设置cudnn.benchmark=true?

在深度学习中，使用GPU进行加速训练已经变得越来越普遍。但在使用GPU训练时，我们常常会遇到优化的问题，其中之一就是cudnn库的使用，而cudnn.benchmark的设置就成了解决该问题的一种重要方法。那么什么情况下应该设置cudnn.benchmark=true呢？让我们来探究一下。

什么是cudnn.benchmark

cudnn.benchmark是cudnn库的一个参数，用于自动查找最优的卷积算法，以提升卷积操作的性能。由于深度学习模型包含的卷积层通常都很大，因此卷积操作的速度就显得尤为重要。设置cudnn.benchmark=true可以让程序自动选择最佳算法，而不是使用开发时预设的卷积算法。

那么，什么情况下应该设置cudnn.benchmark=true呢？

设置cudnn.benchmark=true的条件

在进行深度学习任务时，通常会涉及到大量的训练和推理操作，这些操作过程中可能会用到不同类型和大小的张量（tensor），因此会涉及到数据的大小和形状的变化。而在训练和推理的过程中，GPU的负载也会发生变化，有可能在前期训练中发现某一算法是最优的，而在后期训练中，由于负载变化、数据大小和形状的变化等原因，最优算法发生了改变。

设置cudnn.benchmark=true的条件如下：

1. 数据集具有典型性，可以代表测试数据集；
2. 数据量较大，并可以同时加载到GPU内存中；
3. 训练次数比较多，确保在训练过程中Cudnn可以自适应性的选择最优算法。

只有以上三个条件都满足时，才可以合理地设置cudnn.benchmark=true，以获得最优的卷积算法。

如何设置cudnn.benchmark

• Python

import torch

torch.backends.cudnn.benchmark = True

• CUDA

# 设置环境变量
export CUDA_HOME=/usr/local/cuda export PATH=$PATH:$CUDA_HOME/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_HOME/lib64 
# 运行程序
./my_program

总结

在涉及到卷积操作的深度学习任务中，使用cudnn.benchmark=True是一种很好的优化手段。但需要注意的是，只有数据集具有典型性、数据集较大且可以同时加载到GPU内存中，训练次数比较多的情况下，才能设置cudnn.benchmark=True，以获得最优的卷积算法。