一般而言,可以按照如下方式固定随机数种子,以便复现实验:
# 来自相关于 GCN 代码: 例如 grand.py 等的代码
parser.add_argument('--seed', type=int, default=42, help='Random seed.')
np.random.seed(args.seed)
torch.manual_seed(args.seed)
if args.cuda:
torch.cuda.manual_seed(args.seed)
# 自己之前所写的 noisy label 的代码,参照某一篇 blog
def seed_torch(seed=0):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
即使设置了随机数种子, 当改写了几行代码 ,即使期望实现功能完全相同,但也可能无法复现原来的结果
原因在于:随机数是顺序生成的,如果中间被额外的步骤多调用了一次随机数生成器,就会导致最终的结果完全不同。
例如:优化 \(loss1+\lambda\times loss2\)
假定 \(loss1\)的计算过程要用到随机数, 若在 \(loss2\) 的计算过程中也要调用了随机数发生器,则会打乱先前供计算 \(loss1\) 使用的随机数列,导致如下两种情况最终结果不同:
- case 1: 仅优化 \(loss1\),不计算 \(loss2\)
- case 2: 优化 \(loss1+0.0\times loss2\) (这里设置 \(loss2\) 项前的参数 \(\lambda\) 为 \(0.0\), 也即没有参与最终的优化。)
python 在主函数中设置随机数种子,似乎也可以将子函数 or 其他被主函数调用的随机模块给固定下来。https://www.cnblogs.com/yongjieShi/p/9594349.html
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pytorch 随机数种子设置 - Python技术站