num_workers
- num_worker=0表示只用主进程读取数据, num_worker=4/8表明使用额外的4/8子进程读取数据
- 一般来说,增大num_worker可以增加GPU的利用率,从而加快训练的速度。
- 但是有时候即使增大num_worker也无法提高GPU利用率,这是因为训练的瓶颈在IO
多个小文件->单个大文件
- 使用hdf5文件:缺点是需要全部读入内存
- 使用lmdb文件
pytorch tricks合集
Efficient pytorch
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:加快pytorch训练速度 - Python技术站