还没解决,以下是解释fine-tune
然后用一个大的数据集A,训练该CNN网络,得到网络a。
可是在数据集B上,a网络预测效果并不理想(可能的原因是数据集A和B存在一些差异,比如数据来源不同导致的代表性差异)。如果直接用B的一部分训练的话,数据量太小,CNN不适用。
解决方法:
将数据集B分为train集和test,以a网络的参数为初始参数,以较小的学习率,以B的train集为训练数据,继续训练,得到网络b。
这样,b在B的test集中一般可实现较好的预测精度。
——————————————————————————————————————————————————————————————————————————————
例子:
1.fine-tuning: 先拿CNN在cifar100上训练,然后仅仅修改最后一层softmax的输出节点个数(100改为10),再放到cifar10上训练。
2. train from scratch: 相同结构的CNN直接用cifar10训练。
结果:
第一种情况可能只要1000次迭代就能到达60%accuracy,第二种情况需要4000次才能达到60%的accuracy.
caffe官网有fine-tuning的例子,解释更详细。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:finetuning caffe - Python技术站