top1直达96的模型:

pytorch框架、网络模型SE-Resnet50,优化算法Adam

 


 

pytorch:

pytorch官方文档,每个模块函数都有github源码链

教程的链接 http://pytorch.org/tutorials/ 

官方网站的连接 http://pytorch.org/ 

pytorch的github主页https://github.com/pytorch/pytorch

Pytorch(一个优雅的框架)https://www.jianshu.com/p/6b96cb2b414e

Pytorch[facebook]是一个python优先的深度学习框架,是一个和tensorflow[google、工程能力强],Caffe,MXnet[amazon], theano[适合科研]一样,非常底层的框架,它的前身是torch,主要的语言接口是Lua,在如今github上前10的机器学习项目有9个都是python的时代,一直没有太多的人使用,比较小众。而pytorch如今重新归来,用python重写了整个框架,又重新回到了程序员的视线。

在如今机器学习框架百出的时代,并没有哪个框架是最好的,每个框架都有各自的优点。我们有必要掌握不同的框架,不要说精通每个框架,至少能够看看这个框架下的代码,因为github上不断地有牛人论文复现,而他们用的框架肯定不会都是一样的,所以你至少要能够阅读别人写的在各个框架下的代码。

 

使用keras & pytorch 的优缺点:

[keras] 一个很高层的结构,它的后端支持theano或tensorflow,它本质上并不是一个框架,只是对框架的操作做了一个封装,你在写keras的时候其实是对其后端进行调用,相当于你还是在tensorflow或者theano上跑程序,只不过你把你的语言交给keras处理了一下变成tensorflow听得懂的语言,然后再交给tensorflow处理,这样的后果当然方便你构建网络,方便定义模型做训练,极快的构建你的想法,工程实现很强,但是这样也有一个后果,那就是细节你没有办法把控,训练过程高度封装,导致你没有办法知道里面的具体细节,以及每个参数的具体细节,使得调试和研究变得很困难。

[pytorch] 一个底层框架,类似theano & tensorflow。它的底层优化仍然实在c上的,但是它基本所有的框架都是用python写的。

 


 

SE-Resnet50_33epoch:

1. SE-Resnet,ImageNet2017的冠军

2. 网络模型,50层,训练了33个epoch。

3. top1-96。


 

 

Adam:

1. 了解adam和sgd的区别

https://blog.csdn.net/jiachen0212/article/details/80086926

sgd是最初的一种优化算法,深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。

另外,说到优化算法,入门级必从 SGD 学起,老司机则会告诉你更好的还有 AdaGrad / AdaDelta,或者直接无脑用 Adam。可是看看学术界的最新 paper,却发现一众大神还在用着入门级的 SGD,最多加个 Momentum 或者 Nesterov,还经常会黑一下Adam

2. 优化算法的选择和使用:

一般先用adam,再使用sgd

3. 总结:

Adam收敛更快,时间成本低

Sgd速度比较慢,但效果更好,假如时间充裕使用agd