一、ConvNext Highlight

  核心宗旨:基于ResNet-50的结构,参考Swin-Transformer的思想进行现代化改造,知道卷机模型超过trans-based方法的SOTA效果。

  启发性结论:架构的优劣差异没有想象中的大,在同样的FLOPs下,不同的模型的性能是接近的。

  意义这篇文章可以作为很好的索引,将一些从卷积网络演进过程中的重要成果收录,适合新手。

二、背景介绍(Related Work)

2.1 一句话回顾ResNet-50

  由48层卷积 + 1个maxpool + 1个 avgpool构成。1 个early downsampling的stem + 4个block,每个block的配比是3:4:6:3

【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络

2.2 Trans-based?为什么好?

  1.  为什么Transformer强:归纳偏置小,A Survey of Transformers
    1. CNN的先验:局部相关性、全局共享性
    2. RNN的先验:时间依赖
    3. Trans的先验:只有position、先验小、模型上线高 大数据下表现更好  -> 小数据下只能增加正则项 / 引入结构偏置
  2. 这么好,为啥前几年在NLP里用,CV领域从20年才开始用
    1. Trans模型的核心计算在自注意力机制,平方复杂度
    2. 在NLP领域把 字/词作为最小力度单元,在图像上使用像素作为最小力度单元? -> 复杂度高、单像素信息含量太小

2.3 Trans-based这么好 要怎么用到CV(ViT Swin-T)

  1. 一个Naive的想法:不把像素当做最小单元,把图像拆成若干小块(称作patch),把小块视作基本单元?
    1. 上面Naive的想法真的可行!把小patch串起来变成embedding-> ViT
  2. ViT的两个理解视角:
    1. DNN的视角:把图像切割img2patch,再把patch通过仿射变换 patch2embedding
    2. CNN的视角:先通过全图的二维卷积(stride = kenerl size),再flatten the feature map
  3. 更多细节:position embedding可学习, + classification head + 无trans decoder【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络
  4. 不引入先验的确让模型理论上限更高了,但学习难度也加大了,而且 O(n2)的复杂度还是很难顶 -> Swin-Transformer
  5. Swin-T核心:采用层次化的设计,将复杂度从O(n^2)降到了O(n)、引入了CNN的局部性先验

【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络

 

三、Convnext又做了哪些事

 3.1 超级详尽的实验 和 模型改造

【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络 

 3.2 在实验之前,先在小数据集上获得好的优化器参数

  1. AdamW, 300epoch,预训练学习率4e-3,weight decay= 0.05,batchsize = 4096;微调学习率 5e-5, weight decay= 1e-8 ,batchsize = 512
  2. 准确率直接从76.1升到了78.8

 3.3 宏观设计

  • 修改区块占比:将[3,4,6,3]的区块比例改为了[3,3,9,3] -> 79.4

  • patchy化:将底层的7*7卷积替换成了4*4 stride=4的卷积,相当于进行原图上的分块 ->79.5
  • 深度可分离卷积:参考ResNext的结论,将普通卷积替换成深度可分离卷积(群卷积的一种),参数量降低可以让channel提高到96,达到与Swin-T相同。

    • ResNext的指导性建议:use more groups, expand width
    • 【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络
  • inverted bottleneck:引入了mobilenetV2中的结构,并且探索了更好的setting -> 80.6 

    • 【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络
    • 为了尝试不同的kernel size,调整了卷积的位置(这使得FLOPS降低、精度发生了降低),调整后的结构如figure3-(c)
    • 这样调整之后可以实验不同kernel size。Swin-T的窗口是7*7,ConvNext也发现7*7最好

 3.4 微观设计

  •  更换激活:ReLU替换为GeLU(+0.1)
  •  减少激活的数量(+0.7)、减少batchnorm(+0.1),整体设置与Swin-T相同
  •  为了跟Swin-T一致,在block开始添加1*1卷积(无效)
  •  更换归一化:用LayerNorm替换BatchNorm(+0.1)
  •  更换下采样:下采样从 3*3 stride=2,代替为2*2 stride=2(可分离下采样)-> 训练不收敛
  •  在stem之后,每个下采样层之前以及global avg pooling之后都增加一个LayerNom (+0.5)

【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络

 3.4 最终的模型

【论文阅读】ConvNeXt:A ConvNet for the 2020s 新时代卷积网络

四、实验结论

   在 分类、检测、分割任务上效果都好,具体请移步论文原文看。

五、碎碎念 

   最近我们有一篇工作也是设计了一个全卷积的网络,也是用了深度可分离、inverted bottleneck、LN代替BN,但远远没有这篇论文做得细致。实验过程中遇到的难收敛问题或许是更值得探索的内容,可惜志不在此,希望学弟能够更细致得探索吧。