作者认为语义分割的两个挑战是分类和定位,而这两个挑战又是比较对立的。对于分类问题,模型需要有变形和旋转不变形,而对于定位问题,模型有需要对变形敏感。

提出的GCN遵循两个主要原则:

1、对定位问题,模型需要全卷积来获得定位信息,不能有全连接或是全局池化层。

2、对分类问题,需要有大的卷积核来连接特征图和每个像素的分类器

此外还添加了边界精细块(boundary refinement block)来代替传统的CRF后处理

全局卷积时没有用非线性激活函数,只有卷积层

1*k+k*1的效果比 k*k 和多个小卷积叠加效果好

GCN主要提升了对象内部的正确率,对边界范围的影响不大

模型结构如图:

Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network(GCN全局卷积网络)