形状一致的生成对抗网络 SC-GAN —— 无监督域适应

形状一致的生成对抗网络 SC-GAN —— 无监督域适应

文章原文：Yu, Fei, et al. “Annotation-Free Cardiac Vessel Segmentation via Knowledge Transfer from Retinal Images.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

创新点

• shape-consistent generative adversarial network (SC-GAN). 一种域适应的 image-alignment 的策略，其关键点在于确保生成的图像具有和 source domain 以及 target domain 相同的血管结构。
• 知识迁移的视角 (domain adaptation)。大部分利用 Cycle-GAN 这样的 unpaired image translation 的策略，且仅仅考虑相同解剖结构不同成像方式 (MRI-T1, T2…) 之间的转换。

解决策略

1. 问题定义

source domain 是有手工标签的视网膜血管，target domain 是无标签的DSA数字减影图像。想要模拟生成的图像同时具有 source domain 和 target domain 的血管结构，且具有 target domain 的背景风格。–> 可以理解成一种融合图，其关键在于得有 target domain 的背景风格。

2. 框架

• 具有 shape consistency 约束的 generator，生成融合图 (Fake B)。其中 shape consistency 想要保证融合图具有和 source domain (Real A) 相同的视网膜血管结构，通过 source domain 自带的分割标注可以确保；同时 shape consistency 也使得融合图具有和 target domain (Real B) 相同的冠状动脉结构，由于没有 target domain 的手工金标准，因此 用 Frangi filter 得到的结果作为 target domain 的伪标签，确保大体上的 target domain 中的血管结构能够出现在融合图中。
• Discriminator，来确保融合图具有 target domain (Real B) 的风格。因为血管部分的风格通过 shape consistency 已经得到的约束，此处只需要确保融合图的背景具有相同风格即可。
• Segmentor 来完成分割任务。输入是具有两种血管结构和 target domain 风格的融合图，以及其对应的生成标签。注意此处 生成的标签包含了 真实的 source domain 的手工标签和 target domain 的伪标签。

分析

1. 大家可以考虑一个问题，如果我不是采用这样的融合图的方式，而是用 feature disentangle 的方法生成具有 target domain 风格的 伪source domain 图，以及具有 source domain 结构的 伪target domain 图。这样的结果会比这篇文章好吗？**这里我大胆猜测一下 —— 效果应该不会比较好，因为生成的 伪target domain 图本质上是没有标签的，而如果用 Frangi filter 得到的结果作为 伪标签可能会造成网络对于噪声的过拟合。**所以文中采用的融合图的方式的确能够避免 伪标签带来的影像。
2. 其实本质上这个工作就是 domain adaptation 中 image-alignment 的工作，只不过这里作者把 source 和 target 两种域对齐到了另外一种共有空间上，而不是 source -> target 或者 target-> source 的单向对齐。