半监督学习之DTC(Semi-supervised Medical Image Segmentation through Dual-task Consistency)

半监督学习之DTC

不同于MixMatch这类使用“数据增强后的结果一致性(consistency)”，改方法使用“任务一致性”来约束模型（正则化）。由于第一类方法的无监督信号的构建需要模型的预测流程，即每一步由“训练+预测”构成，所以相对的带来了训练时间的大大增加(在Keras框架里面可以通过构建类似GAN一样的结构，即将一个模型complie两次，但是预测的哪个模型的所有参数的设置为不可训练)。而DTC（开创性的工作）提出一种新思路——“任务一致性正则”，通过将分割分为pixel-wise分类任务和level-set(水平集)函数回归任务（标签是通过一个符号函数转换后的图片）。在这里水平集函数回归思想比较妙，利用了神经网络的本质是一个“万能的函数逼近器”的概念。

HiLab-git/DTC

skimage level set

Module: segmentation - skimage v0.19.0.dev0 docs
笔记：
Notion

基于双任务一致性的半监督医学图像分割

不同于使用通过扰动数据和网络来规范（regularize）模型训练，使用任务正则化。

一个是水平集的分割图和直接的分割

半监督学习框架通过直接从有限数量的标记数据和大量的未标记数据中学习，获得高质量的分割结果。

现有方法都是通过损失中的正则化项来加强未标记数据预测的一致性。

pixel-wise 和shape-aware多任务

不同任务的结果应该映射、转换到同一个预定义的空间

建立水平集的回归任务和像素点的分类任务的一致性。

分为3部分：

1.第一部分是双任务分割网络：

将分割任务建模为两个问题：1.预测一个像素分类图；2.获得一个全局级水平集函数，其中零级是分割轮廓

2.第二部分是将水平集函数转换为一个分割的概率图

3.第三部分混合监督和无监督的损失函数。这个可以加速全监督的学习也可以有效地利用未标签的数据。

结果：

1.在完全监督的设置下，我们的双任务一致性正则化优于双任务的单独和联合监督。

2.在半监督设置下，所提出的框架在几个临床数据集上优于最先进的半监督医学图像分割框架。

3.与现有的方法相比，该框架需要较少的训练时间和计算成本。同时，它直接适用于任何半建议的医学图像分割场景，由于任务之间存在可微的变换，可以很容易地扩展到使用附加任务。

The consistency regularization plays a vital role in computer vision and image processing, especially in semi-supervised learning.

stochasitc transformations and perturbations 随机变换和扰动

不同于图像变换的结果一致性，一次训练需要前向两次，任务一致性只需要一次。

双任务一致性网络结构

下面是像素分类任务的head，什么上面是水平集回归任务的head。使用encoder-decoder作为backbone。模型在标注的数据上使用最小化监督损失$L_{Dice},L_{LSF}$，在标注数据和非标注使用双任务一致性损失$L_{DTC}$。函数$T$在监督学习中将GT标签转换为水平集表示，函数$T^{-1}$将水平集函数变为概率图来计算$L_{DTC}$

方法

原论文使用3D图片作为输入

为了建立一致性，使用一个transform layer来将水平集函数转化为一个像素级别的概率图，