基于学习转换的一次性医学图像分割中的数据扩增( 二 ) 摘要图像分割是许多医学应用

半监督和无监督的方法也被提出用来应对训练小型数据集的挑战。这些方法不需要配对图像和分割数据。相反，它们利用分割集合来构建解剖先验[21] ，训练对抗性网络[39] ，或者训练一个新的语义约束[29] 。在实践中，图像集合比分段更容易获得。本文的方法偏向于利用一组未标记的图像而不是依赖分割。
2.2 空间和外观变换模型
形状和外观模型已被用于各种图像分析。[31,44,50]参数空间变换模型已被用于对手写数字进行对齐和分类。在医学图像配准中，利用空间变形模型建立图像之间的语义对应关系。这一成熟的领域涵盖了基于优化的方法[4,7,67,70] ，以及最近出现的基于学习的方法[8,9,20,42,62,72,80] 。本文利用 VoxelMorph[8,9]——一个基于学习的无监督学习方法，学习空间变换。
许多医学图像配准方法集中在强度正规化图像或与强度无关的目标函数上，没有明确地解释图像强度的变化。对于未正规化的图像，强度变换模型已用于从 MRI[44,79]中去除偏置场效应。空间和外观变换模型一起被用来配准形状和纹理不同的对象。许多工作建立在形态模型[38]或 AMMs[15,16]——一个构造了形状和纹理的统计模型的框架之上。 AAMs 已被使用于定位解剖地标[17,58]并执行分割[52,56,77] 。本文通过使用卷积神经网络来学习无约束空间和强度变换的模型来建立这些概念。本文不是以配准或分割为最终目标而学习转换模型，而是从这些模型中取样，以合成新的训练样本。正如本文在实验中所知，以这种方式来扩增分割器的训练集可以产生比直接使用变换模型进行分割获得更健壮的结果。
图 2：拟议方法的概述。本文学习独立的空间和外观变换模型来捕捉图像数据集中的变化。然后，本文使用这些模型合成一个 dat 标记示例的 ASET 。该合成数据集用于训练监督分割网络。
文章插图
2.3 少量分割自然图像
少量分割是语义分割和视频对象分割中一项具有挑战性的任务。当前方法主要集中在自然图像上。小样本语义分割的方法包含了要[24,69]分割的类的典型样本的信息。通过将每帧中的对象对齐到标记的参考帧[37,75] ，很少镜头视频分割经常实现。其他方法利用大量标记的补充信息数据集，如对象外观[11] ，或包含其他信息，如人为输入[60] 。医学图像与自然图像提出了不同的挑战；例如，与自然图像中物体之间的差异相比，组织图像之间的视觉差异是非常微妙的。
2.4 数据扩增
在基于图像的监督学习任务中，通常使用简单的参数化转换（如旋转和缩放）来进行数据扩增。对于医学图像，随机光滑流场被用来模拟解剖变化。这些参数化转换可以减少过拟合，提高测试性能[34,43,51,63,64] 。然而，这些转换所带来的性能增根据转换函数和参数设置[25]的选择而变化。
最近的工作提出了从数据中学习数据扩增转换。Hauberg 等人。[31]专注于用于分类 MNIST 数字的数据扩增。他们学习特定于数字的空间转换，并对图像和转换进行样本训练，以创建旨在提高分类性能的新样本。除了空间模型外，本文还学习了一个外观模型，本文重点研究了 MRI 分割问题。最近的其他工作侧重于学习简单转换函数的组合(例如：旋转和对比度增强)对自然图像[18,61]进行数据扩增 Cubuk 等人。 [18]使用搜索算法来找到最大化分类精度的扩增策略。Ratner 等人学会通过在用户输入上训练生成对抗性网络来创建转换组合。这些简单的转换不足以捕捉 MRI 数据中的许多细微变化。
3.方法本文提议在半监督学习框架中，通过综合真实的训练样本来改进一次性生物医学图像分割。
文章插图
文章插图
3.1 空间和外观变换模型
文章插图
文章插图
图 3：本文使用基于 U-Net 体系结构的卷积神经网络[63]来学习每个变换模型。转换的应用是空间模型的空间翘曲，和外观模型的体素加法。每个卷积使用 3×3 个核，然后是一个 Leaky ReLU 激活层。编码器使用最大池层来减少空间冲突。
文章插图