一种双向复制粘贴的半监督医学图像分割方法

本发明涉及计算机视觉与数字图像处理，尤其涉及一种双向复制粘贴的半监督医学图像分割方法。

背景技术：

1、从医学图像，例如ct和mri图像中分割内部结构，对于许多临床应用来说是必不可少的。许多基于全监督的方法被设计出来并应用到图像分割中，它们通常需要大量的像素级标注。为了解决昂贵的标注成本，近年来基于半监督的方法受到越来越多的关注，并在医学领域普遍存在。

2、通常来说在半监督条件下，我们认为标记数据和未标记数据的分布是相同的。但是在实际情况下，很难使用有限的标记数据来估计确切的数据集分布，所以在有限的标记数据和大量的未标记数据之间会存在经验分布差距。以往的大部分半监督工作将标记数据和未标记数据通过独立的学习范式进行学习，这样导致从标记数据中学到的知识不能很好地传递到未标记数据地学习中，同时也忽略了经验分布差距的问题。半监督学习中，对未标记图像的弱增强-强增强对的输出进行一致性正则化是常用方法之一，而cutmix(copy-paste)通常作为普通的强数据增强的方法，将两张图像的不同部分结合在一起产生新图片用作训练。但是新图像的监督信号通常来自不准确的伪标签，导致cutmix不能发挥出它的优势。

3、因此，本发明从标记数据和未标记数据的一致性学习范式出发，设计一种专门用于半监督医学图像分割的学习框架，以有效解决半监督背景下标记数据和未标记数据之间的经验分布差距问题。

技术实现思路

1、为解决上述技术问题，本发明提出了一种双向复制粘贴的半监督医学图像分割方法，使用cutmix方法利用有限的标记图像从两个方向上结合未标记图像来产生两种新图像，新图像的有标记部分由真实标记监督，未标记部分由教师网络产生的伪标签来监督。

2、为实现上述目的，本发明提供了一种双向复制粘贴的半监督医学图像分割方法，包括：

3、将若干组标记图像-未标记图像对在不同方向上进行复制粘贴，分别获取新图像一和新图像二，其中所述新图像一为中心区域为标记图像且边缘区域为未标记的图像，所述新图像二为中心区域为未标记图像且边缘区域为标记的图像；

4、构建教师-学生网络框架，将所述新图像一和所述新图像二输入到学生网络中进行训练，获取新图像的预测；将所述标记图像-未标记图像对中的未标记图像输入到教师网络中进行初始化，获取所述教师网络对于未标记图像的预测以及所述未标记图像的伪标签；

5、选取标记图像的真实标签和所述未标记图像的伪标签在不同方向上进行复制粘贴，结合成相应的混合标签；

6、基于训练后的所述学生网络通过所述新图像的预测和所述混合标签，构建损失函数，获取最终的学生网络参数，所述教师网络从所述最终的学生网络参数中获得更新，当训练达到最大次数时获取训练好的学生网络，基于所述训练好的学生网络测试分割性能。

7、优选地，获取所述新图像一和所述新图像二，包括：

8、随机选取若干组标记图像-未标记图像对，生成中心区域为第一预置值，边缘区域为第二预置值的随机掩膜；将任一张标记图像与掩膜做像素级相乘，并加上一张未标记图像与反掩膜做像素级相乘的结果，分别获得所述中心区域为未标记图像且边缘区域为标记图像的新图像一以及中心区域为未标记图像且边缘区域为标记的新图像二。

9、优选地，获得所述未标记图像的伪标签，包括：

10、选取任意若干所述未标记图像输入到所述教师网络中，经过选取最大连通分量的处理，滤除不可靠的噪声，最终得到所述未标记图像的伪标签。

11、优选地，结合成所述相应的混合标签，包括：

12、根据新图像中标记图像与未标记图像的结合方式，对应地将相应真实标签和伪标签结合成所述相应的混合标签。

13、优选地，所述损失函数为dice损失与crossentropy损失的算术平均，所述损失函数通过对所述新图像中的未标记图像部分乘以系数，控制所述伪标签的监督作用。

14、优选地，所述损失函数计算方法为：

15、

16、其中，w×h为图像的分辨率，lce表示crossentropy损失函数，ldice表示dice损失函数，pij、yij和mij分别表示p、y和m的坐标为(i，j)的像素，|m|表示m中值为1的像素总数。

17、优选地，获取所述最终的学生网络参数，包括：

18、使用梯度回传方法更新所述学生网络的参数，并在学生网络的参数更新后使用指数移动平均方法更新所述教师网络的参数，在训练达到最大次数时，获得所述最终的学生网络参数。

19、优选地，所述教师-学生网络框架的总体损失函数为：

20、

21、其中，标记图像和未标记图像的损失函数的计算方式分别为：

22、

23、

24、其中，p表示学生网络对于两个新图像的预测，pl表示学生网络对于边缘区域为标记图像的新图像的预测，pu表示学生网络对于边缘区域为未标记图像的新图像的预测；y1与y2为两张标记图像的真实标记；与为教师网络对两张未标记图像产生的伪标签；m为边缘区域为1值，中心区域为0值的掩膜。

25、与现有技术相比，本发明具有如下优点和技术效果：

26、本发明与现有技术相比，不仅方法简单便于实施，并且能够减小网络对标记数据和未标记数据之间的经验分布差距，同时也显著提高了分割准确率；

27、本发明设计了一个标记数据与未标记数据平等学习的框架，减小了网络对标记数据的过拟合现象，提高了网络对未标记数据的泛化性能，同时也减缓了标记数据与未标记数据之间的经验分布差距现象。

技术特征：

1.一种双向复制粘贴的半监督医学图像分割方法，其特征在于，包括：

2.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于,获取所述新图像一和所述新图像二，包括：

3.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，获得所述未标记图像的伪标签，包括：

4.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，结合成所述相应的混合标签，包括：

5.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，所述损失函数为dice损失与crossentropy损失的算术平均，所述损失函数通过对所述新图像中的未标记图像部分乘以系数，控制所述伪标签的监督作用。

6.根据权利要求5所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，所述损失函数计算方法为：

7.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，获取所述最终的学生网络参数，包括：

8.根据权利要求1所述的双向复制粘贴的半监督医学图像分割方法，其特征在于，所述教师-学生网络框架的总体损失函数为：

技术总结
本发明公开了一种双向复制粘贴的半监督医学图像分割方法，包括首先仅使用标记数据来预训练一个分割网络，然后教师网络使用预训练网络参数进行初始化来给未标记数据产生伪标签。将两组标记数据‑未标记数据对在两个方向上进行复制粘贴，得到的新图像输入到学生网络中进行预测，学生网络预测的监督信号由伪标签和真实标签以相同的复制粘贴形式组成，给予伪标签监督部分一个系数来控制伪标签的监督作用。本发明方法简单便于实施，并且能够减小网络对标记数据和未标记数据之间的经验分布差距，同时也显著提高了分割准确率。

技术研发人员：王妍,白云昊,李庆利
受保护的技术使用者：华东师范大学
技术研发日：
技术公布日：2024/1/13