一种多视图联合训练的半监督医学影像分割方法及系统

本发明涉及图像处理领域，尤其涉及一种多视图联合训练的半监督医学影像分割方法及系统。

背景技术：

1、医学图像分割，指的是将生物医学图像中识别解剖或病理结构的像素从背景中提取出来，但是不同于普通的自然图像，高质量标注的训练数据的稀缺性一直是医学图像分割领域的一个重要挑战。大多数先进的分割模型通常是模型参数量的网络，其强大的泛化能力高度依赖于大规模和高质量的像素级标注数据，而这类数据在临床和医疗任务中通常难以获取。手动在像素级别对医学图像进行注释是一项昂贵且耗时的过程，因为这需要经验丰富的临床专家的知识。由于患者人口、采集参数和协议、序列、供应商和中心之间的数据差异，标注医学图像数据的稀缺性可能会进一步加剧，这可能导致明显的统计偏移。因此，由于医学成像数据的异质性以及对患者隐私的严格要求，即使是收集足够数量的训练数据也是一项具有挑战性的任务。

2、半监督学习可以充分利用少量有标签数据和大量的无标签数据来训练模型。但目前的半监督学习方法中的模型都依赖于本身，容易产生认知偏见，导致数据稀缺的医学图像分割质量不高。

技术实现思路

1、有鉴于此，为了解决现有医学影像分割方法中的半监督学习容易产生认知偏见，进而导致分割质量不高的技术问题，第一方便，本发明提出一种多视图联合训练的半监督医学影像分割方法，所述方法包括以下步骤：

2、获取医学图像数据并进行划分，得到有标签数据集和无标签数据集；

3、基于不同类别的网络构建分割网络模型，得到第一分割网络和第二分割网络；

4、所述第一分割网络中设有对抗噪声生成模块；

5、搭建与所述第一分割网络相同结构的模型作为教师模型，并将所述第一分割网络作为学生模型；

6、将所述有标签数据集分别输入至所述学生模型，并计算损失，得到第一有监督损失、第二有监督损失和第一对抗噪声损失；

7、将所述无标签数据集分别输入至所述教师模型和所述学生模型，得到第一无监督损失、第二无监督损失和第二对抗噪声损失；

8、基于所述第一有监督损失、所述第二有监督损失、所述第一对抗噪声损失、所述第一无监督损失、所述第二无监督损失和所述第二对抗噪声损失进行加权求和，得到总体损失；

9、基于所述总体损失更新所述学生模型，得到训练完成的学生模型；

10、对所述训练完成的学生模型进行筛选，得到最终分割模型；

11、将待分割图像输入至所述最终分割模型，输出分割结果。

12、在一些实施例中，所述第一分割网络是基于对抗噪声生成模块和卷积神经网络构建的，所述第二分割网络是基于transformer构建的。

13、在一些实施例中，所述教师模型的参数更新考虑历史信息和学生网络参数的更新，其公式表示如下：

14、θ’r＝αθ’r-1+(1-α)θr

15、其中，α表示指数移动平均值的衰减率，r指模型的训练步骤，θr指学生模型在r步骤下训练处的权重，θ'r-1指教师模型在上一步骤的权重。

16、在一些实施例中，所述将所述有标签数据集分别输入至所述学生模型，并计算损失，得到有监督损失和第一对抗噪声损失这一步骤，其具体包括：

17、将同一批次内的有标签数据集分别输入两个学生模型；

18、对于第一分割网络，基于所述对抗噪声生成模块对所述有标签数据集中的初始图像进行添加噪声处理，生成带噪声的原始数据；

19、将所述带噪声的原始数据输入卷积神经网络，进行初始预测，得到预测值；

20、基于所述预测值与所述有标签数据集中的标签值进行骰子损失计算，并计算得到骰子损失对噪声的梯度值；

21、将所述梯度值与对应的初始图像进行相加，得到对抗噪声样本；

22、将所述对抗噪声样本输入至卷积神经网络，将结果与标签比较，得到第一对抗噪声损失；

23、将所述有标签数据集分别输入至所述学生模型，生成预测值；

24、基于所述预测值计算第一有监督损失和第二有监督损失。

25、在一些实施例中，所述第一有监督损失和所述第二有监督损失均包括交叉熵损失和骰子损失，其中：

26、交叉熵损失的计算公式如下：

27、

28、其中，y表示类标签值，p表示预测结果，n表示像素点的个数，li表示像素点之间损失的计算公式，m表示类别数，表示第i个像素点属于类别c的真实概率，表示第i个像素点属于类别c的预测概率；

29、骰子损失的计算公式如下：

30、

31、在一些实施例中，所述将所述无标签数据集分别输入至所述教师模型和所述学生模型，得到无监督损失和第二对抗噪声损失这一步骤，其具体包括：

32、将所述无标签数据集输入至所述教师模型，生成教师模型伪标签；

33、对于第一分割网络，基于所述无标签数据集和所述教师模型伪标签计算第二对抗噪声损失；

34、将所述无标签数据集分别输入至所述学生模型，得到对应预测值；

35、根据所述预测值进行伪标签融合，得到伪标签；

36、基于所述无标签数据和所述伪标签计算无监督损失。

37、在一些实施例中，所述伪标签融合的规则如下：

38、在所有所述预测值中，针对于其中一个像素点位置，若超过半数认为属于某一类别且任一输出的概率值大于预设阈值，则认为该像素点位置为确信位置，低于的则为不确信位置，计算完所有的像素点最后生成一个置信度高的伪标签。

39、在一些实施例中，所述基于所述无标签数据和所述伪标签计算无监督损失这一步骤，其具体包括：

40、将所述无标签数据输入至所述学生模型；

41、根据所述伪标签构建置信度模板；

42、根据所述置信度模板与所述学生模型的输出计算一致性损失，得到无监督损失。

43、第二方面，本发明还提出了一种多视图联合训练的半监督医学影像分割系统，所述系统包括：

44、数据集构建模块，获取医学图像数据并进行划分，得到有标签数据集和无标签数据集；

45、模型构建模块，基于不同类别的网络构建分割网络模型，得到第一分割网络和第二分割网络；所述第一分割网络中设有对抗噪声生成模块；

46、模型定义模块，用于搭建与所述第一分割网络相同结构的模型作为教师模型，并将所述第一分割网络和所述第二分割网络作为学生模型；

47、损失计算模块，用于将所述有标签数据集分别输入至所述学生模型，并计算损失，得到第一有监督损失、第二有监督损失和第一对抗噪声损失；将所述无标签数据集分别输入至所述教师模型和所述学生模型，得到第一无监督损失、第二无监督损失和第二对抗噪声损失；基于所述第一有监督损失、所述第二有监督损失、所述第一对抗噪声损失、所述第一无监督损失、所述第二无监督损失和所述第二对抗噪声损失进行加权求和，得到总体损失；

48、模型更新模块，基于所述总体损失更新所述学生模型，得到训练完成的学生模型；

49、模型筛选模块，用于对所述训练完成的学生模型进行筛选，得到最终分割模型；

50、模型应用模块，用于将待分割图像输入至所述最终分割模型，输出分割结果。

51、本发明还提出了一种多视图联合训练的半监督医学影像分割装置，包括：

52、至少一个处理器；

53、至少一个存储器，用于存储至少一个程序；

54、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种多视图联合训练的半监督医学影像分割方法。

55、基于上述方案，本发明提供了一种多视图联合训练的半监督医学影像分割方法及系统，利用卷积网络和tranformer网络的特性，结合一致性学习中联合训练的思想，提高医学图像分割质量。通过添加教师模型，能够减弱transformer网络在训练早期精度不高，进而损害网络的行为，再加上伪标签融合生成高质量的伪标签，使得两种类型网络的特性可以充分利用一致性学习的思想，发挥两者的长处；最后为网络加上对抗噪声，进一步提高训练效果。进而提高半监督医学图像分割的质量。