超声图像病变检测的分割引导去噪知识蒸馏方法及装置与流程

本发明涉及医学超声图像病变检测领域，尤其涉及超声图像病变检测的分割引导去噪知识蒸馏方法及装置。

背景技术：

1、医学图像分割是计算机视觉的研究热点。具体来说，乳腺肿瘤检测是一项医学分割中的任务，肿瘤区域的精确分割对患者肿瘤的鉴别诊断和治疗发挥着关键的作用。目前，传统的人工手动分割肿瘤是一项耗时耗力的任务,并且分割结果在一定程度上取决于医生的经验,有时会出现误判的情况,因此自动、高效的肿瘤分割算法具有很强的临床意义。二维超声图像具有成本低、采集速度快、无创介入等优点，它经常被用作现代医学筛查乳腺癌的首选方法之一。因此，基于深度学习的医学超声图像病变检测算法，有着重要的学术研究价值和市场应用前景。

2、知识蒸馏即学生教师框架已被证明可应用在医学超声图像病变检测场景中。在该框架中，教师网络已经在大型数据集上进行了预训练，它可以在正常和病变区域生成判别特征表示。因此，利用未进行大规模训练的学生网络无法正常识别病变图像特征的特性，来检测病变图像和病变像素。

3、过去已经提出了一些解决方案来提高对各种类型病变的识别。例如，集成学习来训练多个学生网络并利用其特征表示的不规则性来识别病变，多级特征表示对齐来捕获低级和高级病变，但存在一些问题。过去基于知识蒸馏的应用于医学超声图像病变检测的解决方案中存在的问题如下：

4、1、一般用知识蒸馏检测医学图像病变时，教师网络已经在大型数据集上进行了预训练，它可以在正常和病变区域生成判别特征表示。因此，利用未进行大规模训练的学生网络无法正常识别病变图像特征的特性，来检测病变图像。通常会建立一个优化目标来鼓励学生网络生成不同于老师的特定病变特征，此类知识蒸馏网络在训练过程重点是提高网络的特征在正常图像上的相似性，没有主动对病变图像进行约束，因此不能保证网络提取的病变图像特征总是不同的。即使存在病变，学生网络也可能过度泛化，并输出与教师网络相似的特征，即重构误差失灵，所以造成了检测病变图像的准确率低的问题。

5、2、以往的知识蒸馏网络中教师网络和学生网络架构是相同的编码器，但是不符合鉴于特征重构任务，学生网络不应该等同于教师网络的架构。因为重建早期层的特征的过程，cnn的下层捕获局部信息，如纹理和颜色。相比之下，cnn的上层表示全局语义信息。去噪的学生网络需要被教师网络引导重构出相应的正常图像的特征，这样的任务依赖于图像的全局语义信息，仅靠较低的几个层是无法完美完成的。

6、3、特征融合方式是将多层次特征的余弦距离直接求和表示每个像素的病变值的这种以经验的方式聚合多层特征差异，然而，所有级别特征的鉴别准确率低。

7、针对以上总结的目前医学超声图像病变检测的现状和问题，基于知识蒸馏的方法需要进行改进。为此，本发明提出超声图像病变检测的分割引导去噪知识蒸馏方法及装置。

技术实现思路

1、本发明的目的是针对目前医学超声图像病变检测的现状和问题，提出超声图像病变检测的分割引导去噪知识蒸馏方法及装置，对知识蒸馏中的重构误差失灵问题进行理论研究，推动分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用。

2、超声图像病变检测的分割引导去噪知识蒸馏方法，包括如下步骤：

3、s1，准备正常图像数据集，每张正常图像生成对应病变图像掩膜，生成对应的病变图像，划分训练集和测试集；

4、s2，构建学生教师网络，预训练学生教师网络，对教师网络输入正常图像，由教师网络得到特征提取器，用于提取正常图像特征，对学生网络输入相对应病变图像，各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离，由学生网络被教师网络的权重引导重建正常图像；

5、s3，同时对学生教师网络输入病变图像，分别得到三个不同尺度的特征图，计算学生教师网络层之间的特征余弦距离，进行上采样，送入分割网络，训练分割网络，对应的二进制掩膜为真实值，损失函数优化分割病变像素；

6、s4，测试图像送入学生教师网络，将分割预测上采样到输入图像尺寸大小，作为病变评分图。

7、优选的，步骤s1包括：

8、s11，生成随机二维柏林噪声，并按预设阈值进行二值化，得到每个样本的病变掩膜mi；

9、s12，利用病变掩膜与正常图像生成对应的病变图像；

10、s13，数据集为d，将正常图像和对应的病变图像，病变图像、病变图像和对应的掩膜，分别组成图像对划分训练集和测试集测试集包括部分病变图像对，训练集与测试集图像互斥。

11、优选的，步骤s2包括：

12、s21，构建学生教师去噪网络，这个网络包括，去噪的学生编码器-解码器网络，教师编码器-解码器网络，其骨干架构为u-net，在跳跃连接线上增加注意力机制，教师网络编码器是一个imagenet预训练的resnet18，去掉最后conv5_x块，从剩下的三个块中提取输出特征图，即conv2_x,conv3_x和conv4_x分别记为t1，t2和t3，它可以在正常和病变区域生成判别特征表示，解码器是一个反向resnet18。对于去噪的学生网络，编码器是一个随机初始化的resnet18，包含所有块，分别命名为解码器是一个反向resnet18，有四个残差块，分别命名为和

13、s22，使用生成病变图像作为学生网络的输入，而正常图像作为教师网络的输入，教师网络的权重是固定的，训练学生模块，教师模块和学生模块各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离；

14、s23，损失是三个不同特征层之间的距离之和，由学生网络被教师网络的权重引导重建正常图像。

15、优选的，步骤s3包括：

16、s31，构建学生教师分割引导去噪网络，这个网络包括：去噪的学生编码器解码器网络、教师编码器解码器网络、分割网络，分割网络包括两个残差块和一个空间金字塔池化(aspp)模块；

17、s32，固定学生网络和教师网络的权重来训练分割网络，利用生成病变图像对作为学生网络和教师网络的输入，对应的病变掩膜为真实值，计算特征图的相似度，并上采样到与x1相同的大小，用focal损失和l1损失对训练进行优化。

18、优选的，步骤s12的计算公式是：

19、ia＝β(m·a)+(1-β)(m·in)+(1-m)·in

20、(1)

21、其中，符号·表示逐元素的乘法运算，m指生成随机二维柏林噪声，通过设定阈值进行二值化，得到的病变掩膜m，in指正常图像，a指随机外部图像，ia指病变图像，β指[0.15,1]之间的随机选择的不透明因子。

22、优选的，步骤s22的计算公式是：

23、

24、

25、其中，符号指层的特征表示，c表示特征图的通道数，h表示特征图的高，w表示特征图的宽，指层的特征表示，i,j代表特征图上的空间坐标。

26、优选的，步骤s23的计算公式是：

27、

28、其中，符号hk代表特征图的高度，wk代表特征图的宽度。

29、优选的，步骤s32的计算公式是：

30、

31、

32、

33、lseg＝lfocal+λll1        (7)

34、其中，h1、w1分别代表特征图1的高度和宽度，mij是下采样病变掩膜，是输出概率图，γ是focal损失的参数，λ是加权系数。

35、优选的，步骤s4对待测图片进行病变检测得到待测图片的病变得分图score_map，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的病变区域。步骤s4的计算公式是：

36、

37、其中，c表示特征图的通道数，mij是下采样病变掩膜，是输出概率。

38、超声图像病变检测的分割引导去噪知识蒸馏装置，包括以下功能模块：

39、特征提取模块，用于对图像进行预训练得到学生教师网络，提取三个不同尺度的特征图；

40、处理模块，将特征图差异上采样，其差异送入分割网络；

41、检测模块，将分割预测上采样到输入图像尺寸大小，作为病变评分图，检测病变图像。

42、与最接近的现有技术相比，本发明提供的技术方案具有如下有益效果：

43、1、现有技术在训练过程中的重点是提高网络的特征在正常图像上的相似性，没有主动对病变图像进行约束，因此不能保证网络提取的病变图像特征总是不同的；为此，本发明进一步赋予学生网络一个更直接的目标：在病变图像的病变特征上建立正常的特征，鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示；

44、2、现有技术的知识蒸馏网络中教师网络和学生网络架构是完全相同的，但是不符合鉴于特征重构任务；为此，本发明搭建了学生教师分割引导的去噪网络模型，包括一个编码器解码器教师网络，一个去噪的编码器解码器学生网络，一个分割网络，鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示。

45、3、现有技术的特征融合方式是将多层次特征的余弦距离直接求和表示每个像素的病变值的这种以经验的方式聚合多层特征差异，然而，所有级别特征的鉴别准确率低；为了解决这一问题，本发明增加了一个分割网络，用额外的监督信号来指导特征融合，经实验验证此方法有效，本发明对知识蒸馏中的重构误差失灵问题进行的理论研究、推动分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用具有非常重要的意义，同时能够提高医学超声图像检测的准确性和可靠性，辅助医生进行更好的诊断和评估，降低超声图像检测所需的标注量和计算资源，节省时间和成本。