一种基于注意力校正特征与边界约束的知识蒸馏方法及系统

本技术涉及医学图像处理，特别涉及应用于医学图像分割的一种基于注意力校正特征与边界约束的知识蒸馏方法及系统。

背景技术：

1、医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。

2、知识蒸馏是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为teacher（教师模型），小模型称之为student（学生模型）。来自teacher模型输出的监督信息称之为知识，而student学习迁移来自teacher的监督信息的过程称之为蒸馏。

3、目前，在现有技术中，第一种是：基于特征的知识蒸馏通常需要在教师网络中引入辅助模块以促进知识传递。第二种是：采用硬边界蒸馏（hard hd），根据边界检测算法获得边界，将边界滤波器应用于教师和学生的向量（logits） 层，以获得边界logits特征，通过边界损失将教师的边界logits特征蒸馏给学生，从而获得出色的分割效果。

4、然而，第一种现有技术向教师引入辅助模块，需要重新预训练教师网络，大大限制了基于特征的知识蒸馏在医学图像分割中的应用。第二种现有技术虽然硬边界蒸馏能有效提高学生的边界感知能力，但值得注意的是，它也容易受到噪声干扰，这就限制了学生网络能够提升的最大程度。因此，现有技术中，通过向教师引入辅助模块或者采用硬边界蒸馏方法难以得到一个轻量级的图像分割学生模型，并且所述两种方法训练得到的学生模型的性能和精度不足。

技术实现思路

1、基于此，本技术提出一种基于注意力校正特征与边界约束的知识蒸馏方法及系统，旨在能够解决现有技术中，通过向教师引入辅助模块或者采用硬边界蒸馏方法难以得到一个轻量级的图像分割学生模型，并且所述两种方法训练得到的学生模型的性能和精度不足的问题。

2、实施例的第一方面提供了一种基于注意力校正特征与边界约束的知识蒸馏方法，该方法包括：

3、获取医学图像数据集并分别构建教师模型和学生模型，将所述医学图像数据集分别输入所述教师模型和所述学生模型，提取教师的中间特征和学生的中间特征；

4、根据非负矩阵分解原理，获得教师的残差校正因子和学生的注意力校正因子，根据所述残差校正因子和所述教师的中间特征获得教师的残差校正特征，根据所述注意力校正因子和所述学生的中间特征获得学生的注意力校正特征；

5、将学生的注意力校正因子模仿教师的残差校正因子所获得的损失定义为校正因子蒸馏损失，将学生模仿所述教师的残差校正特征指导所述学生学习的注意力校正特征所获得的损失定义为基于注意力的特征蒸馏损失，对所述校正因子蒸馏损失和所述基于注意力的特征蒸馏损失进行综合，得到融合损失；

6、分别构建硬边界蒸馏模型和软边界蒸馏模型，将所述医学图像数据集分别输入所述硬边界蒸馏模型和所述软边界蒸馏模型，以得到硬边界蒸馏损失和软边界蒸馏损失；

7、将融合损失、硬边界蒸馏损失和软边界蒸馏损失进行综合，得到整体损失；

8、使所述整体损失达到预设最小值时结束周期训练，得到轻量级的医学图像分割学生模型。

9、作为第一方面的一种可选实施方式，所述根据非负矩阵分解原理，获得教师的残差校正因子和学生的注意力校正因子的步骤包括：

10、根据非负矩阵分解原理，构建输入的图像特征分别通过残差连接施加的加法校正与注意力机制施加的乘法校正之间的对应关系，通过所述对应关系将所述残差连接转化为所述注意力机制；

11、通过残差连接施加的加法校正表示为：

12、，

13、得到残差校正因子，

14、

15、其中，表示第l层经过更新后的输入特征，表示第l层的输入特征,代表学习率,表示误差，表示特征变换，表示第l+1层的输入特征，表示第l层的网络权重，+表示逐元素相加；

16、通过注意力机制施加的乘法校正表示为：

17、，

18、得到注意力校正因子，

19、其中，表示逐元素相乘。

20、作为第一方面的一种可选实施方式，所述教师的残差校正特征的表达式为：

21、，

22、其中，表示教师的残差校正特征，表示教师中间特征；

23、所述学生的注意力校正特征的表达式为：

24、，

25、其中，表示学生的注意力校正特征,表示教师中间特征。

26、4.根据权利要求3所述方法，其特征在于，所述校正因子蒸馏损失的函数表达式为：

27、，

28、其中，表示校正因子蒸馏损失，表示at损失，表示将注意力校正因子转换为残差校正因子；

29、所述基于注意力的特征蒸馏损失的函数表达式为：

30、，

31、其中，表示基于注意力的特征蒸馏损失；

32、所述融合损失的函数表达式为：

33、，

34、其中，表示融合损失。

35、作为第一方面的一种可选实施方式，所述硬边界蒸馏损失的函数表达式为：

36、

37、其中，表示硬边界蒸馏损失，b表示批量大小，c表示类别数量，k表示样本，c表示类别,表示kl散度,表示softmax函数,τ表示蒸馏温度,、分别表示教师和学生中每个类别c的边界logits；

38、所述软边界蒸馏损失的函数表达式为：

39、，

40、其中，表示软边界蒸馏损失，表示学生预测边界，表示教师预测边界，表示哈达玛积，表示所有像素的集合，表示距离图中任意像素点到教师预测边界的无符号距离，表示距离图中任意像素点到学生预测边界的无符号距离，表示分割误差的惩罚度。

41、作为第一方面的一种可选实施方式，所述整体损失的函数表达式为：

42、，

43、其中，表示整体损失，是一个线性递减函数。

44、作为第一方面的一种可选实施方式，所述使所述整体损失达到预设最小值时结束周期训练，得到轻量级的医学图像分割学生模型的步骤包括：

45、训练开始时γ= 1，随着每个训练周期线性递减，直到γ= 0.5时训练结束。

46、本技术实施例的第二方面提供了一种基于注意力校正特征与边界约束的知识蒸馏系统，包括：

47、获取特征模块，用于获取医学图像数据集并分别构建教师模型和学生模型，将所述医学图像数据集分别输入所述教师模型和所述学生模型，提取教师的中间特征和学生的中间特征；

48、特征校正模块，用于根据非负矩阵分解原理，获得教师的残差校正因子和学生的注意力校正因子，根据所述残差校正因子和所述教师的中间特征获得教师的残差校正特征，根据所述注意力校正因子和所述学生的中间特征获得学生的注意力校正特征；

49、特征损失模块，用于将学生的注意力校正因子模仿教师的残差校正因子所获得的损失定义为校正因子蒸馏损失，将学生模仿所述教师的残差校正特征指导所述学生学习的注意力校正特征所获得的损失定义为基于注意力的特征蒸馏损失，对所述校正因子蒸馏损失和所述基于注意力的特征蒸馏损失进行综合，得到融合损失；

50、边界损失模块，用于分别构建硬边界蒸馏模型和软边界蒸馏模型，将所述医学图像数据集分别输入所述硬边界蒸馏模型和所述软边界蒸馏模型，以得到硬边界蒸馏损失和软边界蒸馏损失；

51、整体损失模块，用于将融合损失、硬边界蒸馏损失和软边界蒸馏损失进行综合，得到整体损失；

52、模型训练模块，用于使所述整体损失达到预设最小值时结束周期训练，得到轻量级的医学图像分割学生模型。

53、本技术实施例的第三方面提供了一种存储介质，所述存储介质存储一个或多个程序，该程序被处理器执行时,实现上述一种基于注意力校正特征与边界约束的知识蒸馏方法。

54、本技术实施例的第四方面提供了一种计算机设备，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述一种基于注意力校正特征与边界约束的知识蒸馏方法。

55、与现有技术相比，本技术提供的一种基于注意力校正特征与边界约束的知识蒸馏方法及系统，该方法包括注意力校正特征蒸馏法和边界约束蒸馏法，其中，注意力校正特征蒸馏法主要为：通过对非负矩阵分解进行分析发现，通过残差连接对输入特征进行的加法校正与通过注意机制进行的乘法校正之间存在对应关系，可实现注意力校正因子向残差校正因子的转化，该发现可以在教师中不引入辅助模块的情况下进行基于校正特征的知识蒸馏，将教师中经过残差校正的特征直接传递给学生中经过注意力校正的特征中，并在学生中引入可学习的注意力校正因子，以弥补教师和学生之间的知识差距；边界约束蒸馏法主要为：通过将硬边界蒸馏和软边界蒸馏进行综合，可以提高逐类边界logits蒸馏的效果，相比于只运用硬边界蒸馏容易受到噪声干扰的问题，能够更精确地对医学图像中的目标区域进行分割。再对注意力校正特征蒸馏法和边界约束蒸馏法所得到的损失进行加权求和得到整体损失，使整体损失最小时即结束训练模型，得到轻量级的医学图像分割学生模型，这样就可以部署到嵌入式设备中，从而促进医学图像分割模型在临床诊断中的应用。由此，本技术能够解决现有技术中，通过向教师引入辅助模块或者采用硬边界蒸馏方法难以得到一个轻量级的图像分割学生模型，并且所述两种方法训练得到的学生模型的性能和精度不足的问题。

56、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施例了解到。