一种医学图像分割方法、系统、设备及计算机可读介质

1.本发明属于医学图像处理技术领域，具体涉及一种医学图像分割方法、系统、设备及计算机可读介质。


背景技术：

2.医学图像是医生对病人病情进行判断以及指定诊疗方案的重要依据。在观测医学图像时，病灶和医学目标是关注的重点，但医学图像观察难度大，耗时耗力，依赖于专业的医学知识，医生的专业经验存在个体差异。自动的医学图像分割能够客观地、快速地提取出医学图像中所需要的目标，能够一定程度上缓解医生的诊断压力，且减少由于医生主观因素造成的漏诊、误诊。传统的医学图像分割方法效果差，泛化性低。近年来深度学习模型的应用极大地提高了医学图像分割的精度。其中，以u-net为代表的编码-解码结构已经成为医学图像分割的主流方案。然而虽然u-net一类方法具备极大的普适性，但受限于医学图像本身的低精度、低对比度、图像差异大、网络深度较低、目标尺度多变等问题，其精度难以有进一步的提升。
3.针对基于深度学习的医学图像分割方法中存在的网络深度较浅、医学图像中目标尺度多变的问题，已有的方法中对此二者问题已有诸多尝试，但其往往带来巨量的额外的参数，且其性能仍然存在一定的提升空间。例如，使用更深、性能更强的基础网络能够一定程度提升分割的性能，但是其参数往往巨大，训练难度大，设备负担大。已有的多种多尺度方法也往往通过额外的模块提取多尺度特征，此模块通常具备多分支，带来大量的额外参数。例如pspnet中的金字塔池化模块通过将输入特征池化到多个尺度，再分别提取特征，最后融合在一起时以提高对于多尺度目标的适应性；deeplab系列网络通过空洞卷积的方式在固定的输入尺度上提取多个尺度的信息，空洞卷积的特点在于扩大卷积核参数之间的间隔，以此达到一种扩大卷积核大小、覆盖更大的数据范围的效果。但以上的操作都是在完整的输入特征上进行的，且此类似结构通常具备多个分支，其一个此类多尺度模块的参数量将数倍于普通的卷积层所需要的参数量。


技术实现要素：

4.针对现有技术中所存在的不足，本发明提供了一种能有效提升医学图像分割网络的性能且参数不增长或不明显增长的医学图像分割方法、系统、设备及计算机可读介质。
5.第一方面，一种医学图像分割方法，包括：
6.对原始的医学图像进行预处理；
7.将预处理后的医学图像输入编码-解码网络结构以提取图像特征；
8.对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失；
9.根据所述编码-解码网络结构中输出层的图像特征结合对应的激活函数，得到预
测结果；
10.根据所述预测结果结合目标掩膜计算损失；
11.通过反向传播算法更新所述编码-解码网络结构的网络参数。
12.作为优选方案，所述对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失，包括如下步骤：
13.获取每个解码器阶段输出的图像特征；
14.根据所述每个解码器阶段输出的图像特征，得到对应的特征图；
15.在所有解码器阶段的任意两个特征图之间，以更深层解码器阶段对应的特征图作为标签，根据损失函数计算模仿损失；将所有模仿损失相加得到密集模仿损失。
16.作为优选方案，选择至少部分解码器阶段对应的特征图，并分别与输入的所述医学图像的真实标签进行损失计算，将所有结果相加得到目标感知损失。
17.作为优选方案，用于所述目标感知损失的所述特征图采用较深层的部分解码器阶段对应的特征图。
18.作为优选方案，所述预处理包括数据增强、控制输入范围、控制输入数据分布中的至少一种。
19.作为优选方案，所述解码器阶段包括由多个连续进行的多尺度特征提取方法组成的多尺度特征提取流程，所述多尺度特征提取方法包括如下步骤：
20.通道拆分：将输入的图像特征分为多组，其中每一组的图像特征输入到不同的分支中；
21.分支处理：输入到每一分支中的图像特征分别经过不同尺度的卷积特征提取处理并保持过程中特征通道数不变，不同的所述分支具有不同的池化大小；
22.通道拼接：将不同分支输出的图像特征根据通道拼接得到拼接图像特征，所述拼接图像特征与所述输入的图像特征具备相等的通道数；
23.将所述拼接图像特征与所述输入的图像特征进行逐通道逐像素相加，得到输出特征，并将其向后传递。
24.作为优选方案，所述并将其向后传递之后，还包括：
25.通道混淆：将所述输出特征以打乱通道顺序的方式重排。
26.第二方面，一种医学图像分割装置，包括：
27.数据预处理模块，用于对原始的医学图像进行预处理；
28.特征提取模块，用于将预处理后的医学图像输入编码-解码网络结构以提取图像特征；
29.自蒸馏学习模块，用于对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失；
30.结果预测模块，用于根据所述编码-解码网络结构中输出层的图像特征结合对应的激活函数，得到预测结果；
31.损失计算模块，用于根据所述预测结果结合目标掩膜计算损失；
32.反向传播模块，用于通过反向传播算法更新所述编码-解码网络结构的网络参数。
33.作为优选方案，所述自蒸馏学习模块，包括：
34.特征获取模块，用于获取每个解码器阶段输出的图像特征；
35.特征图获取模块，用于根据所述每个解码器阶段输出的图像特征，得到对应的特征图；
36.密集模仿损失模块，用于在所有解码器阶段的任意两个特征图之间，以更深层解码器阶段对应的特征图作为标签，根据损失函数计算模仿损失，将所有模仿损失相加得到密集模仿损失。
37.作为优选方案，所述自蒸馏学习模块，还包括：
38.目标感知损失模块，用于选择至少部分解码器阶段对应的特征图，并分别与输入的所述医学图像的真实标签进行损失计算，将所有结果相加得到目标感知损失。
39.作为优选方案，所述解码器，包括多尺度特征提取模块，所述多尺度特征提取模块包括多个依次连接的多尺度特征提取单元；所述多尺度特征提取单元包括：
40.通道拆分模块，用于将输入的图像特征分为多组，其中每一组的图像特征输入到不同的分支中；
41.分支处理模块，用于将输入到每一分支中的图像特征分别经过不同尺度的卷积特征提取处理并保持过程中特征通道数不变，不同的所述分支具有不同的池化大小；
42.通道拼接模块，用于将不同分支输出的图像特征根据通道拼接得到拼接图像特征，所述拼接图像特征与所述输入的图像特征具备相等的通道数；
43.输出模块，用于将所述拼接图像特征与所述输入的图像特征进行逐通道逐像素相加，得到输出特征，并将其向后传递。
44.作为优选方案，所述解码器，还包括位于相邻所述多尺度特征提取单元之间的通道混淆模块；
45.所述通道混淆模块，用于将所述输出特征以打乱通道顺序的方式重排。
46.第三方面，一种医学图像分割设备，包括：
47.一个或多个处理器；
48.存储装置，其上存储有一个或多个程序；
49.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的一种医学图像分割方法。
50.第四方面，一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如第一方面任一所述的一种医学图像分割方法。
51.相比于现有技术，本发明具有如下有益效果：
52.1、通过在编码-解码网络结构中加入了自蒸馏学习模块，其能够在不增加额外参数的情况下提升网络的分割性能；
53.2、通过在解码器中加入了基于通道拆分的多尺度特征提取模块，可在参数不明显增长的情况下提取有效的、多样的多尺度特征，能够有效地提升医学图像分割网络的性能。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1为本发明一种医学图像分割方法的流程示意图；
56.图2为本发明中编码-解码网络结构的示意图；
57.图3为本发明一种医学图像分割方法中关于自蒸馏学习的流程示意图；
58.图4为本发明一种医学图像分割方法中多尺度特征提取方法的流程示意图；
59.图5为本发明中解码器的结构示意图；
60.图6为本发明中多尺度特征提取单元的结构示意图；
61.图7为本发明一种医学图像分割装置的结构示意图；
62.图8为本发明一种医学图像分割装置中自蒸馏学习模块的结构示意图。
具体实施方式
63.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
65.第一方面，如图1、图2所示，一种医学图像分割方法，包括：
66.s101：对原始的医学图像进行预处理；
67.s102：将预处理后的医学图像输入编码-解码网络结构以提取图像特征；
68.s103：对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失；
69.s104：根据所述编码-解码网络结构中输出层的图像特征结合对应的激活函数，得到预测结果；
70.s105：根据所述预测结果结合目标掩膜计算损失；
71.s106：通过反向传播算法更新所述编码-解码网络结构的网络参数。
72.本实施例中，所述医学图像分割方法主要由数据预处理、特征提取和结果预测三个阶段组成。所述特征提取阶段基于现有的编码-解码网络结构，分为编码器特征提取和解码器特征提取；其中编码器特征提取可与现有技术中的基础结构一致，主要改进在于解码器的特征提取部分，即增加了通过自蒸馏学习计算密集模仿损失以提高网络参数的有效性的内容。所述结果预测阶段可与常见的深度学习模型一致，获得所述特征提取阶段输出的图像特征后，根据分割目标的类别数，使用对应的激活函数，单类预测可使用sigmoid函数，多类预测可使用softmax函数，由此得到预测结果。
73.所述预处理用于将原始医学图像处理成适合深度学习的图像，可包括数据增强、控制输入范围、控制输入数据分布等处理方式，具体来说，所述数据增强可使用旋转、裁剪、平移等操作；所述控制输入范围可使用极大极小归一化操作；所述控制输入数据分布可使
用标准化操作等。所述编码-解码网络结构可以是u-net、v-net、segnet等基于编码器和解码器结构的网络及其衍生网络，本实施例中以经典u-net结构为例进行说明。
74.如图2所示，医学图像分割方法中的编码-解码网络结构通常由一个多阶段的编码器和一个多阶段的解码器构成。在输入医学图像后，编码器的每一个阶段在输入上使用卷积层提取特征，除了最后一个阶段外的每一个阶段的末尾都使用池化操作将图像尺寸降低，并输入到下一个阶段中；而解码器与其类似，每个阶段都在输入上使用卷积层进行特征提取，然后在除最后一个阶段外的其他阶段的末尾使用上采样操作将图像尺寸放大。编码器和解码器的每一个阶段的图像尺寸是对应的，u-net通过跳跃连接将相同尺寸的特征融合到解码器的对应阶段，通常使用通道拼接的方式，以此将图像细节特征补充到解码器阶段。在本发明中，选择u-net作为基础方案时，融合方式可采用元素相加的方式，也即是逐通道逐像素位置的特征值相加，而不是使用通道拼接，这样可以降低通道数量，减少参数量。当选择其他没有跳跃连接的编码-解码结构时，不考虑融合方式，保持和原结构一致即可。
75.所述自蒸馏是知识蒸馏的一种特殊形式。知识蒸馏通常发生在一个大模型和一个小模型之间，旨在将大模型的知识传递到小模型中；自蒸馏的过程发生在一个模型内部，由网络的一部分向另一部分学习，在深度学习模型中通常是浅层所产生的特征向深层的特征学习，在本实施例中指一较浅层解码器阶段输出的图像特征向一较深层解码器阶段输出的图像特征学习。所述自蒸馏学习中得到模仿损失，所有自蒸馏学习中得到的模仿损失之和即为密集模仿损失。现有技术的编码-解码网络结构中，在预测出分割目标后，根据给定的损失函数使用所述预测结果与目标掩膜计算损失，所述损失可通过反向传播算法来更新网络参数；而本实施例的编码-解码网络结构中，在预测出分割目标后，所述损失和所述密集模仿损失共同用于更新网络参数，具体来说可以将所述损失与所述密集模仿损失相加，再进行反向传播。此外，由于不同的解码器阶段所产生的图像特征的尺寸不同，当进行密集特征模仿的时候，被模仿的特征经过双线性插值变换到模仿的特征的尺寸。
76.本实施例采用自蒸馏学习机制提升深度神经网络中浅层网络的特征表达，同时以密集连接的方式强化这种学习过程，以目标监督的形式强化浅层特征学习的目标的精度。此结构不带来任何额外的参数量，只需要计算额外的网络损失即可。
77.一种优选实施例，如图3所示，所述对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失，包括如下步骤：
78.s201：获取每个解码器阶段输出的图像特征。
79.其中，所述图像特征来自每个解码器阶段末尾。
80.s202：根据所述每个解码器阶段输出的图像特征，得到对应的特征图。
81.其中，本步骤利用每个阶段中图像特征的每个像素位置的特征，可通过将所有通道的特征值平方相加的方式，得到通道数为1的特征图。
82.s203：在所有解码器阶段的任意两个特征图之间，以更深层解码器阶段对应的特征图作为标签，根据损失函数计算模仿损失；将所有模仿损失相加得到密集模仿损失。
83.其中，所述损失函数可选择多种类型的距离损失函数，比如均方损失函数、余弦距离损失函数等。
84.一种优选实施例，如图3所示，还包括：
85.s204：选择至少部分解码器阶段对应的特征图，并分别与输入的所述医学图像的真实标签进行损失计算，将所有结果相加得到目标感知损失。特别地，可优选较深层的部分解码器阶段对应的特征图。
86.本实施例中，所述损失计算可采用二值交叉熵损失函数。特别地，当真实标签具备大于两个的类别时，将真实标签的所有正类视为一类，然后与所述特征图使用二值交叉熵损失函数计算损失。所述目标感知损失用于更新编码-解码网络结构的网络参数。用于计算所述目标感知损失的特征图可以对应于所有解码器阶段或部分解码器阶段。本实施例中将目标感知损失和前述实施例中的密集模仿损失结合起来用于更新网络参数，其效果更佳。
87.一种优选实施例，如图4-图6所示，所述解码器阶段包括由多个连续进行的多尺度特征提取方法组成的多尺度特征提取流程，所述多尺度特征提取方法包括如下步骤：
88.s301：通道拆分：将输入的图像特征分为多组，其中每一组的图像特征输入到不同的分支中；
89.s302：分支处理：输入到每一分支中的图像特征分别经过不同尺度的卷积特征提取处理并保持过程中特征通道数不变，不同的所述分支具有不同的池化大小；
90.s303：通道拼接：将不同分支输出的图像特征根据通道拼接得到拼接图像特征，所述拼接图像特征与所述输入的图像特征具备相等的通道数；
91.s304：将所述拼接图像特征与所述输入的图像特征进行逐通道逐像素相加，得到输出特征，并将其向后传递。
92.本实施例中，所述分支处理，如图6所示，可采用4分支，其中第一分支可直接进行卷积特征提取操作；第二分支可先经过2倍下采样操作，再进行卷积特征提取操作，然后进行2倍上采样操作；第三分支可先经过4倍下采样操作，再进行卷积特征提取操作，然后进行4倍上采样操作；第四分支可先经过8倍下采样操作，再进行卷积特征提取操作，然后进行8倍上采样操作。上述分支数以及采样的倍数可以根据具体需要灵活设置。考虑到每个分支只使用了输入的部分通道，其特征提取是不完备的，所以所述多尺度特征提取流程中将多尺度特征提取方法重复多次。本次多尺度特征提取方法中的所述输出特征即对应于下一次多尺度特征提取方法中的输入的图像特征。本实施例利用分组卷积的原理，通过将输入的图像特征拆分为多个特征组，在每个特征组上进行池化下采样、普通卷积特征提取、上采样等操作提取特征，然后组合多个特征组的结果得到多尺度特征提取结果。以此方式进行特征提取，虽然增加了额外的分支，但是一个4分支的上述模块的参数量仅相当于一层普通卷积的1/4，同分组卷积的参数量一致。
93.一种优选实施例，如图4、图6所示，所述步骤s304之后，还包括：
94.s305：通道混淆：将所述输出特征以打乱通道顺序的方式重排。
95.本实施例中，在每两个相邻的多尺度特征提取方法之间使用通道混淆操作，也即是将前一个多尺度特征提取方法的输出特征、后一多尺度特征提取方法的输入特征进行通道重排。重排时可以将通道维度拆分为两个维度，保持总数一样即可，然后对此二维度进行交换，再将两个维度合并为一个维度，以此来打乱通道的顺序，也可以使用其他方法，只需要保证顺序被打乱同时能够满足深度神经网络能够反向求导的性质即可。重排后，前一个多尺度特征提取方法过程和后一个多尺度特征提取方法过程的对应分支所输入的特征会
变得不同，多次重复和打乱后能够使得某一个分支感知到更多的输入通道，从而保持所提取的多尺度特征的有效性。
96.第二方面，如图7所示，一种医学图像分割装置，包括：
97.数据预处理模块，用于对原始的医学图像进行预处理；
98.特征提取模块，用于将预处理后的医学图像输入编码-解码网络结构以提取图像特征；
99.自蒸馏学习模块，用于对所述编码-解码网络结构中每个解码器阶段输出的所述图像特征进行处理，使除最深层的解码器阶段外的其他任一解码器阶段的图像特征均向所有更深层的解码器阶段的图像特征进行自蒸馏学习，计算密集模仿损失；
100.结果预测模块，用于根据所述编码-解码网络结构中输出层的图像特征结合对应的激活函数，得到预测结果；
101.损失计算模块，用于根据所述预测结果结合目标掩膜计算损失；
102.反向传播模块，用于通过反向传播算法更新所述编码-解码网络结构的网络参数。
103.本实施例中，所述自蒸馏学习模块中得到的密集模仿损失，由该模块所有自蒸馏学习中得到的模仿损失相加得到。本实施例中的所述反向传播模块，将所述损失和所述密集模仿损失共同用于更新网络参数，具体来说可以将所述损失与所述密集模仿损失相加，再进行反向传播。本实施例采用自蒸馏学习机制提升深度神经网络中浅层网络的特征表达，同时以密集连接的方式强化这种学习过程，以目标监督的形式强化浅层特征学习的目标的精度。此结构不带来任何额外的参数量，只需要计算额外的网络损失即可。本实施例通过在编码-解码网络结构中加入了自蒸馏学习模块，其能够在不增加额外参数的情况下提升网络的分割性能。
104.一种优选实施例，如图8所示，所述自蒸馏学习模块，包括：
105.特征获取模块，用于获取每个解码器阶段输出的图像特征；
106.特征图获取模块，用于根据所述每个解码器阶段输出的图像特征，得到对应的特征图；
107.密集模仿损失模块，用于在所有解码器阶段的任意两个特征图之间，以更深层解码器阶段对应的特征图作为标签，根据损失函数计算模仿损失，将所有模仿损失相加得到密集模仿损失。
108.其中，所述损失函数可选择多种类型的距离损失函数，比如均方损失函数、余弦距离损失函数等。
109.一种优选实施例，如图8所示，所述自蒸馏学习模块，还包括：
110.目标感知损失模块，用于选择至少部分解码器阶段对应的特征图，并分别与输入的所述医学图像的真实标签进行损失计算，将所有结果相加得到目标感知损失。
111.本实施例中，所述损失计算可采用二值交叉熵损失函数。特别地，当真实标签具备大于两个的类别时，将真实标签的所有正类视为一类，然后与所述特征图使用二值交叉熵损失函数计算损失。所述目标感知损失用于更新编码-解码网络结构的网络参数。用于计算所述目标感知损失的特征图可以对应于所有解码器阶段或部分解码器阶段。本实施例中将目标感知损失和前述实施例中的密集模仿损失共同用于更新网络参数，其效果更佳。
112.一种优选实施例，如图5、图6所示，所述解码器，包括多尺度特征提取模块，所述多
尺度特征提取模块包括多个依次连接的多尺度特征提取单元；所述多尺度特征提取单元包括：
113.通道拆分模块，用于将输入的图像特征分为多组，其中每一组的图像特征输入到不同的分支中；
114.分支处理模块，用于将输入到每一分支中的图像特征分别经过不同尺度的卷积特征提取处理并保持过程中特征通道数不变，不同的所述分支具有不同的池化大小；
115.通道拼接模块，用于将不同分支输出的图像特征根据通道拼接得到拼接图像特征，所述拼接图像特征与所述输入的图像特征具备相等的通道数；
116.输出模块，用于将所述拼接图像特征与所述输入的图像特征进行逐通道逐像素相加，得到输出特征，并将其向后传递。
117.本实施例中的多尺度特征提取单元中的所述输出特征即对应于下一次多尺度特征提取单元中的输入的图像特征。本实施例利用分组卷积的原理，通过将输入的图像特征拆分为多个特征组，在每个特征组上进行池化下采样、普通卷积特征提取、上采样等操作提取特征，然后组合多个特征组的结果得到多尺度特征提取结果。本实施例通过在解码器中加入了基于通道拆分的多尺度特征提取模块，在参数不明显增长的情况下提取有效的、多样的多尺度特征，能够有效地提升医学图像分割网络的性能。
118.一种优选实施例，如图6所示，所述解码器，还包括位于相邻所述多尺度特征提取单元之间的通道混淆模块；
119.所述通道混淆模块，用于将所述输出特征以打乱通道顺序的方式重排。
120.本实施例中，在每两个相邻的多尺度特征提取单元之间使用通道混淆操作，也即是将前一个多尺度特征提取单元的输出特征、后一多尺度特征提取单元的输入特征进行通道重排。重排时可以将通道维度拆分为两个维度，保持总数一样即可，然后对此二维度进行交换，再将两个维度合并为一个维度，以此来打乱通道的顺序，也可以使用其他方法，只需要保证顺序被打乱同时能够满足深度神经网络能够反向求导的性质即可。重排后，前一个多尺度特征提取单元和后一个多尺度特征提取单元的对应分支所输入的特征会变得不同，多次重复和打乱后能够使得某一个分支感知到更多的输入通道，从而保持所提取的多尺度特征的有效性。
121.第三方面，一种医学图像分割设备，包括：
122.一个或多个处理器；
123.存储装置，其上存储有一个或多个程序；
124.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任一所述的一种医学图像分割方法。
125.第四方面，一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如第一方面任一所述的一种医学图像分割方法。
126.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。