一种医学影像分割方法

1.本发明涉及医学图像处理领域，具体是一种医学影像分割方法。


背景技术：

2.ct、mri等医学成像技术，作为最直观的获取患者患病部位结构信息的非入侵方法，已广泛应用于现代医疗临床诊断过程中。其实时性和无创性的特点，对无明显表征的患者进行疾病诊断、预测以及后期的跟踪治疗有重要指导作用。在治疗阶段，医学专家根据获取到的医学影像，对患者病变组织及器官进行分割注释，借此判断病情发展时期，提出有针对性的治疗方案。分割的准确与否直接影响医生对病情的判断，是诊断过程中的重要步骤。
3.精确的分割注释依赖于专业医师的决策判断，当患者数量大，且单个患者就诊期内拍片频率较多时，这种传统的由人工完成的分割方式效率较低，且不可避免的会产生分割误差，达不到快速诊断的需求。近年来gpu计算能力的提高，使得深度学习技术对自然图像的处理能力上升到了可与大数据相结合的新台阶，也使得计算机从医学影像角度进行快速辅助诊断成为可能。针对某一特定类别的医学影像，深度学习模型通过搭建好的多层神经网络，结合损失函数的约束，对满足一定数量的输入数据集合进行优化训练，使得模型最终能够拥有识别医学影像的特有特征的能力，进而达到对输入数据的检测、分类以及分割等目的。在节省了宝贵的专业医师人力资源的同时，又将误差量化在可接受的范围内，保证了下一步分析治疗的准确性。
4.目前基于深度学习的医学影像分割大多是有监督的方法，即神经网络的输入不仅需要有患病部位的拍摄原图，还要有与原图相对应的精确的像素级标注的病灶区域分割标签。网络利用原图作为输入并输出预测结果，再将预测结果与分割标签通过损失函数的对比，找出网络预测的误差，将此误差通过梯度下降等方式，反向传播回神经网络的各层参数，重新调整网络的预测，使其与真实标签越来越相似。当损失函数的误差收敛到可接受的范围后，即认为网络模型达到了一定精度的分割能力，可利用其对新的同类型数据进行病灶区域分割。相比医生的人工标注分割，有监督的深度学习分割模型虽然在处理新的患病数据时可以在秒级时间范围内给出分割的指导结果，但其在训练过程中仍需要大量医生标注的像素级标签数据作为学习的经验来不断优化自身的分割能力，而这些耗时耗力的数据标注过程同样需要专业医生完成。在现有的医学影像资源中，带有类别标签的数据(有病，无病等)的数量远大于像素级标签数据的现象普遍存在。如何充分利用带有类别标签的数据进行无监督或弱监督深度学习模型的训练已成为医学图像领域的研究趋势。弱监督的主要流程一般是先利用一个分类器和图像级的类标签来识别图像中的与类别相关的区域，并生成伪标签，然后利用伪标签来训练一个有监督的分割模型。生成伪标签的主流技术是class activate mapping(cam)，能够将图像级的类标签转换为类最容易被识别的区域的定位图。但是通过cam生成的定位图有一些限制：(1)cam只能识别目标区域中最容易识别的小部分区域；(2)没有准确的边界信息。因此，针对以上现状，迫切需要提供一种医学影像分割方法，以克服当前实际应用中的不足。


技术实现要素：

5.本发明的目的在于提供一种医学影像分割方法，旨在解决上述技术背景中的问题。
6.本发明是这样实现的，一种医学影像分割方法，所述医学影像分割方法包括以下步骤：
7.步骤一：获取训练数据，并对训练数据进行数据预处理，同时利用图像增强技术对训练数据进行增强处理，最后得到训练集；
8.步骤二：搭建结合attention机制的双向生成判别网络，设计损失函数，评估指标；
9.步骤三：利用训练集对训练模型进行训练，使用患病验证数据对验证模型进行评估，并迭代更新训练，直到网络收敛
10.步骤四：将最终需要分割的数据输入到最终模型，并得到病灶区域的mask，然后通过dense-crf技术得到最终分割结果。
11.与现有技术相比，本发明的有益效果：
12.本发明在有计算机辅助的临床诊断中有重要意义，特别是对于没有精确的像素级标签的新数据集，例如新冠肺炎ct图像，能够达到快速分割的目的；不仅可以代替医生耗时的手动注释分割，把时间缩短到秒级以内，而且可以一定程度控制误差，既保证了实时性，又保证了准确性；另外，在缺少像素级分割标签的情况下，本发明优于常见的有监督分割模型，仍能利用临床中常见的简单的类别注释实施训练，并且能够利用生成的分割掩码作为伪标签，作为有监督分割模型的预训练数据，能够进一步提升有监督分割模型的精度；
13.利用cam和对比掩码损失函数，对cam和attention mask进行增强，对病灶区域进行精准分割。
附图说明
14.图1为本发明实施例提供的一种医学影像分割方法的分割流程示意图。
15.图2为本发明实施例提供的一种医学影像分割方法的网络结构示意图。
16.图3为3d脑胶质瘤病灶区域分割结果示意图；其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
17.图4为皮肤病灶区域分割结果示意图；其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
18.图5为本发明应用于covid-19的一个数据集上的分隔结果示意图；其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
具体实施方式
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.医学图像的弱监督分割实现过程主要依赖于患病、无病两类图像，图像本身无像
素级的分割标注，但有两个类别集合的区分，也就是数据带有类别标签。近年来基于深度学习的图像转换技术逐渐成熟，比如cyclegan和pix2pix等模型，已在自然图像处理方面有实质进展，可实现诸如颜色填充、风格转换以及面部表情转换等多种效果，但都是针对两个图像域的图像进行转换，这恰好符合医学图像分割中大部分的数据集的分类情况，本发明借助attention-gan作为框架主体。
21.参见图1和图2，本发明提供一种医学影像分割方法，包括以下步骤：
22.步骤一：获取训练数据，并对训练数据进行数据预处理，同时利用图像增强技术对训练数据进行增强处理，最后得到训练集；
23.步骤二：搭建结合attention机制的双向生成判别网络，设计损失函数，评估指标；
24.步骤三：利用训练集对训练模型进行训练，使用患病验证数据对验证模型进行评估，并迭代更新训练，直到网络收敛；
25.步骤四：将最终需要分割的数据输入到最终模型，并得到病灶区域的mask，然后通过dense-crf技术得到最终分割结果。
26.在步骤一中，在训练阶段，训练数据采用图像级类别标签，分为患病无病两类图像集合；
27.所述增强处理包括进行旋转平移缩放以消除患病无病两类数据中病灶大小、方向以及位置等无关特征产生的负面影响；
28.在步骤二中，所述结合attention机制的双向生成判别网络包括用来完成两种源数据域的双向转换的g
x
→y和gy→
x
，还包括两个判别器d
x
和dy，用来判别生成的假图像和真实的图像；
29.所述损失函数包括生成判别损失函数、循环一致性损失函数、身份特征损失函数、分类损失函数以及对比掩码损失函数；
30.所述g
x
→y是一个编码器和解码器的连接体，当输入真实的有病灶图像xr时，g
x
→y通过编码器和解码器对原图x进行编码和解码，并通过特征图融合，最终生成无病的假图像yf，并通过欺骗判别器dy来同步训练判别器，然后利用循环一致性损失，通过一个反向的过程恢复为原始的输入图像x，称为x
rec
；通过这样的循环训练，逐步达到稳定，使得整个网络模型能实现有病数据a、无病数据b两个数据集合之间的转换，并且原始图像a集合通过生成器g生成的与b集合风格一致的生成图像仍保留a中原始数据的身份特征，其中生成器是一个多分支的生成器结构，包含attention mask分支和content分支以及cam分支；
31.生成目标域的假图像的公式为：
32.y
fake
＝af·
c+ab·
x
real
33.其中a∈r2×h×w,是attention mask分支的输出，通过softmax函数建模为一个两通道的权重图，两个通道分别为前景病灶mask af和背景病灶maskab；分别用来捕获在有病和无病两个图像域之间的显著病变特征。c∈r3×h×w为content mask分支的输出,是生成器生成用来作为假图像的前景内容部分，通过以上的mask的融合，最终生成一张假图像来欺骗判别器；通过以上的基于attention机制的基础框架实现了前景和背景的解耦，能够得到网络对于输入的图像的前景内容和背景内容的mask，而具有明暗明显区分的灰度图像mask可以根据特征给出此类物体的大致位置，达到分割的效果。但是该框架在应用与前后背景较为复杂的病灶图像时，比如新冠数据集covid_19，生成的mask往往会被复杂的前景和背景
景干扰，模糊前景和背景的界限，甚至会把部分前景分类为背景，根据cam能够识别目标区域最容易识别的部分的特点，利用cam增强a能够帮助我们在提取复杂病灶区域时起到很大的帮助。而cam也可以通过a提供的丰富的边界信息，克服上诉的cam的缺陷；
34.通过训练了一个辅助分类器来生成cam，并利用对比掩码损失函数，使得cam和a在网络的训练过程中进行对比监督，使得a在复杂的前后景的情况下，能够更关注与病灶图像的病灶区域，同时能够利用a来对cam进行修正，使得cam在识别更完整的病灶区域的同时也能获得病灶区域的准确边界；并且通过后续的对cam和a的融合，并作为dence-crf的输入，能够得到相比于单独使用其中一个，能够得到更好的分割伪标签；
35.使用通道注意力机制，来提升不同特征通道之间的注意力一致性，并对齐前景和背景mask的区别区域。我们对于来自bottleneck layer层的输出特征层f∈rc×h×w,我们首先将f尺寸变换为rc×n，然后将f和f的转置之间做矩阵的乘法，然后通过一个sofrmax激活函数生成一个通道注意力图m∈rc×c，公式如下：
[0036][0037]
其中m
ji
表示第i个通道对第j个通道的影响，数值范围为[0,1]，在这之后，在m的转置和f之间做矩阵的乘法，然后将结果尺寸变换为rc×h×w，最后我们在使用f与结果做一个加法，获得最终的结果e∈rc×h×w：
[0038][0039]
整体网络架构如图2(a)所示，在训练阶段，训练数据采用图像级类别标签，分为患病无病两类图像集合。前期数据增强采用albumentations数据增强库进行适当的旋转平移缩放以消除患病无病两类数据中病灶大小、方向、位置等无关特征产生的负面影响。输入一张患病图像x
real
,通过生成器g
x
→y和融合阶段生成无病假图像y
fake
,并使用中间生成的mask通过dense-crf生成最终的二值分割mask；
[0040]
不同于耗时的训练阶段，应用阶段直接采用训练完成的模型对训练集之外的新的数据进行分割预测，产生二值分割标签。预测时间可控制在秒级以内，可达到快速辅助诊断的目的；本方法的代码基于pytorch框架，整体模型在配备titan rtx显卡的ubuntu 18.04.2lts操作系统中执行；
[0041]
模型正向详细网络架构如图2(b)所示，图示为由患病图像x
real
到无病假图像y
fake
的正向过程，x
real
为患病的真实图像，是整个网络的初始输入，大小为256x256x3,其中256为图像的宽和高，3为图像的通道数，生成器由编码器encoder、通道注意力、两个解码分支attention mask和content mask、cam分支以及encoder和解码分支之间的跳转连接结构组成共同构成；编码解码均采用三层卷积神经网络，先下采样编码至32x32大小的特征图，再上采样解码还原至256x256，完成解码转换后，content为与输入格式一致的3通道粗糙的目标图像，attention mask为经过softmax激活层后的2通道图像，两个通道分别为前景mask和背景mask，cam为一个255x255的类激活图，通过将前景mask和cam相乘并通过dense-crf得到最后的分割结果。
[0042]yfake
为由患病图像x
real
生成的无病合成图像，其合成公式为：
[0043]yfake
＝af·
c+ab·
x
real
[0044]
随后，y
fake
一方面进入判别器dy接受真假鉴别，另一方面输出到反向生成器gy→
x
中，进行逆过程的输出，产生复原图像a
rec
，理论上，a
rec
与x
real
基本一致。
[0045]
上述过程为患病集合a转为无病集合b的完整流程，同样，无病集合b转为患病集合a的过程即为上述过程的逆过程。至此，结合attention机制的双向生成判别网络搭建完成；
[0046]
所述生成器包括编码器encoder、通道注意力、解码分支、cam分支以及encoder和解码分支之间的跳转连接结构；
[0047]
所述解码分支有两个，且两个解码分支为attention mask和content mask；
[0048]
所述生成判别损失函数为：
[0049][0050]
其中，x为患病数据，y为无病数据；g
x
→y是患病集合x转向无病集合y的生成器，d为判别y和g
x
→y(x)是否为真实图像，为在患病数据分布中采样患病图像的数学期望，为在无病数据分布中采样无病图像的数学期望；是患病集合x转向无病集合y的生成判别损失，通过该损失和反向过程的损失逐步优化生成器和判别器，使其依据数据集特征做出良好的类别生成和判别效果；
[0051]
所述循环一致性损失函数为：
[0052][0053]
其中，x先进入d
x
→y生
成无病合成图，此合成图继续进入反向生成器dy→
x
重新还原为患病图像，即图2(a)中的x
rec
。用l1损失约束合成患病图向真实患病图x逼近，y的流程为x的反向过程；
[0054]
所述身份特征损失函数为：
[0055][0056]
为保持患病无病两类图像在相互转换过程中，只改变单个数据的类别辨识特征，而身份辨识特征不变，即转换前后，该数据均可明显识别为属于同一患者，需引入身份特征损失，如上式所示，患病图像x进入dy→
x
生成患病合成图像，用l1损失约束合成图像向真实患病图像x逼近。y的流程为x的反向过程，此操作可令网络学习到保持身份辨识特征的能力；
[0057]
所述分类损失函数为：
[0058][0059]
为了使得cam能够通过图像级标签学习到不同域图像之间的差别并得到病灶区域到类激活图，使用交叉熵损失训练一个辅助分类器；
[0060]
所述对比掩码损失函数为：
[0061][0062]
为了能够使得cam和attention mask能够进行互相监督，使cam能够获得病灶区域到边界信息，识别完整的病灶区域，同时能够增强attention mask，使得attention mask能够识别到前后景模糊到区域，我们使用了l1损失函数对两个进行约束互补。其中a表示attention mask；
[0063]
完整的损失函数为：
[0064][0065]
以下结合具体实施例对本发明的具体实现进行详细描述。
[0066]
实施例1
[0067]
请参考图3，为3d脑胶质瘤病灶区域分割，本实例实施过程中，首先对3d脑胶质瘤数据集进行2d切片，并将其划分为训练集、测试集和验证集，数量分别为563、90和90张。在统一规范化到256x256大小后，又对训练集进行了小幅度的随机平移、旋转以及缩放等数据增强策略，利用上述训练集进行模型训练，在第80个epoch时停止训练，最终模型的分割预测如下图3所示，其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
[0068]
实施例2
[0069]
请参考图4，为皮肤病灶区域分割，本实例实施过程中，首先筛选掉有人工添加的刻度线，彩色位置标记的图像，随机选取200张病灶图像作为训练集、验证集和测试集各30张；在患病的200张图像中，选取除病灶区域以外的最大正方形图像切片作为无病图像；在患病无病统一规范化到256x256大小后，又对训练集进行了小幅度的随机平移、旋转以及缩放等数据增强策略；利用上述训练集进行模型训练，在第80个epoch时停止训练，最终模型的分割预测如下图4所示，其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
[0070]
实施例3
[0071]
请参考图4，将本发明应用于covid-19的一个数据集上，采用和实施例1采用相同的数据预处理方式，训练集、测试集以及验证集分别为533、90以及90张图像，利用上述训练集进行模型训练，在第80个epoch时停止训练，最终模型的分割预测如下图所3示，其中(a)为病灶原图，(b)为像素级标签，(c)为模型分割mask，(d)为attention mask，(e)为cam，(f)为attention mask和cam的融合。
[0072]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。