一种基于深度学习的脑肿瘤核磁共振影像数据合成方法

1.本发明属于医疗影像技术领域，涉及一种基于深度学习的脑肿瘤核磁共振影像数据合成方法。


背景技术：

2.脑肿瘤的定量评估是脑肿瘤诊断程序的重要部分，为脑肿瘤诊断提供了各种有价值的信息。其中，图像自动分割可以通过例如确定子区域的体积等方式，更快、更客观、更准确地描述相关肿瘤参数。然而，由于缺少高质量的训练样本，目前基于机器学习的自动分割的算法仍具有很多缺陷。
3.类别不平衡或变异性不足的数据会导致机器学习算法性能降低。而在图像分割任务中，手动注释三维体素数据每次需要超过十五分钟，效率非常低，这使得它在繁忙的放射学实践中不切实际。虽然传统的数据增强技术(例如，裁剪，平移，旋转)可以减轻其中一些问题，但它们会产生了高度相关的图像训练样本，导致数据的不平衡性加剧。
4.现有技术中，提出了一种由粗到细边界感知生成对抗网络，网络中的粗化生成器旨在以较低分辨率从二维标签图绘制多种模态下二维的脑肿瘤核磁共振影像的原始形状和纹理，多重任务生成器旨在校正粗化生成器完成的低分辨率核磁共振影像的缺陷，并保留完整肿瘤的边界。但该方法仅适用于二维核磁共振数据的合成，缺乏全局的三维脑部信息。
5.另外还有人提出了通过三个对抗生成网络实现了对三维核磁共振脑肿瘤数据的定制化合成和分割，其系统中的三个对抗生成网络分别实现脑部核磁共振影像到脑部各区域标签图，带有肿瘤的脑部各区域标签图到脑部核磁共振影像，脑部核磁共振影像到脑肿瘤分割结果的转换。但其模型训练过程繁琐，且其合成和分割的结果的质量不高。


技术实现要素：

6.为解决上述问题，提供一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，以获得高质量的具有标签的三维核磁共振影像数据，本发明采用了如下技术方案：
7.本发明提供了一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，包括如下步骤：步骤s1，收集患有脑肿瘤的病人的多模态的脑部核磁共振影像作为样本图像，并对收集到的所述样本图像进行预处理从而消除由于数据来源不同而导致的差异；步骤s2，在与每一个病人相对应的所述样本图像中标注出脑部的四个区域从而获得标签图，并将获得的标签图作为训练集，所述四个区域包括gd增强肿瘤区域、肿瘤周围水肿区域、坏死和非增强肿瘤核心区域以及其他脑部区域；步骤s3，构建生成器的神经网络模型，用于合成所述样本图像获得合成图像；步骤s4，构建用于鉴别所述合成图像真假的鉴别器的神经网络模型以及用于缓存所述合成图像的图像池；步骤s5，构建损失函数；步骤s6，利用所述训练集对与特定模态相对应的所述生成器和所述鉴别器进行模型训练，从而获得训练完成后的所述生成器和所述鉴别器，通过向训练完成后的所述生成器和所述鉴别器输入
三维的脑部标签图，可以合成对应的脑部核磁共振影像。
8.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤s1的具体过程如下：对所述样本图像进行归一化处理，去除所述样本图像中的颅骨，进一步通过差值将所有所述样本图像的分辨率进行统一并与标准的解剖模板对齐。
9.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤s2的具体过程如下：将所述坏死和非增强肿瘤核心区域标注为1，将所述肿瘤周围水肿区域标注为2，将所述其他脑部区域标注为3，将所述gd增强肿瘤区域标注为4。
10.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述生成器神经网络模型为一个包含3次下采样和3次上采样的unet3d网络的变体，
11.在所述unet3d网络的每一个三维卷积层后添加谱归一化层，所述上采样使用三重线性插值算法和双曲正切函数作为激活函数，此外其他层均使用带泄露修正线性单元函数(leakyrelu)函数，所述三维卷积层的核大小为3*3*3，步长为1，最大池化层的核大小为2*2*2，步长为2，
12.在第一次进行所述上采样后，所述三维卷积层将通道数扩展为16，进一步在每次进行所述下采样时后续的所述三维卷积层将通道数翻倍，同时在每次进行所述上采样时后续的所述三维卷积层将通道数减半。
13.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述鉴别器由一个模块一、三个模块二以及一个模块三级联，
14.所述模块一具有第一卷积层、第一谱归一化层以及第一leakyrelu激活层，
15.所述模块二具有第二卷积层、第二谱归一化层、实例正则化层以及第二leakyrelu激活层，
16.所述模块三具有第三卷积层以及第三谱归一化层，
17.所述第一卷积层、所述第二卷积层以及所述第三卷积层的卷积核大小均为3*3*3，所述第一卷积层的步长为2，输出通道数为32，位于所述鉴别器的最上层的所述第二卷积层的步长为2，输出通道数为64，剩余两个索虎第二卷积层的步长为1，输出通道数是输入通道数的两倍，所述第三卷积层的步长为1，输出通道数为1。
18.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述图像池用于缓存至多4个所述合成图像。
19.本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述损失函数使用lsgan数，鉴别器单元损失函数的计算公式如下：
20.[0021][0022]
式中，d和g分别表示所述鉴别器和所述生成器，x和y分别所述标签图和所述样本图像，w、d和h是判别器最终输出的体素的宽度，深度和长度，a、b和c分别为0，1和1的维度为w
×d×
h的矩阵。
[0023]
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤s6的具体过程如下：利用反向传播的算法对所述生成器的神经网络模型和所述鉴别器的神经网络模型中的参数进行优化，每优化完一侧所述生成器后，就对所述鉴别器进行一次优化，当对所述鉴别器进行优化时，所述生成器当前生成的所述合成图像存储到所述图像池中同时在所述图像池中随机挑选一个缓存图像作为鉴别器的输入。
[0024]
发明作用与效果
[0025]
根据本发明的基于深度学习的脑肿瘤核磁共振影像数据合成方法，通过医院搜集到的患有肿瘤患者的脑部核磁共振扫描结果，并对脑肿瘤的各区域进行标注，构建起训练集。利用该训练集训练出对抗生成神经网络模型，这一模型可以针对不同模态的三维脑部核磁共振影像，通过向其输入特定模态下包含肿瘤的三维脑部标签图的方式来获取与标签图对应三维核磁共振影像，从而生成出全新的具有标签的三维核磁共振影像数据。这些生成出的新数据不仅符合病理，而且和其标签图对应良好，因此结果更加真实，符合病理，且可通过修改其输入标签来操纵结果。
附图说明
[0026]
图1是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成方法的流程图；
[0027]
图2是本发明实施例的生成器结构示意图；
[0028]
图3是本发明实施例的鉴别器结构示意图。
[0029]
图4是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成的系统结构图；
具体实施方式
[0030]
以下结合附图以及实施例来说明本发明的具体实施方式。
[0031]
《实施例》
[0032]
图1是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成方法的流程图。
[0033]
如图1所示，本实施例提供一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，用于获取具有标签的三维核磁共振影像数据，包括如下步骤：
[0034]
步骤s1，收集患有脑肿瘤的病人在t1，t1ce，t2，flair四种模态的脑部核磁共振影像作为样本图像，并对收集到的样本图像进行预处理从而消除由于数据来源不同而导致的差异。
[0035]
对样本图像进行归一化处理，去除样本图像中的颅骨，进一步通过差值将所有样本图像的分辨率进行统一并与标准的解剖模板对齐。
[0036]
步骤s2，在与每一个病人相对应的样本图像中标注出脑部的四个区域从而获得标签图，并将获得的标签图作为训练集，四个区域包括gd增强肿瘤区域、肿瘤周围水肿区域、坏死和非增强肿瘤核心区域以及其他脑部区域。
[0037]
将坏死和非增强肿瘤核心区域标注为1，将肿瘤周围水肿区域标注为2，将其他脑部区域标注为3，将gd增强肿瘤区域标注为4。
[0038]
步骤s3，构建生成器的神经网络模型，用于合成样本图像获得合成图像。
[0039]
图2是本发明实施例的对抗生成神经网络中生成器结构示意图。
[0040]
如图2所示，生成器神经网络模型为一个包含3次下采样和3次上采样的unet3d网络的变体，
[0041]
在unet3d网络的每一个三维卷积层后添加谱归一化层，上采样使用三重线性插值算法和双曲正切函数作为激活函数，此外其他层均使用带泄露修正线性单元函数(leakyrelu)函数，三维卷积层的核大小为3*3*3，步长为1，最大池化层的核大小为2*2*2，步长为2，
[0042]
在第一次进行上采样后，三维卷积层将通道数扩展为16，进一步在每次进行下采样时后续的三维卷积层将通道数翻倍，同时在每次进行上采样时后续的三维卷积层将通道数减半。
[0043]
步骤s4，构建用于鉴别合成图像真假的鉴别器的神经网络模型以及用于缓存合成图像的图像池。
[0044]
图3是本发明实施例的对抗生成神经网络中鉴别器结构示意图。
[0045]
鉴别器由一个模块一、三个模块二以及一个模块三级联，
[0046]
模块一具有第一卷积层、第一谱归一化层以及第一leakyrelu激活层，
[0047]
模块二具有第二卷积层、第二谱归一化层、实例正则化层以及第二leakyrelu激活层，
[0048]
模块三具有第三卷积层以及第三谱归一化层，
[0049]
第一卷积层、第二卷积层以及第三卷积层的卷积核大小均为3*3*3，第一卷积层的步长为2，输出通道数为32，位于鉴别器的最上层的第二卷积层的步长为2，输出通道数为64，剩余两个索虎第二卷积层的步长为1，输出通道数是输入通道数的两倍，第三卷积层的步长为1，输出通道数为1。
[0050]
图像池用于缓存至多4个合成图像。
[0051]
步骤s5，构建损失函数。
[0052]
损失函数使用lsgan数，鉴别器单元损失函数的计算公式如下：
[0053][0054][0055]
式中，d和g分别表示鉴别器和生成器，x和y分别标签图和样本图像，w、d和h是判别器最终输出的体素的宽度，深度和长度，a、b和c分别为0，1和1的维度为w
×d×
h的矩阵。
[0056]
步骤s6，利用所述训练集对与特定模态相对应的生成器和鉴别器进行模型训练，从而获得训练完成后的生成器和鉴别器，通过向训练完成后的生成器和鉴别器输入三维的脑部标签图，可以合成对应的脑部核磁共振影像。
[0057]
利用反向传播的算法对生成器的神经网络模型和鉴别器的神经网络模型中的参数进行优化，每优化完一侧生成器后，就对鉴别器进行一次优化，
[0058]
当对鉴别器进行优化时，生成器当前生成的合成图像存储到图像池中同时在图像池中随机挑选一个缓存图像作为鉴别器的输入。
[0059]
本实施例中，采用从属于反向传播算法的adam优化器对生成器和鉴别器进行模型训练，对于生成器初始学习率lr＝0.0004，系数betas＝(0.0,0.9)；对于判别器初始学习率lr＝0.0001，系数betas＝(0.0,0.9)。网络先训练100轮，之后100轮按固定步长衰减学习率直至0.0。
[0060]
本实施例中，使用brats 2017数据集中的训练集285个病例进行训练，训练完成之后通过修改训练集中的标签图生成出一个包含855个病例的数据集。用这个数据集和brats 2017的训练集一起训练一个unet3d网络变体。使用brats2017的包含46个病例的验证集进行测试，测试结果相较于用brats 2017训练集训练的unet3d分割模型，平均的dice系数至多可提升0.16。
[0061]
图4是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成的系统结构图。
[0062]
如图4所示，本实施例提供一种基于深度学习的脑肿瘤核磁共振影像数据合成的系统100包括肿瘤的脑部各区域标签图数据101，计算设备110和存储设备191。
[0063]
脑部各区域标签图数据101可以是在已有的三维标签上修改得到或其他方法合成出来的。标签图数据101还可以是除包含gd增强肿瘤，肿瘤周围水肿，坏死和非增强肿瘤核心和其他脑部区域四种标签之外的脑部区域标签图。
[0064]
计算设备110是处理标签图数据101的计算设备，主要包括计算机处理器120，内存130。处理器120是一个用于计算设备110的硬件处理器，如中央处理器cpu，图形计算处理器。
[0065]
内存130是一个非易失的存储设备，用于储存计算机代码用于处理器120的计算过程，同时，内存130也会存储各类中间数据、及参数。内存130包括脑肿瘤核磁共振影像数据集135及图像缓存池模块144、可执行代码140。
[0066]
脑肿瘤核磁共振影像数据集135包含搜集好并经过预处理后的患有脑肿瘤的患者的多种模态下的核磁共振影像作为样本图像以及由专业人员对其脑部各区域进行标注得到的标签图。
[0067]
可执行代码140包括两个软件模块：生成器神经网络模块141和鉴别器神经网络模块143。生成器神经网络模块141将根据输入计算设备110的标签图生成出与之对应的核磁共振影像。
[0068]
图像缓存池模块144将缓存之前生成器神经网络模块141生成出来的样本，并随机地替换当前生成器神经网络模块141生成出来的样本。
[0069]
鉴别器神经网络模块143将对由生成器神经网络模块141生成出的核磁共振影像，图像缓存池模块144中的样本以及包括脑肿瘤核磁共振影像数据集135中的真实样本进行鉴定，并计算损失函数，通过反向传播算法对生成器神经网络模块141和鉴别器神经网络模块143的参数进行优化。
[0070]
存储设备191是用于储存根据输入标签图101合成出的合成样本195的设备，通常为磁盘。
[0071]
实施例作用与效果
[0072]
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，通过医院搜集到的患有肿瘤患者的脑部核磁共振扫描结果，并对脑肿瘤的各区域进行标注，构建起训练集。利用该训练集训练出针对不同模态的三维脑部核磁共振影像，通过向其输入特定模态下包含肿瘤的三维脑部标签图的方式来获取与标签图对应三维核磁共振影像，从而生成出全新的具有标签的三维核磁共振影像数据。这些生成出的新数据不仅符合病理，而且和其标签图对应良好，因此结果更加真实，符合病理，且可通过修改其输入标签来操纵结果。
[0073]
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，可以通过输入不同的标签图生成出新的数据，用作自动分割算法的训练数据，帮助解决其面临的数据缺乏和类不平衡问题。
[0074]
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，使用该方法生成出来的数据与原数据截然不同，无法从生成的结果之上获取到病人的信息。因此该方法可以用来作为数据匿名工具，使用它生成出的数据不会造成隐私泄露，可以更容易地被分享。
[0075]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。