多模态影像脑胶质瘤靶区分割方法、系统及设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种多模态影像脑胶质瘤靶区分割方法和系统及设备。


背景技术：

2.肿瘤放射治疗是目前三大肿瘤治疗技术之一。恶性肿瘤精确放疗依赖于计算机断层扫描成像(ct)、核磁共振成像(mri)、正电子发射断层扫描成像(pet)、锥形束计算机断层扫描成像(cbct)技术和相应的医学图像信息智能处理技术。肿瘤放疗靶区、或大体肿瘤区(gtv)的高精度勾画是成功实施精确放疗的前提和关键技术。目前基于肿瘤ct、mri、pet和cbct影像信息的放疗靶区自动勾画技术还不能满足临床放疗要求。临床上主要依靠临床放疗医生手工勾画肿瘤gtv，不仅效率低，而且主观性强，导致勾画结果不精确，影响放射治疗计划的精确性和治疗的疗效。


技术实现要素：

3.本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
4.为此，本发明的目的在于提供一种多模态影像脑胶质瘤靶区分割方法、系统和设备，其能够不需要人工提取特征或设定参数就可自动输出靶区以及危及器官的分割结果。
5.为实现上述目的，本发明第一方面的技术方案提供了一种多模态影像脑胶质瘤靶区分割方法，包括以下步骤：
6.获取经组织学证实为高级胶质母细胞瘤的病例，每个病例包含一例非增强ct图像和mri图像；每个非增强ct图像包括原发肿瘤靶区以及由原发肿瘤靶区外扩形成的临床靶区，每个mri图像包括t1c图像和t2-flair图像；
7.将所有病例的mri图像与非增强ct图像进行刚性配准，得到非增强ct图像-mri图像数据对；
8.对非增强ct图像-mri图像数据对进行去颅骨操作，获得去颅骨图像；
9.根据预设公式对去颅骨图像进行预处理，得到训练样本数据，训练样本数据分为三组数据对分别作为训练集、验证集和测试集；
10.根据训练样本数据构建网络分割模型，其中，训练集用于构建网络分割模型，验证集用于优化网络分割模型的超参数，测试集用于测试优化后的网络分割模型的性能。
11.在上述技术方案中，优选地，还包括以下步骤：
12.根据非增强ct图像-mri图像数据对中mri图像上靶区形态与特征在非增强ct图像上进行手动勾画，得到手动勾画图像；
13.根据预设评估公式评估网络分割模型输出的分割图像与手动勾画图像的一致性；
14.其中，预设评估公式为：
15.临床靶区与人工勾画的临床靶区之间的dice相似系数dsc，表达式为：dsc＝2|p∩g|/(|p|+|g|)，p是自动分割的各个临床靶区轮廓，g是人工勾画的各个临床靶区轮廓；
16.95％hausdorff距离，即95hd，95hd被定义为：
[0017][0018]
p：自动分割的各个靶区轮廓；g：人工勾画的各个靶区轮廓；p：p中的任意一个体素；g：g中的任意一个体素；d(p，g)：p和g两点的欧氏距离；d
pg
：点集p到点集g的单向豪斯多夫距离；d
gp
：点集g到点集p的单向豪斯多夫距离。
[0019]
在上述技术方案中，优选地，根据预设公式对去颅骨图像进行预处理，包括以下步骤：
[0020]
根据阈值为(0.5％，99.5％)对将所有病例的t1c图像和t2-flair图像均与非增强ct图像进行裁剪，得到裁剪图像；
[0021]
根据三阶样条插值算法和最邻近插值算法对裁剪图像中的体素间距插值到中间体素间距，得到插值图像；
[0022]
根据插值图像进行z-score归一化处理。
[0023]
在上述技术方案中，优选地，三阶样条插值算法的表达式为：
[0024][0025]
s(xi)＝y
i i＝0,1,
…
,n；
[0026]
共n个区间s0～s
n-1
，n+1个节点，a、b、c、d四个系数、每个系数都有n组，所以方程组共有4n个系数；所述最邻近插值算法的表达式为：i'(x，y)＝i([x/a]，[y/a])
[0027]
i’为插值后图像，i为插值前图像，(x，y)为像素坐标，a为放大率，方括号为取整操作；
[0028]
所述z-score归一化的表达式为：x表示原始数据，μ表示原始数据的平均值，σ表示原始数据的标准差，x
normalization
表示归一化后的数据。
[0029]
在上述技术方案中，优选地，网络分割模型的表达式为：
[0030]
损失函数l＝α1l
dice
+β1l
ce
；
[0031][0032][0033]
其中，l
ce
表示为交叉熵损失，l
dice
表示为dice loss l_dice，c是被分割的目标类别数量，n是训练时每个patch中的体素数量，和分别是人工勾画和模型预测勾画中第k个类别的第i个体素。
[0034]
在上述技术方案中，优选地，根据训练样本数据构建网络分割模型是基于深度3d cnn网络构建而成，深度3d cnn网络为基于一个5层编码器-解码器的3d u-net，具体包括以下步骤：
[0035]
每层编码器采用两组卷积核为3
×3×
3的卷积层来提取非增强ct图像-mri图像数据对的配准图像特征；
[0036]
每个卷积层采用dropout为0.5的实例归一化函数和负斜率为1e-2的激活函数处理配准图像特征；
[0037]
使用2
×2×
2最大池对每个编码器中的配准图像特征进行下采样；
[0038]
采用2
×2×
2反卷积核对每个解码器中的配准图像特征进行上采样；
[0039]
整个模型中的每个编码器的输出特征图通过跳跃连接与相应解码器的输入特征图连接。
[0040]
在上述技术方案中，优选地，
[0041]
实例归一化函数的表达式为：xi为输入的配准图像特征，y为输出参数；γ为比例因子，μ为均值，σ为标准差，β为修正因子；
[0042]
激活函数的表达式为：f(x)＝max(ax，x)，x:激活函数对应的卷积层输入，α为预设的参数。
[0043]
本发明第二方面的技术方案提供了一种多模态影像脑胶质瘤靶区分割系统，包括：获取模块，被设置为用于获取经组织学证实为高级胶质母细胞瘤的病例，每个病例包含一例非增强ct图像和mri图像；每个非增强ct图像包括原发肿瘤靶区以及由原发肿瘤靶区外扩形成的临床靶区，每个mri图像包括t1c图像和t2-flair图像；配准模块，被设置为用于将所有病例的mri图像与非增强ct图像进行刚性配准，得到非增强ct图像-mri图像数据对；去颅骨处理模块，被设置为用于根据基于深度学习的用于全脑组织的自动分割模型对非增强ct图像-mri图像数据对进行去颅骨操作，获得去颅骨图像；网络分割模型构建模块，被设置为用于根据预设公式对去颅骨图像进行预处理，得到训练样本数据，训练样本数据分为三组数据对分别作为训练集、验证集和测试集；根据训练样本数据构建网络分割模型，其中，训练集用于构建网络分割模型，验证集用于优化网络分割模型的超参数，测试集用于测试优化后的网络分割模型的性能；手动勾画模块，被设置为用于通过输入设备在非增强ct图像-mri图像数据对中mri图像上靶区形态与特征在非增强ct图像上进行手动勾画，得到手动勾画图像；质量评估模块，被设置为用于根据预设评估公式评估网络分割模型输出的分割图像与手动勾画图像的一致性。
[0044]
本发明第三方面的技术方案提供了一种计算机设备，包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述第一方面的技术方案提供的多模态影像脑胶质瘤靶区分割方法的步骤。
[0045]
本发明提供的多模态影像脑胶质瘤靶区分割方法、系统和设备与现有技术相比的优点在于：通过改进现有的3d u-net，并且使用多模态图像自动分割脑胶质瘤的gtv、ctv1和ctv2。我们的结果表明，使用多模态图像对脑胶质瘤的分割性能明显优于仅使用单模态图像ct(dsc:gtv 0.94
±
0.01&0.79
±
0.04,ctv1 0.91
±
0.04&0.73
±
0.07,ctv2 0.90
±
0.04&0.67
±
0.84)；并且自动勾画的gtv(1.16％)，ctv1(5.61％)和ctv2(5.35％)的平均绝对体积误差均低于10％。我们的结果也表明，基于深度学习方法在多模态医学图像上自动分割脑胶质瘤肿瘤靶区对放射治疗工作流程中缩短肿瘤勾画时间非常有潜力。
附图说明
[0046]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0047]
图1示出了本发明一个实施例所涉及方法的流程框图；
[0048]
图2示出了本发明另一个实施例所涉及方法的流程框图；
[0049]
图3示出了本发明实施例所涉及步骤s3的流程框图；
[0050]
图4示出了本发明实施例所涉及网络分割模型的网络结构框图；
[0051]
图5示出了本发明实施例所涉及系统的结构框图；
[0052]
图6示出了本发明实施例所涉及gtv的体积绝对误差率统计图；
[0053]
图7示出了本发明实施例所涉及ctv1的体积绝对误差率统计图；
[0054]
图8示出了本发明实施例所涉及ctv2的体积绝对误差率统计图；
[0055]
图9示出了本发明实施例所涉及自动勾画结果与人工勾画对比图。
具体实施方式
[0056]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0057]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
[0058]
如图1至图4、图6至图9所示，按照本发明一个实施例的多模态影像脑胶质瘤靶区分割方法，包括以下步骤：
[0059]
s1，获取经组织学证实为高级胶质母细胞瘤(hgg)的病例，每个病例包含一例非增强ct图像和mri图像；每个非增强ct图像包括原发肿瘤靶区以及由原发肿瘤靶区外扩形成的临床靶区，每个mri图像包括t1c图像和t2-flair图像；
[0060]
在该步骤中，每例非增强ct图像包含hgg的原发肿瘤靶区(gtv)及其相应的临床靶区(由gtv外扩0.5mm所得ctv1，由gtv外扩2cm所得ctv2)的标注(label)。所有病例的影像数据的属性见表1。
[0061]
表1数据集属性
[0062][0063]
其中，t1c为“ce-twi”，即对比增强t1加权图像(contrast-enhanced t1 weighted imaging，ce-t1wi)；t2-flair为“t1wi-flair”，t2加权液体衰减反转恢复序列(t2-weighted-fluid-attenuated inversion recovery，t2wi-flair)。
[0064]
主要对比度决定于组织间或组织状态间t1差别的磁共振图像。采用短tr(《500ms)和短te(《25ms)的扫描序列来取得。取短tr进行扫描时，脂肪等短t1组织尚可充分弛豫，而脑脊液等长t1组织在给定tr时间内的弛豫量相对较少。因此，它们在下个rf脉冲出现时对能量的吸收程度也就不同：短t1组织因吸收能量多而显示强信号，长t1组织则因饱和而不能吸收太多的能量，进而表现出低信号。组织间信号强度的这种变化必然使图像的t1对比度得到增强。
[0065]
mri图像若主要反映的是组织间t1值差别，为t1加权像(t1weighted image,t1wi)。
[0066]
mri图像具有多个成像参数与ct检查的单一密度参数成像不同，mri检查有多个成像参数的特点，即有反映t1弛豫时间的t1值、反映t2弛豫时间的t2值和反映质子密度的弛豫时间值等。mri图像若主要反映的是组织间t1值差别，为t1加权像(t1weighted image,t1wi)；如主要反映的是组织间t2值差别，为t2加权像(t2weighted image，t2wi)；如主要反映的是组织问质子密度弛豫时间差别，为质子密度加权像(proton density weighted image，pdwi)。人体不同组织及其病变具有不同的t1、t2值和质子密度弛豫时间，因此，在t1wi、t2wi和pdwi像上产生不同的信号强度，具体表现为不同的灰度。mri检查就是根据这些灰度变化进行疾病诊断的。因此，组织间以及组织与病变间弛豫时间的差别，是磁共振成像诊断的基础。一般而言，组织信号越强，图像上相应部分就越亮；组织信号越弱，图像上相应部分就越暗。但应注意，在t1wi和t2wl图像上，弛豫时间t1值和t2值的长短与信号强度的高低之间的关系有所不同：短的t1值(简称为短t1)呈高信号，例如脂肪组织；长的t1值(简称长t1)为低信号，例如脑脊液；短的t2值(简称短t2)为低信号，例如骨皮质；长的t2值(简称长t2)为高信号，例如脑脊液。
[0067]
s2，将所有病例的mri图像与非增强ct图像进行刚性配准，得到非增强ct图像-mri图像数据对；
[0068]
在该步骤中，刚性配准是多模态图像配准，例如同一部位扫描的ct和mri的配准；或单模态多时相配准，例如不同时相的ct图像增强的配准。
[0069]
s3，根据基于深度学习的用于全脑组织的自动分割模型对非增强ct图像-mri图像数据对进行去颅骨操作，获得去颅骨图像；
[0070]
这里的自动分割颅骨的模型是我们自己基于深度学习训练的，和自动分割胶质瘤肿瘤的模型一样。自动分割模型是一个经典的编码-解码(encoder-decoder)结构：该分割模型包含若干个(比喻5个)编码器和相同个数的解码器，每个编码器和对应的解码器通过跳跃连接(skip-connection)实现特征他融合。
[0071]
每个编码器包含3个模块(block)，第一个模块依次是3x3x3的卷积层(convolutional layer)，dropout为0.5的实力归一化层(instance normalization)和leakyrelu(负斜率)激活函数；第二个block和第一个block一样；第三个block为2x2x2的最大池化层(max-pooling)。
[0072]
每个解码器也包含3各模块，前两个模块和对应的编码器一样，第三个模块是2x2x2的反卷积层((deconvolutional layer)。
[0073]
s4，根据预设公式对去颅骨图像进行预处理，得到训练样本数据，训练样本数据分为三组数据对分别作为训练集、验证集和测试集；
[0074]
s5，根据训练样本数据构建网络分割模型，其中，训练集用于构建网络分割模型，验证集用于优化网络分割模型的超参数，测试集用于测试优化后的网络分割模型的性能。
[0075]
在该实施例中，通过改进现有的3d u-net，并且使用多模态图像自动分割脑胶质瘤的gtv、ctv1和ctv2。我们的结果表明，使用多模态图像对脑胶质瘤的分割性能明显优于仅使用单模态图像ct(dsc:gtv0.94
±
0.01&0.79
±
0.04,ctv1 0.91
±
0.04&0.73
±
0.07,ctv2 0.90
±
0.04&0.67
±
0.84)；并且自动勾画的gtv(1.16％)，ctv1(5.61％)和ctv2(5.35％)的平均绝对体积误差均低于10％。我们的结果也表明，基于深度学习方法在多模态医学图像上自动分割脑胶质瘤肿瘤靶区对放射治疗工作流程中缩短肿瘤勾画时间非常有潜力。
[0076]
在上述实施例中，优选地，如图2所示，还包括以下步骤：
[0077]
s6，根据非增强ct图像-mri图像数据对中mri图像上靶区形态与特征在非增强ct图像上进行手动勾画，得到手动勾画图像；
[0078]
在该步骤中，所有的hgg病例的标注(gtv、cvt1和cvt2)是通过将mri与对应的非增强ct图像刚性配准后，由两位经验丰富的医生根据rtog共识：简单来说，ctv1由gtv外扩0.5mm所得，ctv2由gtv外扩2cm所得，当然所有的外扩须综合考虑肿瘤与其周围危及器官的情况。然后参考mri图像上靶区形态与特征在非增强ct图像上手动勾画完成，然后两位医生交叉修改对方手动勾画，最后由主任医师完成手动勾画的评估。
[0079]
s7，根据预设评估公式评估网络分割模型输出的分割图像与手动勾画图像的一致性；
[0080]
该方法分别计算了模型自动分割的临床靶区(ctv1和ctv2)与人工勾画的临床靶区之间的dice相似系数(dice similar coefficient,dsc)、95％hausdorff距离(hausdorff distance,hd95)和平均表面距离(average surface distance,asd),这些指标作为定量评估模型分割的准确性。dsc是测量自动分割的轮廓和人工勾画的轮廓之间的空间重叠，衡量他们一致性的相似度，其被定义为：
[0081]
其中，预设评估公式为：
[0082]
临床靶区与人工勾画的临床靶区之间的dice相似系数dsc，表达式为：dsc＝2|p∩g|/(|p|+|g|)，p是自动分割的各个临床靶区轮廓，g是人工勾画的各个临床靶区轮廓；
[0083]
dsc对分割轮廓的内部填充更敏感，而hausdorff距离(hd)对分割轮廓的边界更敏感。虽然95hd与最大hd相似，但是它是基于p和g中边界点之间距离的第95个百分位数的计算，使用此指标的目的是消除极小部分异常值的影响。
[0084]
95％hausdorff距离(95hd)被定义为：
[0085][0086]
p：自动分割的各个靶区轮廓；g：人工勾画的各个靶区轮廓；p：p中的任意一个体素；g：g中的任意一个体素；d(p，g)：p和g两点的欧氏距离；d
pg
：点集p到点集g的单向豪斯多夫距离；d
gp
：点集g到点集p的单向豪斯多夫距离。
[0087]
在该实施例中，从原始数据(所有病例的非增强ct图像和mri图像)对中裁剪出32
×
256
×
256的图像块作为我们修改后的3d u-net的输入图像，网络输入的batch size为2，优化器为rmsprop，初始学习率为0.001，梯度下降策略为随机梯度下降(sgd,动量为0.9),最大训练轮次(epochs)为150。我们对每个patch中每个类的分割结果进行高斯融合，得到全分辨率分割结果，并通过最大连通分域对每个类的全分辨率分割结果进行后处理。
[0088]
在上述任一实施例中，优选地，如图3所示，s3，根据预设公式对去颅骨图像进行预处理，包括以下步骤：
[0089]
s31，根据阈值为(0.5％，99.5％)对将所有病例的t1c图像和t2-flair图像均与非增强ct图像进行裁剪，得到裁剪图像；
[0090]
在该步骤中，为了减小模型输入数据的尺寸，进而减少模型的计算负载，我们对原始非增强ct图像和mri图像的背景进行裁剪；
[0091]
为了使分割网络能够更好地学习空间语义信息，采用步骤s32，即根据三阶样条插值算法和邻近插值算法对裁剪图像中的体素间距插值到中间体素间距，得到插值图像；
[0092]
s33，根据插值图像进行z-score归一化处理。
[0093]
在该实施例中，为了克服小样本数据训练一个深度学习模型而导致的过拟合问题，本方法还可采用一些实时的数据增强技术，如随机翻转，随机缩放，随机弹性形变，gamma调节和镜像等，来增加数据的多样性。
[0094]
在上述任一实施例中，优选地，三阶样条插值算法的表达式为：
[0095][0096]
s(xi)＝y
i i＝0,1,
…
,n；
[0097]
共n个区间s0～s
n-1
，n+1个节点，a、b、c、d四个系数、每个系数都有n组，所以方程组共有4n个系数；最邻近插值算法的表达式为：i'(x，y)＝i([x/a]，[y/a])
[0098]
i’为插值后图像，i为插值前图像，(x，y)为像素坐标，a为放大率，方括号为取整操作；
[0099]
z-score方法基于原始数据的均值(mean)和标准差(standard deviation)来进行
normalization，in)其实本质上是同一个东西，只是in是作用于单张图片(对单个图片的所有像素求均值和标准差)，但是bn作用于一个batch(对一个batch里所有的图片的所有像素求均值和标准差)。实验结果表明，当替换批次归一化时，实例归一化在样式迁移方面表现良好。最近实例归一化也已被用来代替gan中的批次归一化。这里采用实例归一化，考虑到每个医学图像的特异性，保留每个图像的数据属性。
[0115]
在上述任一实施例中，优选地，
[0116]
实例归一化函数的表达式为：xi为输入的配准图像特征，y为输出参数；γ为比例因子，μ为均值，σ为标准差，β为修正因子；
[0117]
激活函数的表达式为：f(x)＝max(ax，x)，x:激活函数对应的卷积层输入，α为预设的参数。
[0118]
如图1至图9所示，按照本发明另一个实施例的多模态影像脑胶质瘤靶区分割系统100，包括：
[0119]
获取模块10，被设置为用于获取经组织学证实为高级胶质母细胞瘤的病例，每个病例包含一例非增强ct图像和mri图像；每个非增强ct图像包括原发肿瘤靶区以及由原发肿瘤靶区外扩形成的临床靶区，每个mri图像包括t1c图像和t2-flair图像；
[0120]
配准模块20，被设置为用于将所有病例的mri图像与非增强ct图像进行刚性配准，得到非增强ct图像-mri图像数据对；
[0121]
去颅骨处理模块30，被设置为用于根据基于深度学习的用于全脑组织的自动分割模型对非增强ct图像-mri图像数据对进行去颅骨操作，获得去颅骨图像；
[0122]
网络分割模型构建模块40，被设置为用于根据预设公式对去颅骨图像进行预处理，得到训练样本数据，训练样本数据分为三组数据对分别作为训练集、验证集和测试集；根据训练样本数据构建网络分割模型，其中，训练集用于构建网络分割模型，验证集用于优化网络分割模型的超参数，测试集用于测试优化后的网络分割模型的性能；
[0123]
手动勾画模块50，被设置为用于通过输入设备在非增强ct图像-mri图像数据对中mri图像上靶区形态与特征在非增强ct图像上进行手动勾画，得到手动勾画图像；
[0124]
质量评估模块60，被设置为用于根据预设评估公式评估网络分割模型输出的分割图像与手动勾画图像的一致性。
[0125]
统计分析
[0126]
计算测试集上测试样本的dsc，95hd的均值
±
标准误差，用于评估自动勾画轮廓与手动勾画轮廓之间的一致性。为了评估不同多模态图的分割性能与仅ct模态下分割性能的相关性，使用配对t检验分别统计分析两者在测试集上dsc和hd95的相关性，p《0.05表示两者间有统计学上显著性差异水平。另外，统计分析测试集上gtv，ctv1和ctv2的自动分割体积与手动分割体积的绝对误差率，用于比较不同数据集上自动分割方法之间的性能。所有分析均使用统计产品和服务解决方案(ibm spss，21.0版)完成。
[0127]
实验结果
[0128]
为了探究本文提出多模态分割方法对gtv，cvt1和cvt2自动分割的有效性，本文设计了4组不同的方法用于训练和测试同一分割网络：
[0129]
1、ct，仅用单模态图像ct训练和测试本文中的分割网络；
[0130]
2、ct-t1c，使用双模态图像(ct和t1c)训练和测试本文中的分割网络；
[0131]
3、ct-t2-flair，使用双模态图像(ct和t2-flair)训练和测试本文中的分割网络；
[0132]
4、ct-mris，使用三种模态图像(ct，t1c和t2-flai)训练和测试本文中的分割网络；
[0133]
自动勾画性能评估
[0134]
表2为gtv，ctv1和ctv2在4组数据集中相同测试集上的测试结果(dsc，hd95)的统计分析：均值
±
标准误差，p值(数据集ct分别与数据集ct-t1c，ct-t2-flair和ct-mris的相关性分析)。
[0135]
表2不同数据集上gtv，ctv1和ctv2的测试结果
[0136][0137]
根据表2可以看出，1)对于gtv的自动勾画，相较于方法ct上的dsc(0.79
±
0.04)和hd95(12.33
±
5.32)，模型在方法ct-t2-flair上的dsc(0.85
±
0.03)和hd95(7.46
±
1.35)的提升并不明显，在统计学上均无显著性差异(p》0.05)；模型在方法ct-t1c上的dsc(0.93
±
0.01)和hd95(2.16
±
0.35)有非常显著的提升，在统计学上均表现出显著性差异(p《0.05)；模型在方法ct-mris上的dsc(0.94
±
0.01)和hd95(2.09
±
0.26)在四种方法中取得最好的分割结果，在统计学上均表现出显著性差异(p《0.05)。2)对于ctv1的自动勾画，相较
于方法ct上的dsc(0.73
±
0.07)和hd95(17.67
±
7.80)，模型在方法ct-t1c上的dsc(0.76
±
0.08)和hd95(14.03
±
6.51)的提升并不明显，在统计学上均无显著性差异(p》0.05)；模型在方法ct-t2-flair上的dsc(0.90
±
0.04)和hd95(3.70
±
1.10)有非常显著的提升，其中dsc在统计学上表现出显著性差异(p《0.05)；模型在方法ct-mris上的dsc(0.91
±
0.04)和hd95(2.40
±
1.16)在四种方法中取得最好的分割结果，但是在统计学上均无显著性差异(p》0.05)。3)对于ctv2的自动勾画，相较于方法ct上的dsc(0.67
±
0.84)和hd95(22.80
±
9.66)，模型在方法ct-t1c上的dsc(0.73
±
0.07)和hd95(21.24
±
10.58)的提升并不明显，在统计学上均无显著性差异(p》0.05)；模型在方法ct-t2-flair上的dsc(0.90
±
0.04)和hd95(2.88
±
1.13)有非常显著的提升，其中dsc在统计学上表现出显著性差异(p《0.05)，并且在四种方法中取得最好的分割结果；模型在方法ct-mris上的dsc(0.90
±
0.03)和hd95(3.78
±
1.05)有明显的提升，其中dsc在统计学上表现出显著性差异(p《0.05)。
[0138]
自动勾画靶区体积的评估
[0139]
为了进一步评估我们的自动分割方法，我们计算相同测试集上四种方法分割出的gtv，ctv1和ctv2的体积与人工勾画的靶区体积绝对误差率，结果统计如图6至图8所示。对于gtv，方法ct-mris取得最小的平均绝对误差率(1.16％)；对于ctv1，方法ct-t2-flair取得最小的平均绝对误差率(3.25％)，略优于方法ct-t2-flair(3.61％)；对于ctv2，方法ct-t2-flair取得最小的平均绝对误差率(5.18％)，略优于方法ct-t2-flair(5.35％).
[0140]
基于多模态图像的自动勾画结果可视化
[0141]
图9对比了方法ct-mris自动分割勾画的结果(gtv，ctv1和ctv2)与人工勾画。对比两者的gtv，自动勾画主要在上下界(图9b，图9g)会分别多勾画一层；对比两者的ctv1，自动勾画与人工勾画一致性非常好；对比ctv2，自动勾画部分层没有有效的“避开”脑干(图9a，图9b)和眼球(图9e)等器官。
[0142]
一方面，虽然我们当前实验中的测试样本仅有5组，对于小测试样本中取得较好的自动分割结果仍需进一步验证，但是我们有理由相信将来提高训练和测试样本量，这种基于深度学习的多模态图像自动分割方法仍然又进一步提高分割结果的可能。数据集的大小是决定深度学习水平的重要参数之一。如果数据集很小，网络的参数数量很大，可能会导致过拟合。在我们将来的实验中，当训练和测试样本的数量增加时，自动分割结果可能会变得更加可靠。另一方面，脑内有些脑组织的形态特征，如脑干区域，与t2-flair序列中脑胶质瘤的临床靶区(ctv2)非常相似，这可能导致少数脑组织通常被我们的网络分割为临床靶区(ctv2)，这对于脑胶质瘤的自动分割来说是一项具有挑战性的任务。因此，我们计划通过增加样本量来克服这些问题，并在未来的工作中开发一个能提高脑胶质瘤放疗质量和效率的自动勾画工具。
[0143]
基于上述如图1所示方法，相应的，本技术实施例还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例的多模态影像脑胶质瘤靶区分割方法的步骤。
[0144]
基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景的方法。
[0145]
基于上述如图1所示的方法，以及图2所示的虚拟装置实施例，为了实现上述目的，本技术实施例还提供了一种计算机设备，包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述任一实施例的多模态影像脑胶质瘤靶区分割方法的步骤。
[0146]
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(radio frequency，rf)电路，传感器、音频电路、wi-fi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)等，可选用户接口还可以包括usb接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、wi-fi接口)等。
[0147]
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0148]
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
[0149]
在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0150]
本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
[0151]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0152]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。