直肠癌图像自动分割方法和系统及放化疗反应预测系统

1.本发明属于信息技术、医疗技术领域，具体涉及一种基于t2加权图像（t2-mri）和扩散加权图像（dwi-mri）的直肠癌图像自动分割方法和系统以及放化疗反应预测系统。


背景技术：

2.对于局部进展期直肠癌（larc）患者，新辅助放化疗（ncrt）加全直肠系膜切除手术(tme)已经成为标准治疗方法。大量临床实验证实，在进行新辅助放化疗（ncrt）后，约70%患者会的肿瘤会出现降期或退缩，约20%患者能达到病理完全缓解（pcr）。因此，对新辅助放化疗（ncrt）反应进行有效预测，对结直肠癌患者后期治疗方案的决策具有重要意义。
3.目前，常规的方法主要基于影像组学的方法，通过提取影像特征指标，结合支持向量机、贝叶斯网络、决策树、随机森林等机器学习算法，构建预测模型。该流程存在以下几点问题：（1）组学指标的确定与筛选依赖医生的临床经验，或者医生加特征提取软件的配合。（2）建模过程图像特征信息丢失信息过多，导致一般roc曲线auc值无法达到很高。（3）该过程实际上是半自动化过程，耗费时间长。（4）对于接近病理完全缓解（pcr）的患者，医生描述病灶区域存在困难。


技术实现要素：

4.本发明的目的在于提供一种基于t2加权图像（t2-mri）和扩散加权图像（dwi-mri）的局部进展期直肠癌图像在新辅助放化疗（ncrt）后病灶的自动化分割框架以及分类的方案，从而进行准确的直肠癌图像病灶分割以及病理完全缓解（pcr）指标预测。
5.本发明采用的技术方案如下：一种直肠癌图像自动分割方法，包括以下步骤：采集局部进展期直肠癌患者在接受新辅助放化疗前后的t2-mri图像和dwi-mri图像，得到4类图像；将4类图像分别输入基于u-net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块；经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
6.进一步地，所述病灶分割网络在编码阶段得到特征图m
1-m5以及s
1-s4，得到所述m
1-m5以及s
1-s4的步骤包括：将输入图像x经过提取特征操作改变特征图通道数量，得到特征图m1，m1经高效通道注意力模块后得到s1；si经过最大池化操作改变si的大小，再经过特征提取操作得到特征图m
i+1
，其中i为特征图索引，i=1，2，3，4，m
i+1
经高效通道注意力模块得到s
i+1
；所述m
i+1
分别为m2，m3，m4，m5；所述s
i+1
分别为s2，s3，s4。
7.进一步地，m5经过双重注意力模块得到md，得到所述md的步骤包括：
m5分别通过位置注意力模块和通道力注意模块；经过位置力模块时，将m5放入卷积层，生成两个新的特征图p1和p2，然后将其重塑为c
×
n，其中c为通道数，n=h
×
w为像素数；然后对p1和p2的转置进行矩阵乘法，应用激活函数得到p3，同时将m5放入卷积层，生成新的特征图p4，在p4和p3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到位置注意图p；m5经过通道注意力模块时，直接计算通道注意图c1，然后对c和c的转置矩阵进行矩阵乘法，最后应用激活函数得到通道注意图c；将通道注意图c和位置注意图p进行求和融合，得到md。
8.进一步地，md经过解码阶段得到图像分割结果，解码阶段包括：定义u5＝md，将bi+1经过上采样操作改变特征图大小，得到特征图；将特征图与mi经过高效金字塔压缩注意力模块，得到特征图ui；将ui经过还原特征操作得到特征图bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述bi分别为b4，b3，b2，b1；将b1通过卷积操作得到输出。
9.一种直肠癌图像自动分割系统，其包括：图像采集模块，用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的t2-mri图像和dwi-mri图像，得到4类图像；图像分割模块，用于将4类图像分别输入基于u-net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块，经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
10.一种直肠癌放化疗反应预测系统，其包括：特征提取模块，用于将上述直肠癌图像自动分割方法得到的图像分割结果分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征；预测模块，用于将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解pcr指标的预测。
11.进一步地，所述特征提取网络将所述病灶分割网络得到的图像分割结果依次经过5个卷积模块，每个卷积模包括卷积层、批标准化层和最大池化层；每经历一个卷积模块，与最大池化层相结合以实现特征提取，得到特征图；将第5个卷积模块得到的特征图输入到一个由2d卷积层、批标准化层以及扁平化层组成的卷积模块后，得到特征提取结果。
12.进一步地，所述分类网络中分别输入经过所述特征提取网络后得到的4种模态的特征，在分类网络的连接层做特征融合，然后经过全连接层、随机失活、全连接层、全连接层后，得到病理完全缓解pcr指标的预测值。
13.本发明的有益效果如下：1.本发明同时利用了t2加权图像（t2-mri）和扩散加权图像（dwi-mri）进行多模态分析，可以降低图像中噪声、局部溶剂效应和强度重叠的影像。
14.2.自动分割方法的引入与创新，极大增加了分割的准确度以及极大的减少了人工分割的时间。
15.3.注意机制已经被证明是增强深层卷积神经网络的一种潜在手段，引入注意力模
块通过避免降维和适当的跨渠道交互实现了具有较高的精度的同时降低模型复杂度。
16.4.双重注意力模块（da）分别在空间维度和通道维度上对语义相关性进行建模。位置注意力模块通过所有位置特征的加权和有选择的聚合每个位置的特征，不管距离有多远，相似的特征都是相互关联的，同时，通道注意力模块通过整合所有通道图之间的关联特征，有选择地强调互相依赖的通道图。两个模块的输出相加，进一步改进特征表示，从而得到更加准确的分割结果。
17.5.提出的网络结构可以为各种计算机视觉任务提供更强的多尺度表示能力，包括但不限于图像分类、目标检测、实例分割等。
18.附图说明
19.图1为本发明的基于u-net网络并引入3种注意力模块的图像分割方法的流程图。
20.图2为本发明的高效通道注意力模块（eca）的结构示意图。
21.图3为本发明的双重注意力模块（da）的结构示意图。
22.图4为本发明的高效金字塔压缩注意力模块（epsa）的结构示意图。
23.图5为本发明的提取特征操作与还原特征操作的结构示意图。
24.图6为本发明的特征提取网络结构示意图。
25.图7为本发明的分类网络结构示意图。
26.具体实施方式
27.为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
28.本发明提出一种基于t2加权的磁共振成像（t2-mri）和扩散加权的磁共振成像（dwi-mri）的直肠癌图像的自动分割方法和系统以及直肠癌放化疗反应预测系统，并引入自适应分割纠错机制，引入空间注意力机制和通道注意力机制，以及多径路轻量卷积网络。本发明的主要内容包括：1.采集局部进展期直肠癌（larc）患者在接受新辅助放化疗（ncrt）前一周的t2加权图像（t2-mri）和扩散加权图像（dwi-mri），采集局部进展期直肠癌（larc）患者在接受新全直肠系膜切除手术(tme)前一周的t2加权图像（t2-mri）和扩散加权图像（dwi-mri），前后2个模态共4类图像。
29.2.对采集的图像采用simpleitk进行n4偏置场校正（n4biasfieldcorrection），采用配准、裁剪、增强等预处理手段对图像进行配准和归一化。
30.3.将4类图像x
1-x4分别输入病灶分割网络，得到精确分割的病灶。病灶分割网络采用基于u-net网络的图像分割方法，在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块（eca）、双重注意力模块（da）以及高效金字塔压缩注意力模块（epsa）。
31.4.基于步骤3，直肠癌放化疗反应预测系统将分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征，将4类特征进行特征融合后输入分类网络，得
到输出值y，完成病理完全缓解（pcr）指标的预测。
32.本发明的一个实施例中，提供一种基于t2加权的磁共振成像（t2-mri）和扩散加权的磁共振成像（dwi-mri）的直肠癌图像的自动分割的方法，具体包括以下步骤：步骤1：采集局部进展期直肠癌（larc）患者在接受新辅助放化疗（ncrt）前一周的t2加权图像（t2-mri）和扩散加权图像（dwi-mri），采集局部进展期直肠癌（larc）患者在接受新全直肠系膜切除手术(tme)前一周的t2加权图像（t2-mri）和扩散加权图像（dwi-mri），前后2个模态共4类图像。
33.步骤2：对采集的图像采用simpleitk进行n4偏置场校正（n4biasfieldcorrection），采用配准、裁剪、增强等预处理手段对图像进行配准和归一化。
34.步骤3：将4类图像x
1-x4分别输入病灶分割网络，如图1所示，根据图像大小将其定义为t
×h×
w的3维特征数组，表示为：xi(t
×h×
w)。
35.本实施例中，根据读取的待分割mri图像的大小，将读取到的磁共振图像定义为大小为1
×
256
×
256的3维特征数组，表示为：xi(1
×
256
×
256)，其中第一个维度为1，代表xi的通道数量，第二个维度和第三个维度均为256，代表xi的特征图大小。
36.步骤4：在编码阶段，首先将输入图片x经过提取特征操作改变特征图通道数量，得到特征图m1（c
×h×
w），m1经eca模块后得到s1（c
×h×
w）。
37.特征图m1经过高效通道注意力模块（eca）得到s1的方法为,如图2所示：m1（c
×h×
w）经全局平均池化后得到m1’
（1
×1×
c），高效通道注意力模块（eca）通过对大小为k的快速1d卷积生成信道权值m1’’
（ 1
×1×
c），在不降维的全局平均池化后考虑每个通道及其k个邻通道来捕获局部跨通道交互。m1’’
经激活函数激活后得到m1’’’ꢀ
（ 1
×1×
c）,m1’’’
与m1进行元素积融合后得到s1（c
×h×
w）。
38.s1经过编码过程最终得到m5的方法为：si经过最大池化操作改变si的大小，再经过特征提取操作得到特征图m
i+1
，其中i为特征图索引（i=1，2，3，4），m
i+1
经高效通道注意力模块（eca）得到s
i+1
。所述m
i+1
分别为m2（2c
××
）, m3（4c
××
）,m4（8c
××
）,m5（8c
××
）；所述s
i+1
分别为s2（2c
××
）, s3（4c
××
）,s4（8c
××
）。
39.图5是所述提取特征操作的结构示意图，所述提取特征操作，由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化（标准化）操作和激活操作构成。进行特征提取的详细过程为：先将输入图像经过提取特征操作中的一组操作即串行的卷积操作(在本例中所有的卷积操作中卷积核为3
×
3大小，步长为1，不同点在于卷积核的数量，即输出结果中特征图的通道数)、数据归一化操作和激活操作，得到特征图后再经过提取特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图m
1 (64
×
256
×
256)。
40.m1经过高效通道注意力模块（eca）得到s1（64
×
256
×
256），对s1进行特征提取，将s1经过最大值池化操作改变特征图大小，再提取特征操作，改变特征图通道数量，得到特征图m2；在本例中，将s1经过池化窗口大小为2
×
2的最大值池化操作以及提取特征操作，得到特征图m2(128
×
128
×
128)。m2经高效通道注意力模块（eca）得到s2(128
×
128
×
128)。
41.按照上述方法，依次对si进行特征提取，经过最大值池化操作以及提取特征操作，得到特征图 m
i+1
，经eca模块后得到s
i+1
。m
i+1
经高效通道注意力模块（eca）得到s
i+1
。所述m
i+1
分别为m3（256
×
64
×
64）, m4（512
×
32
×
32）,m5（512
×
16
×
16）；所述si分别为s3（256
×
64
×
64）, s4（512
×
32
×
32）。
42.步骤5：m5经过双重注意力模块（da）得到md的具体过程为：m5分别通过位置注意力模块和通道注意力模块。经过位置注意力模块时，将m5放入一个卷积层，生成两个新的特征图p1（c
×h×
w）和p2（c
×h×
w），然后将其重塑为c
×
n，其中n=h
×
w为像素数。然后对p1和p2的转置进行矩阵乘法，应用激活函数（softmax层）得到p3(n
×
n)。同时将m5放入卷积层，生成新的特征图p4，在p4和p3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到位置注意图p。m5经过通道注意力模块时，直接计算通道注意图c1，然后对c和c的转置矩阵进行矩阵乘法，最后应用激活函数（softmax层）得到通道注意图c。再将通道注意图c和位置注意图p进行求和融合，得到md（c
×h×
w）。在本例中，所述c、p、md均为（512
×
16
×
16）。双重注意力模块（da）的结构如图3所示。
43.步骤6：将高效金字塔压缩注意力模块（epsa）引入解码阶段，替换u-net网络中每次跳跃连接后的拼接操作，然后将md经过解码阶段进行特征还原得到精确分割的病灶，与x相同大小，根据结合预设的阈值得到图像的分割结果。
44.在本例中，将md经过解码阶段进行特征还原得到的方法为：首先定义u5＝md，将b
i+1
经过上采样操作改变特征图大小，得到特征图，然后将特征图与mi经过高效金字塔压缩注意力模块（epsa），得到特征图ui；又然后将ui经过还原特征操作得到特征图bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述bi分别为b4（4c
××
）, b3（2c
××
）,b2（c
××
）, b1(c
×h×
w)；最后将b1通过卷积操作得到输出。
45.高效金字塔压缩注意力模块（epsa）主要由四个步骤实现，如图4所示，首先通过实现压缩合并模块（spc）获得通道上的多尺度特征图，其次利用压缩激励权重模块（seweight）提取不同尺度特征图的注意力，得到基于通道的注意力向量，获得多尺度信道的重标定权值。最后对重新标定的权值和对应的特征图进行逐元素乘积运算得到一个精细化的多尺度特征信息更丰富的特征图作为输出。
46.高效金字塔压缩注意力模块（epsa）实现多尺度特征提取的基本算子是压缩合并模块（spc），采用多支路的方式提取输入特征土地空间信息，每个支路的输入通道数为c。利用金字塔结构中的多尺度卷积核可以生成不同的空间分辨率和深度。通过压缩输入张量的通道维数，有效提取每个通道图上不同尺度的空间信息。最后每个具有不同尺度fi的特征映射的公共信道维度，i=0，1，
…
，s-1 。对于每个分支，它独立学习多尺度的空间信息，并以局部的方式建立跨通道交互作用。
47.在本例中，对b5进行特征还原得到特征图b4的详细过程为：先将b5经过上采样操作改变特征图大小，得到特征图，再将特征图与m4经过高效金字塔压缩注意力模块（epsa），得到特征图u
4 (512
×
16
×
16)；然后将u4经过还原特征操作中的一组操作即串行的卷积操作、 数据归一化操作和激活操作改变通道数量，得到特征图， 再将特征图经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图b
4 (256
×
32
×
32)。
48.按照上述方法，依次对bi进行特征提取，经过上采样操作改变特征图大小，得到特
征图，再将特征图与m
i-1
经过高效金字塔压缩注意力模块（epsa），得到特征图u
i-1
；然后将u
i-1
经过还原特征操作中的一组操作即串行的卷积操作、 数据归一化操作和激活操作改变通道数量，得到特征图， 再将特征图经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图b
i-1
。所述bi分别为b3（128
×
64
×
64）, b2（64
×
128
×
128）,b1（64
×
256
×
256）；所述u
i-1
分别为u3（256
×
32
×
32）, u2（128
×
64
×
64）, u1（64
×
128
×
128）。
49.本发明的一个实施例中，提供一种直肠癌图像自动分割系统，其包括：图像采集模块，用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的t2-mri图像和dwi-mri图像，得到前后2个模态共4类图像；图像分割模块，用于将4类图像分别输入基于u-net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块，经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
50.其中图像采集模块、图像分割模块的具体操作步骤间前文步骤1~6的说明。
51.本发明的一个实施例中，提供一种直肠癌放化疗反应预测系统，该系统通过以下两个模块，实现直肠癌放化疗反应预测：特征提取模块，用于将本发明的直肠癌图像自动分割方法得到的图像分割结果分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征。特征提取网络的结构如图6所示。将病灶分割网络得到的重采样为（16
×
128
×
128），依次经过5个卷积模块（卷积层-批标准化层-最大池化层），每经历一个卷积模块，与最大池化层相结合，实现特征提取，得到特征图f，5个特征图分别表示为f1（32
×
64
×
64），f2（48
×
32
×
32），f3（64
×
16
×
16），f4（80
×8×
8），f5（96
×4×
4）。将f5输入到一个由2d卷积层（conv2d）、批标准化层（batchnormalization）以及扁平化层（flatten）组成的卷积模块后得到f6（16
×
1）。
52.预测模块，用于将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解pcr指标的预测。分类网络的结构如图7所示，将进行新辅助放化疗（ncrt）前后t2加权图像（t2-mri）和扩散加权图像（dwi-mri）的感兴趣区共4个模态的图像输入分类网络，即基于步骤7，在分类网络中分别输入经过特征提取网络后得到的4种模态的特征，分别表示为f
1,6
，f
2,6
，f
3,6
，f
4,6
。将f
1,6
，f
2,6
，f
3,6
，f
4,6
统一输入到分类网络的连接层做特征融合，得到cd（64
×
1）。cd输入到最后的全连接层，经过全连接层（dense）、随机失活（dropout）、全连接层（dense）、全连接层（dense）后分别得到d1（128
×
1），d2（128
×
1），d3（32
×
1），d4（2
×
1），d4即为最终病理完全缓解（pcr）指标的预测值y。
53.本发明的一个实施例中，提供一种基于u-net网络的直肠癌图像自动分割方法，包括以下步骤：步骤1：分别采集局部进展期直肠癌（larc）患者在接受新辅助放化疗（ncrt）前后的t2加权图像（t2-mri）和扩散加权图像（dwi-mri），前后2个模态共4类图像。
54.步骤2：将4类图像x
1-x4分别输入病灶分割网络，根据图像大小将其定义为t
×h×
w的3维特征数组，表示为：xi(t
×h×
w)。
55.步骤3：在编码阶段加入高效通道注意力模块（eca）得到特征图m
1-m5以及s
1-s4，并将m5经过双重注意力模块（da）得到md。
56.步骤4：在解码阶段加入高效金字塔压缩注意力模块（epsa），md经过解码阶段进行特征还原得到分割结果。
57.其中，所述图像经过编码阶段得到特征图m
1-m5以及s
1-s4的方法为：首先将x经过提取特征操作改变特征图通道数量，得到特征图m1（c
×h×
w），m1经高效通道注意力模块（eca）后得到s1（c
×h×
w）。si经过最大池化操作改变si的大小，再经过特征提取操作得到特征图m
i+1
，其中i为特征图索引（i=1，2，3，4），m
i+1
经高效通道注意力模块（eca）得到s
i+1 。所述m
i+1
分别为m2（2c
×
h/2
×
w/2）, m3（4c
×
h/4
×
w/4）,m4（8c
×
h/8
×
w/8）,m5（8c
×
h/16
×
w/16）；所述s
i+1
分别为s2（2c
×
h/2
×
w/2）, s3（4c
×
h/4
×
w/4）,s4（8c
×
h/8
×
w/8）。
58.其中，所述m5经过双重注意力模块（da）得到md的具体过程为：m5分别通过位置注意力模块和通道力注意模块。经过位置力模块时，将m5放入卷积层，生成两个新的特征图p1（c
×h×
w）和p2（c
×h×
w）。然后将其重塑为c
×
n，其中n=h
×
w为像素数。然后对p1和p2的转置进行矩阵乘法，应用激活函数（softmax层）得到p3(n
×
n)。同时将m5放入卷积层，生成新的特征图p4，在p4和p3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到p。m5经过通道注意力模块时，直接计算通道注意图c1，然后对c和c的转置矩阵进行矩阵乘法，最后应用激活函数（softmax层）得到通道注意图c。再将通道注意图c和位置注意图p进行求和融合，得到md（c
×h×
w）。
59.其中，所述md经过解码阶段得到分割结果的具体过程为：首先定义u5＝md，将b
i+1
经过上采样操作改变特征图大小，得到特征图，然后将特征图与mi经过高效金字塔压缩注意力模块（epsa），得到特征图ui；又然后将ui经过还原特征操作得到特征图bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述bi分别为b4（4c
×
h/8
×
w/8）, b3（2c
×
h/4
×
w/4）,b2（c
×
h/2
×
w/2）, b1(c
×h×
w)；最后将b1通过卷积操作得到输出。
60.本发明的另一实施例提供一种电子装置（计算机、服务器、智能手机等），其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
61.本发明的另一实施例提供一种计算机可读存储介质（如rom/ram、磁盘、光盘），所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
62.以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。