一种基于肿瘤区域CT图像的结直肠癌T分期方法及系统

一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统
技术领域
1.本发明涉及图像处理技术领域，具体涉及一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统。


背景技术：

2.目前结直肠癌主要基于ct图像进行诊断，并根据肿瘤生长情况分析肿瘤分期。然而，由于人工检测十分耗时，长期工作会增加结直肠癌分期的误诊和漏诊率，不利于肿瘤分期的诊断。
3.因此，亟需一种能够根据肿瘤大致区域的ct图像就可以实现对结直肠癌的t分期预测技术，实现对结直肠癌的t分期诊断。


技术实现要素：

4.为了克服现有技术存在的缺陷与不足，本发明提供一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统，本发明使用肿瘤区域ct图像作为输入，减少模型的学习难度和预测难度；引入多注意力机制融合思想，提高结直肠癌的t分期效果；引入测试数据增强思想，帮助模型多角度对输入图像进行预测，使得结直肠癌的t分期效果更加准确。
5.为了达到上述目的，本发明采用以下技术方案：
6.本发明提供一种基于肿瘤区域ct图像的结直肠癌t分期方法，包括下述步骤：
7.对ct图像进行标注，构建原始数据集；
8.对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整ct图像的强度范围和提取肿瘤区域ct图像，得到最终数据集，每个最终数据集包括肿瘤区域ct图像和对应的t分期结果；
9.构建基于densenet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
10.对三维卷积分类网络模型进行训练：
11.进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
12.利用反向传播算法计算各个参数的梯度，使用adam优化器更新参数；
13.从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
14.采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
15.作为优选的技术方案，所述输入层依次设置三维卷积、bn标准化、relu激活函数和最大池化层。
16.作为优选的技术方案，所述第一注意力密集块、第二注意力密集块和第三注意力
密集块设有不同个数的密集层，每个密集层的输出特征图通道数相同，后一个密集层的输入特征图为前一个密集层的输出特征图在通道维度的堆叠。
17.作为优选的技术方案，所述密集层依次设置三维eca注意力机制、第一bn标准化、第一relu激活函数、第一个三维卷积、第二bn标准化、第二relu激活函数和第二个三维卷积。
18.作为优选的技术方案，所述三维eca注意力机制具体包括：
19.对输入特征图在空间维度进行全局平均池化，以对输入特征图进行降维；
20.使用一维卷积进行通道权重学习，得到一组特征向量；
21.使用sigmoid函数进行激活，将每个通道的权重调整到0和1之间，得到eca通道注意力权值；
22.将eca通道注意力权值与输入特征图相乘，得到施加eca注意力机制的特征图。
23.作为优选的技术方案，一维卷积的卷积核大小与输入特征图的通道数有关，具体计算公式表示为：
[0024][0025]
其中，s表示一维卷积的卷积核大小，c表示输入特征图的通道数。
[0026]
作为优选的技术方案，第一注意力过渡块和第二注意力过渡块依次设置三维cbam注意力机制、bn标准化、relu激活函数、三维卷积和平均池化层，三维cbam注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，实现对输入特征层的信息筛选。
[0027]
作为优选的技术方案，所述三维cbam注意力机制对输入特征层分别进行通道注意力机制和空间注意力机制的处理，具体步骤包括：
[0028]
进行cbam通道注意，将输入特征图分别使用全局平局池化和全局最大池化实现降维，并分别通过两层共享三维卷积进行通道权重提取，将两个通道权重提取路径的输出进行相加，并使用sigmoid函数将每个通道的权重调整到0和1之间，得到cbam通道注意力权值，将cbam通道注意力权值与输入特征图相乘，得到施加cbam通道注意力机制的特征图；
[0029]
进行cbam空间注意，将施加cbam通道注意力机制的特征图作为输入特征图，将输入特征图分别进行基于通道维度的最大池化和平均池化，并将基于通道维度的最大池化和平均池化的输出进行基于通道维度的拼接，通过三维卷积将其降维成一个通道，使用sigmoid函数将每个元素的权重调整到0和1之间，得到cbam空间注意力权值，将cbam空间注意力权值与输入特征图相乘，得到施加cbam空间注意力机制的特征图。
[0030]
作为优选的技术方案，所述通过训练网络模型获取网络模型最佳权重，从训练集中获取肿瘤区域ct图像以及对应的真实标签其中真实标签使用one-hot编码，肿瘤区域ct图像输入网络模型后得到预测结果，表示每个预测类别的概率分布，根据数据集中结直肠癌t分期的各类别分布情况不同，采用权重系数进行权重赋值。
[0031]
本发明还提供一种基于肿瘤区域ct图像的结直肠癌t分期系统，包括：数据集构建模块、数据集预处理模块、网络模型构建模块、网络模型训练模块和预测模块；
[0032]
所述数据集构建模块用于对ct图像进行标注，构建原始数据集；
[0033]
所述数据集预处理模块用于对原始数据集进行预处理，构建最终数据集，具体包
括：划分原始数据集、调整图像体素间距、调整ct图像的强度范围和提取肿瘤区域ct图像，得到最终数据集，每个最终数据集包括肿瘤区域ct图像和对应的t分期结果；
[0034]
所述网络模型构建模块用于构建基于densenet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
[0035]
所述网络模型训练模块用于对三维卷积分类网络模型进行训练：
[0036]
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
[0037]
利用反向传播算法计算各个参数的梯度，使用adam优化器更新参数；
[0038]
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
[0039]
所述预测模块用于采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
[0040]
本发明与现有技术相比，具有如下优点和有益效果：
[0041]
(1)与现有技术相比，本发明提供基于肿瘤区域ct图像的结直肠癌t分期方法，只需要提供肿瘤大致区域的ct图像作为输入，能够大大减轻医生的工作量，有利于提高医生的诊断效率。
[0042]
(2)本发明引入多注意力机制融合思想，使得网络能够更好地筛选通道信息和空间信息，提高结直肠癌t分期预测效果。
[0043]
(3)本发明采用三维肿瘤区域ct图像作为模型输入，能够更好地利用图像的空间信息，提高诊断结果的可靠性。
[0044]
(4)本发明基于测试数据增强思想，自动为输入图像创建多个输入副本，使得模型从多角度对输入图像进行预测，提高诊断结果的鲁棒性。
[0045]
(5)本发明基于权重赋值方法优化损失函数，解决训练数据的类别不平衡问题，改善数据集不足情况下的模型训练难度，提高模型拟合能力。
附图说明
[0046]
图1为本发明基于肿瘤区域ct图像的结直肠癌t分期方法的流程示意图；
[0047]
图2为本发明的改进densenet三维卷积分类网络结构示意图；
[0048]
图3为本发明的注意力密集层结构的示意图；
[0049]
图4为本发明使用的eca注意力机制的示意图；
[0050]
图5为本发明的注意力过渡块结构的示意图；
[0051]
图6为本发明使用的cbam注意力机制的示意图；
[0052]
图7为本发明使用的cbam注意力机制中的通道注意力模块示意图；
[0053]
图8为本发明使用的cbam注意力机制中的空间注意力模块示意图。
具体实施方式
[0054]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。
[0055]
实施例1
[0056]
如图1所示，本实施例提供一种基于肿瘤区域ct图像的结直肠癌t分期方法，包括下述步骤：
[0057]
s1：对ct图像进行标注，构建原始数据集，具体如下：
[0058]
利用itk-snap软件对ct图像依次进行标注，得到对应的掩膜图像以及分期结果，构建原始数据集。
[0059]
s2：对原始数据集数据进行预处理，构建最终数据集，具体如下：
[0060]
s21：将数据集划分为训练集、验证集、测试集。
[0061]
s22：调整图像体素间距。原始图像体素间距各有不同，然而模型对此类信息并不敏感。因此，对原始图像体素间距进行统一，有利于还原真实的图像，从而更高效地学习图像重要信息。首先是统计所有原始图像的图像体素间距，从而得到图像体素间距的均值，最后将原始图像体素间距统一插值到均值图像体素间距。其中，本数据集的均值图像体素间距为(0.78,0.78,3.36)。
[0062]
s23：调整ct图像的强度范围。使用ct窗口技术，调整各ct图像的窗口大小为500，窗位为50，使得ct值分布范围(-200,300)之间内，从而排除与结直肠肿瘤分割不相关的冗余信息。对ct图像的前景部分归一化到(0，1)，在保留具有诊断价值的灰度差异的同时，减小甚至消除图像中灰度不一致，更有利于计算机自动分析处理。
[0063]
s24：提取肿瘤区域ct图像。由于掩膜图像中的标注区域对应原始ct图像的肿瘤区域，因此可以利用掩膜图像对原始ct图像进行肿瘤区域ct图像的提取。使用掩膜图像中值大于0的区域作为参考界限裁剪到(96,96,96)，用来切割原始ct图像，从而得到肿瘤区域ct图像。当不足(96,96,96)，则用0值填充到(96,96,96)。每个ct图像随机裁剪4张肿瘤区域ct图像。
[0064]
s25：最终的数据集由训练集、验证集、测试集组成，占比为6：2：2。每个数据集均由肿瘤区域ct图像和对应的t分期结果组成，其中肿瘤区域ct图像的大小均统一为(96,96,96)，分期结果为ti(i＝1，2，3，4)。相比于原始ct图像，肿瘤区域ct图像的针对性更强，信息更集中，数据计算量更小，更有利于模型的学习和预测。
[0065]
s3：本发明将传统的densenet、eca注意力机制、cbam注意力机制应用到三维空间，并将eca注意力机制、cbam注意力机制与densenet进行融合。
[0066]
如图2所示，构建一个由多注意力机制融合的改进densenet三维卷积分类网络，主要包含一个输入层、三个注意力密集块、两个注意力过渡块、一个输出层，即“输入层+注意力密集块+注意力过渡块+注意力密集块+注意力过渡块+注意力密集块+输出层”结构。其中，前一个模块的输出作为后一个模块的输入。
[0067]
s31：输入层由三维卷积、bn标准化、relu激活函数、最大池化层组成，即“conv+bn+relu+maxpooling”结构。三维卷积用于特征的初始提取，输入通道数为1，输出通道数为64，卷积核大小为7
×7×
7，步长为2
×2×
2，填充量为3
×3×
3；bn标准化对数据进行标准化处理，有利于加快训练速度。relu激活函数能够抑制部分神经元的输出，保证网络的稀疏性，减少了参数的依赖，缓解过拟合。最大池化层用于特征图的缩小以减少计算量，同时增大感受野以提取更大的局部特征，池化核大小为3
×3×
3，步长为2
×2×
2，填充量为1
×1×
1。
[0068]
s32：注意力密集块由多个注意力密集层组成。第一个密集块有6个密集层，第二个密集块有12个密集层，第三个密集块有24个密集层。每个密集层的输出特征图mi通道数为32；第i个密集层的输入特征图为前i-1个密集层的输出特征图在通道维度的堆叠，形如(m0，m1，m2,
···
，m
i-1
)。传统密集层由两个bn标准化、两个relu激活函数、两个三维卷积组成，即“bn+relu+conv+bn+relu+conv”结构。其中，第一个三维卷积将特征图的通道数降低为128，减少特征数量，提升计算效率，卷积核大小为1
×1×
1，步长为1
×1×
1。第二个三维卷积将特征图的通道数降低为32，以进行特征图通道筛选，卷积核大小为3
×3×
3，，步长为1
×1×
1，填充量为1
×1×
1。
[0069]
传统的密集层输入特征图通道太多，在特征增加的同时需要处理的特征信息也成倍增加。如图3所示，本发明的注意力密集层是在传统密集层的第一个bn标准化前加入了三维eca注意力机制，即采用“eca+bn+relu+conv+bn+relu+conv”结构，以对输入特征图进行通道注意，让网络关注它最需要关注的通道，提升模型的学习效率。
[0070]
如图4所示，本发明使用的三维eca注意力机制具体为：首先对输入特征图在空间维度进行全局平均池化，以对输入特征图进行降维；然后使用一维卷积进行通道权重学习，得到一组特征向量；接着使用sigmoid函数进行激活，把每个通道的权重调整到0和1之间，以减少计算量，从而得到eca通道注意力权值。最后把eca通道注意力权值与之前的输入特征图相乘，从而得到施加eca注意力机制的特征图。一维卷积的卷积核大小s与输入特征图的通道数c有关，以实现卷积核大小的自适应，当输入特征图的通道数越多时，卷积核大小也随着增大，从而提高卷积过程的感受野，计算公式如下：
[0071][0072]
s33：传统过渡块由bn标准化、relu激活函数、三维卷积、平均池化层组成，即“bn+relu+conv+avgpooling”结构，主要是连接两个相邻的密集块，并且降低特征图大小，以起到压缩模型的作用。其中，三维卷积的卷积核大小为1
×1×
1，步长为1
×1×
1；平均池化层的池化核大小为2
×2×
2，步长为2
×2×
2。
[0073]
如图5所示，本发明的注意力过渡块采用“cbam+bn+relu+conv+avgpooling”结构，如图6所示，使用cbam注意力机制对输入进来的特征层分别进行通道注意力机制和空间注意力机制的处理，实现对输入特征层的信息筛选，提高过渡块的信息处理能力，间接提高两个密集块之间的信息传达效率。
[0074]
本发明使用的三维cbam注意力机制具体为：首先进行cbam通道注意，如图7所示，通道注意力模块将前面密集块的输出特征图作为输入特征图，将输入特征图分别使用全局平局池化和全局最大池化实现降维，并分别通过两层共享三维卷积进行通道权重提取，最后将两个通道权重提取路径的输出进行相加，并使用sigmoid函数把每个通道的权重调整到0和1之间，得到cbam通道注意力权值，最后把cbam通道注意力权值与之前的输入特征图相乘，从而得到施加cbam通道注意力机制的特征图。
[0075]
接着进行cbam空间注意，如图8所示，空间注意力模块将施加cbam通道注意力机制的特征图作为输入特征图，首先将输入特征图分别进行基于通道维度的最大池化和平均池化，并将基于通道维度的最大池化和平均池化的输出进行基于通道维度的拼接；通过三维卷积将其降维成一个通道；使用sigmoid函数把每个元素的权重调整到0和1之间，得到cbam
空间注意力权重，最后把cbam空间注意力权值与输入特征图相乘，从而得到施加cbam空间注意力机制的特征图。
[0076]
s34：输出层由bn标准化、relu函数、平均池化、平坦层、线性输出单元组成，即“bn+relu+avgpooling+flatten+linear”结构。其中，使用平均池化使得特征向量大小调整为(1024，1，1，1)；使用平坦层获得1024个神经单元，获得一维向量(1，1024)；线性输出单元接收1024个神经单元，并将输出调整为一组向量，向量形状为(1，4)。
[0077]
s4:对模型进行训练与验证，具体如下：
[0078]
s41：由于本身样本的稀缺性和高质量标注的高成本，导致医学图像数据较为稀缺。通过数据增强可以提升模型性能。本方法采用随机翻转、旋转、随机仿射、随机弹性形变进行离线数据增强以扩充训练集。
[0079]
s42：通过训练模型获取模型最佳权重，训练模型遍历数据次数为n，批处理大小为2。
[0080]
每次遍历的具体流程如下：
[0081]
s421：从训练集中获取肿瘤区域ct图像x以及对应的真实标签y,其中真实标签y使用one-hot编码。
[0082]
s422：将x送入模型，得到预测结果y
pred
，表示每个预测类别的概率分布，形如，表示每个预测类别的概率分布，形如为1。
[0083]
s423：在医学领域，类别分布十分不平衡。结直癌症数据以中晚期为主，而结直癌症数据早期的数据相对较少。本实施例使用权重赋值方法对常规的交叉熵损失进行优化。在常规的交叉熵损失中添加权重系数a，形如(a0,1,2,3)，为1。此方法可以解决分类问题中类别不平衡、分类难度差异的问题。根据数据集中结直肠癌t分期的各类别分布情况不同，采用的权重系数a为(0.4,0.3,0.2,0.1。每个预测样本的优化交叉熵损失具体计算公式如下：
[0084][0085]
s43：利用反向传播算法计算各个参数的梯度，使用adam优化器更新参数。
[0086]
s44：从验证样本中取数据送入模型计算验证集准确率，如果当前验证集准确率大于以往的验证集准确率，则保存当前模型的权重为最佳模型权重。
[0087]
s5：应用图像数据增强技术以允许模型对测试数据集中每幅图像的多个不同版本进行预测，然后对增强图像的预测可以取平均值，可以从而获得更好的预测性能。使用保存的最佳模型权重对模型进行权值赋值，然后使用模型进行测试，具体方法如下：
[0088]
s51：对测试样本的输入图像分别进行翻转、旋转、仿射、空间形变等多种图像变换技术，以创建多个扩增副本，让模型对每个图像做出预测，每个预测结果包括各个类别的预测概率，然后将每个图像的预测结果进行相加。
[0089]
s52：使用软投票方法，取出预测结果中概率最大的索引作为预测类别，则得到输入图像的分期结果。
[0090]
实施例2
[0091]
一种基于肿瘤区域ct图像的结直肠癌t分期系统，包括：数据集构建模块、数据集预处理模块、网络模型构建模块、网络模型训练模块和预测模块；
[0092]
在本实施例中，数据集构建模块用于对ct图像进行标注，构建原始数据集；
[0093]
在本实施例中，数据集预处理模块用于对原始数据集进行预处理，构建最终数据集，具体包括：划分原始数据集、调整图像体素间距、调整ct图像的强度范围和提取肿瘤区域ct图像，得到最终数据集，每个最终数据集包括肿瘤区域ct图像和对应的t分期结果；
[0094]
在本实施例中，网络模型构建模块用于构建基于densenet的三维卷积分类网络模型，包括依次连接的输入层、第一注意力密集块、第一注意力过渡块、第二注意力密集块、第二注意力过渡块、第三注意力密集块和输出层；
[0095]
在本实施例中，网络模型训练模块用于对三维卷积分类网络模型进行训练：
[0096]
进行数据增强以扩充训练集，通过训练网络模型获取网络模型最佳权重；
[0097]
利用反向传播算法计算各个参数的梯度，使用adam优化器更新参数；
[0098]
从验证样本中取数据送入模型计算验证集准确率，若当前验证集准确率大于之前的验证集准确率，则保存当前模型的权重为最佳模型权重；
[0099]
在本实施例中，预测模块用于采用训练后的三维卷积分类网络模型进行预测，得到预测结果，每个预测结果包括各个类别的预测概率，将每个图像的预测结果进行相加，取出预测结果中预测概率最大的索引作为预测类别，得到输入图像的分期结果。
[0100]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。