一种基于注意力机制的肺部CT图像生理检测系统及方法

本发明属于图像识别，尤其涉及一种基于注意力机制的肺部ct图像生理检测系统及方法。

背景技术：

1、目前通过ct影像对肺部生理检测主要依赖于人工进行，对专业性要求较高，因此会降低实际检测的效率。

2、ct(computed tomography)，即电子计算机断层扫描，一般认为是诊断肺部疾病的金标准。在计算机辅助诊断(computer-aided diagnosis，cad)技术中，通过ct图像进行肺部疾病识别主要包含图像分割与基于特征提取的病灶识别两个步骤。传统图像分割方法包括基于阈值的分割方法、基于图论的分割方法以及边缘检测等方法，特征提取方法包括主成分分析、线性判别分析以及傅里叶变换等。以上这些技术的实现都需要先验知识，需要人手工进行处理并容易受到噪声的影响，导致计算相对复杂，耗费时间较多，无法实现端到端的病灶识别。随着人工智能技术的不断发展，深度学习已经广泛应用到各个领域，并表现出了卓越的性能，它可以通过多层神经网络来自动学习特征，从而实现对数据的分类和识别。

3、基于深度学习的ct影响识别和分类已经取得了较好的进展和广泛的应用，但是仍然存在以下问题：首先，目前缺乏能够一次对肺部生理状态的综合性网络模型；其次，不同位置的影像区域的特征复杂且众多，因此检测精确度并不乐观。

技术实现思路

1、针对现有技术的不足之处，提供一种克服现有肺部生理图像分类技术和肺ct成像分割与分类的不足，提供一种基于注意力机制的肺部ct图像生理检测系统及方法，能够自动对输入ct图像进行初步分类以确定肺部的生理检测初步结果，然后针对生理检测初步结果的图像进行自动分割区域并进行生理状态的自动分类，其结构简单，使用方便，检测精准，智能程度高。

2、为实现上述技术目的，本发明的基于注意力机制的肺部ct图像生理检测系统，其特征在于：包括顺序连接的输入单元、肺部病灶分类单元、肺结节分割单元和肺结节良恶分类单元；其中肺部病灶分类单元包括并排设置的左侧通道注意力计算分支网络和右侧多尺度特征提取分支网络，注意力计算分支和多尺度特征提取分支网络的输出通过特征融合后，连接有基于多尺度注意力模型msa-unet的肺结节分割单元；

3、输入单元：用以将多张肺部ct图像构成序列组，并标注序列组中的代表图像，以提升预测速度；将肺部ct图像按照采集时间进行排列，将每7张顺序排列的肺部ct图像作为一个描述肺部信息的图像序列组，获得多组图像序列，并将每组图像序列中的中间图像作为代表图像输入肺部病灶分类单元中的网络中进行预测；

4、肺部病灶分类单元：利用通过左侧通道注意力计算分支以及右侧多尺度特征提取分支分别提取每组图像序列中的中间图像中病灶区域的多尺度信息并计算输入中间图像的注意力分值，然后使用特征融合操作将两条分支的结果进行融合，使用两层全连接层输出属于肺炎、肺气肿、肺结节类别、其它四种情况的概率值，通过概率值预测判定疾病类型；

5、肺结节分割单元：用以将肺部病灶分类单元中已经判定为肺结节的图像进行分割，从而确定并标注肺结节在图像中病灶区域位置；具体包括编码器和解码器两部分，编码器和解码器均为基于unet改进的融合多尺度注意力机制的msa-unet模型；

6、肺结节良恶分类单元：用以读取完成肺结节位置标注图像所在图像序列的前向和后向图片，之后对序列中的其它ct图片依次进行特征提取和计算，以此分析该肺结节的细节信息，最后根据肺结节的分析结果输出该肺结节图像中肺结节的良性、恶性概率。

7、进一步，肺部病灶分类单元中，左侧通道注意力计算分支包括串联设置的四层特征提取模块，且每一层特征提取模块的卷积核大小随着网络深度的增加而增加；每层特征提取模块包括顺序连接的两个卷积和批标准化层、二次通道注意力模块、最大池化；

8、二次通道注意力模块用以进行注意力分数的求解；首先输入特征先通过全局平均池化进行维度压缩，随后使用1×1卷积对维度压缩后的特征进行优化处理，使用sigmoid函数计算第一次的注意力分数，将第一次的注意力分数与原输入特征相乘得到初步结果；之后使用全局平均池化对初步结果进行特征压缩，使用2个全连接层从压缩后的特征中再次学习与病灶区域相关的特征，使用sigmoid函数计算第二次的注意力分数并且与输入特征进行相乘，输出最终含有注意力分数的特征图；

9、进一步，右侧多尺度特征提取分支包括串联设置的四层多尺度特征提取模块，且每一层多尺度特征提取模块的卷积核大小随着网络深度的增加而增加；每层多尺度特征提取模块后还连接有最大池化；其中右侧多尺度特征提取分支包括的多尺度特征提取模块与左侧通道注意力计算分支中的特征提取模块层数相同且一一对应；

10、其中四层多尺度特征提取模块均包括2个并行计算的空洞卷积层和批标准化层以并行提取输入图像的多尺度特征，随后使用二次通道注意力模块进行信息筛选，最后使用最大池化进行特征降维与压缩；而第2、3和4层中的多尺度特征提取模块在上述基础上除了具有和第1层多尺度特征提取模块相同的结构外，还在本多尺度特征提取模块的首部位置串联一个多维空间注意力模块，该多维空间注意力模块将右侧多尺度特征提取分支的上一最大池化输出结果和同层左侧通道注意力计算分支中的上一层特征提取模块的输出作为综合输入，以此筛选重要的特征空间信息；随后将筛选后的结果输入2条并行计算的特征提取路径空洞卷积和二次通道注意力模块中进行计算；

11、所述的多维空间注意力模块使用3×3卷积对原始输入图像特征进行初步处理，多维空间注意力模块通过3个分支进行空间注意力的计算；分支1使用全局平均池化计算整个特征图的平均值，再使用1×1卷积进行优化；分支2使用全局最大池化求解每个通道特征的最大值，再使用1×1卷积进行优化；分支3为便于更好地进行特征融合，使用1×1卷积进行处理，降低因直接连接而导致噪声增加；随后将3个分支的结果进行相加，再经过1×1卷积和sigmoid函数计算后得到空间注意力分数；最后与输入值相乘，得到最终结果。

12、进一步，肺结节分割单元借助一条主要特征采样和恢复路径以及4条残差连接和4条包含一个双重注意力门控模块的跳跃连接来预测肺结节病灶的位置信息；

13、肺结节分割单元包括编码器和解码器，编码器和解码器之间通过跳跃连接和残差连接连接并促进信息流动，其中跳跃连接中包括用于过滤同层编码器中的噪声的双重注意力门控模块，残差连接则用于为解码器补充信息；图像输入肺结节分割单元后，首先通过编码器进行特征提取，随后使用解码器反编译并通过跳跃连接和残差连接过滤噪声、补充信息以实现肺结节病灶区域的检测，通过缩小每个卷积层的深度维数降低肺结节分割模型的参数数量；

14、编码器和解码器均为四层结构并且层层对应通过4条残差连接和4条包含双重注意力门控模块的跳跃连接；

15、所述编码器的第1层和第2层结构为两层空洞-卷积模块和最大池化结构，以拓展网络的感受野，从输入图像中捕捉到更多病灶区域的边缘信息，第3层和第4层结构为两层深度-卷积模块和最大池化结构，以加速计算；编码器通过对输入图像持续提取特征，以此分析肺结节病灶的区域信息，最后通过1个3×3卷积与解码器相连，实现特征的传递；

16、所述解码器的四层结构中每一层均为反卷积操作，包括拼接层和多层3x3卷积构成；编码器与解码器之间首先通过含双重注意力门控的跳跃连接进行连接；双重注意力门控模块将同一层编码器单元的输出和前层解码器的输出作为输入以过滤计算过程中产生的噪声；其次，编码器和解码器之间还通过残差连接的方式，将同层编码器输出与通过注意力门控的输出结果进行拼接，以此恢复与病灶区域相关的信息；反卷积用于还原特征图的尺寸；特征图尺寸因为编码器的特征提取而变小，解码器则逐步将特征图尺寸进行还原；

17、所述双重注意力门控模块用以计算并且融合通道注意力和空间注意力；包括2个分支，2个分支都以同一层编码器的输出结果为输入，分支1包括二次通道注意力模块和1×1卷积计算通道注意力，分支2包括多维空间注意力模块和1×1卷积计算空间注意力；将2个分支的输出结果进行融合，再经过relu函数激活和1×1卷积优化后，使用sigmoid函数计算最终双重注意力分数并且与解码器中上采样的操作的结果进行相乘，得到最终结果。

18、进一步，空洞-卷积模块包括2个分支，分支1为2组3×3标准卷积、批标准化操作的线性组合，用于提取图像中的一般特征；分支2为两组膨胀率为3的3×3空洞卷积、批标准化操作组合，用于扩大网络的感受野以增强对病灶边缘的感受能力；

19、深度-空洞模块包括2个分支，分支1使用2组3×3深度可分离卷积、批标准化操作的组合，用于快速提取一般特征；分支2保留了2组膨胀率为3的3×3空洞卷积、批标准化操作的组合，以此提升对病灶边缘的感受能力。

20、进一步，肺结节良恶分类单元包含七条并行设置且结构相同的输入路径，由于肺结节分割网络模型的输出结果已经判别出ct图像存在肺结节，进一步提升识别效率而读取该结果前后各3张ct图像并且作为肺结节良恶分类单元的输入序列；七条路径处理序列中的一张图像，最终融合七条路径的输出，作为最终判断肺结节的良恶性的依据，

21、肺结节良恶分类单元中的每一条输入路径均包括顺序连接的3×3卷积、金字塔空间注意力模块、3×3卷积、最大池化、1×1卷积；首先通过3×3卷积对输入该分支的1张ct图像进行特征处理，然后利用金字塔空间注意力模块提取该输入ct图像的多尺度特征，之后使用3×3卷积对多尺度特征进行二次提取，再使用最大池化进行特征优化且使用1×1卷积实现特征降维最后将七条路线的结果进行融合，利用全连接层输出最终判断结果值；其中金字塔空间注意力模块包括平行设置的三个3×3空洞卷积和提出的多维空间注意力模块，三个3×3空洞卷积和提出的多维空间注意力模块的输出进行特征融合后连接1×1卷积优化特征。

22、一种利用所述基于注意力机制的肺部ct图像生理检测系统检测动物生理指标的检测方法。

23、一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的检测方法。

24、一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述的检测方法。

25、有益效果：本发明方法可以自动化实现对多种肺部生理状态的检测和发展趋势的预测。首先通过深度网络模型通过ct图像自动识别关于动物肺部的各种不同生理状态，并在此基础之上，对部分状态的ct图像再进行处理，进一步细分检测结果。

26、此外，本发明的系统中还提出了一些新的模块，对于提升人工智能网络模型计算准确度和速度有重要参考价值。这些新模块包括二次通道注意力模块、多维空间注意力模块、双重注意力门控模块、空洞-卷积模块和深度-空洞卷积模块。