基于深度融合神经网络的稀疏视角CT成像方法和设备与流程

基于深度融合神经网络的稀疏视角ct成像方法和设备
技术领域
1.本发明涉及医学图像重建领域及机器学习领域，尤其涉及一种基于深度融合神经网络的稀疏视角ct成像方法和设备。


背景技术：

2.x射线计算机层析成像(computed tomography)技术，简称ct技术，是现代医学重要的人体组织扫描和成像手段，被广泛运用于疾病筛查和临床诊断。其原理是根据朗博比尔定律，利用x射线在人体不同组织内的衰减不同，让x射线的发射端和接收端围绕着人体旋转，通过平扫(parallel beam)或锥形扫描(cone beam)的方式获得目标区域的三维信息。x射线的发射角度越多，从不同角度得到的人体组织信息越多，重建成像越清晰，但人体受到的辐射越多，扫描和重建时间也越长。如何平衡重建图像质量、辐射剂量和扫描/重建时间是ct成像算法研发的重点问题。
3.传统ct图像重建方法有三大类：反投影法、迭代重建算法和解析法。首先，反投影法将投影数据按照原投影路径平均分配到每一个点上。在对各个角度的投影值都进行了反投影后，把每个角度的反投影图像进行累加，从而重建图像。由于投影累加在图像中心处稠密但在边缘处稀疏，高频信号可能有所失真，导致图像中人体组织的边缘模糊。同时，反投影图像进行累加的过程会伴随明显的伪影(artifact)，投影数据越少，伪影越明显。反投影法重建速度快，但要求各个方向上的投影数据必须完备，扫描采样的角度越少，重建图像质量越低，所以反投影法无法在稀疏视角采样的条件下重建高质量图像。与之不同的是，迭代重建算法从一个初始猜测的图像出发，通过对反问题求近似解的方式，采用逐步逼近的方法将理论投影值和测量投影值不断进行迭代更新，直到最终获得最优解。此方法可使用不完整的采样数据如稀疏视角采样的投影测量数据，减少了噪声对重建图像质量的影响，并不再伴随明显的伪影，但由于该方法巨大的计算量导致图像重建速度缓慢。最后，解析法中，滤波反投影法在反投影法的基础上加入滤波函数从而减少投影数据的低频信号，增强高频信号。先对投影信号通过傅里叶变换在频域上进行滤波，再使用傅里叶逆变换后进行反投影的重建方法。其可以选择不同的滤波器使重建图像在震荡窗效应(震荡伪影)和在高频段(轮廓)较差的重建效果间进行平衡。该方法重建速度快，成像质量较高，但成像质量仍然受限于投影数据采样角度的完备程度。压缩感知方法可在信号采集端低的采样率的情况下，通过借助有效的信号先验信息如稀疏性(sparsity)，达到对图像的完美重建。该方法与其他传统方法相比，虽然可使用更少的投影信号重建出更精准的ct图像，符合使用稀疏视角采样数据的标准，但是计算量大和先验信息依赖性等问题依然没有有效解决。
4.随着硬件计算力的发展，深度神经网络得到了更为广泛的研究和运用。深度神经网络利用层序构造大规模复杂的算法模型，其具有自动化特征工程和强泛化能力等特点。在医疗图像领域，利用神经网络的图像重建算法模型开始作为传统医学图像重建方法的改良和补足，并在重建图像质量与重建速度上获得了显著提升。将深度神经网络技术应用在稀疏视角采样的ct图像重建领域的方法主要可分为两类：第一类直接通过稀疏视角采样所
得到的投影测量数据通过神经网络进行特征学习，直接从信号域到图像域跨模态重建生成重建图像。其优势在于输入数据需求单一，网络结构简单。然而为了更好的学习投影数据的全局特征，网络模型中需要使用多个全连接层，极大的提升了网络计算复杂性，导致网络的训练难度增大。第二类通过基于模型的神经网络方法，将传统ct图像重建算法分成多个模块，将其中单个或多个数学计算过程替换为神经网络进行实现。例如在滤波反投影法中，反投影的实现过程使用传统数学计算，再使用深度神经网络对其输出的重建图像进行后处理。该方法虽然避免了过于复杂的全连接层的计算，但是重建图像的质量依赖于重建模型的选择，导致投影数据中有效信息的损失。


技术实现要素：

5.本发明针对现有技术的不足，提出一种基于深度融合神经网络的稀疏视角ct成像方法和设备，该方法基于传统的滤波反投影法对输入的ct投影测量数据做预处理，同时使用ct投影测量数据和初始ct图像的特征，通过神经网络的映射学习实现稀疏视角采样下的高质量ct图像重建。该方法有效利用了ct投影测量数据和初始ct图像中的信息，相对单一输入的神经网络提高了网络模型特征学习的有效性，在与稀疏视角和密集视角采样下的传统ct图像重建方法相比，该方法显著提升了重建图像的质量。本发明构建的深度融合神经网络包括：初始ct图像编码器，用于提取初始ct图像的深层图像特征；投影测量数据编码器，用于提取ct投影测量数据的正弦特征；深层特征融合模块，用于融合深层图像特征和正弦特征得到深层混合特征；融合特征解码器，用于解码深层混合特征，生成与初始ct图像张量尺寸相同的ct重建图像；全局信息补充模块，用于生成全局信息补充特征图对网络运算过程中遗失的全局特征进行补全；最后，针对整体网络模型设计混合损失函数。
6.根据本发明的第一方面，提供一种基于深度融合神经网络的稀疏视角ct成像方法，该方法包括以下步骤：s1，获取稀疏视角的ct投影测量数据；s2，对所述ct投影测量数据使用滤波反投影法得到初始ct图像；s3，构建深度融合神经网络，所述深度融合神经网络包括五个部分：初始ct图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块；所述初始ct图像编码器用于提取所述初始ct图像的深层图像特征；所述投影测量数据编码器用于提取所述ct投影测量数据的正弦特征；所述深层特征融合模块采用拼接操作，融合所述深层图像特征和所述正弦特征，得到深层混合特征；所述融合特征解码器用于解码所述深层混合特征，生成与所述初始ct图像张量尺寸相同的ct重建图像；所述全局信息补充模块由多个卷积层组成，分为若干级别，各级别依次连接，当前级别包含上一级别的所有卷积层及参数，并增加一层卷积核大于上一级别最大卷积核的卷积层，各级别输出的特征图尺寸与所述初始ct图像相同，且具有复数的通道数，将所有级别输出的特征图进行叠加，生成全局信息补充特征图；将所述融合特征解码器生成的ct重建图像和所述全局信息补充模块生成的全局信息补充特征图进行拼接，经过卷积层进行通道数合并，输出最终ct重建图像；
s4，训练深度融合神经网络，在训练过程中使用模拟退火进行人工衰减，损失函数由平均绝对误差和结构相似性误差组合而成；s5，将相同稀疏视角采样的ct投影测量数据输入训练好的深度融合神经网络中，得到ct重建图像。
7.进一步地，对ct扫描所获得的投影测量数据或计算机生成的仿真图像进行拉东正变换后得到的投影测量数据进行滤波反投影计算，得到初始ct图像。具体地，ct扫描所需要的物理参数包括：探测器位置、尺寸、采样间隔、射线源位置、采集角度和重建图像的尺寸，从而得到稀疏采样的投影测量数据；对计算机生成的仿真图像进行拉东正变换时可调整并模拟采集视角的稀疏度，生成不同稀疏度的投影测量数据。
8.进一步地，所述初始ct图像编码器逐级别提取输入的初始ct图像的特征并下采样；每一级别的特征提取操作按批量标准化层、卷积层、激活函数层、卷积层顺序执行，并使用最大池化层进行下采样；末级通过dropout层输出提取的深层图像特征。
9.进一步地，所述融合特征解码器逐级别对深层混合特征进行解码；每一级别的解码操作按批量标准化层、上采样层、卷积层顺序执行；每一级别的上采样层输出与初始ct图像编码器的同级别输出特征进行长跳跃式连接；末级通过上采样层和dropout层，dropout层输出与初始ct图像进行长跳跃式连接，最后通过卷积层输出与初始ct图像张量尺寸相同的ct重建图像。
10.进一步地，所述投影测量数据编码器逐级别提取输入的ct投影测量数据的特征并下采样；每一级别的特征提取操作按卷积层、激活函数层顺序执行；第一级别的激活函数层输出和第二级别的激活函数层输出进行跳跃连接；末级通过dropout层输出提取的正弦特征。
11.进一步地，所述全局信息补充模块由多个卷积层组成，分为依次连接的三个级别；第一级别包含一个卷积层，卷积核为1*1，步长为1，通道数为32；第二级别包含两个卷积层，卷积核分别为1*1、3*3，步长均为1，通道数均为32；第三级别包含三个卷积层，卷积核分别为1*1、3*3、5*5，步长均为1，通道数均为32；将三个级别输出的特征图进行叠加，通过卷积核为3*3，步长为1，通道数为1的卷积层，得到全局信息补充特征图。
12.进一步地，所述损失函数由平均绝对误差和结构相似性误差加权求和得到，公式如下：其中和是权重超参数，且，为金标准图像，为深度融合神经网络输出的ct重建图像，为结构相似性函数。
13.进一步地，所述深度融合神经网络采用adam优化算法进行训练，学习率使用模拟退火进行人工衰减，每经过最大训练轮数的四分之一，下一轮的学习率下降为当前学习率的二分之一。
14.进一步地，所述下采样采用带步长(stride)的卷积运算；所述深层特征融合模块的拼接操作采用拼接(concatenate)算子实现。
15.根据本发明的第二方面，提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于深度融合神经网络的稀疏视角ct成像方法的步骤。
16.根据本发明的第三方面，提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于深度融合神经网络的稀疏视角ct成像方法的步骤。
17.本发明的有益效果是：本发明利用神经网络图像映射的方法，以稀疏视角采样的ct投影测量数据和初始ct图像为输入，充分挖掘利用输入数据的深层潜在特征，并将深层潜在特征进行拼接融合，从而有效的提高了网络模型提取和使用有效特征的能力，通过融合特征解码器得到高质量的ct重建图像，采样全局信息补充模块生成全局信息补充特征图对网络运算过程中遗失的全局特征进行补全；其次，本发明避免了使用全连接层，在保证高质量重建图像的前提下，有效降低了神经网络的参数规模；最后，跳跃连接、dropout层和卷积层间的激活函数的使用避免了梯度消失和过拟合的问题，增加网络训练的收敛稳定性。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的基于深度融合神经网络的稀疏视角ct成像方法流程图；图2是本发明实施例提供的在输入为64个稀疏视角采样下ct图像重建的深度融合神经网络架构图；图3是实施例中输入的一组数据实例：ct投影测量数据（左）和初始ct图像（右）；图4是重建图像的可视化对比实例：经过归一化处理后的传统滤波反投影重建图像、本发明重建图像、金标准图像、滤波反投影重建图像与金标准图像的误差分布、本发明重建图像与金标准图像的误差分布；图5是图4中感兴趣域局部放大的可视化对比实例：滤波反投影重建图像、本发明重建图像、滤波反投影重建图像与金标准图像的误差分布、本发明重建图像与金标准图像的误差分布。
具体实施方式
20.为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
21.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
22.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
23.本发明提供一种基于深度融合神经网络的稀疏视角ct成像方法，如图1所示，该方法包括以下步骤：s1，获取稀疏视角的ct投影测量数据降低单次ct扫描的照射剂量；s2，对所述ct投影测量数据使用滤波反投影法得到初始ct图像；s3，构建深度融合神经网络，所述深度融合神经网络包括五个部分：初始ct图像编码器、投影测量数据编码器、深层特征融合模块、融合特征解码器和全局信息补充模块；所述初始ct图像编码器用于提取所述初始ct图像的深层图像特征；所述投影测量数据编码器用于提取所述ct投影测量数据的正弦特征；所述深层特征融合模块采用拼接操作，融合所述深层图像特征和所述正弦特征，得到深层混合特征；所述融合特征解码器用于解码所述深层混合特征，生成与所述初始ct图像张量尺寸相同的ct重建图像；所述全局信息补充模块由多个卷积层组成，分为若干级别，各级别依次连接，当前级别包含上一级别的所有卷积层及参数，并增加一层卷积核大于上一级别最大卷积核的卷积层，各级别输出的特征图尺寸与所述初始ct图像相同，且具有复数的通道数，每个级别中卷积核的大小有所不同，其对初始ct图像进行特征提取时的感受野不同，提取到的特征更加全面，将所有级别输出的特征图进行叠加，生成全局信息补充特征图；将所述融合特征解码器生成的ct重建图像和所述全局信息补充模块生成的全局信息补充特征图进行拼接，经过卷积层进行通道数合并，输出最终ct重建图像；s4，训练深度融合神经网络，在训练过程中使用模拟退火进行人工衰减，损失函数由平均绝对误差和结构相似性误差组合而成；s5，将相同稀疏视角采样的ct投影测量数据输入训练好的深度融合神经网络中，得到ct重建图像。
24.在一个实施例中，初始ct图像编码器逐级别提取输入的初始ct图像的特征并下采样；每一级别的特征提取操作按批量标准化层、卷积层、激活函数层、卷积层顺序执行，并使用最大池化层进行下采样；末级通过dropout层输出提取的深层图像特征。
25.在一个实施例中，投影测量数据编码器逐级别提取输入的ct投影测量数据的特征并下采样；每一级别的特征提取操作按卷积层、激活函数层顺序执行；第一级别的激活函数层输出和第二级别的激活函数层输出进行跳跃连接；末级通过dropout层输出提取的正弦特征。
26.在一个实施例中，融合特征解码器逐级别对深层混合特征进行解码；每一级别的解码操作按批量标准化层、上采样层、卷积层顺序执行；每一级别的上采样层输出与初始ct图像编码器的同级别输出特征进行长跳跃式连接；末级通过上采样层和dropout层，dropout层输出与初始ct图像进行长跳跃式连接，最后通过卷积层输出与初始ct图像张量尺寸相同的ct重建图像。
27.在一个实施例中，损失函数由平均绝对误差和结构相似性误差加
权求和得到，公式如下：其中和是权重超参数，通过深度融合神经网络训练获得，且，为金标准图像，为深度融合神经网络输出的ct重建图像，为结构相似性函数。
28.在一个实施例中，采用如图2所示的深度融合神经网络结构，使用的数据为4000张乳腺ct数据图，并由其中3460张图片组成训练集，500张图片组成验证集，40张图片组成测试集。其中仿真数据的物理参数为：64个均匀分布在圆周上的视角采样，接收器阵元为512个，图像区域大小为，包含512*512个像素。深度融合神经网络训练使用的硬件为：teslav100 gpu一个，32gb内存，6核cpu的云计算资源。本方法适用于所有32-128个稀疏视角采样的投影数据，以下步骤为64个稀疏视角采样的实施案例：步骤一：获取64个稀疏视角采集的ct投影测量数据（图3左），进行归一化处理后，获得图像尺寸为512*64*1的投影图。
29.步骤二：对ct投影测量数据使用滤波反投影法得到初始ct图像，选取hamming滤波器，由ramp-lak滤波器和hamming窗卷积得到，用以降低ramp-lak滤波器直接截断高频部分所造成的震荡效应。对初始ct图像进行归一化处理，获得图像尺寸为512*512*1（图3右）。
30.步骤三：使用初始ct图像编码器提取初始ct图像的深层图像特征。初始ct图像编码器共有21层，网络结构依次为批量标准化层、卷积层（卷积核为4*4）、激活函数层、卷积层（卷积核为2*2）和最大池化层，并依照此顺序循环4次之后，最后一层为dropout层。上述循环每进行1次，特征空间的通道数分别增加为32、64、128、256，采用零填充（zero-padding）保持卷积前后的其他空间特征的维度；激活函数层使用参数为0.2的带泄露的整流线性函数（leakyrelu）；最大池化层的核大小为2*2，步长为2*2；dropout层的参数设为30%。
31.步骤四：使用投影测量数据编码器提取ct投影测量数据的正弦特征。投影测量数据编码器的网络结构为卷积层和激活函数层，并依照此顺序循环5次，共计10层。其中第一个激活函数层的输出和第二个激活函数层的输出进行跳跃连接。卷积层的卷积核为4个2*2和1个4*4，步长分别为2*1、1*1、2*1、2*1和1*1，每次循环中卷积层通道数分别为32、32、128、256、256，激活函数层使用参数为0.2的leakyrelu。
32.步骤五：使用深层特征融合模块对ct投影测量数据和初始ct图像的深层特征在通道张量上进行拼接操作，得到深层混合特征作为融合特征解码器的输入。
33.步骤六：利用融合特征解码器解码深层混合特征，生成与初始ct图像张量尺寸相同的ct重建图像，即目标断层图像。其中融合特征解码器的网络结构为批量标准化层、上采样层（2*2卷积核）、与初始ct图像编码器对应级别的长跳跃式连接和2个卷积层（卷积核为 4*4和2*2），并依照此顺序循环3次后（通道数依次为128、64和32），再加1个上采样层（卷积核为1*1）、1个dropout层、1个与初始ct图像相连的长跳跃式连接和2个卷积层（卷积核均为4*4，通道数分别为32和1），输出与初始ct图像张量尺寸相同的ct重建图像；dropout层的参
数设为30%。
34.步骤七：为了进一步避免初始ct图像在编码和解码的过程中丢失全局信息，初始ct图像通过全局信息补充模块，输出全局信息补充特征图，并与融合特征解码器的输出拼接，经过卷积层进行通道数合并，输出最终ct重建图像。其中全局信息补充模块由多个卷积层组成，分为依次连接的三个级别；第一级别包含一个卷积层，卷积核为1*1，步长为1，通道数为32；第二级别包含两个卷积层，卷积核分别为1*1、3*3，步长均为1，通道数均为32；第三级别包含三个卷积层，卷积核分别为1*1、3*3、5*5，步长均为1，通道数均为32；将三个级别输出的特征图进行叠加，通过卷积核为3*3，步长为1，通道数为1的卷积层，得到全局信息补充特征图。
35.步骤八：训练深度融合神经网络，使用adam优化算法，初始学习率设为0.0004，衰减率为0.9，同时使用模拟退火进行人工衰减，即每经过最大训练轮数（epoch）的四分之一，下一轮的学习率下降为当前学习率的二分之一；损失函数使用自定义的混合损失函数，总损失函数由平均绝对误差和结构相似性误差加权求和得到，公式如下：其中权重超参数，，为金标准图像，为深度融合神经网络输出的ct重建图像，为结构相似性函数。通过adam优化损失函数后，反向传播梯度信息至解码器和两个编码器，并更新整个网络各层中的参数值。
36.步骤九：批量使用ct投影测量数据和对应的初始ct图像对网络进行训练，并重复步骤四、五、六、七、八直至网络收敛，损失函数的值逐渐变小且稳定。
37.步骤十：训练和验证同时收敛后，保存网络模型结构及其超参数，相同稀疏视角采样的ct投影测量数据需要图像重建时，可以读取网络模型后输入数据，直接进行高精度图像重建。
38.本实施例选取的重建图像质量的量化评价指标为均方根误差（rmse）、峰值信噪比（psnr）和结构相似性指标（ssim）。图4从左到右，从上到下分别展示了64个视角采样的滤波反投影重建图像、本方法重建图像、金标准图像、滤波反投影重建图像与金标准图像的误差分布和本方法重建图像与金标准图像的误差分布。图5中展示感兴趣域局部放大的可视化结果，分别为64个视角采样的滤波反投影重建图像（左上）、本方法重建图像（右上）、滤波反投影重建图像与金标准图像的误差分布（左下）和本方法重建图像与金标准图像的误差分布（右下）。滤波反投影法所重建的图像质量指标：rmse=0.057、psnr=24.91、ssim=0.608；本方法所重建的图像质量指标：rmse=0.005、psnr=46.12、ssim=0.996。由此例可知，与滤波反投影法相比，本发明使重建图像质量指标的rmse降低了10.4倍，psnr提高了85%，ssim提高了63.8%。
39.在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有
计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中基于深度融合神经网络的稀疏视角ct成像方法中的步骤。
40.在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中基于深度融合神经网络的稀疏视角ct成像方法中的步骤。其中，存储介质可以为非易失性存储介质。
41.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
42.以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。