基于人工智能的肺部多核MRI双域超分辨率重建方法

基于人工智能的肺部多核mri双域超分辨率重建方法
技术领域
1.本发明属于成像技术领域，具体涉及基于人工智能的肺部多核mri双域超分辨率重建方法。


背景技术：

2.磁共振成像(magnetic resonance imaging,mri)具有非侵入、无放射性的特，可以在整体水平上提供丰富的结构和功能信息，在临床诊断和临床前研究等领域有着重要且广泛的应用[mehmet a,steen m,sebastian w,et al.magn.reson. med.,2019,439:453.]。质子(1h)是活体含量最高的磁共振可观测核，且具有最高的旋磁比，经典mri通常以质子(1h)作为成像观测核。而多核元素相比1h具有更大的化学位移范围，从而能够提供更全面的功能和代谢信息。近年来，磁共振可观测多核元素的mri能力正在不断被研究探索，特别地，针对于肺部 mri技术的发展。
[0003]
肺部疾病如慢性阻塞性肺部疾病(chronic obstructive pulmonary diseases, copd)、肺癌等是威胁我国人民生命健康的重大疾病。其中copd目前在国内有近1亿患者，肺癌的发病率及死亡率在全部恶性肿瘤中占17.9％及23.8％[https://gco.iarc.fr/]，居恶性肿瘤之首。[spinelli a,pellino g.brit.j. surg.,2020,107:785.]。多核mri技术有望为肺部重大疾病的诊断和治疗提供有效支持。
[0004]
然而，多核mri技术受限于采集数据量大、耗费时间长、超极化气体极化度在成像过程中不可恢复等因素，难以获取高质量的肺部多核磁共振数据。最近，深度学习在超分辨率图像重建领域取得了成功[wei.l,jia.h,narendra.a.ieeetrans.pattern anal.,2019,41:2599]，通过卷积神经网络训练成对的低分辨率及高分辨率图像，可有效将低分辨率数据提升为高分辨率数据，提升数据质量。尽管深度学习算法能够得到较高质量的超分辨率重建图像，但是，仍然需要大量高分辨率图像作为标签，多核mri易受噪声和伪影的影响，高质量的多核mri图像较少，较少的训练集数据难以提取到丰富的图像特征，影响最终的超分辨率重建结果。


技术实现要素：

[0005]
本发明的目的在于针对现有技术存在的上述缺陷，提供基于人工智能的肺部多核mri双域超分辨率重建方法，利用复值卷积层保留了k空间中的相位信息，同时学习分割和重建任务，使卷积神经网络能够充分利用多核数据的空间关联性，以及k空间域、图像域的双域信息，并学习更丰富的特征，有效提高图像超分辨率重建效果。
[0006]
本发明的上述目的通过以下技术方案实现：
[0007]
基于人工智能的肺部多核mri双域超分辨率重建方法，包括以下步骤：
[0008]
步骤1、构建训练集和测试集，训练集和测试集均包括多个样本对，样本对包括多核高分辨率k空间数据和对应的多核低分辨率k空间数据，将训练集中多核高分辨率k空间数据做傅里叶逆变换得到多核高分辨率图像，再将多核高分辨率图像取最大值，得到多核
高分辨率融合图像；
[0009]
步骤2、构建k空间重建网络；
[0010]
步骤3、将步骤1生成的训练集中多核低分辨率k空间数据输入到步骤2构建的k空间重建网络中得到重建多核k空间数据；
[0011]
步骤4、构建图像域重建网络；
[0012]
步骤5、将步骤3得到的重建多核k空间数据进行二维傅里叶反变换得到多核图像域数据，再将再将多核图像域数据取最大值，得到多核融合数据，将多核图像域数据及多核融合数据输入到步骤4构建的图像域重建网络中得到超分辨率多核重建图像及超分辨率多核融合图像ia，再将超分辨率多核重建图像取最大值进行融合，得到融合的超分辨率多核重建图像ib；
[0013]
步骤6、定义损失函数；
[0014]
步骤7、根据步骤6设定的损失函数，利用步骤1生成的训练集对步骤2中的k空间重建网络及步骤4中的图像域重建网络进行整体训练，训练完成后保存模型参数。
[0015]
如上所述的步骤2包括以下步骤：
[0016]
k空间重建网络包括级联的多个复值卷积层、多个relu激活层、一个上采样模块和一个k空间数据一致层，
[0017]
k空间重建网络中的上采样模块包括上采样层和复值卷积层，
[0018]
k空间重建网络的输入通道数为多核k空间数据中核的数目，
[0019]
k空间数据一致层的映射函数f(kdc)由下式表示：
[0020]
f(kdc)＝kr×
(1-mask1)+ku[0021]
其中，kr为k空间重建网络中上采样模块输出的k空间数据，ku为k空间重建网络输入的多核低分辨率k空间数据，mask1是中心区域数值为1，其余数值均为0的矩阵。
[0022]
如上所述的步骤4中图像域重建网络包括级联的多个残差模块、多个复值卷积模块、一个上采样模块和一个图像域数据一致层，
[0023]
残差模块包括多个复值卷积层及relu激活层，
[0024]
图像域重建网络中的上采样模块包括一个上采样层和复值卷积层，
[0025]
图像域数据一致层的映射函数f(idc)由下式表示：
[0026]
f(idc)＝ifft2(fft2(ir)
×
(1-mask2)+k
l
)
[0027]
其中，fft2和ifft2分别代表二维傅里叶变换和二维傅里叶反变换，ir为图像域重建网络的上采样模块输出的图像，k
l
为步骤3中的重建多核k空间数据， mask2是尺寸与步骤1中多核高分辨率图像尺寸相同的矩阵，中心区域的数值为 1，其余数值均为0。
[0028]
如上所述的步骤6中损失函数为以下五部分的任意组合，上述五部分分别为：步骤3中的重建多核k空间数据与步骤1中对应的多核高分辨率k空间数据之间的均方误差损失；步骤5中得到的超分辨率多核重建图像与步骤1中对应的多核高分辨率图像的平均绝对误差损失；步骤5中图像域重建网络输出的超分辨率多核融合图像ia与步骤1中对应的多核高分辨率融合图像之间的l1损失；步骤5 中图像域重建网络输出的超分辨率多核融合图像ia与步骤5中融合的超分辨率多核重建图像ib之间的l1损失；步骤1中对应的多核高分辨率融合图像与步骤 5中融合的超分辨率多核重建图像ib之间的l1损失。
[0029]
本发明相对于现有技术，具有以下有益效果
[0030]
本发明将低分辨率多核k空间数据直接输入到卷积神经网络模型(k空间重建网络+图像域重建网络)中，得到超分辨率重建图像，网络采用了复值卷积层，更好地利用了k空间数据中的相位信息。与传统的超分辨率重建方法相比，提升了对复值数据的利用效率，有助于提升重建精度。
[0031]
此外，通过图像融合思想，在网络及损失函数中约束对融合图像的重建效果，能够更好地利用多核信息关联性，不仅可以有效提升重建精度，还可挖掘多核数据融合后的价值。
附图说明
[0032]
图1是本发明的流程图。
[0033]
图2是k空间重建网络的结构示意图。
[0034]
图3是上采样模块结构示意图。
[0035]
图4是残差模块结构示意图。
[0036]
图5是测试集重建结果图。
具体实施方式
[0037]
为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0038]
如图1所示，一种基于人工智能的肺部多核mri双域超分辨率重建方法，具体包括以下步骤：
[0039]
步骤1、多核高分辨率(分辨率＝3mm)k空间数据(h、
129
xe核)和对应的多核低分辨率(分辨率＝12mm)k空间数据(h、
129
xe核)构成样本对，一部分样本对构成训练集，另一部分样本对构成测试集，上述多核高分辨率k空间数据(h、
129
xe核)和多核低分辨率k空间数据(h、
129
xe核)可以是现有历史数据。
[0040]
也可以通过以下方式获得：利用flash、3dbssfp序列扫描94例志愿者获得多核高分辨率k空间数据(h、
129
xe核)和对应的多核低分辨率k空间数据 (h、
129
xe核)，高分辨率k空间数据矩阵大小为96
×
96，层数为24，超分辨率方法相对于低分辨率数据提升倍数为4倍，即低分辨率k空间数据矩阵大小为 24
×
24，采样方式为笛卡尔采样。
[0041]
本实施例中，共获得929个由多核高分辨率k空间数据(h、
129
xe核)和对应的多核低分辨率k空间数据(h、
129
xe核)构成的样本对，其中801个样本对作为训练集，128个样本对作为测试集。
[0042]
之后，将训练集中多核高分辨率k空间数据(h、
129
xe核)做傅里叶逆变换得到多核高分辨率图像(h、
129
xe核)，再将多核高分辨率图像(h、
129
xe核) 取最大值，得到多核高分辨率融合图像(h、
129
xe核)。
[0043]
步骤2、构建k空间重建网络，k空间重建网络的结构示意图如图2所示， k空间重建网络包括级联的5个复值卷积层、4个relu激活层、一个上采样模块和一个k空间数据一致层。
[0044]
k空间重建网络中的上采样模块结构示意图如图3所示，包括1个上采样层， 1个复
值卷积层，上采样倍数为2。
[0045]
k空间重建网络的输入通道数为2，输出通道数为2。
[0046]
k空间重建网络中的复值卷积层的卷积核大小为3
×
3，通道数为64。
[0047]
k空间数据一致层的映射函数f(kdc)由下式表示：
[0048]
f(kdc)＝kr×
(1-mask1)+ku[0049]
其中，kr为k空间重建网络中上采样模块输出的k空间数据，ku为k空间重建网络输入的多核低分辨率k空间数据(h、
129
xe核)，mask1是一个尺寸为48
×
48 的矩阵，中心区域的24
×
24数值为1，其余数值均为0。
[0050]
步骤3、将步骤1生成的训练集中多核低分辨率k空间数据输入到步骤2 构建的k空间重建网络中得到重建多核k空间数据(h、
129
xe核)。
[0051]
步骤4、构建图像域重建网络，图像域重建网络包括级联的24个残差模块、 2个复值卷积层、一个上采样模块和一个图像域数据一致层。图像域重建网络中的复值卷积层结构如图2所示，图像域重建网络中的复值卷积层的结构与k空间重建网络中的复值卷积层相同，即图像域重建网络中的复值卷积层的卷积核大小为3
×
3，通道数为64，残差模块结构如图4所示，残差模块包括2个复值卷积层及1个relu激活层，残差模块中的每个复值卷积层的卷积核的大小为3
×
3，通道数为64。图像域重建网络中的上采样模块结构示意图如图3所示，包括一个上采样层和复值卷积层，上采样倍数为2。图像域重建网络的输入通道数为3，输出通道数为3。图像域数据一致层的映射函数f(idc)由下式表示：
[0052]
f(idc)＝ifft2(fft2(ir)
×
(1-mask2)+k
l
)
[0053]
其中，fft2和ifft2分别代表二维傅里叶变换和二维傅里叶反变换，ir为图像域重建网络的上采样模块输出的图像，k
l
为步骤3中的重建多核k空间数据 (h、
129
xe核)。mask2是一个尺寸为96
×
96的矩阵，中心区域的48
×
48数值为 1，其余数值均为0。
[0054]
步骤5、将步骤3得到的重建多核k空间数据(h、
129
xe核)进行二维傅里叶反变换得到多核图像域数据(h、
129
xe核)，再将再将多核图像域数据(h、
129
xe核)取最大值，得到多核融合数据(h、
129
xe核)。将多核图像域数据(h、
129
xe核)及多核融合数据(h、
129
xe核)输入到步骤4构建的图像域重建网络中得到超分辨率多核重建图像(h、
129
xe核)及超分辨率多核融合图像(h、
129
xe 核)ia。再将超分辨率多核重建图像(h、
129
xe核)取最大值进行融合，得到融合的超分辨率多核重建图像ib。
[0055]
步骤6、设定损失函数。网络的损失函数为以下五部分的任意组合，上述五部分分别为：步骤3中的重建多核k空间数据(h、
129
xe核)与步骤1中对应的多核高分辨率k空间数据(h、
129
xe核)之间的均方误差(l2)损失；步骤5中得到的超分辨率多核重建图像(h、
129
xe核)与步骤1中对应的多核高分辨率图像(h、
129
xe核)的平均绝对误差(l1)损失；步骤5中图像域重建网络输出的超分辨率多核融合图像(h、
129
xe核)ia与步骤1中对应的多核高分辨率融合图像(h、
129
xe核)之间的l1损失；步骤5中图像域重建网络输出的超分辨率多核融合图像(h、
129
xe核)ia与步骤5中融合的超分辨率多核重建图像ib之间的l1损失；步骤1中对应的多核高分辨率融合图像(h、
129
xe核)与步骤5中融合的超分辨率多核重建图像ib之间的l1损失。损失函数项还可根据实际情况做增加、修改、加权等。
[0056]
步骤7、根据步骤6设定的损失函数，利用步骤1生成的训练集对步骤2 中的k空间重建网络及步骤4中的图像域重建网络进行整体训练，学习率初始化为0.0001，20个epoch
之后乘以0.1，batch大小设置为50，epoch设置为500，使用adam优化器在tensorflow2.0平台上进行网络的训练，训练完成后保存模型参数。
[0057]
步骤8、将步骤1生成的测试集中的多核低分辨率k空间数据输入到步骤7 训练好的k空间重建网络及图像域重建网络中，得到重建图像并进行定量评价，如利用峰值信噪比(peak signal-to-noise ratio，psnr)，结构相似性(structuralsimilarity，ssim)等评价指标定量分析重建结果。
[0058]
图5展示了测试集中一低分辨率k空间数据(h、
129
xe核)的重建结果图，图像底部标注了psnr/sssim值。第一列为低分辨率图像(h、
129
xe核)，第二列为高分辨率图像(h、
129
xe核)，第三列为采用本发明方法的重建结果图。由结果图可以看出，本发明提供的一种基于人工智能的肺部多核mri双域超分辨率重建方法，能够从低分辨率多核k空间数据中重建出高质量的磁共振图像。
[0059]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。