一种快速核磁共振图像重建方法及装置

1.本发明涉及核磁共振成像领域，尤其是涉及一种快速核磁共振图像重建方法及装置。


背景技术：

2.相比于其他医学影像技术，核磁共振成像(mri)在疾病的诊断上展现出很大的优越性。能敏感地探测出不同组织结构中的水含量，获取高清人体组织结构图，并且没有电离辐射，对机体不会产生不良影响。但是在临床应用中，它最大的局限性在于成像速度慢。常规的腹部核磁共振成像需要10-30分钟的扫描时间，这使得它无法适用于需要快速得到结果的危重病患者。普通病人在进行成像时，长时间的等待加大了身体移动的可能。身体的移动会带来mri成像结果的伪影，造成成像质量的降低甚至误诊，并且难以恢复。因此，更短的扫描时间一直以来是核磁共振技术发展的重要方向。
3.基于欠采样的快速核磁共振成像技术是主要的加速方案之一，即通过欠采样来加速扫描，同时利用重建算法对欠采样信号进行重建。欠采样会导致图像中出现混叠伪影，重建算法需要对伪影进行去除，以恢复清晰的图像。混叠伪影的影响通常是全局的。然而，目前大部分基于深度学习的重建网络都使用卷积神经网络进特征提取，依赖对局部特征的建模进行复原，复原效果不佳，难以有效去除伪影。
4.需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本发明的目的在于克服上述背景技术基于欠采样的快速核磁共振成像技术难以有效去除伪影的缺点，提供一种快速核磁共振图像重建方法。
6.为实现上述目的，本发明采用以下技术方案：
7.一种快速核磁共振图像重建方法，包括如下步骤：
8.s1、从欠采样k空间原始欠采样信号出发，首先使用级联的卷积层在k空间进行插值以预测k空间中欠采样的部分，完成k空间的复原；
9.s2、然后经反傅里叶变换到图像域，利用transformeru-net在图像域对图像域复原信息进行复原；
10.s3、最后经过数据一致性模块保证采样信号一致性，到此就完成了一个循环的重建。
11.在一些实施例中，还包括步骤：s4、进入下一个循环：将dc层的输出经傅里叶变换到k空间得到新的频域复原信息作为下一个循环的输入。
12.在一些实施例中，还包括步骤：s5、结束循环，则将dc层的输出作为最终的复原结果；其中循环次数是可调节的超参数。
13.在一些实施例中，快速核磁共振图像重建循环次数为2。
14.在一些实施例中，各个循环内的网络不共享参数；整个重建过程是在k空间和图像域交替地进行。
15.在一些实施例中，核心的复原模块transformer u-net是一个三层的u-net结构，由三层编码器和三层解码器构成。
16.在一些实施例中，针对100～500尺寸的mri图像，编码器部分初始特征通道数为32，每一层将图像大小缩小两倍，通道数增加两倍；解码器部分的每一层将图像大小扩大两倍，通道数缩小两倍；相同层级的encoder和decoder之间使用跳跃链接进行特征交互。
17.在一些实施例中，在数据一致性模块中，使用数据一致性对重建结果进行约束：在每次循环中，图像经过transformeru-net复原之后都使用数据一致性模块进矫正。
18.在一些实施例中，使用数据一致性对重建结果进行约束包括：在数据一致性模块中首先将重建的图像x
refine
经傅里叶变换至频域得到k
cnn
，再通过如下的公式和原始欠采样信号ku加权，最后将加权的频域信号k
rec
经反傅里叶变换至图像域，得到数据一致性模块的矫正结果；在已采样区域，进行如下加权：
[0019][0020]
其中j是二维k空间坐标；k
rec
(j)，即频域信号k
rec
在位置j的值，是由相同位置的k
cnn
(j)和ku(j)加权而来；λ＝q/σ是权重调节因子，其中q是可调节超参数，σ是k空间高斯噪声的标准差。
[0021]
本发明还提供一种快速核磁共振图像重建装置，使用如上任一项所述重建方法重建图像。
[0022]
本发明具有如下有益效果：本发明提出了一种基于transformer的双域重建网络，该网络使用transformer作为特征提取基本模块，结合u-net(图像分割的卷积网络)结构进行图像域的复原，同时还利用k空间插值和数据一致性约束来进行双域重建。现有技术利用卷积神经网络依赖对局部特征建模，进行复原的有效感受野通常是有限的，而transformer的核心思想是全局自注意力机制，消除了有效感受野通常有限的问题。另外，本发明发现了现有技术的信号二次损伤现象，这是由于只在图像域重建导致的k空间原始采样信号被错误预测，本发明通过数据一致性模块和双域重建，将信号二次损伤现象有效抑制。
[0023]
实验证明，经过本发明重建方法重建而成的图像有效的去除了伪影，提升欠采样的快速核磁共振成像的成像质量，在不降低图像质量的情况下将核磁共振成像速度加速四倍。
附图说明
[0024]
图1是本发明实施例中快速核磁共振图像重建方法流程图；
[0025]
图2是本发明实施例中在三种欠采样模式(低频采样、变密度泊松采样、随机采样)观测结果中的混叠伪影图；
[0026]
图3是本发明实施例中基于transformer的双域循环重建网络重建图像流程图；
[0027]
图4是本发明实施例中欠采样核磁共振重建图像流程图；
[0028]
图5是本发明实施例中二次损伤可视化对比图；
[0029]
图6是本发明实施例中在三种采样模式下四种重建网络的重建图像性能对比图；
[0030]
图7是本发明实施例中三种重建网络的重建图像与真值图像的可视化对比图；
[0031]
图8是本发明实施例中消融实验对比图。
具体实施方式
[0032]
以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
[0033]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0034]
实施例：
[0035]
如图1所示，本实施例使用transformer作为特征提取基本模块，结合u-net(图像分割的卷积网络)结构进行图像域的复原，同时还利用k空间插值和数据一致性约束来进行双域重建。
[0036]
图2为对点光源进行观测、在三种欠采样模式(低频采样、变密度泊松采样、随机采样)观测结果中的混叠伪影，伪影出现在了图像的大部分区域，说明混叠伪影的影响通常是全局的。如图4所示，在本发明的快速核磁共振图像重建方法中，首先通过核磁共振扫描仪欠采样得到欠采样k空间数据，再将欠采样k空间作为输入信号给重建网络(transformer-u-net)，重建网络根据欠采样信息进行重建复原，输出重建图像，本实施例使用膝盖核磁共振数据集进行了四倍加速重建实验，对应了在k空间的1/4欠采样。
[0037]
如图3所示，图像重建从欠采样k空间ku(原始欠采样信号)出发，首先使用级联的卷积层在k空间进行插值以预测k空间中欠采样的部分，完成k空间的复原。然后经反傅里叶变换到图像域，利用transformer u-net在图像域对x
refine
(图像域复原信息)进行复原。最后经过dc(data consistency数据一致性)模块保证采样信号一致性。到此就完成了一个循环的图像重建，接着进入下一个循环，将dc层的输出经傅里叶变换到k空间得到新的k
refine
(频域复原信息)作为下一个循环的输入，2次循环后结束循环，将dc层的输出作为最终的复原结果。循环次数是可调节的超参数，次数越多效果越好，但重建耗时也会更长。本发明在效果和耗时权衡下，选取循环次数为2。各个循环内的网络不共享参数。整个重建过程是在k空间和图像域交替地进行，其中核心的复原模块是transformer u-net，因此我们称之为基于transformer的双域循环重建网络(tdrn)。transformer u-net是一个三层的u-net结构，由三层encoder(编码器)和三层decoder(解码器)构成。mri图像尺寸通常为100～500，在实施中选取320x320大小的图像，对应的k空间是320x320的矩阵。encoder部分初始特征通道数为32，每一层将图像大小缩小两倍，通道数增加两倍。decoder(解码器)部分的每一层将图像大小扩大两倍，通道数缩小两倍。相同层级的encoder和decoder之间使用跳跃链接进行特征交互。跳跃链接是一种简单有效的特征交互方式，被证明可以缓解因网络深度而出现的梯度消失问题，广泛应用于深度神经网络中。
[0038]
重建网络在对图像进行重建时，可能会错误预测k空间原采样信号，造成频域观测值的不一致，这种现象我们称其为信号二次损伤，广泛存在于基于深度学习的重建网络中。为了防止对信号的二次损伤，使用了数据一致性对重建结果进行约束。具体地，在每次循环
中，图像经过transformer u-net复原之后都使用数据一致性模块(dc)进矫正。在数据一致性模块中首先将重建的图像x
refine
经傅里叶变换至频域得到k
cnn
，再通过如下的公式和原始欠采样信号ku加权，最后将加权的频域信号k
rec
经反傅里叶变换至图像域，得到数据一致性模块的矫正结果。在已采样区域，进行如下加权：
[0039][0040]
其中j是二维k空间坐标。k
rec
(j)，即频域信号k
rec
在位置j的值，是由相同位置的k
cnn
(j)和ku(j)加权而来。λ＝q/σ是权重调节因子，其中q是可调节超参数，σ是k空间高斯噪声的标准差。λ根据采样信号噪声程度对加权过程进行调节，当λ趋近于正无穷时，等价于直接将已采样的地方替换为原信号。本发明取经验值λ＝100。在未采样区域，则维持预测值k
cnn
。
[0041]
如图4所示，对于四倍欠采样的信息，此复原网络可以有效复原清晰的图像，可以将扫描速度提升四倍。对于更高倍率的欠采样，图像质量会有所下降，需要权衡扫描速度和图像质量。
[0042]
如图5所示，使用变密度泊松盘采样作为欠采样模式进行重建时，重建网络tdrn中的信号二次损伤现象得到了良好抑制。
[0043]
对比例1：
[0044]
在重建中，除了使用本发明提出来的重建网络，还使用了常用的重建网络(u-net,kiki,restormer)进行对比。为了更全面地评估，使用了三种不同的欠采样策略，包含变密度泊松盘采样(poisson)、可学习采样(loupe)、后验自适应欠采样(spm)。使用三个常用的图像质量评价指标对重建结果进行评估，它们是nmse(标准均方差)、ssim(结构相似性)和psnr(峰值信噪比)。重建结果评估如图6所示，基于transformer的双域循环重建网络(tdrn)重建的图像具备比其他网络重建的图像有更好的图像性能，在不同的评价指标和不同的欠采样模式下均有一致的结果。图7是四倍加速下的可视化对比，从图像可视化来看，tdrn有优于restormer和kiki的重建图像质量，并且已经非常接近真值图像。
[0045]
对比例2:
[0046]
为了说明本发明提出方法中各个模块，包括双域重建机制、数据一致性模块的作用，本节开展了消融实验。具体地，一共进行了三组实验。第一组是不使用双域重建机制和数据一致性模块(setting1)；第二组在第一组的基础上加上了数据一致性模块(setting2)；第三组则在第二组的基础上加上了双域重建机制，也就是本发明提出来的完整方法(tdrn)。如图8所示，从整体评估指标来看，双域重建机制和数据一致性模块都有效提升了重建图像质量。
[0047]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0048]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0049]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0050]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0051]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。