一种基于双域交叉融合注意力的MRI重建方法和装置

本技术涉及磁共振成像领域，具体而言，涉及一种基于双域交叉融合注意力的mri重建方法和装置。

背景技术：

1、磁共振图像的采集过程不是直接采集图像信息，而是k空间数据。满足nyquist-shannon采样定理的前提下，k空间数据可以被视作频率域数据，k空间数据和图像数据之间由傅里叶变换操作关联。每当频率域数据被采集完成后，通过傅里叶逆变换转换为图像。由于硬件的限制，磁共振成像的图像清晰度很低。

技术实现思路

1、本技术实施例的目的在于提供一种基于双域交叉融合注意力的mri重建方法和装置，用以解决了现有技术存在的上述问题，可获取到高清晰度的mri图像。

2、第一方面，一种基于双域交叉融合注意力的mri重建方法，该方法可以包括：

3、所述方法应用于核磁共振检测仪中的处理器，所述处理器包括k空间域网络模型、图像域网络模型、自注意融合模块和交叉注意融合模块，所述方法包括：

4、获取待处理的频率域数据和所述频率域数据对应的空间域数据；所述频率域数据为所述核磁共振检测仪采集的k空间的数据；

5、采用所述图像域网络模型，对所述空间域数据进行多阶特征提取，得到每阶的第一特征；

6、采用所述k空间域网络模型，对所述频率域数据进行多阶特征提取，得到每阶的第二特征；其中，同阶的第一特征和第二特征存在对应关系；

7、采用所述交叉注意融合模块，对各阶的第一特征与第二特征进行处理，得到频率域融合结果和图像域融合结果；

8、采用所述自注意融合模块，对所述频率域融合结果和所述图像域融合结果进行融合处理，得到所述频率域数据对应的mri图像。

9、在一种可能的实现中，采用所述交叉注意融合模块，对各阶的第一特征与第二特征进行处理，得到频率域融合结果和图像域融合结果，包括：

10、遍历各阶的第一特征与第二特征，将当前处理的阶作为第一阶，执行以下步骤：

11、采用所述交叉注意融合模块，对第一阶的第一特征和第一阶的第二特征进行处理，得到第一交叉融合结果和第二交叉融合结果；

12、将所述第一交叉融合结果与第二阶的第一特征进行结合，得到第一结合结果；

13、将所述第二交叉融合结果与第二阶的第二特征进行结合，得到第二结合结果，所述第二阶是所述第一阶的下一阶；

14、将所述第一结合结果和所述第二结合结果进行交叉融合，得到第二阶的第一结合交叉融合结果和第二结合交叉融合结果，直至遍历到最后阶的第一特征与第二特征，得到最后阶的第一结合交叉融合结果和第二结合交叉融合结果；

15、将所述最后阶的第一结合交叉融合结果和第二结合交叉融合结果，分别确定频率域融合结果和图像域融合结果。

16、在一种可能的实现中，采用所述图像域网络模型，对所述空间域数据进行多阶特征提取，得到每阶的第一特征之后，所述方法还包括：

17、针对每阶的第一特征，通过深度可分离卷积生成

18、

19、

20、

21、其中，i表示不同阶、表示在所述图像域网络模型中i阶下的第一特征、表示为所述第一特征在图像域网络模型中i阶下的目标特征向量、表示为所述第一特征在图像域网络模型中i阶下的全部特征向量、表示i阶下所述第一特征对应的第一特征向量、dwconv表示为卷积神经网络中的操作。

22、在一种可能的实现中，采用所述k空间域网络模型，对所述频率域数据进行多阶特征提取，得到每阶的第二特征之后，所述方法还包括：

23、针对每阶的第二特征，通过深度可分离卷积生成

24、

25、

26、其中，i表示不同阶、表示在所述k空间域网络模型中i阶下的第二特征、表示为所述第二特征在k空间域网络模型中i阶下的目标特征向量、表示为所述第二特征在k空间域网络模型中i阶下的全部特征向量、表示i阶下所述第二特征对应的第二特征向量、dwconv表示为卷积神经网络中的操作、ift表示傅里叶逆变换。

27、在一种可能的实现中，采用所述交叉注意融合模块，对第一阶的第一特征和第一阶的第二特征进行处理，得到第一交叉融合结果，包括：

28、针对任一阶的第一特征，采用所述交叉注意融合模块，对所述第一特征中的与所述第二特征中的进行融合，得到第一矩阵

29、

30、其中，表示为所述第二特征在k空间域网络模型中i阶下的特征向量、表示为所述第一特征在图像域网络模型中i阶下的全部特征向量，表示为的转置；

31、将所述第一矩阵与图像域的所述第一特征向量的乘积进行归一和前馈处理，得到所述第一交叉融合结果。

32、在一种可能的实现中，采用所述交叉注意融合模块，对第一阶的第一特征和第一阶的第二特征进行处理，得到第二交叉融合结果，包括：

33、针对任一阶的第二特征，采用所述交叉注意融合模块，对所述第一特征中的与所述第二特征中的进行融合，得到第二矩阵

34、

35、其中，表示为所述第一特征在图像域网络模型中i阶下的特征向量、表示为所述第二特征在k空间域网络模型中i阶下的全部特征向量，表示为的转置；

36、将所述第二矩阵与k空间域的第二特征向量的乘积进行归一和前馈处理，得到所述第二交叉融合结果。

37、在一种可能的实现中，采用所述自注意融合模块，对所述频率域融合结果和所述图像域融合结果进行融合处理，得到所述频率域数据对应的mri图像，包括：

38、对所述频率域融合结果和所述图像域融合结果进行全局重建，得到全局重建结果x全局；

39、x全局＝safb(concat(dc(ximage),ift(dc((xk-space)))))

40、以及，对所述频率域融合结果和所述图像域融合结果进行局部重建，得到局部重建结果x局部；

41、x局部＝convnet(concat(dc(ximage),ift(dc((xk-space)))))

42、其中，ximage表示图像域融合结果、xk-space表示频率域融合结果；safb表示全局的自注意融合模块self attention fusion block，convnet表示局部的信息重建网络，concat表示按通道维度拼接，dc表示数据一致性层，ift表示傅里叶逆变换；

43、对所述全局重建结果和所述局部重建结果进行融合，得到所述频率域数据对应的mri图像。

44、第二方面，提供了一种基于双域交叉融合注意力的mri重建装置，该装置应用于核磁共振检测仪中的处理器，所述处理器包括k空间域网络模型、图像域网络模型、自注意融合模块和交叉注意融合模块，该装置包括：

45、获取单元，用于获取待处理的频率域数据和所述频率域数据对应的空间域数据；所述频率域数据为所述核磁共振检测仪采集的k空间的数据；

46、提取单元，用于采用所述图像域网络模型，对所述空间域数据进行多阶特征提取，得到每阶的第一特征；

47、所述提取单元，还用于采用所述k空间域网络模型，对所述频率域数据进行多阶特征提取，得到每阶的第二特征；其中，同阶的第一特征和第二特征存在对应关系；

48、处理单元，用于采用所述交叉注意融合模块，对各阶的第一特征与第二特征进行处理，得到频率域融合结果和图像域融合结果；

49、所述处理单元，还用于采用所述自注意融合模块，对所述频率域融合结果和所述图像域融合结果进行融合处理，得到所述频率域数据对应的mri图像。

50、第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

51、存储器，用于存放计算机程序；

52、处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。

53、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。

54、本技术提供一种基于双域交叉融合注意力的mri重建方法，该方法应用于核磁共振检测仪中的处理器，处理器可以包括k空间域网络模型、图像域网络模型、自注意融合模块和交叉注意融合模块。图像域网络模型重建的多阶特征被交叉注意融合模块融合指导后，可以被k空间域网络模型有效利用，通过交叉注意融合模块，k空间域网络模型重建的多阶特征也可以被图像域网络模型重建有效利用。同时，在重建过程中，重建的错误或冗余信息可以被有效去除，以更好地恢复丢失的信息并保留真实的结构和纹理。在图像域网络模型和k空间域网络模型的结尾添加了自注意融合模块，该模块被设计为有效地捕获图像域网络模型和k空间域网络模型的数据，并执行数据自适应内核预测，以增加自注意力模式的多样性，而不引入巨大的计算复杂性。通过该模块最终输出高清mri图像，实现了图像域网络模型和k空间域网络模型中数据的正确利用。在输出高清mri图像的同时，也提高了重建效率。