一种图像处理方法、装置、设备及存储介质与流程

1.本技术实施例涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.随着医疗科技的发展以及医学图像拍摄的普及，目前普遍通过医学图像来了解患者身体当前的状态，其中，磁共振成像(magnetic resonance imaging，mri)可以通过高分辨率和高对比度的图像提供优质的参考信息。然而，与其他医学成像技术相比，mri需要相对较长的扫描时间。而较长的扫描时间可能会造成患者的不适，还会产生运动伪影进而影响mri图像的质量。
3.相关技术下，在磁共振成像过程中，接收线圈根据采样掩码(mask)采集欠采样k空间数据，然后基于欠采样k空间数据重建磁共振成像。然而，欠采样k空间数据存在信息缺失的问题，因此，基于欠采样k空间数据重建的mri图像的质量较差。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、设备及存储介质，用于提高重建mri图像的质量和效率。
5.一方面，本技术实施例提供了一种图像处理方法，该方法包括：
6.分别通过多个接收线圈获取相应的欠采样的初始数据；
7.采用级联的多个目标处理网络，分别对获得的多个初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络，以及，获得每个初始数据对应的目标复原图像时，执行以下操作：
8.针对首个目标处理网络，通过当前级联的图像复原网络对所述初始数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充；以及通过当前级联的频域补全网络对所述初始数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充；
9.针对每个非首个目标处理网络，执行以下操作：通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
10.一方面，本技术实施例提供了一种图像处理装置，该装置包括：
11.获取模块，用于分别通过多个接收线圈获取相应的欠采样的初始数据；
12.处理模块，用于采用级联的多个目标处理网络，分别对获得的多个初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络，以及，获得每个初始数据对应的目标复原图像时，执行以下操作：
13.针对首个目标处理网络，通过当前级联的图像复原网络对所述初始数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充；以及通过当前级联的频域补全网络对所述初始数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充；
14.针对每个非首个目标处理网络，执行以下操作：通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
15.可选地，所述处理模块具体用于：
16.对所述初始数据进行傅里叶逆变换，获得初始时域图像；
17.通过当前级联的图像复原网络对所述初始时域图像进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充。
18.可选地，所述处理模块还用于：
19.针对首个目标处理网络，还执行以下操作：
20.从所述初始数据中筛选出预设频率范围内的目标数据，并对所述目标数据进行傅里叶逆变换，获得初始线圈敏感度；
21.通过当前级联的敏感度估计网络，对所述初始线圈敏感度进行敏感度补充，并将获得的当前级联的线圈敏感度输入下一级联的频域补全网络进行频域信息补充。
22.可选地，所述处理模块具体用于：
23.对上一级联的频域补全网络输出的频域补全数据进行傅里叶逆变换和收缩操作，获得时域图像；
24.通过当前级联的图像复原网络，对所述时域图像以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
25.可选地，所述处理模块还用于：
26.针对每个非首个目标处理网络，还执行以下操作：
27.通过当前级联的频域补全网络，对上一级联的图像复原网络输出的复原图像进行频域信息补充，获得当前级联的频域补全数据；
28.通过当前级联的敏感度估计网络，对上一级联的频域补全网络输出的频域补全数据进行敏感度补充，获得当前级联的线圈敏感度。
29.可选地，所述处理模块具体用于：
30.对上一级联的图像复原网络输出的复原图像进行傅里叶变换和扩展操作，获得相应的待补全频域数据；
31.通过当前级联的频域补全网络，对所述待补全频域数据进行频域信息补充，获得当前级联的频域补全数据。
32.可选地，所述处理模块具体用于：
33.对获得的多个目标复原图像进行根平方和操作，获得目标重建图像。
34.可选地，还包括训练模块；
35.所述训练模块具体用于：
36.基于欠采样的样本数据集合，对级联的多个待训练处理网络进行联合迭代训练，输出所述多个目标处理网络，其中，在每次迭代训练过程中，执行以下操作：
37.通过所述多个待训练处理网络，分别对从样本数据集合中选取的多个样本数据进行信息补充操作，获得相应的预测复原图像和相应的预测频域补全数据，并基于获得的多个预测复原图像确定预测重建图像；
38.基于所述预测重建图像和获得的多个预测频域补全数据确定目标损失函数，并采用所述目标损失函数进行参数调整。
39.可选地，所述训练模块具体用于：
40.基于所述多个预测频域补全数据，以及所述多个样本数据对应的全采样样本数据，确定第一损失函数；
41.基于所述预测重建图像和相应的参考重建图像，确定第二损失函数，其中，所述参考重建图像是基于所述全采样样本数据构建的；
42.基于所述第一损失函数和所述第二损失函数，确定目标损失函数。
43.一方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法的步骤。
44.一方面，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述图像处理方法的步骤。
45.一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述图像处理方法的步骤。
46.本技术实施例中，采用级联的多个目标处理网络，分别对获得的多个欠采样的初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，在获得目标复原图像的过程中，多个目标处理网络中的图像复原网络、频域补全网络和敏感度估计网络在频域、图像域以及敏感信息维度进行交叉信息补充，获得更加全面的图像信息，故基于获得的更全面的图像信息进行图像重建时，有效提高目标重建图像的质量，同时提高获得目标重建图像的效率。
附图说明
47.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
48.图1为本技术实施例提供的一种系统架构的结构示意图；
49.图2为本技术实施例提供的一种图像处理方法的流程示意图；
50.图3为本技术实施例提供的一种网络结构示意图；
51.图4为本技术实施例提供的一种网络结构示意图；
52.图5为本技术实施例提供的一种网络结构示意图；
53.图6为本技术实施例提供的一种网络结构示意图；
54.图7为本技术实施例提供的一种网络结构示意图；
55.图8为本技术实施例提供的一种网络结构示意图；
56.图9为本技术实施例提供的一种网络结构示意图；
57.图10a为本技术实施例提供的一种图像处理方法的流程示意图；
58.图10b为本技术实施例提供的一种图像处理装置的结构示意图；
59.图11为本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
60.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
61.为了方便理解，下面对本发明实施例中涉及的名词进行解释。
62.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
63.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
64.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。比如，本技术实施例中采用机器学习技术重建磁共振成像(magnetic resonance imaging，简称mri)图像。
65.磁共振成像(mri)：是一种医学成像技术，使用磁场和计算机生成的无线电波来创建身体内器官和组织的详细图像。
66.k空间(k-space)：是在mri成像中傅里叶空间概念的延伸。k空间代表了一个物体的二维或三维的空间频率信息，由相位和频率编码数据所覆盖的空间来定义的。
67.多接收线圈：在多通道核磁共振成像中，每个接收线圈在采样掩码的指导下获取相应身体部位的欠采样k空间数据。由于欠采样k空间数据只被部分采样，所以扫描时间被缩短。mri图像是由所有接收线圈各自收集的欠采样k空间数据重建的。
68.下面对本技术实施例的设计思想进行介绍。
69.在磁共振成像过程中，为了降低mri扫描时间，多个接收线圈根据采样掩码，并行采集欠采样k空间数据，然后基于欠采样k空间数据重建磁共振成像。然而，欠采样k空间数据存在信息缺失的问题，因此，基于欠采样k空间数据重建的mri图像的质量较差。
70.通过分析发现，线圈敏感度可以作为补充信息对欠采样k空间数据进行信息补充。
而且深度学习方法在去噪、压缩感知、超分辨率等成像的逆问题上已经表现出卓越的性能。因此，若采用深度学习的方式，基于线圈敏感度对欠采样k空间数据进行多层级的信息补偿，获得补全k空间数据。进而基于补全k空间数据，预估获得重建的mri图像，将有效提高mri图像的质量。
71.鉴于此，本技术实施例提供了一种图像处理方法，该方法包括：分别通过多个接收线圈获取相应的欠采样的初始数据。然后采用级联的多个目标处理网络，分别对获得的多个初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络，以及，获得每个初始数据对应的目标复原图像时，执行以下操作：
72.针对首个目标处理网络，通过当前级联的图像复原网络对初始数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充；以及通过当前级联的频域补全网络对初始数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充。
73.针对每个非首个目标处理网络，执行以下操作：通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
74.本技术实施例中，采用级联的多个目标处理网络，分别对获得的多个欠采样的初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，在获得目标复原图像的过程中，多个目标处理网络中的图像复原网络、频域补全网络和敏感度估计网络在图像域、频域以及敏感信息维度进行交叉信息补充，获得更加全面的图像信息，故基于获得的更全面的图像信息进行图像重建时，有效提高目标重建图像的质量，同时提高获得目标重建图像的效率。
75.参考图1，其为本技术实施例适用的一种mri系统的系统架构图，该系统架构至少包括信号采集设备101和图像重建设备102。
76.信号采集设备101中包括多个射频(rdio frequency，简称rf)线圈，rf线圈朝向患者发射rf信号，并接收从患者发射出的mr信号。具体地，为了诱导原子核从低能态转变到高能态，rf线圈生成电磁波信号并将电磁波信号施加到患者，电磁波信号是与原子核的类型相对应的rf信号。当rf线圈生成的电磁波信号被施加到原子核时，原子核可以从低能态转变到高能态。然后，当rf线圈生成的电磁波消失时，施加了电磁波信号的原子核从高能态向低能态转变，从而发射具有拉莫尔频率(larmor frequency)的电磁波。rf线圈从患者身体中的原子核接收电磁波信号。
77.rf线圈根据采样掩码发送部分离散相位的rf信号序列，得到欠采样k空间数据。然后将欠采样k空间数据发送至图像重建设备102。
78.图像重建设备102采用级联的多个目标处理网络，分别对获得的多个欠采样k空间数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络，以及，获得每个欠采样k空间数据对应的目标复原图像时，执行以下操作：
79.针对首个目标处理网络，通过当前级联的图像复原网络对欠采样k空间数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域
信息补充；以及通过当前级联的频域补全网络对欠采样k空间数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充。
80.针对每个非首个目标处理网络，执行以下操作：通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
81.上述图像重建设备102可以是终端设备，也可以是服务器，其中，终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能车载设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。信号采集设备101与图像重建设备102可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
82.基于图1所示的系统架构图，本技术实施例提供了一种图像处理方法的流程，如图2所示，该方法的流程由计算机设备执行，该计算机设备可以是图1所示的图像重建设备102，包括以下步骤：
83.步骤s201，分别通过多个接收线圈获取相应的欠采样的初始数据。
84.具体地，接收线圈可以是rf线圈；针对每个接收线圈，接收线圈根据采样掩码(mask)，直接采集欠采样k空间数据作为初始数据；或者，接收线圈采集全采样k空间数据，然后对全采样k空间数据进行欠采样处理，获得欠采样k空间数据作为初始数据。
85.步骤s202，采用级联的多个目标处理网络，分别对获得的多个初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像。
86.具体地，多个目标处理网络组成的网络结构如图3所示，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络。由于欠采样k空间数据、复原图像、线圈敏感度均为复数形式，因此，图像复原网络、频域补全网络和敏感度估计网络的输入层均设置两个输入通道，分别为虚部输入通道和实部输入通道。图像复原网络、频域补全网络和敏感度估计网络可以是u-net等全卷积网络，也可以是其他形式的网络，对此，本技术不做具体限定。另外，上述步骤s201和步骤s202为对一组(slice)接收线圈获取的初始数据进行处理，获得目标重建图像的过程。重复执行上述步骤s201和步骤s202对其他组(slice)的接收线圈获取的初始数据进行处理，可以获得其他组接收线圈对应的目标重建图像。然后基于多组接收线圈对应的目标重建图像，获得三维的mri图像。
87.下面结合图3所示的网络结构，介绍首个目标处理网络对初始数据的处理过程，如图4所示：
88.针对首个目标处理网络，通过当前级联的图像复原网络对初始数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充。然后通过当前级联的频域补全网络对初始数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充。
89.具体地，对初始数据进行傅里叶逆变换(f-)，获得初始时域图像。然后通过首个目标处理网络中的图像复原网络对初始时域图像进行图像域信息补充，获得当前级联的复原
图像。将当前级联的复原图像进行傅里叶变换(f)后输入下一级联的频域补全网络(第二个目标处理网络中的频域补全网络)进行频域信息补充。
90.由于初始数据为欠采样k空间数据，即频域数据，因此可以直接将初始数据输入首个目标处理网络中的频域补全网络进行频域信息补充，获得当前级联的频域补全数据。将当前级联的频域补全数据输入下一级联的敏感度估计网络(第二个目标处理网络中的敏感度估计网络)进行敏感度补充，以及将当前级联的频域补全数据进行傅里叶逆变换后，输入至下一级联的图像复原网络(第二个目标处理网络中的敏感度估计网络)进行图像域信息补充。
91.在一些实施例中，如图5所示，针对首个目标处理网络，从初始数据中筛选出预设频率范围内的目标数据，并对目标数据进行傅里叶逆变换，获得初始线圈敏感度。通过当前级联的敏感度估计网络，对初始线圈敏感度进行敏感度补充，并将获得的当前级联的线圈敏感度输入下一级联的频域补全网络进行频域信息补充。
92.具体地，从欠采样k空间数据中筛选出低于预设频率的目标数据，然后通过对目标数据进行傅里叶逆变换，获得图像形式的初始线圈敏感度。再通过首个目标处理网络中的敏感度估计网络，对初始线圈敏感度进行敏感度补充，获得图像形式的当前级联的线圈敏感度。将线圈敏感度输入下一级联的频域补全网络(第二个目标处理网络中的频域补全网络)进行频域信息补充。
93.举例来说，如图6所示，首个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第二个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络
94.将欠采样k空间数据进行傅里叶逆变换(f-)，获得零填充图像(初始时域图像)。然后通过图像复原网络对零填充图像进行图像域信息补充，获得当前级联的复原图像。将当前级联的复原图像进行傅里叶变化后输入第二个目标处理网络中的频域补全网络
95.将欠采样k空间数据输入频域补全网络获得当前级联的频域补全数据。将当前级联的频域补全数据输入第二个目标处理网络中的敏感度估计网络以及将当前级联的频域补全数据进行傅里叶逆变换(f-)后输入第二个目标处理网络中的图像复原网络
96.从欠采样k空间数据中筛选出低于预设频率的目标频域数据，然后通过对目标频域数据进行傅里叶逆变换(f-)，获得图像形式的初始线圈敏感度。再通过首个目标处理网络中的敏感度估计网络对初始线圈敏感度进行敏感度补充，获得图像形式的当前级联的线圈敏感度。将当前级联的线圈敏感度输入第二个目标处理网络中的图像复原网络
97.本技术实施例中，采用频域补全网络对欠采样k空间数据进行频域信息补充，采用图像复原网络对欠采样k空间数据进行图像域信息补充，采用敏感度估计网络对欠采样k空间数据进行线圈敏感度补充，实现频域和图像域上的多维度的信息补充，获得更加完整的k空间数据，故基于完整的k空间数据进行图像重建时，可以有效提高重建图像的质量。
98.下面结合图3所示的网络结构，介绍非首个目标处理网络对初始数据的处理过程，如图7所示，包括以下步骤：
99.通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。通过当前级联的频域补全网络，对上一级联的图像复原网络输出的复原图像进行频域信息补充，获得当前级联的频域补全数据。通过当前级联的敏感度估计网络，对上一级联的频域补全网络输出的频域补全数据进行敏感度补充，获得当前级联的线圈敏感度。
100.具体地，对上一级联的频域补全网络输出的频域补全数据进行傅里叶逆变换和收缩操作，获得时域图像。然后通过当前级联的图像复原网络，对时域图像以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。若当前级联的图像复原网络位于最后一个目标处理网络，则将当前级联的复原图像作为用于重建图像的目标复原图像。若当前级联的图像复原网络不是位于最后一个目标处理网络，则将当前级联的复原图像进行傅里叶变换(f)后输入至下一个目标处理网络中的频域补全网络进行频域信息补充。
101.对上一级联的图像复原网络输出的复原图像进行傅里叶变换和扩展操作，获得相应的待补全频域数据。然后通过当前级联的频域补全网络，对待补全频域数据进行频域信息补充，获得当前级联的频域补全数据。若当前级联的频域补全网络不是位于最后一个目标处理网络，则将当前级联的频域补全数据输入至下一个目标处理网络中的敏感度估计网络进行敏感度补充，以及将当前级联的频域补全数据进行傅里叶逆变换(f-)后输入至下一个目标处理网络中的图像复原网络进行图像域信息补充。
102.通过当前级联的敏感度估计网络，对上一级联的频域补全网络输出的频域补全数据进行敏感度补充，获得当前级联的线圈敏感度。若当前级联的敏感度估计网络不是位于最后一个目标处理网络，则将当前级联的线圈敏感度输入至下一个目标处理网络中的图像复原网络进行图像域信息补充。
103.举例来说，如图8所示，首个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第二个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第三个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络
104.对首个目标处理网络中的频域补全网络输出的频域补全数据进行傅里叶逆变换(f-)和收缩操作，获得时域图像，并将时域图像输入第二个目标处理网络中的图像复原网络将首个目标处理网络中的敏感度估计网络输出的线圈敏感度输入图像复原网络图像复原网络基于输入的时域图像以及线圈敏感度，获得当前级联的复原图像。将当前级联的复原图像进行傅里叶变换(f)和扩展操作后，输入第三个目标处理网络中的频域补全网络
105.对首个目标处理网络中的图像复原网络输出的复原图像进行傅里叶变换(f)
和扩展操作，获得相应的待补全频域数据。然后将待补全频域数据输入第二个目标处理网络中的频域补全网络频域补全网络对待补全频域数据进行频域信息补充，获得当前级联的频域补全数据。之后再将当前级联的频域补全数据输入至第三个目标处理网络中的敏感度估计网络以及将当前级联的频域补全数据进行傅里叶逆变换(f-)和收缩操作后，输入至第三个目标处理网络中的图像复原网络
106.通过第二个目标处理网络中的敏感度估计网络对首个目标处理网络中的频域补全网络输出的频域补全数据进行敏感度补充，获得当前级联的线圈敏感度，再将当前级联的线圈敏感度输入第三个目标处理网络中的图像复原网络
107.本技术实施例中，采用级联的多个目标处理网络，分别对获得的多个欠采样的初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，在获得目标复原图像的过程中，多个目标处理网络中的图像复原网络、频域补全网络和敏感度估计网络在图像域、频域以及敏感信息维度进行交叉信息补充，获得更加全面的图像信息，故基于获得的更全面的图像信息进行图像重建时，有效提高目标重建图像的质量，同时提高获得目标重建图像的效率。
108.在一些实施例中，将最后一个目标处理网络中的图像复原网络输出的复原图像作为目标复原图像。然后对获得的多个目标复原图像进行根平方和操作，获得目标重建图像，具体如以下公式(1)所示：
[0109][0110]
其中，n表示接收线圈的数量，xi表示第i个接收线圈对应的目标复原图像。
[0111]
举例来说，如图9所示，首个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第二个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第三个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第三个目标处理网络为最后一个目标处理网络。
[0112]
将欠采样k空间数据进行傅里叶逆变换(f-)后输入图像复原网络图像复原网络进行图像域信息补充后输出第一级联的复原图像。将第一级联的复原图像进行傅里叶变换(f)后输入频域补全网络
[0113]
将欠采样k空间数据输入频域补全网络获得第一级联的频域补全数据。将第一级联的频域补全数据输入敏感度估计网络以及将第一级联的频域补全数据进行傅里叶逆变换(f-)后输入图像复原网络
[0114]
从欠采样k空间数据中筛选出低于预设频率的目标频域数据，然后通过对目标频域数据进行傅里叶逆变换(f-)输入敏感度估计网络获得第一级联的线圈敏感度。将第
一级联的线圈敏感度输入图像复原网络
[0115]
图像复原网络基于第一级联的频域补全数据和第一级联的线圈敏感度，获得第二级联的复原图像，将第二级联的复原图像进行傅里叶变换(f)后输入频域补全网络
[0116]
频域补全网络进行频域信息补充后，输出第二级联的频域补全数据。将第二级联的频域补全数据输入敏感度估计网络以及将第二级联的频域补全数据进行傅里叶逆变换(f-)后输入图像复原网络
[0117]
敏感度估计网络进行线圈敏感度补充后，输出第二级联的线圈敏感度。将第二级联的线圈敏感度输入图像复原网络
[0118]
图像复原网络基于第二级联的频域补全数据和第二级联的线圈敏感度，输出第三级联的复原图像。然后对多个第三级联的复原图像进行根平方和操作(rss)，获得目标重建图像。
[0119]
本技术实施例中，在获得多个接收线圈各自对应的目标复原图像后，对多个目标复原图像进行根平方和操作，获得目标重建图像，使得目标重建图像中的图像信息分布更加均匀，从而提高目标重建图像的质量。
[0120]
在介绍完通过多个目标处理网络获得目标重建图像之后，下面介绍多个目标处理网络的联合训练过程，包括以下步骤：
[0121]
基于欠采样的样本数据集合，对级联的多个待训练处理网络进行联合迭代训练，输出多个目标处理网络，其中，在每次迭代训练过程中，执行以下操作：通过多个待训练处理网络，分别对从样本数据集合中选取的多个样本数据进行信息补充操作，获得相应的预测复原图像和相应的预测频域补全数据，并基于获得的多个预测复原图像确定预测重建图像。然后基于预测重建图像和获得的多个预测频域补全数据确定目标损失函数，并采用目标损失函数进行参数调整。
[0122]
具体地，欠采样的样本数据同样也是欠采样k空间数据，多个样本数据对应不同的接收线圈。以端到端的方式，采用结构相似性(ssim)损失函数和均方误差(mse)损失函数进行训练。在训练过程中，将k空间和图像域中复数形式的数据划分为实部和虚部后，相应输入至网络中的实部输入通道和虚部输入通道。
[0123]
在一些实施例中，基于多个预测频域补全数据，以及多个样本数据对应的全采样样本数据，确定第一损失函数，具体如以下公式(2)所示：
[0124][0125]
其中，nk是样本数据集合中的样本数量，k
t
表示最后一个级联的待训练处理网络输出的预测频域补全数据，kn表示全采样样本数据(全采样k空间数据)。
[0126]
基于预测重建图像和相应的参考重建图像，确定第二损失函数，具体如以下公式(3)所示：
[0127]
[0128]
其中，n
x
是对样本数据集合中的样本数据进行傅里叶逆变换后获得的样本图像的数量，x
t
表示预测重建图像，xn表示参考重建图像，参考重建图像是基于全采样样本数据构建的。
[0129]
基于第一损失函数和第二损失函数，确定目标损失函数，具体如以下公式(4)所示：
[0130][0131]
其中，θ＝{θ
x
,θk,θs}，θ
x
表示图像复原网络中的网络参数，θk表示频域补全网络中的网络参数，θs表示敏感度估计网络中的网络参数，表示目标损失函数。
[0132]
举例来说，设定级联的待训练处理网络为10个，每个待训练处理网络中的图像复原网络、频域补全网络和敏感度估计网络均为u-net网络，u-net网络中包括压缩路径和扩展路径，其中，压缩路径包括四个卷积块，每个卷积块中包括二维卷积层、激活层、归一化层和最大池化层，激活层的负斜率系数为0.2，二维卷积层的卷积核大小为3
×
3。扩展路径包括四个卷积块，每个卷积块中包括二维卷积层、激活层、归一化层和上采样层，激活层的负斜率系数为0.2，二维卷积层的卷积核大小为3
×
3。特征图的数量分别从32、32和4开始，在最大池化层后翻倍，在上采样层后减半。
[0133]
k空间和图像域中复数形式的样本数据经过实部和虚部的并置后，分别通过实部输入通道和虚部输入通道输入图像复原网络、频域补全网络和敏感度估计网络进行运算。然后采用上述公式(4)计算目标损失值，并将目标损失值反传给多个级联的待训练处理网络。通过最小化目标损失值的方式更新多个级联的待训练处理网络，使得预测重建图像与参考重建图像越来越相似，预测频域补全数据与全采样样本数据之间的数据差异越来越小。另外，为了优化网络参数的调整过程，采用使用adam算法优化和训练网络，其初始学习率为1.0
×
10-4
，并随着epoch递减。
[0134]
本技术实施例中，基于多个预测频域补全数据以及多个样本数据对应的全采样样本数据确定频域的误差，以及基于预测重建图像和相应的参考重建图像，确定时域的误差，然后联合频域的误差和时域的误差，获得用于对模型参数进行调整的目标损失函数，故在训练过程中处理网络逐步兼顾时域预测和频域预测，从而提高训练获得的处理网络的性能。
[0135]
在一些实施例中，为了保证处理网络预测的准确性的前提下，兼顾模型对多样性数据的泛化性，本技术实施例在模型训练过程中引入正则项。
[0136]
具体地，采用以下公式(5)训练频域补全网络：
[0137][0138]
其中，k表示全采样样本数据，表示预测频域补全数据，x表示参考重建图像，表示收缩操作，表示傅里叶逆变换，表示训练频域补全网络对应的正则项。
[0139]
采用以下公式(6)训练图像复原网络：
[0140]
[0141]
其中，x表示参考重建图像，表示预测重建图像，m表示采样掩码，ε表示扩展操作，表示预测频域补全数据，表示傅里叶变换，表示图像复原网络对应的正则项。
[0142]
采用以下公式(7)训练敏感度估计网络：
[0143][0144]
其中，s表示真实线圈敏感度，表示预测线圈敏感度，表示敏感度估计网络对应的一致项。
[0145]
本技术实施例中，在联合训练频域补全网络、图像复原网络和敏感度估计网络的过程中引入正则项，从而保证处理网络预测的准确性的前提下，提高了模型对多样性数据的泛化性。
[0146]
为了更好地解释本技术实施例，下面结合具体实施场景介绍本技术实施例提供的一种图像处理方法，该方法的流程可以由图1所示的信号采集设备101和图像重建设备102执行，其中，信号采集设备101包括核磁共振检测机架、检查床和多个rf线圈，如图10a所示，包括以下步骤：
[0147]
患者平躺于检查床上时，在患者相应检查部位佩戴多个rf线圈，然后控制检查床移动进入核磁共振检测机架的容纳孔中。接着每个rf线圈根据采样掩码向患者发射部分离散相位的rf信号序列，并接收相应的欠采样k空间数据，之后再将多个欠采样k空间数据发送至图像重建设备102。图像重建设备102包括t+1个目标处理网络，其中，首个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第二个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络
…
；第t+1个目标处理网络包括图像复原网络频域补全网络和敏感度估计网络第t个目标处理网络为最后一个目标处理网络。图像重建设备102将接收的多个欠采样k空间数据划分对多个组(slice)，并针对每个组中的欠采样k空间数据，执行以下步骤：
[0148]
将欠采样k空间数据进行傅里叶逆变换(f-)后输入图像复原网络图像复原网络进行图像域信息补充后输出第一级联的复原图像。将第一级联的复原图像进行傅里叶变换(f)后输入频域补全网络
[0149]
将欠采样k空间数据输入频域补全网络获得第一级联的频域补全数据。将第一级联的频域补全数据输入敏感度估计网络以及将第一级联的频域补全数据进行傅里叶逆变换(f-)后输入图像复原网络
[0150]
从欠采样k空间数据中筛选出低于预设频率的目标频域数据，然后通过对目标频域数据进行傅里叶逆变换(f-)输入敏感度估计网络获得第一级联的线圈敏感度。将第一级联的线圈敏感度输入图像复原网络
[0151]
图像复原网络基于第一级联的频域补全数据和第一级联的线圈敏感度，获得
第二级联的复原图像，将第二级联的复原图像进行傅里叶变换(f)后输入频域补全网络
[0152]
频域补全网络进行频域信息补充后，输出第二级联的频域补全数据。将第二级联的频域补全数据输入敏感度估计网络以及将第二级联的频域补全数据进行傅里叶逆变换(f-)后输入图像复原网络
[0153]
敏感度估计网络进行线圈敏感度补充后，输出第二级联的线圈敏感度。将第二级联的线圈敏感度输入图像复原网络
[0154]
依次类推，图像复原网络基于第t级联的频域补全数据和第t级联的线圈敏感度，输出第t+1级联的复原图像。然后对多个第t+1级联的复原图像进行根平方和操作(rss)，获得一个组(slice)对应的二维解剖图像。
[0155]
将多个组(slice)对应的二维解剖图像合并，获得检查部位对应的三维mri图像，该三维mri图像可用于患者检查部位的诊断。
[0156]
本技术实施例中，采用级联的多个目标处理网络，分别对获得的多个欠采样的初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，在获得目标复原图像的过程中，多个目标处理网络中的图像复原网络、频域补全网络和敏感度估计网络在图像域、频域以及敏感信息维度进行交叉信息补充，获得更加全面的图像信息，故基于获得的更全面的图像信息进行图像重建时，有效提高目标重建图像的质量，同时提高获得目标重建图像的效率。
[0157]
基于相同的技术构思，本技术实施例提供了一种图像处理装置，如图10b所示，该装置1000包括：
[0158]
获取模块1001，用于分别通过多个接收线圈获取相应的欠采样的初始数据；
[0159]
处理模块1002，用于采用级联的多个目标处理网络，分别对获得的多个初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，每个目标处理网络包括图像复原网络、频域补全网络和敏感度估计网络，以及，获得每个初始数据对应的目标复原图像时，执行以下操作：
[0160]
针对首个目标处理网络，通过当前级联的图像复原网络对所述初始数据进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充；以及通过当前级联的频域补全网络对所述初始数据进行频域信息补充，并将获得的当前级联的频域补全数据输入下一级联的敏感度估计网络进行敏感度补充；
[0161]
针对每个非首个目标处理网络，执行以下操作：通过当前级联的图像复原网络，对上一级联的频域补全网络输出的频域补全数据，以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
[0162]
可选地，所述处理模块1002具体用于：
[0163]
对所述初始数据进行傅里叶逆变换，获得初始时域图像；
[0164]
通过当前级联的图像复原网络对所述初始时域图像进行图像域信息补充，并将获得的当前级联的复原图像输入下一级联的频域补全网络进行频域信息补充。
[0165]
可选地，所述处理模块1002还用于：
[0166]
针对首个目标处理网络，还执行以下操作：
[0167]
从所述初始数据中筛选出预设频率范围内的目标数据，并对所述目标数据进行傅里叶逆变换，获得初始线圈敏感度；
[0168]
通过当前级联的敏感度估计网络，对所述初始线圈敏感度进行敏感度补充，并将获得的当前级联的线圈敏感度输入下一级联的频域补全网络进行频域信息补充。
[0169]
可选地，所述处理模块1002具体用于：
[0170]
对上一级联的频域补全网络输出的频域补全数据进行傅里叶逆变换和收缩操作，获得时域图像；
[0171]
通过当前级联的图像复原网络，对所述时域图像以及上一个级联的敏感度估计网络输出的线圈敏感度进行图像域信息补充，获得当前级联的复原图像。
[0172]
可选地，所述处理模块1002还用于：
[0173]
针对每个非首个目标处理网络，还执行以下操作：
[0174]
通过当前级联的频域补全网络，对上一级联的图像复原网络输出的复原图像进行频域信息补充，获得当前级联的频域补全数据；
[0175]
通过当前级联的敏感度估计网络，对上一级联的频域补全网络输出的频域补全数据进行敏感度补充，获得当前级联的线圈敏感度。
[0176]
可选地，所述处理模块1002具体用于：
[0177]
对上一级联的图像复原网络输出的复原图像进行傅里叶变换和扩展操作，获得相应的待补全频域数据；
[0178]
通过当前级联的频域补全网络，对所述待补全频域数据进行频域信息补充，获得当前级联的频域补全数据。
[0179]
可选地，所述处理模块1002具体用于：
[0180]
对获得的多个目标复原图像进行根平方和操作，获得目标重建图像。
[0181]
可选地，还包括训练模块1003；
[0182]
所述训练模块1003具体用于：
[0183]
基于欠采样的样本数据集合，对级联的多个待训练处理网络进行联合迭代训练，输出所述多个目标处理网络，其中，在每次迭代训练过程中，执行以下操作：
[0184]
通过所述多个待训练处理网络，分别对从样本数据集合中选取的多个样本数据进行信息补充操作，获得相应的预测复原图像和相应的预测频域补全数据，并基于获得的多个预测复原图像确定预测重建图像；
[0185]
基于所述预测重建图像和获得的多个预测频域补全数据确定目标损失函数，并采用所述目标损失函数进行参数调整。
[0186]
可选地，所述训练模块1003具体用于：
[0187]
基于所述多个预测频域补全数据，以及所述多个样本数据对应的全采样样本数据，确定第一损失函数；
[0188]
基于所述预测重建图像和相应的参考重建图像，确定第二损失函数，其中，所述参考重建图像是基于所述全采样样本数据构建的；
[0189]
基于所述第一损失函数和所述第二损失函数，确定目标损失函数。
[0190]
本技术实施例中，采用级联的多个目标处理网络，分别对获得的多个欠采样的初始数据进行信息补充操作，获得相应的目标复原图像，并基于获得的多个目标复原图像，确定目标重建图像，其中，在获得目标复原图像的过程中，多个目标处理网络中的图像复原网络、频域补全网络和敏感度估计网络在图像域、频域以及敏感信息维度进行交叉信息补充，获得更加全面的图像信息，故基于获得的更全面的图像信息进行图像重建时，有效提高目标重建图像的质量，同时提高获得目标重建图像的效率。
[0191]
基于相同的技术构思，本技术实施例提供了一种计算机设备，该计算机设备可以是图1所示的图像重建设备102，如图11所示，包括至少一个处理器1101，以及与至少一个处理器连接的存储器1102，本技术实施例中不限定处理器1101与存储器1102之间的具体连接介质，图11中处理器1101和存储器1102之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
[0192]
在本技术实施例中，存储器1102存储有可被至少一个处理器1101执行的指令，至少一个处理器1101通过执行存储器1102存储的指令，可以执行上述图像处理方法的步骤。
[0193]
其中，处理器1101是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1102内的指令以及调用存储在存储器1102内的数据，从而实现mri图像重建。可选的，处理器1101可包括一个或多个处理单元，处理器1101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1101中。在一些实施例中，处理器1101和存储器1102可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
[0194]
处理器1101可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0195]
存储器1102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1102可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器1102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机设备存取的任何其他介质，但不限于此。本技术实施例中的存储器1102还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0196]
基于同一发明构思，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行上述图像处理方法的步骤。
[0197]
基于同一发明构思，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述图像处理方法的步骤。
[0198]
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0199]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机设备或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0200]
这些计算机程序指令也可存储在能引导计算机设备或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0201]
这些计算机程序指令也可装载到计算机设备或其他可编程数据处理设备上，使得在计算机设备或其他可编程设备上执行一系列操作步骤以产生计算机设备实现的处理，从而在计算机设备或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0202]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0203]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。