一种三维医学图像超分辨率重建方法及装置与流程

本公开涉及计算机图像处理技术领域，尤其涉及一种三维医学图像超分辨率重建方法及装置。

背景技术：

医学图像广泛于临床医学辅助诊断中，受限于采集时间和硬件条件等因素，通常采集的三维医学图像的平面间的分辨率比平面内分辨率差。因此，需要采用超分辨率重建来提高三维医学图像的分辨率。

相关技术中，基于差值的上采样方法中，重建后的图像没有带来更多的额外信息；基于监督学习的方法中，对于平面间分辨率较低的三维医学图像，重建后的效果较差。

技术实现要素：

有鉴于此，本公开提出了一种三维医学图像超分辨率重建方法、装置及存储介质。

根据本公开的一方面，提供了一种三维医学图像超分辨率重建方法，所述方法包括：

获取待重建的三维医学图像中的原始切片序列；

将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列；

根据所述生成切片序列与所述原始切片序列，得到重建后的三维医学图像，其中，重建后的三维医学图像的分辨率高于所述待重建的三维医学图像的分辨率。

在一种可能的实现方式中，将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列，包括：

将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第一迭代次数；

根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

在一种可能的实现方式中，将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列，包括：

将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型先前第一预设次数的输入图像及所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第二迭代次数；

根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

在一种可能的实现方式中，所述深度学习模型为利用三维医学图像训练样本序列对包含生成器及判别器的生成对抗网络进行生成对抗训练所得到的。

在一种可能的实现方式中，所述三维医学图像训练样本序列包括三维医学图像中同一方向分辨率相同的切片。

在一种可能的实现方式中，所述方法还包括：

针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第三迭代次数；

将所述生成器最后一次输出的生成切片及所述相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；

根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

在一种可能的实现方式中，所述方法还包括：

针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器先前第二预设次数的输入图像及所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第四迭代次数；

将所述生成器最后一次输出的生成切片及相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；

根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

根据本公开的另一方面，提供了一种三维医学图像超分辨率重建装置，所述装置包括：

原始切片序列获取模块，用于获取待重建的三维医学图像中的原始切片序列；

生成切片序列获取模块，用于将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列；

三维医学图像重建模块，用于根据所述生成切片序列与所述原始切片序列，得到重建后的三维医学图像，其中，重建后的三维医学图像的分辨率高于所述待重建的三维医学图像的分辨率。

在一种可能的实现方式中，所述深度学习模型为利用三维医学图像训练样本序列对包含生成器及判别器的生成对抗网络进行生成对抗训练所得到的。

根据本公开的另一方面，提供了一种三维医学图像超分辨率重建装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

本公开实施例中，通过将待重建的三维医学图像中的原始切片输入到训练好的深度学习模型中，输出原始切片之间的生成切片序列，从而得到超分辨率重建后的三维医学图像。这样，在图像采集过程中，可以有效节省采集时间和成本，降低采集设备硬件要求，对于采集到的平面间分辨率较低的图像，仍然可以重建出效果理想的高分辨率的三维医学图像；同时，医生可以从得到的生成切片序列中获取更多的信息，从而更好地辅助临床医学诊断。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图；

图2示出了根据本公开一实施例的一种深度学习模型迭代的示意图；

图3示出了根据本公开一实施例的一种深度学习模型迭代的示意图；

图4示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图；

图5示出了根据本公开一实施例的一种训练深度学习模型的示意图；

图6示出了根据本公开一实施例的一种训练深度学习模型的示意图；

图7示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图；

图8示出了根据本公开一实施例的一种训练深度学习模型的示意图；

图9示出根据本公开一实施例的一种三维医学图像超分辨率重建装置的结构图；

图10示出根据本公开一实施例的一种三维医学图像超分辨率重建装置的结构图；

图11示出根据本公开一实施例的一种用于三维医学图像超分辨率重建的装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图。如图1所示，该方法可以包括：

步骤101、获取待重建的三维医学图像中的原始切片序列；

步骤102、将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列；

步骤103、根据所述生成切片序列与所述原始切片序列，得到重建后的三维医学图像，其中，重建后的三维医学图像的分辨率高于所述待重建的三维医学图像的分辨率。

其中，待重建的三维医学图像可以包括：mr(magneticresonance，磁共振)、ct(computedtomography，电子计算机断层扫描)等三维医学图像。三维医学图像的原始切片序列可以包括：矢状方向、冠状方向、横轴方向等不同方向的原始切片序列；同一方向的原始切片序列中所包含的原始切片的数量可以根据实际工作需要进行设定，将一个原始切片输入到训练好的深度学习模型中，该深度学习模型输出的一个或多个生成切片即组成了该原始切片及与其相邻的下一原始切片之间的生成切片序列，其中，生成切片序列中所包含的生成切片的数量与待重建的三维医学图像的目标分辨率有关，具体地，若目标分辨率为待重建的三维医学图像的原始分辨率的h倍(h为大于1的整数)，则生成切片序列中所包含的生成切片的数量为h-1。将上述原始切片序列中所有的原始切片逐一输入到训练好的深度学习模型中，并将得到的所有原始切片之间的生成切片序列与该原始切片序列组合在一起，即可得到重建后的三维医学图像，该重建后的三维医学图像与待重建的三维医学图像相比，分辨率提高了h倍，从而实现了三维医学图像的超分辨率重建。

示例性地，获取三维mr图像的冠状方向的原始切片序列，该原始切片序列中包括从前向后排列的多个原始切片，将两个相邻的原始切片中排列在前的原始切片输入到训练好的深度学习模型中，该深度学习模型输出n个(n为大于1的整数)生成切片，该n个生成切片即组成了这两个相连的原始切片之间的生成切片序列，同理，将原始切片序列中的其他原始切片逐一输入到该训练好的深度学习模型中，则在任意两个相邻的原始切片之间均生成包含n个生成切片的生成切片序列；将得到的所有的生成切片序列与原始切片序列按顺序组合在一起，得到重建后的三维mr图像，该重建后的三维mr图像的冠状方向的切片数量是原始三维mr图像的冠状方向的切片数量的n+1倍，即三维mr图像冠状方向的分辨率提高了n+1倍。

三维医学图像超分辨率重建是从低分辨率的三维医学图像推断出高分辨率的三维医学图像的过程，从而提高三维医学图像的分辨率。例如，对于mr图像来说，由于分辨率、图像采集速度和噪声等之间存在权衡，通常平面间的分辨率比平面内分辨率差，需要采用超分辨率方法来提高三维mr图像的分辨率；相关技术中，通过采用线性和双三次插值等上采样方法提高图像分辨率，这些基于插值的上采样方法，图像分辨率的提高完全依赖于图像本身的内容，没有带来更多的额外信息；相反，它们经常引入一些副作用，如噪声放大和图像模糊，这将导致图像的部分区域产生伪影，从而影响后续处理及图像分析。或者，基于监督学习提高图像分辨率，该方法依赖于超分辨率网络的性能，对于平面间分辨率较低的三维医学图像，重建后的效果较差。

本公开实施例中，通过将待重建的三维医学图像中的原始切片输入到训练好的深度学习模型中，输出原始切片之间的生成切片序列，从而得到超分辨率重建后的三维医学图像。这样，在图像采集过程中，可以有效节省采集时间和成本，降低采集设备硬件要求，对于采集到的平面间分辨率较低的图像，仍然可以重建出效果理想的高分辨率的三维医学图像；同时，生成切片序列中包括多张生成的切片，医生可以从得到的生成切片序列中获取更多的信息，从而更好地辅助临床医学诊断。

在一种可能的实现方式中，将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列，包括：将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第一迭代次数；根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

本公开实施例中，将待重建的三维医学图像的原始切片序列中的原始切片逐一输入到训练好的深度学习模型中，利用该深度学习模型进行多次迭代，每进行一次迭代，则得到一个新的生成切片；每次迭代过程中，将该深度学习模型当前输出的一个生成切片作为下一次迭代过程中该深度学习模型的输入，这样迭代多次直到达到第一迭代次数，其中，第一迭代次数可以根据预设的每一原始切片对应的生成切片序列中包含的生成切片的数量，也可以根据待重建的三维医学图像的目标分辨率来确定，例如，预设的每一原始切片对应的生成切片序列中包含的生成切片的数量为n，则第一迭代次数为n，对于每一原始切片，通过深度学习模型n次迭代操作，得到n个生成切片，结束迭代操作；或者，待重建的三维医学图像的目标分辨率为原始分辨率的h倍，则第一迭代次数为h-1，对于每一原始切片，通过深度学习模型进行h-1次迭代操作，得到h-1个生成切片，结束迭代操作。这样，针对所有的原始切片，在完成上述迭代操作后，即可将得到的所有生成切片按顺序组合起来，得到生成切片序列，在上述过程中，每进行一次迭代，利用深度学习模型中输出的生成切片对后续切片进行预测，从而保证了后续输出的生成切片的准确性。

示例性地，待重建的三维医学图像可以包括多例来自不同医院、具有不同层间间隔的ct或mr三维医学图像，对于每例三维医学图像，原始切片序列包括m个原始切片，每个原始切片表示为mt(1≤t≤m，t为整数)，预设的每一原始切片对应的生成切片序列中包含k个生成切片，即第一迭代次数为k。图2示出了根据本公开一实施例的一种深度学习模型迭代的示意图，如图2所示，将每一原始切片mt输入到深度学习模型中，输出生成切片n1，将生成切片n1输入到深度学习模型，输出生成切片n2，这样重复迭代k次，最后输出生成切片nk；将上述k次迭代过程中，深度学习模型输出的k个生成切片(n1、n2…nk)组合得到该原始切片与下一原始切片之间的生成切片序列；针对所有的原始切片(m1、m2…mm)执行完上述迭代操作后，即可得到生成切片序列。

在一种可能的实现方式中，将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列，包括：将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型先前第一预设次数的输入图像及所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第二迭代次数；根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

本公开实施例中，将待重建的三维医学图像的原始切片序列中的原始切片逐一输入到训练好的深度学习模型中，利用该深度学习模型进行多次迭代，每进行一次迭代，将多个切片输入到深度学习模型中，同时得到一个新的生成切片；具体地，每次迭代过程中，将该深度学习模型当前输出的一个生成切片及该深度学习模型先前第一预设次数的输入图像作为下一次迭代过程中该深度学习模型的输入，这样迭代多次直到达到第二迭代次数。其中，第一预设次数可以根据实际工作需要进行设定，其具体数值小于预设的每一原始切片对应的生成切片序列中包含的生成切片的数量，例如，第一预设次数为1，则在每次迭代过程中，则将两个切片，即上一次迭代过程中深度学习模型的输入图像及输出的生成切片，同时输入到深度学习模型，得到当前迭代过程的一个生成切片；第一预设次数为2，则在每次迭代过程中，则将三个切片，即上一次迭代过程中深度学习模型输出的生成切片，以及先前两次迭代过程中深度学习模型的输入图像，同时输入到深度学习模型，得到当前迭代过程的一个生成切片。需要说明的是，若在当前迭代过程中，缺失先前一次或多次迭代过程中深度学习模型的输入图像或输出的生成切片，则将该输入图像或输出的生成切片设置为随机噪声或者选择其他生成切片。第二迭代次数可以根据预设的每一原始切片对应的生成切片序列中包含的生成切片的数量，也可以根据待重建的三维医学图像的目标分辨率来确定，例如，预设的每一原始切片对应的生成切片序列中包含的生成切片的数量为n，则第二迭代次数为n，对于每一原始切片，通过深度学习模型n次迭代操作，得到n个生成切片，结束迭代操作；或者，待重建的三维医学图像的目标分辨率为原始分辨率的h倍，则第二迭代次数为h-1，对于每一原始切片，通过深度学习模型进行h-1次迭代操作，得到h-1个生成切片，结束迭代操作。这样，针对所有的原始切片，在完成上述迭代操作后，即可将得到的所有生成切片按顺序组合起来，得到生成切片序列；在上述过程中，每进行一次迭代，将多个切片输入到深度学习模型中，从而利用多个已知切片对后续切片进行预测，从而输出更加准确的生成切片。

示例性的，原始切片序列包括m个原始切片，每个原始切片表示为mt(1≤t≤m，t为整数)，第一预设次数为1，预设的每一原始切片对应的生成切片序列中包含k个生成切片，则第二迭代次数为k。图3示出了根据本公开一实施例的一种深度学习模型迭代的示意图，如图3所示，将每一原始切片mt及随机噪声输入到深度学习模型中，输出生成切片n1，将生成切片n1及原始切片mt输入到深度学习模型中，输出生成切片n2，将生成切片n2及生成切片n1输入到深度学习模型中，这样重复迭代k次，输出生成切片nk；将上述k次迭代过程中，深度学习模型输出的k个生成切片(n1、n2…nk)组合得到该原始切片与下一原始切片之间的生成切片序列；针对所有的原始切片(m1、m2…mm)执行完上述迭代操作后，即可得到生成切片序列。

基于此，本公开实施例还提供了上述实施例中深度学习模型的训练过程。

在一种可能的实现方式中，所述深度学习模型为利用三维医学图像训练样本序列对包含生成器及判别器的生成对抗网络进行生成对抗训练所得到的。其中，三维医学图像训练样本序列可以包括：mr或ct等三维医学图像的矢状方向、冠状方向、横轴方向等不同方向的训练样本序列，同一方向的训练样本序列包括多个训练样本。生成式对抗网络可以为现有的任意的生成对抗网络，该生成式对抗网络包括生成器及判别器，通过生成器及判别器彼此间互相博弈产生各自需要的输出，待生成对抗网络训练达到收敛时，将得到的生成器作为上述对三维医学图像进行超分辨率重建的深度学习模型。

在一种可能的实现方式中，所述三维医学图像训练样本序列包括三维医学图像中同一方向分辨率相同的切片。即在对生成式对抗网络进行训练的过程中，采用的训练样本可以为同一方向分辨率相同的切片，例如，训练样本可以为mr图像的矢状方向的多个切片，且每个切片的分辨率相同。

相关技术中，一种基于监督学习进行图像超分辨率重建的方法，在训练过程中，训练样本由原始轴向切片和该切片本身的模糊版本组成，即训练样本包括低分辨率和高分辨率的图像块，通过先进的超分辨率网络利用该训练样本训练从低分辨率图像块到高分辨率图像块的映射，并将训练好的网络应用于分辨率较低的不同方向的输入图像，将估计的高分辨率的图像拼接在一起得到一个具有各向同性分辨率的三维图像。该方法需要对低分辨率和高分辨率的图像块进行联合训练，同时，对于分辨率为1mm×1mm×dmm的三维图像，当d较大(如d>8)时，若达到各向同性分辨率，则大大增加了训练学习难度，无法达到理想的效果。

考虑到获取高分辨率的训练样本对硬件及时间成本等条件要求较好，例如，对于没有高端影像设备的医院，由于缺少低分辨率图像对应的高分辨率图像，使得相关技术中的监督学习方法并不适用。本公开实施例中的训练方法，三维医学图像训练样本为同一方向分辨率相同的切片，这些切片可以为低分辨率图像，也可以为高分辨率图像，无需针对该切片获取对应的更高分辨率的图像，即不管切片的原始分辨率是多少，也不管是否存在该切片的高分辨率图像都可以完成训练，从而大大增加了适用范围，对于没有高端影像设备的医院，仍然可以应用低分辨率的医学影像进行训练。

图4示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图。如图4所示，该方法可以包括：

步骤201、针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第三迭代次数；

步骤202、将所述生成器最后一次输出的生成切片及所述相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；

步骤203、根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

本公开实施例中，针对训练样本序列中的任意两个相邻训练样本，将相邻训练样本中的一个训练样本输入到生成器中，利用该生成器进行多次迭代，每进行一次迭代，则得到一个新的生成切片；每次迭代过程中，将该生成器当前输出的一个生成切片作为下一次迭代过程中该生成器的输入，这样迭代多次直到达到第三迭代次数，其中，若训练样本的目标分辨率为原始分辨率的k倍，则第三迭代次数为k，对于每一训练样本，通过生成器进行k次迭代操作，得到k个生成切片，结束迭代操作；将第k个生成切片及该相邻训练样本中的另一个训练样本输入到判别器中，采用平均绝对误差和/或均方根误差等方法度量第k个生成切片与该相邻训练样本中的另一个训练样本的相似性，得到两者的相似度，然后，根据该相似度求取损失函数值；并根据该损失函数值进行反向传播，同时训练上述生成器及判别器，直至达到收敛，并将收敛时得到的生成器作为上述对三维医学图像进行超分辨率重建的深度学习模型，其中，损失函数可以为现有的损失函数。在上述训练过程中，每进行一次迭代，利用生成器中输出的生成切片对后续切片进行预测，从而保证了后续输出的生成切片的准确性；同时，利用一个生成器可以得到多个生成切片，且所有生成切片都需要尽可能真实，它们能够欺骗负责估计生成切片来自原始训练样本序列的概率的判别器；为了使生成器最大化判别器出错的概率，最后一次迭代输出的生成切片与另一个训练样本相比应该具有很高的相似性；同时，对判别器进行训练，使其能够最大限度地为训练样本和最后一次迭代输出的生成切片分配正确的标签。

示例性地，对于分辨率为1mm×1mm×kmm(k为大于1的整数)的mr三维医学图像，训练目标是得到各向同性的分辨率，即得到相应的分辨率为1mm×1mm×1mm的mr三维医学图像。对于该mr三维医学图像，图像的横轴方向具有高分辨率1mm×1mm，而矢状方向和冠状方向具有低分辨率kmm×1mm。选择矢状方向的切片作为训练样本，训练样本序列中包括s个按顺序排列的训练样本，每个训练样本表示为st(1≤t≤s，t为整数)若矢状方向的目标分辨率为原始分辨率的k倍，即矢状方向达到高分辨率1mm×1mm，则第三迭代次数为k，对于矢状方向的中任意两个相邻的切片，在它们之间生成额外的k-1个切片，从而使得到的高分辨率的矢状方向的切片数是原始低分辨率矢状方向的切片数的k倍。图5示出了根据本公开一实施例的一种训练深度学习模型的示意图，如图5所示，对于两个相邻的训练样本st和st+1，将训练样本st输入到生成器中，输出生成切片g1，将生成切片g1输入到生成器中，输出生成切片g2，这样重复迭代k次，每个新输出的生成切片gi作为生成器的输入并得到下一生成切片gi+1，其中i＝1，2…，k-1，最后输出生成切片gk；将生成切片gk及训练样本st+1输入到判别器中，采用平均绝对误差计算生成切片gk及训练样本st+1的相似度，利用判别器将生成切片gk分类为真实或虚假的图像，并根据该相似度求取损失函数值，根据该损失函数值进行反向传播，同时训练上述生成器及判别器，调整生成器及判别器的参数，直至达到收敛。

进一步地，在训练过程中，可以通过多个反馈优化生成器及判别器，具体地，将训练样本序列中按顺序排列的多个训练样本逐一输入到生成器中，并执行上述迭代操作，针对每一训练样本，将迭代过程中生成器最后一次输出的生成切片及与该训练样本相邻的下一训练样本输入到判别器中，得到生成器最后一次输出的生成切片与该训练样本相邻的下一训练样本的相似度。这样，针对多个训练样本，经过上述处理，可以得到每一训练样本对应的相似度，利用所有训练样本对应的相似度计算损失函数值，并根据该损失函数值进行反向传播，同时训练生成器及判别器，直至达到收敛，将收敛时得到的生成器作为上述对三维医学图像进行超分辨率重建的深度学习模型。

示例性地，以上述分辨率为1mm×1mm×kmm(k为大于1的整数)的mr三维医学图像为例，训练样本序列中包括s个按顺序排列的训练样本，将训练样本序列按照所包含的训练样本的数量进行分组，每组表示为it＝{st,…,st+q}，其中，1≤t≤s–q，且q>1；例如，当q＝2时，则每组中包括st、st+1、st+2三个训练样本；图6示出了根据本公开一实施例的一种训练深度学习模型的示意图，如图6所示，对于其中每一分组it，将该分组的训练样本st输入到生成器中，输出生成切片gt,1，将生成切片gt,1输入到生成器中，输出生成切片gt,2，这样重复迭代k次，每个新输出的生成切片gt,i作为生成器的输入并得到下一生成切片gt,i+1，其中i＝1，2…，k-1，最后输出生成切片gt,k；将生成切片gt,k及训练样本st+1输入到判别器中，计算生成切片gt,k与训练样本st+1的相似度；对于it中的其他训练样本st+1,…,st+q-1，重复上述迭代过程，并分别计算每次迭代最后输出的生成切片gt+1,k…gt+q-1,k与对应的训练样本st+2…st+q的相似度，这样进行q次的操作，得到的生成切片gt,k…gt+q-1,k与对应的训练样本st+1…st+q具有较高的相似性，将这些生成切片及训练样本输入到判别器中，通过判别器将这些生成切片gt,k…gt+q-1,k分类为真实或虚假的图像，同时，根据上述得到的所有的相似度求取损失函数值；并根据该损失函数值进行反向传播，同时训练上述生成器及判别器，调整生成器及判别器的参数，直至达到收敛。

图7示出根据本公开一实施例的一种三维医学图像超分辨率重建方法的流程图。如图7所示，该方法可以包括：

步骤301、针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器先前第二预设次数的输入图像及所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第四迭代次数；

步骤302、将所述生成器最后一次输出的生成切片及相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；

步骤303、根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

本公开实施例中，考虑到在上述迭代的过程中，中间的生成切片没有直接用相似度指标进行评价，但是这些中间的生成切片的准确性影响了迭代过程中最后输出的生成切片与相应的训练样本之间的相似度，因此，为了提高迭代过程中间的生成切片的准确性，每次迭代过程中，将多个切片输入到生成器中，同时得到一个输出的生成切片。具体地，在每次迭代过程中，将该生成器当前输出的一个生成切片及该生成器先前第二预设次数的输入图像作为下一次迭代过程中该生成器的输入，这样迭代多次直到达到第四迭代次数。其中，若训练样本的目标分辨率为原始分辨率的k倍，则第四迭代次数为k，对于每一训练样本，通过生成器进行k次迭代操作，得到k个生成切片，结束迭代操作；第二预设次数可以根据实际工作需要进行设定，其数值小于k，例如，第一预设次数为1，则在每次迭代过程中，则将两个切片，即上一次迭代过程中生成器的输入图像及输出的生成切片，同时输入到生成器中，得到当前迭代过程的一个生成切片；第一预设次数为2，则在每次迭代过程中，则将三个切片，即上一次迭代过程中生成器输出的生成切片，以及先前两次迭代过程中生成器的输入图像，同时输入到生成器中，得到当前迭代过程的一个生成切片。需要说明的是，若在当前迭代过程中，缺失先前一次或多次迭代过程中生成器的输入图像或输出的生成切片，则将该输入图像或输出的生成切片设置为随机噪声或者选择其他切片；例如，若将p个切片输入到生成器中，对应的第1,…,p–1次迭代中，生成器输入将会有缺失的切片，可以将缺失的切片设置为随机噪音或选择先前训练样本迭代过程中的对应切片。将第k个生成切片及该相邻训练样本中的另一个训练样本输入到判别器中，采用平均绝对误差和/或均方根误差等方法度量第k个生成切片与该相邻训练样本中的另一个训练样本的相似性，得到两者的相似度，然后，根据该相似度求取损失函数值；并根据该损失函数值进行反向传播，同时训练上述生成器及判别器，直至达到收敛，并将收敛时得到的生成器作为上述对三维医学图像进行超分辨率重建的深度学习模型。

示例性地，以上述分辨率为1mm×1mm×kmm(k为大于1的整数)的mr三维医学图像为例，选择矢状方向的切片作为训练样本，训练样本序列中包括s个按顺序排列的训练样本，每个训练样本表示为st(1≤t≤s，t为整数)，第二预设次数为1，若矢状方向的目标分辨率为原始分辨率的k倍，则第四迭代次数为k，对于矢状方向的中任意两个相邻的切片，在它们之间生成额外的k-1个切片，从而使得到的高分辨率的矢状方向的切片数是原始低分辨率矢状方向的切片数的k倍；图8示出了根据本公开一实施例的一种训练深度学习模型的示意图，如图8所示，对于两个相邻的训练样本st和st+1，将训练样本st及随机噪声输入到生成器中，输出生成切片gt,1，将生成切片gt,1及训练样本st输入到生成器中，输出生成切片gt,2，将生成切片gt,1及生成切片gt,2输入到生成器中，这样重复迭代k次，每个新输出的生成切片gt,i及上一生成切片gt,i-1作为生成器的输入并得到下一生成切片gt,i+1，其中i＝1，2…，k-1，最后输出生成切片gt,k；该生成切片gt,k与训练样本st+1具有很高的相似性，将生成切片gt,k及训练样本st+1输入到判别器中，采用平均绝对误差计算生成切片gt,k及训练样本st+1的相似度，利用判别器将生成切片gt,k分类为真实或虚假的图像，并根据该相似度求取损失函数值，根据该损失函数值进行反向传播，同时训练上述生成器及判别器，调整生成器及判别器的参数，直至达到收敛。

在上述对生成对抗网络进行训练过程中，对于低分辨率三维医学图像的每一训练样本，利用同一个生成器进行多次迭代，即可得到多个生成切片，从而得到高分辨率的三维医学图像(例如，各向同性分辨率的三维医学图像)；由于将生成器的输出本身用作预测后续切片的输入，因此，无论训练样本是否为具有高分辨率或各向同性分辨率的图像，都可以用生成对抗网络进行训练，从而使得可以用于训练的数据集更加广泛；在图像采集过程中，不需要额外的时间和成本就可以利用训练好的深度学习模型产生各个方向的高分辨率医学图像。mr机器等图像采集设备可以有效节省扫描的时间和成本，通过平面间的低分辨率扫描，利用训练好的深度学习模型，仍然可以产生平面间高分辨率的图像，在目标高分辨率与原始低分辨率的相差较大时(例如，两者的倍数大于8)，同样可以取得理想的超分辨率重建效果；其中，可以根据待重建的三维医学影像的目标分辨率选取对应的训练好的深度学习模型，例如，若待重建的三维医学影像的目标分辨率为原始分辨率的8倍，则选择上述第三迭代次数或第四迭代次数为8时训练得到的生成器作为深度学习模型，从而进一步提高超分辨率重建效果；同时，医院的医生可以使用常规的成像设备查看重建后的高分辨率图像，辅助临床医学诊断。

需要说明的是，尽管以上述实施例作为示例介绍了一种三维医学图像超分辨率重建方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各实施方式，只要符合本公开的技术方案即可。

这样，本公开实施例中，通过将待重建的三维医学图像中的原始切片输入到训练好的深度学习模型中，输出原始切片之间的生成切片序列，从而得到超分辨率重建后的三维医学图像。这样，在图像采集过程中，可以有效节省采集时间和成本，降低采集设备硬件要求，对于采集到的平面间分辨率较低的图像，仍然可以重建出效果理想的高分辨率的三维医学图像；同时，医生可以从得到的生成切片序列中获取更多的信息，从而更好地辅助临床医学诊断。

图9示出根据本公开一实施例的一种三维医学图像超分辨率重建装置的结构图。如图9所示，该装置可以包括：原始切片序列获取模块401，用于获取待重建的三维医学图像中的原始切片序列；生成切片序列获取模块402，用于将所述原始切片序列中的原始切片输入到深度学习模型中，得到原始切片之间的生成切片序列；三维医学图像重建模块403，用于根据所述生成切片序列与所述原始切片序列，得到重建后的三维医学图像，其中，重建后的三维医学图像的分辨率高于所述待重建的三维医学图像的分辨率。

在一种可能的实现方式中，所述生成切片序列获取模块402具体用于：将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第一迭代次数；根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

在一种可能的实现方式中，所述生成切片序列获取模块402具体用于：将所述原始切片序列中的原始切片逐一输入到所述深度学习模型中，针对每一原始切片重复执行将所述深度学习模型先前第一预设次数的输入图像及所述深度学习模型最新输出的生成切片输入到所述深度学习模型中的操作，直到达到预设的第二迭代次数；根据所述深度学习模型输出的所有生成切片，得到原始切片之间的生成切片序列。

在一种可能的实现方式中，所述深度学习模型为利用三维医学图像训练样本序列对包含生成器及判别器的生成对抗网络进行生成对抗训练所得到的。

在一种可能的实现方式中，所述三维医学图像训练样本序列包括三维医学图像中同一方向分辨率相同的切片。

图10示出根据本公开一实施例的一种三维医学图像超分辨率重建装置的结构图。如图10所示，该装置包括：原始切片序列获取模块401、生成切片序列获取模块402、三维医学图像重建模块403，还可以包括：训练模块404，用于针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第三迭代次数；将所述生成器最后一次输出的生成切片及所述相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

在一种可能的实现方式中，所述训练模块404，还可以用于：针对所述训练样本序列中的相邻训练样本，将所述相邻训练样本中的一个训练样本输入到所述生成器中，并重复执行将所述生成器先前第二预设次数的输入图像及所述生成器最新输出的生成切片输入到所述生成器中的操作，直到达到预设的第四迭代次数；将所述生成器最后一次输出的生成切片及相邻训练样本中的另一训练样本，输入到所述判别器中，得到所述生成器最后一次输出的生成切片与所述另一训练样本的相似度；根据所述相似度，得到损失函数值；并根据所述损失函数值进行反向传播，训练所述生成器及所述判别器，直至达到收敛，将收敛时得到的生成器作为所述深度学习模型。

需要说明的是，尽管以上述实施例作为示例介绍了一种三维医学图像超分辨率装置方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各实施方式，只要符合本公开的技术方案即可。

这样，本公开实施例中，通过将待重建的三维医学图像中的原始切片输入到训练好的深度学习模型中，输出原始切片之间的生成切片序列，从而得到超分辨率重建后的三维医学图像。这样，在图像采集过程中，可以有效节省采集时间和成本，降低采集设备硬件要求，对于采集到的平面间分辨率较低的图像，仍然可以重建出效果理想的高分辨率的三维医学图像；同时，医生可以从得到的生成切片序列中获取更多的信息，从而更好地辅助临床医学诊断。

本公开实施例还提供了一种三维医学图像超分辨率重建装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

本公开实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

图11示出根据本公开一实施例的一种用于三维医学图像超分辨率重建的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图11，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(i/o)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。