用于重建电影MRI图像的重建网络和方法与流程

本发明描述了用于重建电影mri图像的重建网络和重建方法，以及用于训练重建网络的训练方法和mri系统。特别地，本发明涉及交互式实时(优选地心脏)电影mri的低延迟的基于深度学习的重建。

背景技术：

1、电影mri(也称为“电影序列”或“电影成像”)是一种用于捕捉运动的mri记录。通过在一定时间段内对感兴趣的区域重复成像来获取电影图像。通常，记录单个切片，但也可以记录3d图像。

2、电影mri通常用于心脏成像。交互式心脏mri通常用于实时诊断和介入应用并且对重建延迟(即采集与图像显示之间的时间)提出了独特的要求。

3、例如，对于设备导航，200ms的最大延迟被认为是可容忍的。实现期望的空间和时间分辨率通常需要高加速率(accelerationrate)，这又需要复杂且耗时的重建技术。

技术实现思路

1、本发明的目的是改进已知的系统和方法以促进利用经训练的(机器学习)重建网络重建电影mri图像的改进。特别地，本发明的目的是提供用于交互式实时(优选地心脏)电影mri的低延迟的基于深度学习的重建的解决方案。

2、该目的通过根据本发明的重建网络、重建方法、训练方法和mri系统来实现。

3、根据本发明的用于重建电影mri图像的(机器学习)重建网络是变分网络，该变分网络被设计用于从电影mri数据重建图像并且包括具有(特别是串联布置的)级联模块的级联的架构。每个级联模块类似于基于迭代梯度下降的重建中的一个更新步骤。第一级联模块的输入是多个n个帧的输入堆栈并且每个随后的级联模块的输入是输入堆栈和前面的级联模块的输出堆栈。重建网络(附加地)包括选择单元，该选择单元被设计成选择由级联模块处理的与输入堆栈的第i帧相对应的一个单个帧以作为输出数据集(k空间中的帧或重建图像)的基础。

4、变分网络的一般架构以及合适的训练过程在本领域中是已知的。根据本发明的重建网络必须能够重建电影mri图像，即来自欠采样mri数据集(为k空间帧)的图像。重建网络的内部架构是串联布置的级联模块的级联(每个随后的级联模块的输入是前面的级联模块的输出堆栈)。因此，每个级联模块类似于基于迭代梯度下降的重建中的一个更新步骤。第一级联模块的输入是多个n个(k空间)帧的输入堆栈。

5、优选地，串联布置的级联模块的数目在2到20之间，特别地在5到10之间。更多的级联模块可以改进重建质量，但也会增加重建时间。发明人发现，将模型复杂度增加到超过6至8个级联模块不会显著改进图像质量。

6、每个级联模块的输入优选地也是线圈灵敏度图。级联模块可以具有相同的内部架构，但具有不同的加权因子和/或计算参数。

7、根据本发明的重建网络的一个非常重要的特征是选择单元，该选择单元被设计成选择与输入堆栈的第i帧相对应的一个单个帧(作为最后级联的输出)。这意味着所选择的帧不同于输入的帧，因为其已经被级联处理，但总是具有关于输入堆栈的相同的位置(例如，总是最后的帧)。

8、然后，该帧是输出数据集的基础。输出数据集可以包括k空间中的帧和/或重建图像。由于变分网络可以使用整个帧堆栈的图像信息，示出场景，例如，跳动的心脏，因此通过重建网络增强了单个帧的质量，并且因此也增强了从该单个帧重建的图像的质量。

9、根据本发明的用于利用根据本发明的重建网络来重建电影mri图像的重建方法包括以下步骤：

10、a)在不同时间点处记录来自感兴趣的区域(特别是从心脏)的多个mri数据帧，

11、b)从时间上最后记录的多个n个mri数据帧形成输入堆栈，

12、c)将输入堆栈输入到重建网络中，并且从由重建网络的选择单元选择的一个单个帧(即，由重建网络的级联模块处理并且对应于输入堆栈的第i帧)来重建图像，

13、d)显示图像，

14、e)在存在另一记录的mri数据帧的情况下，重复步骤b)至步骤e)直到达到终止条件。

15、在不同时间点处记录来自感兴趣的区域的多个mri数据帧是已知的。通常(至少在电影mri中)，这些数据集是欠采样的，以足够快地记录数据集以示出移动的roi(视频)。重建方法对于心脏mri是特别有利的。

16、以与上面针对训练帧说明的类似的方式形成输入堆栈。为了具有小的延迟，应该从时间上最后记录的n个mri数据帧中选择输入堆栈。输入堆栈的帧的数目应该与训练帧的数目相同，因为重建网络已经针对这个数目进行了训练。

17、该输入堆栈可以被简单地输入到(经训练的)重建网络中，该(经训练的)重建网络将自动地从输入堆栈的单个帧重建图像，并且然后可以显示该图像。

18、为了产生视频，每当存在另一记录的mri数据帧时，可以针对每一重复生成新堆栈，或者可以在一端删除最旧的帧，并且将最新的帧添加到该堆栈的另一端。利用新的输入帧，可以重建新图像。显示重建的图像将产生视频。由于重建时间非常短，视频几乎实时示出记录的roi。

19、根据本发明的训练方法能够训练根据本发明的用于重建电影mri图像的(机器学习)重建网络。重建网络优选地是深度机器学习网络，并且训练方法然后是用于(特别是心脏的)电影mri的实时重建的基于深度学习的方法。其目标是减少重建延迟并且增强图像质量，特别是评估其对于交互式实时(irt)mri应用的可行性。该训练方法包括以下步骤：

20、a)在时间段内记录多个mri数据帧，其中，mri数据帧示出不同时间点处的感兴趣的区域，

21、b)从mri数据帧中选择时间上连续的n个训练帧的子集作为输入堆栈，

22、c)将训练帧的子集输入到重建网络中并且基于由重建网络的选择单元选择的一个单个帧(即，由重建网络的级联模块处理并且对应于输入堆栈的第i帧的帧)生成输出数据集，

23、d)基于输出数据集计算损失并且基于该损失更新重建网络的参数，

24、e)从mri数据帧中选择时间上连续的n个训练帧的另一子集，

25、f)重复步骤c)至步骤f)直到达到终止条件。

26、变分网络是已知的并且实际上用于从mri数据帧重建图像。由于技术领域是电影mri，因此这些mri数据帧是在某些时间点获取的mri记录的数据集。虽然帧可以包括来自3d区域的数据，但其通常只是来自感兴趣的区域(roi)的切片的数据。

27、因此，每个mri数据帧可以被想象为k空间数据，该k空间数据(当可以从其重建图像时)至少示出roi的切片。现在，在时间段内记录了许多帧，其中，每一帧可以被想象为表示切片。由于感兴趣的区域可以随时间变化，因此不一定所有帧都表示患者中切片的相同位置。然而，它们总是表示记录区域的一部分。例如，帧可以“示出”(它们在k空间中)跳动的心脏，其中，每一帧“示出”心跳的另一状态。帧还可以遵循仪器的路径，仪器的路径“示出”患者的不同切片，这取决于仪器尖端在时间点处所位于的位置。因此，mri数据帧可以被想象(当被重建时)为感兴趣的区域(例如心脏的某个切片)的电影。

28、在记录mri数据帧之后，从这些mri数据帧中选择n个训练帧的子集。训练帧必须是在时间上连续的(即，一系列时间上相邻的数据帧)，但它们不一定包括最新或最旧的mri数据帧。通常，不是所有mri数据帧都被提取，而是仅提取(小)部分(n优选地小于mri数据帧的总数)。对于该步骤，不需要停止mri数据帧的记录。

29、然后将这些训练帧输入到重建网络中并且生成输出数据集。该输出数据集可以是从由选择单元选择的一个单个帧重建的图像(然后基于该图像计算损失)。输出数据集也可以是所选择的单个训练帧(然后可以直接在k空间中计算损失)。

30、应当注意，不需要重建其他图像或选择其他单个帧，因为训练方法的目的是针对每个输入堆栈获取一个单个帧的最佳数据。

31、优选地，所选择的单个帧的相对位置在训练期间对于所有训练帧的集合保持相同。所选择的单个帧可以对应于n个训练帧中的最后一个，但也可以对应于倒数第二个或倒数第三个。可以根据被容忍的延迟来选择所选择的单个帧的位置。当所选择的单个帧后续有一些帧时，“未来”状态可以被视为增强重建的准确性(存在“示出”所选择的训练帧的过去的一些帧，以及“示出”所选择的训练帧的未来的一些帧)。在另一方面，当选择最后的帧作为单个帧时，延迟将最小。由于在典型应用中，延迟可以约为200ms，选择时间上位于n个训练帧的最后200ms的单个帧可能是有利的。简而言之：通过将重建延迟一帧或两帧，网络可以并入未来信息，这以增加的重建延迟为代价进一步改进图像质量。

32、基于输出数据集(该单个帧或从该单个帧重建的图像)，计算该图像的损失，并且基于该损失更新重建网络的参数(即，损失被传播回到网络中)。在图像空间和k空间中的这样的损失的构建以及参数的更新是本领域中已知的，并且属于典型的训练过程。然而，在该训练方法中，(排他地)基于单个帧(例如，从该帧或从该帧重建的图像)而不是基于多个帧来计算损失。

33、如以上描述的，典型的变分网络包括机器网络的若干级联，例如，与一致性模块组合的卷积网络。训练的目标是找到这些级联的最佳参数集，这些级联可以具有相同的架构，但参数值不同。通常，损失函数必须关于参数在单个图像上最小化。损失函数通常限定重建图像与应该具有良好质量的参考图像之间的相似性。例如，用于生成训练数据的数据可以是正常记录的良好质量的mri数据(对于训练来说，记录时间并不关键)。可以从该“良好”数据来重建参考图像。训练数据集现在可以是该“良好”数据的欠采样集。然后，存在干净的、无伪影的参考图像。损失函数可以是均方误差(mse损失(mse-loss))、ssim损失(ssim-loss)(ssim指“结构相似性指数度量”)或所谓的“⊥损失(⊥-loss)”，其用于利用深度学习的磁共振成像重建和图像配准的对称损失函数。

34、由于完整的训练数据集被输入到变分网络中，因此所有帧的信息都存在于由变分网络输出的单个帧中。可以说，帧通过前面的帧和可能的后续帧的信息得到了改善。因此，所选择的单个帧的质量优于输入训练数据集的相应的训练帧的质量。因此，输出数据集基于从训练帧的子集中选择的单个帧的特征意味着选择训练数据集的帧的堆栈的限定位置处的一个帧。然后选择输出堆栈的相应的单个帧作为输出数据集。尽管该单个帧对应于输入的训练帧(即，在相同时间示出相同对象，例如心跳的相同阶段)，但其包括输入训练数据集的整个堆栈的信息。

35、然后，选择n个训练帧的另一子集并继续训练。特别是可以在(长)时间段内记录mri数据集，并且总是用在n个训练帧的“未来时间端”处复制的最新mri数据帧替换在n个训练帧的“过去时间端”处删除的最旧训练帧。

36、应当注意，在在k空间中直接计算损失的情况下，重建网络不需要在训练期间直接重建图像。不需要训练重建网络的重建模块，因为可以使用最后图像的已知重建模块。然而，当从重建图像计算损失时，重建模块已经存在。

37、简而言之，重建网络被训练成根据所获取的mri数据集输出视频流。当使用时间滑动窗口从记录的mri数据中选择n个帧的子集时，重建的(单个)图像将示出移动场景。由于训练，即使mri数据集被欠采样，也可以优化重建(参见进一步描述)。

38、特别地，这种经训练的重建网络有利于交互式实时(irt)心脏电影mri的重建。其在重建时间和质量方面的性能在所描述的irt场景的“回顾性模拟”中评估，其由于可以在很短的时间内提供输出的经训练的网络而将需要低重建延迟。

39、应当注意，对于训练来说，该“滑动窗口”并不是绝对必要的，因为重建对单个图像起作用。

40、根据本发明的mri系统包括根据本发明的重建网络，该重建网络特别地通过根据本发明的训练方法训练。

41、应当注意，重建网络优选地利用选择单元来训练，该选择单元被调整为选择总是具有与输入堆栈的帧相对应的相同位置(第i个)的单个帧。然而，当期望具有更多或更少延迟的视频时，必须改变所选择的帧的位置。查看这些经专门训练的重建网络，优选的是存在多个重建网络，所有重建网络针对所选择的单个帧的不同位置进行训练。对于该实施方式，mri系统优选地包括用于控制选择单元或用于选择重建网络的装置。

42、对选择单元的控制可以是训练开始时的控制。可以选择单个帧的位置。在选择之后，优选地所选择的位置对于该重建网络不再是可改变的(例如写入eprom)。

43、mri系统的优选实施方式包括根据本发明的多个重建网络，多个重建网络具有被设计成选择在经处理的堆栈的不同位置处的单个帧的选择单元，其中，每个重建网络包括选择经处理的堆栈的单独的恒定位置(不可改变，总是保持相同)处的单个帧的选择单元。

44、优选的是，mri系统附加地包括用户界面，该用户界面被设计成使得用户能够在所选择的单个帧的位置之间进行选择，特别是通过在给定位置之间或给定延迟时间之间进行选择。

45、以上提及的本发明的一些单元或模块可以完全或部分地实现为在计算系统的处理器上运行的软件模块。主要地以软件模块的形式的实现可以具有以下优点：可以以相对较少的努力来更新已安装在现有计算系统上的应用，以安装和运行本技术的这些单元。本发明的目的还通过一种计算机程序产品来实现，该计算机程序产品具有计算机程序，该计算机程序可直接加载到计算系统的存储器中，并且包括程序单元，该程序单元用于当程序由计算系统执行时执行方法的步骤——至少可以由计算机执行的这些步骤。除了计算机程序之外，这种计算机程序产品还可以包括其他部分，例如文档和/或附加部件，还有硬件部件例如硬件密钥(加密狗等)，以便于访问软件。

46、计算机可读介质(例如记忆棒、硬盘或其他可移动或永久安装的载体)可以用于传输和/或存储计算机程序产品的可执行部分，使得可以从计算系统的处理器单元读取这些部分。处理器单元可以包括一个或更多个微处理器或其等同物。

47、本发明的特别有利的实施方式和特征由从属权利要求给出，如以下描述中所揭示的。不同权利要求类别的特征可以适当地组合以给出本文未描述的其他实施方式。

48、根据优选的重建网络，(特别是每个)级联模块包括被设计成根据输入图像创建输出图像的卷积神经网络(cnn)，特别是(在从作为cnn的输入图像的经处理的帧重建图像的布置中)的u-net或v-net。这些图像由卷积神经网络处理，特别是通过使用时间和/或空间卷积，并且之后被转换为k空间帧。时间卷积或组合的时间/空间卷积是有利的，因为它们使得能够使用帧中的数据冗余。由于输入和输出在k空间中，因此级联模块的架构使得重建模块(k空间到图像)的之后是卷积神经网络，卷积神经网络的之后又是反向重建模块(图像到k空间)。

49、优选地，(特别是每个)级联模块附件地包括与卷积神经网络并行工作的数据一致性模块，其中，一致性模块和卷积神经网络的输出被组合，特别是与输入一起组合。

50、优选的重建网络包括图像重建模块，该图像重建模块被布置成接收选择单元的所选择的单个帧并且基于所选择的单个帧重建图像。应当注意，所选择的单个帧是由重建网络的级联模块处理的帧。

51、优选的重建网络包括损失模块，该损失模块被布置成接收选择单元的所选择的单个帧以及参考帧(例如，由所选择的单个帧示出的场景的高质量帧)并计算损失。该损失是基于根据所选择的单个帧的数据与根据参考帧的数据之间的比较。

52、优选的重建网络通过以上说明的方法特别地训练。这意味着重建网络根据以下步骤进行训练：

53、a)在时间段内记录多个mri数据帧，其中，mri数据帧示出不同时间点处的感兴趣的区域，

54、b)从mri数据帧中选择时间上连续的n个训练帧的子集作为输入堆栈，

55、c)将训练帧的子集输入到重建网络中并且基于由重建网络的选择单元选择的一个单个帧(即，由级联处理并且对应于输入堆栈的第i帧)生成输出数据集，

56、d)基于输出数据集计算损失并且基于该损失更新重建网络的参数，

57、e)从mri数据帧中选择时间上连续的n个训练帧的另一子集，

58、f)重复步骤c)至步骤f)直到达到终止条件。

59、根据优选的训练方法，mri数据帧以预定义因子f(例如8倍)进行欠采样，并且从欠采样的mri数据帧中选择训练帧的子集。由于对于训练来说，快速数据采集并不关键，因此可以为mri数据帧获取“完整”数据，并且为了生成训练数据，这些“完整”数据帧可以被欠采样以模拟电影mri数据。这具有以下优点：原始的非欠采样的mri数据帧(当重建时示出准确的图像)可以用于监督训练。优选地，对于每个帧使用时间上变化的欠采样的模式。这对于模拟所获取的数据的波动是有利的。

60、根据优选的训练方法，对于n个训练帧的子集，n大于4和/或小于30，优选地，其中，n在7和14之间进行选择。这已示出重建精度与用于该重建的时间之间的良好权衡。

61、根据优选的训练方法，连续mri数据帧之间的时间差在mri数据上是恒定的(即，时间分辨率是恒定的)，并且优选地小于1/10秒，特别地小于1/20秒。这允许良好的时间分辨率。替选地或附加地，预定义的数据采样模式允许组合具有不同时间分辨率(特别是径向或螺旋黄金角度(spiral golden angle))的数据。

62、根据优选的训练方法，每一所选择的单个帧在n个训练帧的相应的子集中具有相同的相对位置。这意味着总是选择例如最后的帧，或在某些“未来”帧应该优化所选择的帧的质量的情况下，选择倒数第i帧。优选地，从n个训练帧的子集的时间上最后三分之一中选择帧，其中，优选地，在时间上在所选择的单个帧之后存在不超过5个帧，特别地，其中，所选择的单个帧在时间上对应于子样本中的最新(最后)帧。如上描述的，通过将重建延迟一帧或两帧，网络可以并入未来信息，这以增加的重建延迟为代价进一步改进了图像质量。

63、根据优选的训练方法，训练帧的第一所选择的子集从mri数据帧的帧开始，并且随后的n个训练帧的子集从训练帧的相应的前面的子集的第二帧开始。因此，优选地，通过时间滑动窗口选择n个训练帧的子集。

64、根据优选的训练方法，重建单元包括重建模块，该重建模块被设计成从所选择的单个帧重建图像，其中，损失是基于mri数据帧的重建图像与根据相应的所选择的单个帧重建的图像之间的比较来计算的。如以上所述，可以在k空间中计算损失，然而，在图像空间中计算损失可能是有利的。此处应当注意，训练帧的信息在通过重建网络的传播期间改变。因此，用于重建图像的数据与最初输入的训练帧不相同，然而，数据仍然表示相应的所选择的单个帧并且基于该帧。

65、优选地计算mse损失、ssim损失或所谓的“⊥损失”，其中，ssim损失和⊥损失的组合是优选的。mse损失(指的是均方误差)和ssim损失(ssim指“结构相似性指数度量”)在本领域中是已知的。此外，用于利用深度学习的磁共振成像重建和图像配准的对称损失函数(“⊥损失”)是已知的。

66、在本发明的优选实施方式中，重建网络的部件是数据网络的一部分，其中，优选地，数据网络和提供图像数据的)mri系统彼此进行数据通信，其中，优选地，数据网络包括互联网和/或基于云的计算系统的部分，其中，优选地，重建网络在该基于云的计算系统中实现。例如，系统的部件是数据网络的一部分，其中，优选地，数据网络和提供图像数据的医学成像系统彼此进行通信。这种联网解决方案可以经由互联网平台和/或基于云的计算系统来实现

67、该方法还可以包括“云计算”的元素。在“云计算”技术领域中，通过数据网络提供it基础设施，例如存储空间或处理能力和/或应用软件。用户与“云”之间的通信借助于数据接口和/或数据传输协议实现。

68、在“云计算”的上下文中，在根据本发明的方法的优选实施方式中，经由数据通道(例如数据网络)向“云”提供数据。该“云”包括(远程)计算系统，例如通常不包括用户的本地机器的计算机集群。该云可以具体地由医疗设施提供，该医疗设施还提供医学成像系统。具体地，图像采集数据经由ris(放射学信息系统)或pacs(图片存档和通信系统)发送到(远程)计算机系统(“云”)。

69、根据本发明的训练方法使得能够训练神经网络以重建交互式实时(特别是心脏)电影mri，特别是在延迟和图像质量方面进行优化。根据本发明的经训练的重建模型实现了具有很少时间模糊的良好的重建结果。