用于医学图像的无监督层间超分辨率的制作方法

1.本公开的方面总体涉及3d医学成像，具体涉及使用深度学习来提高3d医学图像的分辨率。


背景技术：

2.由于临床环境中采集时间和设备的限制，3d医学图像(例如磁共振成像、计算机断层摄影和显微镜检查)通常以相对大的维度和在层间方向上产生的低分辨率采集。给定这些相对大的维度和低的分辨率，下游应用(诸如用于更好的图像理解和定量分析的3d渲染，例如用于分析某些解剖结构容积)通常提供不令人满意的结果。


技术实现要素：

3.提供在没有人为干预的情况下在层间(interslice)方向上提供提高的分辨率的方法和系统将是有利的。
4.所公开的实施例涉及具有自监督损失的无监督机器学习方法和系统，其提高了具有厚切片的3d医学图像的切片级空间分辨率，并且不需要高分辨率图像作为用于训练的金标准。模型利用来自高分辨率维度的信息来提高另一期望维度的分辨率。
5.在另一方面，所公开的实施例涉及一种方法，包括：采集具有低于层内(intraslice)分辨率的层间分辨率的第一3d图像切片；通过使用可调节的数学映射对第一3d图像切片进行上采样，以产生具有提高的层间分辨率的第二3d图像切片；对第二3d图像切片进行下采样；通过测量下采样的图像切片与第一3d图像切片之间的差异来计算第一自监督损失；修改数学映射以最小化第一自监督损失；使用修改的数学映射来修改第二3d图像切片；以及通过用户界面向用户提供修改的第二3d图像切片。
6.方法可以包括：将修改的第二3d图像切片下采样到第一3d图像切片的维度。
7.方法可以包括：切换修改的第二3d图像切片的维度以产生第三3d图像切片；将第三3d图像切片下采样到第一3d图像切片的维度；使用可调节的数学映射对下采样的第三3d图像切片进行上采样，以产生第四3d图像切片；通过测量第三3d图像切片与第四3d图像切片之间的差异来计算第二自监督损失；以及调节可调节的数学映射以最小化第二自监督损失。
8.切换第二3d图像切片的维度可产生具有与第一3d图像的层内分辨率匹配的层间分辨率的第三3d图像切片。
9.对下采样的第三3d图像切片进行上采样可产生具有第三3d图像切片维度的第四3d图像切片。
10.方法还可以包括：切换第四3d图像切片的维度以产生第五3d图像切片；对第五3d图像切片进行下采样以产生第六3d图像切片；通过测量第六3d图像切片与第一3d图像切片之间的差异来计算第三自监督损失；调节映射以最小化第二自监督损失和第三自监督损失；使用优化的映射来从第一3d图像切片生成第二3d图像切片；以及通过用户界面向用户
提供第二3d图像切片。
11.切换第五3d图像切片的维度可产生层内和层间轴线(axes)与第一3d图像切片的层内和层间轴线匹配的第六3d图像切片。
12.对第五3d图像切片进行下采样可产生具有第一3d图像切片维度的第六3d图像切片。
13.方法还可以包括：使用深度神经网络来制定用于将第一3d图像切片上采样到第二3d图像切片的数学映射，并且使用计算框架来通过切换第二图像切片和第四图像切片的维度、对第三图像切片和第五图像切片进行下采样、计算第一自监督损失、第二自监督损失和第三自监督损失并且调节深度神经网络以最小化损失来优化深度神经网络。
14.深度神经网络包括一个或多个门控循环单元、长短期记忆网络、全卷积神经网络模型、生成对抗网络、反向传播神经网络模型、径向基函数神经网络模型、深度置信网络神经网络模型和埃尔曼神经网络模型。
15.在另一方面，所公开的实施例涉及一种系统，包括：具有低于层内分辨率的层间分辨率的第一3d图像切片的源；深度神经网络，其将第一3d图像切片上采样到第二3d图像切片并将下采样的第三3d图像切片上采样到第四3d图像切片；以及计算框架，其通过切换第二图像切片和第四图像切片的维度、对第三图像切片和第五图像切片进行下采样、计算第一自监督损失、第二自监督损失和第三自监督损失、并且调节深度神经网络以最小化损失来优化深度神经网络，并且系统还可以包括：用户界面，其用于向用户提供由优化的深度神经网络产生的第二3d图像切片。
16.从结合附图考虑的本文所述的实施例，示例性实施例的这些和其它方面、实施形态以及优点将变得显而易见。然而，应当理解，说明书和附图仅被设计用于例示的目的，而不是作为对所公开发明的限制的定义，对所公开发明的限制应当参考所附权利要求。本发明的另外方面和优点将在以下描述中阐述，并且部分地将从描述显而易见，或者可以通过本发明的实践来了解。而且，本发明的方面和优点可以通过在所附权利要求中特别指出的装置和组合来实现和获得。
附图说明
17.在本公开的以下详细部分中，将参见附图所示的示例实施例更详细地说明本发明。这些实施例是非限制性的示例性实施例，其中在附图的若干视图中，同样的附图标记表示类似的结构，附图中：
18.图1例示了用于利用无监督的深度学习为医学图像生成层间超分辨率的工作流程100的总体概览；
19.图2例示了并入有所公开实施例的方面的示例性系统的示意框图；
20.图3例示了可以用于实施所公开的实施例的计算引擎的示例性架构；
21.图4描绘了可以用于实施所公开的实施例的示例性简单深度学习模型；以及
22.图5示出了用于提供无监督的层间超分辨率医学图像的过程的详细流程图。
具体实施方式
23.在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关公开
的透彻理解。然而，对于本领域技术人员而言应当显而易见的是，可以在没有这种细节的情况下实践本公开。在其它情况下，为了避免不必要地模糊本公开的方面，已经以相对高的级别描述了公知的方法、过程、系统、部件和/或电路，而没有详细描述。对所公开的实施例的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神和范围的情况下，本文所定义的一般原理可以应用于其他实施例和应用。由此，本公开不限于所示的实施例，而是应被赋予与权利要求一致的最广范围。
24.应当理解，本文所用的术语“系统”、“单元”、“模块”和/或“块”是一种以升序区分不同级别的不同部件、元件、零件、部分或组件的方法。然而，如果术语和其他表达可以实现相同的目的，则术语可以被其他表达替换。
25.应当理解，当单元、模块或块被称为在另一单元、模块或块“上”、“连接到”或“联接到”另一单元、模块或块时，它可以直接在另一单元、模块或块上、直接连接或联接到另一单元、模块或块，或者可以存在中间单元、模块或块，除非上下文明确地另外指示。如本文所用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
26.通常，如本文所用的词语“模块”、“单元”或“块”指代在硬件或固件中具体实施的逻辑，或者指代软件指令的集合。本文所述的模块、单元或块可以被实施为软件和/或硬件，并且可以被存储在任何类型的非瞬时性计算机可读介质或另一储存装置中。在一些实施例中，软件模块/单元/块可以被编译并链接到可执行程序中。应当理解，软件模块可以从其他模块/单元/块或从它们自身调用，和/或可以响应于检测到的事件或中断而被调用。被配置为在计算装置上执行的软件模块/单元/块可以设置在计算机可读介质上，诸如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或者设置为数字下载资料(并且可以最初以在执行之前需要安装、解压缩或解密的压缩或可安装格式来存储)。这种软件代码可以部分地或完全地存储在执行计算装置的储存装置上，以便由计算装置执行。软件指令可以嵌入固件中，诸如可擦可编程只读存储器(eprom)中。还应当理解，硬件模块/单元/块可以包括在连接的逻辑部件中，诸如门和触发器中，和/或可以包括在可编程单元中，诸如可编程门阵列或处理器中。本文所述的模块/单元/块或计算装置功能可以被实施为软件模块/单元/块，但是可以以硬件或固件来表示。通常，本文所述的模块/单元/块指代可以与其他模块/单元/块组合或被划分为子模块/子单元/子块的逻辑模块/单元/块，而不管它们的实体组织或储存器如何。该描述可以适用于系统、引擎或其一部分。
27.本文所用的术语仅用于描述特定示例和实施例的目的，而不旨在为限制性的。如本文所用的，单数形式“一”、“一个”以及“该”也可以旨在包括复数形式，除非上下文明确地另外指示。还应当理解，术语“包括”在本公开中使用时，指定整数、装置、行为、所述特征、步骤、元件、操作和/或部件的存在，但是不排除一个或多个其他整数、装置、行为、特征、步骤、元件、操作、部件和/或其组的存在或添加。
28.本公开的这些和其它特征和特性、以及结构的相关元件的操作方法和功能以及零件的组合和制造的经济性，在参见附图考虑以下描述时可以变得更加明显，所有附图形成本公开的一部分。然而，应当明确地理解，附图仅用于例示和描述的目的，而不旨在限制本公开的范围。应当理解，附图不是等比例。
29.所公开的实施例涉及利用深度学习来从具有相对大的层间维度的图像中恢复各向同性图像的方法和系统，其能够在层间方向上产生清晰的图案并在很少或没有人为干预
的情况下提高下游任务的质量。
30.可以实施利用监督学习来提高3d医学图像的分辨率的深度学习方法，其中，深度学习模型使用低分辨率图像对来学习生成高分辨率图像，以用于训练。然而，生成用于训练的高分辨率图像是昂贵的，并且在一些情况下甚至可能是不可行的。所公开的实施例涉及一种利用无监督学习来提高层间图像分辨率的深度学习方法，其不需要高分辨率图像作为训练金标准。
31.为了所公开的实施例的目的，所采集的3d医学图像具有分辨率相对高的层内x和y维度以及分辨率低于x和y维度的层间z维度，并且所公开的实施例涉及提高层间z维度的分辨率，也称为实现超分辨率。尽管在3d医学图像切片的背景下描述了所公开的实施例，但是应当理解，所公开的实施例可以利用任何合适的3d图像。由于采集金标准高分辨率图像的困难，所公开的实施例利用无监督训练策略，其中，在具有自监督损失且没有人为干预的情况下在低分辨率数据集上训练深度学习模型。
32.用于实现超分辨率的系统和方法的各种操作在利用深度学习模型的上下文中描述，并且应当理解，各个深度学习模型可以用于各种操作，不同的深度学习模型可以用于各种操作的组合，或者单个深度学习模型可以用于所有操作。
33.图1例示了用于利用无监督的深度学习为医学图像生成层间超分辨率的工作流程100的总体概览。可以在方框105采集具有层内x和y维度以及层间z维度的原始图像切片i
lr
，并且可以初始化具有参数θ的深度神经网络f
θ
，该深度神经网络提高z维度的图像切片的分辨率。可以在方框110将分辨率提高的图像切片i
hr
下采样到原始图像切片维度，并且可以将下采样的图像切片与原始图像切片i
lr
比较，以计算第一自监督损失l1：
[0034][0035][0036]
其中，m是测量与i
lr
之间的差异的度量，并且ds是下采样操作。
[0037]
可以在方框115切换分辨率提高的图像切片的维度，以产生具有x维度上的层间维度的图像切片s
hr,x
，并且产生具有y维度上的层间维度的图像切片s
hr,y
，可以将维度切换的分辨率提高的图像切片下采样到相应的x和y维度上的原始图像切片尺寸可以通过深度神经网络f
θ
将下采样的维度切换的图像切片的分辨率提高到维度切换的分辨率提高的图像切片的分辨率，并且可以将下采样的维度切换的图像切片的分辨率与维度切换的分辨率提高的图像切片s
hr
比较，以计算第二自监督损失l2：
[0038]
l2＝m(s
′
hr
，s
hr
)
[0039][0040]
在方框120，可以将维度切换的分辨率提高的图像切片s’hr
的维度切换回到层内x和y维度以及层间z维度s”hr
，可以对切换回的分辨率提高的图像切片进行下采样，并且可以将其与原始图像切片i
lr
比较，以计算第三自监督损失l3：
[0041]
l3＝m(ds(s
″
hr
)，i
lr
)
ꢀꢀꢀ
(3)
[0042]
可以在方框125迭代地更新深度神经网络，以最小化自监督损失(等式1-3)，该自监督损失用作网络学习从低分辨率图像切片到具有与低分辨率图像切片中一致的特征的高分辨率图像切片的映射的约束。
[0043]
在优化深度神经网络以最小化自监督损失(等式1-3)之后，可以在方框130使用深度神经网络来以低分辨率图像切片作为输入提供具有高层间分辨率的图像切片。
[0044]
图2例示了并入有所公开实施例的方面的示例性系统200的示意框图。系统200可包括：层间z维度具有比层内x和y维度更低的分辨率的3d医学图像切片的源202、用于执行本文公开的操作的至少一个深度学习模型204、以及用于向一个或多个用户提供超分辨率图像切片的一个或多个用户界面或其它输出装置206。应当理解，系统200的部件可以以硬件、软件或硬件和软件的组合来实施。
[0045]
图3例示了可以用于实施所公开的实施例的计算引擎300的示例性架构。计算引擎300可以包括计算机可读程序代码，该计算机可读程序代码存储在至少一个计算机可读介质302上，用于进行和执行本文所述的处理步骤。用于进行本公开方面的操作的计算机可读程序代码可以以一种或多种编程语言的任意组合来编写，这些编程语言包括面向对象的编程语言(诸如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等)、常规程序设计语言(诸如“c”编程语言、visual basic、fortran 2103、perl、cobol 2102、php、abap)、动态编程语言(诸如python、ruby以及groovy)、或其它编程语言。计算机可读程序代码可以完全在计算引擎300上执行，部分在计算引擎300上执行，作为独立软件包执行，或者部分或完全在远程计算机或服务器(诸如云服务)上执行。
[0046]
计算机可读介质302可以是计算引擎300的存储器。在替代方面中，计算机可读程序代码可以存储在计算引擎300外部或远离计算引擎300的存储器中。存储器可以包括磁介质、半导体介质、光介质或计算机可读和可执行的任何介质。计算引擎300还可以包括计算机处理器304，其用于执行存储在至少一个计算机可读介质302上的计算机可读程序代码。在至少一个方面，计算引擎300可以包括一个或多个输入或输出装置，通常称为用户界面306，其可以操作为分别允许到计算引擎300的输入或提供来自计算引擎300的输出。计算引擎300可以以硬件、软件或硬件和软件的组合来实施。
[0047]
计算引擎300通常可以操作为支持一个或多个深度学习模型。图4描绘了可以用于实施所公开的实施例的示例性简单深度学习模型400。虽然示出了简单的深度学习模型，但是应当理解，可以利用深度学习模型来实施所公开的实施例，该深度学习模型包括一个或多个门控循环单元(gru)、长短期记忆(lstm)网络、全卷积神经网络(fcn)、生成对抗网络(gan)、反向传播(bp)神经网络、径向基函数(rbf)神经网络、深度置信网络(dbn)神经网络、埃尔曼神经网络、注意力神经网络、或者能够执行本文所述的操作的任何深度学习模型。还应当理解，所公开的实施例的不同功能可以利用深度学习模型来实施，其中参数在由深度学习模型执行的不同操作之间共享。
[0048]
深度学习模型400可被训练为通过以下方式在自监督下将低分辨率图像切片映射到高分辨率图像切片：确保原始图像切片与下采样图像切片之间、维度切换的分辨率提高的图像切片与分辨率提高的下采样的维度切换的图像切片之间、以及下采样的切换回的分辨率提高的图像切片与原始图像切片之间的一致性。
[0049]
计算引擎300还可以为计算框架提供平台。例如，计算框架可以包括软件、硬件、处理器和存储器的组合，其可以操作为在计算机可读程序代码的控制下如本文所述地操纵和处理图像切片，并且可以集成在计算引擎300的硬件和软件内。
[0050]
图5示出了根据所公开的实施例的用于利用自监督学习优化深度神经网络的计算框架500的详细流程图，其中，深度神经网络被训练为在自监督约束下将层间低分辨率医学图像映射到层间高分辨率医学图像。将被定义为具有层间方向上的z维度(其分辨率低于层内方向上的x和y维度)的多个低分辨率(lr)图像切片502提供给深度学习模型，在此称为网络504。网络504操作为通过使用可调节的数学映射对lr图像切片502进行上采样，以产生在z维度上具有提高的分辨率的图像切片506。在z维度上对在z维度上具有提高的分辨率的图像切片506进行下采样，以产生具有与lr图像切片502相同尺寸的lr下采样图像切片508。计算框架通过测量下采样图像切片508与lr图像切片502之间的差异来计算第一自监督损失510。网络504通过提取lr图像切片502中的特征并修改数学映射以最小化第一自监督损失510，来学习将lr图像切片502映射到分辨率提高的图像切片506，并使用修改的数学映射来修改在z维度上具有提高的分辨率的图像切片506。
[0051]
旋转或切换在z维度上具有提高的分辨率的修改的图像切片506的维度，以将在z维度上具有提高的分辨率的图像切片与y维度上的层间方向512合成，并且将在z维度上具有提高的分辨率的图像切片与x维度上的层间方向514合成。在y维度中对具有y维度上的层间方向的图像切片512进行下采样，以产生具有y维度上的层间方向的lr图像切片516和具有x维度上的层间方向的lr图像切片518。对具有y维度上的层间方向的lr图像切片516和具有x维度上的层间方向的lr图像切片518进行上采样，以产生具有维度上的层间方向的hr图像切片520和具有x维度上的层间方向的hr图像切片522。网络504通过以下方式来学习将下采样分辨率提高的图像切片516、518映射到分辨率提高的图像切片512、514：提取下采样分辨率提高的图像切片516、518中的特征并最小化第二自监督损失524、526，该第二自监督损失测量其输出520、522与分辨率提高的图像切片512、514之间的差异。
[0052]
将具有y维度上的层间方向的hr图像切片520的维度旋转或切换到具有层内x和y维度以及层间z维度的取向528，并且对得到的图像切片进行下采样，以产生具有与lr图像切片502相同尺寸的lr下采样图像切片532。网络504学习最小化第三自监督损失536、538，其测量lr图像切片532、534与lr图像切片502之间的差异。
[0053]
应当注意，作为特征学习和自监督损失最小化的结果而调整的深度学习模型参数在由网络504执行的不同操作之间共享540。
[0054]
还应当注意，在高分辨率图像可作为训练金标准例如从不同类型的模式获得的情况下，应当理解，可以通过在z维度上下采样并使用对应的高和低分辨率图像作为训练对来合成低分辨率图像，以预训练网络504。
[0055]
由此，虽然已经示出、描述并指出了应用于本发明的示例性实施例的本发明的基本新颖特征，但是应当理解，本领域技术人员可以在所例示装置和方法的形式和细节以及它们的操作方面进行各种省略、替换和改变，而不脱离当前公开的发明的精神和范围。进一步地，明确预期的是以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。而且，应当认识到，结合本发明的任何公开形式或实施例示出和/或描述的结构和/或元件可以作为设计选择的一般问题而并入任何其他公开或
描述或建议的形式或实施例中。因此，本发明旨在仅由所附权利要求的范围指示的来限制。