用于将解剖图像配准到功能图像的深度学习的制作方法

本公开通常涉及数字医疗图像数据处理，并且更特别地涉及使用深度学习将解剖图像配准到功能图像。

背景技术：

1、混合成像在准确地识别患病和正常组织中起重要作用。混合成像通过融合由不同模态采集的图像来提供组合的益处。例如，解剖成像(例如，计算机断层摄影或ct、磁共振或mr)提供结构细节，而功能成像(例如，正电子发射断层摄影或pet、单光子发射计算机断层摄影或spect)提供对生物行为(诸如新陈代谢、血流、局部化学成分或吸收的变化)的洞察。解剖成像模态和功能成像模态之间的互补性为医生提供一种实现前所未有的诊断准确性水平的手段，从而加速在临床环境中功能成像的采用。

2、这也引入用于校正发射图像的新范例。由于湮没光子源自成像对象内，因此它们可以在被检测之前被对象的物理质量吸收和/或散射。这导致pet信号的衰减——现象，所述现象影响了为产生准确图像而必须顾及的数据的重要部分。在pet/ct之前，通常通过在pet采集之前围绕对象旋转已知活性的外部正电子发射棒或线源来测量线性衰减系数的映射(即，mu映射)。这种方法给整个扫描会话增加额外的时间，易受总对象运动的影响，并且仅产生低分辨率的估计。

3、在混合pet成像系统中，可以使用解剖图像(例如，ct或mr)以针对衰减和散射来校正原始pet采集数据。解剖图像提供对象中的光子衰减的测量结果，其可以用于通过从x射线管缩放到光子湮灭能量来直接生成pet mu映射。这种基于ct的衰减校正(ac)在非常短的时间内提供高质量的校正。此外，解剖和功能数据采集的“同时性”因此已经大大减轻了对空间上共同配准多模态图像的需要。

4、然而，这些采集实际上不是完全同时的，并且先前的点取决于没有扫描间对象移动的假设。不幸的是，通常不是如此；扫描时间点的微小差异使得在扫描之间的对象移动的可能性。空间失准可能由总对象移动和不自觉的生理运动引起。例如，标准全身(wb)pet扫描为几分钟长，并且捕获在对象的呼吸周期上平均的活性分布。常见的是，观察定量误差，因为ct是在不同的呼吸阶段采集的。此外，对于生理门控图像，单个ct不可能为每个pet帧提供准确校正。

5、功能成像和解剖成像之间的对象失准导致量化中的误差，并且导致所重建pet图像的明显定性问题，从而显著地恶化pet校正的准确性。图1示出了具有在多个位置处由箭头106a-c指示的伪影的对象的所重建pet图像102。由于由失准的pet和ct数据引起的量化误差而产生伪影。更特别地，特征“香蕉”伪影106a和106b分别由头部和手臂中的总患者运动引起。在肝脏圆顶处产生的伪影106c由呼吸运动引起。由于该对象具有在多个位置处源自不同类型的运动的明显伪影(由箭头指示)，因此它不能被包括在训练集中并且仅用于验证。这些误差在混合pet成像中普遍存在，但是通常被忽略，因为当前没有鲁棒的方法来匹配ct图像与pet图像。

技术实现思路

1、在本文中描述了一种用于使用深度学习来将解剖图像配准到功能图像的框架。根据一个方面，框架通过将解剖图像和对应的功能图像作为输入应用于第一训练的卷积神经网络来提取特征。通过将所提取的特征作为输入应用于第二训练的卷积神经网络来估计变形场。然后，可以将变形场应用于解剖图像以生成经配准的解剖图像。

技术特征：

1.一种用于图像配准的系统，包括：

2.根据权利要求1所述的系统，其中，所述解剖图像包括计算机断层摄影(ct)或磁共振(mr)图像。

3.根据权利要求1所述的系统，其中，所述功能图像包括正电子发射断层摄影(pet)或单光子发射计算机断层摄影(spect)图像。

4.根据权利要求1所述的系统，其中，所述第一训练的卷积神经网络包括使用修改的u-net配置的特征提取器。

5.根据权利要求1所述的系统，其中，所述第二训练的卷积神经网络包括变形向量场回归器。

6.一种用于图像配准的方法，包括：

7.根据权利要求6所述的方法，其中，所述解剖图像包括计算机断层摄影(ct)或磁共振(mr)图像。

8.根据权利要求6所述的方法，其中，所述功能图像包括正电子发射断层摄影(pet)或单光子发射计算机断层摄影(spect)图像。

9.根据权利要求6所述的方法，还包括使用功能图像补丁和解剖图像补丁对来执行训练以生成所述第一和第二训练的卷积神经网络。

10.根据权利要求6所述的方法，其中，通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征包括将所述第一训练的卷积神经网络等同地用于所述解剖图像和所述功能图像。

11.根据权利要求6所述的方法，其中，通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征包括将所述解剖图像和所述功能图像应用于使用修改的u-net配置的特征提取器。

12.根据权利要求6所述的方法，其中，估计所述变形场包括：使所述解剖图像与所述功能图像之间的相对运动位移矩阵回归，并且基于所述相对运动位移矩阵来定义内插网格。

13.根据权利要求6的方法，其中，将所述特征作为输入应用于所述第二训练的卷积神经网络包括将所述特征应用于变形向量场回归器，所述变形向量场回归器使与所述解剖图像和所述功能图像相对应的特征之间的相对位移场回归。

14.根据权利要求6所述的方法，其中，将所述变形场应用于所述解剖图像以生成经配准的解剖图像包括使用所述变形场来重新采样所述解剖图像。

15.根据权利要求6所述的方法，还包括基于经配准的解剖图像来生成衰减校正映射，以用于校正原始采集数据。

16.根据权利要求13所述的方法，还包括：基于所述衰减校正映射来校正所述原始采集数据，并且基于校正的原始采集数据来重建一个或多个图像。

17.根据权利要求6所述的方法，其中，所述解剖图像和所述功能图像分别包括心脏灌注ct图像和pet图像。

18.一种或多种非暂时性计算机可读介质，包含可由机器执行以执行操作的指令，所述操作包括：

19.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述第一卷积神经网络包括使用修改的u-net配置的特征提取器。

20.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述第二卷积神经网络包括变形向量场回归器。

技术总结
本公开涉及用于将解剖图像配准到功能图像的深度学习。一种用于使用深度学习将解剖图像配准到功能图像的框架。根据一个方面，该框架通过将解剖图像和对应的功能图像作为输入应用于第一训练的卷积神经网络来提取特征。通过将所提取的特征作为输入应用于第二训练的卷积神经网络来估计变形场。然后，可以将变形场应用于解剖图像以生成经配准的解剖图像。

技术研发人员：J·谢弗科特
受保护的技术使用者：美国西门子医疗系统股份有限公司
技术研发日：
技术公布日：2024/1/14