血管造影图像中的冠状动脉钙化的评估的制作方法

1.本发明总体上涉及血管造影图像中的冠状动脉钙化的评估，并且更特别地涉及训练用于评估血管造影图像中的冠状动脉钙化的机器学习模型。


背景技术：

2.冠状动脉疾病（cad）是由于斑块（plaque）的积聚所致的冠状动脉变窄，从而使得去往心脏的血液流动被限制。当斑块是钙化斑块时，在治疗cad时会出现重大挑战。具体而言，与非钙化斑块（例如，软的脂肪斑块，诸如胆固醇）所引起的cad的治疗相比，钙化斑块所引起的cad的治疗与更高的并发症率和更低的成功率相关联。例如，对cad的一种治疗是经皮冠状动脉介入（pci），其涉及使用支架或其他器件使变窄的动脉打开。然而，已经观察到的是，用于治疗冠状动脉中的钙化斑块的pci往往导致支架扩张不足，从而导致急性医疗事件（例如，再狭窄）的风险、手术时间、辐射剂量和对比剂剂量的增加。
3.减积（debulking）技术（诸如，冠状动脉旋磨术（rotational atherectomy））已经被开发用于消融钙化斑块并且便于冠状动脉器件的递送。研究已经表明，经规划的冠状动脉旋磨术策略可以导致总手术时间、辐射剂量、对比剂剂量、材料（例如，预扩张球囊导管）和医疗成本的减少。因此，客观地评估和量化来自常规血管造影图像的冠状动脉钙化对于临床决策制定来说是重要的，该临床决策制定诸如例如确定是否在pci之前执行冠状动脉旋磨术。


技术实现要素：

4.根据一个或多个实施例，提供了用于将人工智能模型训练成用于在输入医学图像中检测血管的钙化部分的系统和方法。接收以第一模态的血管的一个或多个第一医学图像和以第二模态的血管的一个或多个第二医学图像。在一个或多个第一医学图像中检测血管的钙化部分。基于一个或多个第二医学图像以及在一个或多个第一医学图像中检测到的血管的钙化部分将所述人工智能模型训练成用于在以第二模态的输入医学图像中检测血管的钙化部分。
5.根据一个实施例，第一模态是计算机断层扫描，第二模态是x射线血管造影，并且一个或多个第一医学图像和一个或多个第二医学图像是相同患者的图像。可以通过以下步骤来训练所述人工智能模型：在一个或多个第一医学图像与一个或多个第二医学图像之间执行共同配准（co-registration）；基于所述共同配准，将在一个或多个第一医学图像中检测到的钙化部分投影到一个或多个第二医学图像上；以及基于血管的所投影的钙化部分来训练所述人工智能模型。
6.根据一个实施例，第一模态是计算机断层扫描，第二模态是x射线血管造影，并且一个或多个第一医学图像和一个或多个第二医学图像是不同患者的图像。可以通过以下步骤来训练所述人工智能模型：使用另一个人工智能模型基于一个或多个第一医学图像来生成以第二模态的血管的一个或多个合成医学图像；以及基于血管的一个或多个合成医学图
像来训练所述人工智能模型。所述一个或多个合成医学图像可以均对应于不同的获取角度。可以通过以下步骤来训练所述另一个人工智能模型：基于一个或多个第二医学图像的获取角度来对一个或多个第二医学图像进行分组（group）；针对每一个获取角度来计算一个或多个第一医学图像的二维投影；以及基于一个或多个第一医学图像针对每一个获取角度的所述二维投影以及所分组的一个或多个第二医学图像来训练所述另一个人工智能模型。
7.根据一个实施例，第一模态是血管内成像模态，第二模态是x射线血管造影，并且一个或多个第一医学图像和一个或多个第二医学图像是不同患者的图像。可以通过以下步骤来训练所述人工智能模型：针对多个角度来计算一个或多个第一医学图像的纵向投影；将一个或多个第一医学图像的所计算的纵向投影映射到二维血管树；使用另一个人工智能模型基于所述二维血管树来生成以第二模态的血管的一个或多个合成医学图像；以及基于所述一个或多个合成医学图像来训练所述人工智能模型。所述一个或多个合成医学图像可以均对应于所述多个角度中的一个。可以通过以下步骤来训练所述另一个人工智能模型：针对所述多个角度中的每一个来计算一个或多个第一医学图像的纵向投影；将所计算的纵向投影映射到特定二维血管树；以及基于所述特定二维血管树来训练所述人工智能模型。
8.根据一个实施例，第一模态是血管内成像模态，第二模态是x射线血管造影，并且一个或多个第一医学图像和一个或多个第二医学图像是相同患者的图像。可以通过以下步骤来训练所述人工智能模型：从一个或多个第二医学图像来执行血管的三维重建；在一个或多个第一医学图像与血管的所述三维重建之间执行共同配准；基于所述共同配准，将在一个或多个第一医学图像中检测到的血管的钙化部分投影到所述三维重建上；以及基于血管的所投影的钙化部分来训练所述人工智能模型。
9.通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员来说将是明显的。
附图说明
10.图1a示出了冠状动脉的示例性x射线血管造影图像；图1b示出了覆盖有各种检测到的钙化部分的冠状动脉的x射线血管造影图像；图2示出了用于便于临床决策制定以用于治疗冠状动脉疾病的高级临床工作流程；图3示出了用于训练和应用人工智能模型以用于在输入医学图像中评估冠状动脉的钙化的高级工作流程；图4示出了具有突出显示的检测到的钙化部分的示例性血管内超声图像；图5示出了用于基于相同患者的冠状动脉计算机断层扫描血管造影图像和x射线血管造影图像将人工智能模型训练成用于在输入x射线血管造影医学图像中检测血管的钙化部分的方法；图6示出了用于基于不同患者的冠状动脉计算机断层扫描血管造影图像和x射线血管造影图像将人工智能模型训练成用于在输入x射线血管造影医学图像中检测血管的钙化部分的方法；图7示出了用于将人工智能模型训练成用于从冠状动脉计算机断层扫描血管造影
图像来生成血管的一个或多个合成x射线血管造影医学图像的方法；图8示出了用于基于不同患者的血管内图像和x射线血管造影图像将人工智能模型训练成用于在输入x射线血管造影医学图像中检测血管的钙化部分的方法；图9示出了血管内图像的示例性纵向投影；图10示出了用于将人工智能模型训练成用于从2d血管树图像来生成血管的一个或多个合成x射线血管造影医学图像的方法；图11示出了用于基于相同患者的血管内图像和多个x射线血管造影图像将人工智能模型训练成用于在输入x射线血管造影医学图像中检测血管的钙化部分的方法；图12示出了用于基于相同患者的血管内图像和多个x射线血管造影图像将人工智能模型训练成用于在输入x射线血管造影医学图像中检测血管的钙化部分的工作流程；以及图13示出了用于从x射线血管造影图像来生成血管内图像的工作流程；以及图14示出了计算机的高级框图。
具体实施方式
11.本发明总体上涉及血管造影图像中的冠状动脉钙化的评估。本文中描述了本发明的实施例，以给出对用于评估血管造影图像中的冠状动脉钙化的方法的视觉理解。数字图像往往由一个或多个对象（或形状）的数字表示组成。在本文中往往在标识和操纵对象方面来描述对象的数字表示。这种操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，要理解的是，本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。
12.另外，应当理解的是，虽然可以关于血管造影图像中的冠状动脉钙化的评估来讨论本文中讨论的实施例，但是本发明不限于此。本发明的实施例可以被应用于评估任何类型的图像中的任何类型的结构（例如，解剖结构或非解剖结构）中的任何类型的斑块或其他积聚。
13.图1a示出了冠状动脉的示例性x射线血管造影（xa）图像100。xa图像100中的冠状动脉的部分是钙化的。该钙化部分表示导致了冠状动脉变窄的钙的积聚。该钙化部分可以通过经皮冠状动脉介入（pci）来治疗，以使用支架或其他医学器件使冠状动脉的钙化部分打开。然而，在通常情况下，由于钙化部分中的钙的刚性，通过pci对钙化部分进行的治疗会导致支架扩张不足。
14.图1b示出了根据一个或多个实施例的其上覆盖有各种钙化部分112的冠状动脉的xa图像110。本发明的实施例提供了对xa图像110中的冠状动脉的钙化部分112的检测和评估。在一个或多个实施例中，描述了基于人工智能（ai）的方法，该方法用于自动检测xa图像中的冠状动脉的钙化部分。可以通过例如在一个或多个检测到的钙化部分中或者在xa图像中确定对钙化进行量化的钙化得分来评估冠状动脉。这种实施例可以被并入到临床工作流程中，以便于临床决策制定例如以用于治疗钙化部分112。例如，通过评估钙化部分112，可以确定在执行pci之前是否执行冠状动脉旋磨术或其他减积技术，从而避免支架扩张不足或pci并发症，并且减少总手术时间、辐射剂量、对比剂剂量、材料和成本。
15.图2示出了根据一个或多个实施例的用于便于临床决策制定以用于治疗cad（或任
何其他医学状况）的高级临床工作流程200。
16.在步骤202处，将患者准备好进行血管造影。例如，临床医生（或任何其他医学专业人员）可以设置用于进入（access）冠状动脉（或感兴趣的任何其他血管）的血管进入点。血管进入点可以是任何合适的进入点，诸如例如股动脉、桡动脉或肱动脉。
17.在步骤204处，使用用于引导的荧光透视图像将导管导航到冠状动脉，以用于执行血管造影。导管到冠状动脉的导航便于对比剂扩散到冠状动脉以用于执行血管造影。
18.在步骤206处，在荧光透视图像中检测和评估冠状动脉的钙化部分。荧光透视图像是利用很少对比剂或不利用对比剂来获取的，并且因此，冠状动脉的钙化部分在这种荧光透视图像中并不清晰可见。在荧光透视图像中对冠状动脉钙化的评估可以被表示为钙化得分，该钙化得分量化了荧光透视图像中的冠状动脉的钙化。在一个实施例中，通过应用根据图3的工作流程300所训练和应用的经训练的人工智能模型，从而在荧光透视图像中评估冠状动脉的钙化。
19.在步骤208处，执行血管造影来获取冠状动脉的xa图像。例如，xa图像可以是冠状动脉的电影血管造影图像（cine-angiographic images）。血管造影是使用对比剂来执行的。
20.在步骤210处，在xa图像中检测冠状动脉的钙化部分，并且评估检测到的钙化部分中的特定钙化部分（例如，病变或其他感兴趣区域）的钙化。xa图像是使用对比剂来获取的，并且由此，冠状动脉的钙化部分在xa图像中是可见的，从而允许钙化部分与冠状动脉之间的映射。在xa图像中对冠状动脉钙化的评估可以被表示为钙化得分，该钙化得分量化了在xa图像中检测到的冠状动脉的一个或多个钙化部分的钙化。在一个实施例中，通过应用根据图3的工作流程300所训练和应用的经训练的人工智能模型，从而在xa图像中检测和评估冠状动脉的一个或多个钙化部分的钙化。
21.在步骤212处，基于对冠状动脉的每个检测到的钙化部分中的钙化的评估来做出临床决策。例如，在对冠状动脉的检测到的钙化部分中的钙化的评估指示了高钙化的情况下，该临床决策可以是在执行pci之前执行减积技术（诸如例如，冠状动脉旋磨术）。在另一个示例中，如果对冠状动脉的检测到的钙化部分中的钙化的评估指示了低钙化，则该临床决策可以是在冠状动脉的检测到的钙化部分上执行pci，而不执行减积技术。还设想了其他临床决策。
22.图3示出了根据一个或多个实施例的用于训练和应用人工智能模型以用于在输入医学图像中评估冠状动脉的钙化的高级工作流程300。除非另行指出，否则工作流程300的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。框302-306示出了用于训练人工智能模型的离线或训练阶段，该人工智能模型用于在输入医学图像中检测血管的钙化部分。框308-314示出了用于应用经训练的人工智能模型的在线或测试阶段。在一个或多个实施例中，可以在图2的步骤206和/或210中应用经训练的人工智能模型。
23.在离线阶段期间，在框302处，接收以第一模态的血管的一个或多个第一医学图像和以第二模态的血管的一个或多个第二医学图像。在一个实施例中，血管是患者的冠状动脉，但是可以是任何血管（例如，颈动脉、主动脉、肾动脉、外周动脉等）。第一模态和第二模态可以是任何合适但不同的模态，诸如例如计算机断层扫描（ct）（例如，冠状动脉计算机断层扫描血管造影ccta）、x射线（例如，xa）、血管内（iv）成像（诸如例如，光学相干断层扫描
（oct）和血管内超声（ivus））、或任何其他合适的模态。xa图像可以包括：例如其中应用了很少对比剂或不应用对比剂的荧光透视图像、或其中应用了对比剂的电影xa图像。根据一个或多个实施例，一个或多个第一医学图像和一个或多个第二医学图像可以是相同患者或不同患者的图像（即，第一医学图像和第二医学图像是独立的）。可以从一个或多个医学成像系统、或者通过加载使用医学成像系统获取的患者的先前存储的图像来接收一个或多个第一医学图像和一个或多个第二医学图像。
24.在框304处，在一个或多个第一医学图像中检测血管的钙化部分。血管的钙化部分可以由临床医生在第一医学图像中手动注释，或者可以使用任何合适的方法来自动或半自动地检测。在一个示例中，可以使用基于经注释的训练数据所训练的人工智能模型来检测血管的钙化部分。在另一个示例中，可以根据2017年8月3日提交的美国专利申请no.15/548,581中描述的方法、或2017年2月10日提交的美国专利no.9,767,557中描述的方法来检测血管的钙化部分，这些美国专利的公开内容通过引用整体地并入本文中。血管的检测到的钙化部分可以由一个或多个第一医学图像中的一个或多个边界框、分段、经加标签或突出显示的像素、或任何其他合适的形式来表示。
25.在框306处，基于一个或多个第二医学图像以及在一个或多个第一医学图像中检测到的血管的检测到的钙化部分将人工智能模型训练成在以第二模态的输入医学图像中预测血管的钙化部分。该人工智能模型可以是任何合适的人工智能模型。例如，该人工智能模型可以是机器学习模型，诸如例如神经网络。在一个实施例中，可以根据图5的方法500来训练该人工智能模型，在图5中，一个或多个第一医学图像是ccta图像，并且一个或多个第二医学图像是相同患者的xa图像。在另一个实施例中，可以根据图6的方法600来训练该人工智能模型，在图6中，一个或多个第一医学图像是ccta图像，并且一个或多个第二医学图像是不同患者的xa图像。在另一个实施例中，可以根据图8的方法800来训练该人工智能模型，在图8中，一个或多个第一医学图像是iv图像（例如，oct或ivus图像），并且一个或多个第二医学图像是不同患者的xa图像。在另一个实施例中，可以根据图11的方法1100来训练该人工智能模型，在图11中，一个或多个第一医学图像是iv图像，并且一个或多个第二医学图像是相同患者的xa图像。
26.在在线阶段期间，在框308处，接收以第二模态的血管的输入医学图像。可以直接从用于获取该输入医学图像的图像获取设备来接收该输入医学图像。替代地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像、或者接收从远程计算机系统传输的医学图像来接收该输入医学图像。
27.在框310处，使用经训练的人工智能模型在该输入医学图像中检测血管的钙化部分。该输入医学图像中的血管的钙化部分可以由该输入医学图像中的一个或多个边界框、分段、经加标签或突出显示的像素、或任何其他合适的形式来表示。图4示出了血管内超声（ivus）图像400，图像400具有突出显示（例如，通过修改像素强度值来突出显示）的检测到的钙化部分402。
28.在框312处，基于在该输入医学图像中检测到的血管的检测到的钙化部分来确定该输入医学图像的钙化得分。钙化得分表示在该输入医学图像的感兴趣区域中检测到的钙化的量化。在一个实施例中，感兴趣区域是整个输入医学图像。在另一个实施例中，感兴趣区域是血管的检测到的钙化部分中的一个或多个。例如，感兴趣区域可以是与冠状动脉的
特定分支、区段（segment）或区域相关联的检测到的钙化部分。
29.可以使用任何合适的方法来计算钙化得分。在一个实施例中，钙化得分被计算为描绘了感兴趣区域中的血管钙化的像素的数量。在另一个实施例中，钙化得分被计算为描绘了感兴趣区域中的血管钙化的每个像素的强度值的总和。可以基于该输入医学图像中描绘了血管的所有像素、例如使用血管性（vesselness）模型来对描绘了感兴趣区域中的血管钙化的每个像素的强度值进行归一化。还设想了确定钙化得分的其他方法。
30.在框314处，输出在该输入医学图像中检测到的血管的钙化部分、和/或钙化得分。例如，可以通过如下方式来输出在该输入医学图像中检测到的血管的钙化部分、和/或钙化得分：在计算机系统的显示设备上显示在该输入医学图像中检测到的血管的钙化部分、和/或钙化得分，在计算机系统的存储器或存储装置上存储在该输入医学图像中检测到的血管的钙化部分、和/或钙化得分，或者将在该输入医学图像中检测到的血管的钙化部分、和/或钙化得分传输到远程计算机系统。图1b示出了其上覆盖有各种钙化部分112的冠状动脉的xa图像110的示例性输出。
31.应当理解的是，一旦经训练的人工智能模型在训练阶段（框302-306）中被训练，就可以针对每个新接收到的输入医学图像来重复在线阶段（框308-314），以在新接收到的输入医学图像中评估血管的钙化。例如，可以针对血管的第二输入医学图像来重复框308-314。
32.在一个实施例中，在训练阶段期间，该人工智能模型可以被训练成直接预测量化了该输入医学图像中的钙化的钙化得分。特别地，在训练阶段期间，通过量化一个或多个第一医学图像的感兴趣区域中的钙化来确定钙化得分。在框306处，基于第二医学图像、血管的检测到的钙化部分、以及该钙化得分，将该人工智能模型训练成确定该输入医学图像中的钙化得分。在在线阶段期间，在框310处，使用经训练的人工智能模型来直接确定该输入医学图像的钙化得分，而不必执行框312。
33.图5示出了根据一个或多个实施例的用于基于相同患者的ccta和xa图像将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分的方法500。除非另行指出，否则方法500的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，方法500的步骤在图3中的工作流程300的框306处执行，其中ccta图像对应于以第一模态的第一医学图像，并且xa图像对应于以第二模态的第二医学图像。应当理解的是，虽然方法500是关于ccta图像和xa图像来描述的，但是这些图像可以属于任何合适的模态。
34.在步骤502处，接收血管（例如，冠状动脉）的ccta图像和血管的xa图像。ccta图像和xa图像是相同患者的相同血管的图像。xa图像可以包括其中利用了很少对比剂或不利用对比剂的荧光透视图像、或其中利用了一定剂量对比剂的电影xa图像。
35.在步骤504处，在ccta图像与xa图像之间执行共同配准。共同配准在空间上对齐ccta图像和xa图像的特征以生成合成图像，该合成图像定义了ccta图像与xa图像的像素之间的对应性。可以例如手动地、自动地或半自动地执行共同配准。例如，可以使用图像对应性技术来执行共同配准，该图像对应性技术使用例如标记物或其他特征（例如，分叉、狭窄部（stenoses）、口（ostium）、支架等）。也可以应用其他（例如，已知）技术以用于执行共同配准。
36.在步骤506处，基于共同配准，将在ccta图像中检测到的血管的钙化部分（例如，在图3的步骤304处检测到的钙化部分）投影到xa图像上。特别地，基于共同配准（例如，从共同配准得到的合成图像）来确定xa图像中的如下像素：这些像素对应于ccta图像中的描绘了血管的钙化部分的像素。xa图像中的血管的所投影的钙化部分可以由xa图像中的一个或多个边界框、分段、经加标签或突出显示的像素、或任何其他合适的形式来表示。
37.在步骤508处，基于xa图像以及血管的所投影的钙化部分将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分。该人工智能模型可以是任何合适的人工智能模型，诸如例如机器学习模型。例如，该人工智能模型可以是卷积神经网络（例如，u-net）。应当理解的是，方法500的步骤可以针对任何数量的ccta和xa图像对（每个图像是相同的相应患者的图像）来执行，以训练该人工智能模型。
38.图6示出了根据一个或多个实施例的用于基于不同患者的ccta图像和xa图像将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分的方法600。除非另行指出，否则方法600的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，方法600的步骤在图3中的工作流程300的框306处执行，其中ccta图像对应于以第一模态的第一医学图像，并且xa图像对应于以第二模态的第二医学图像。应当理解的是，虽然方法600是关于ccta图像和xa图像来描述的，但是这些图像可以属于任何合适的模态。
39.在步骤602处，接收血管（例如，冠状动脉）的ccta图像和血管的xa图像。在一个实施例中，ccta图像和xa图像可以是不同患者的图像。
40.在步骤604处，从ccta图像来生成血管的一个或多个合成xa医学图像。在一个实施例中，一个或多个合成xa医学图像中的每一个对应于以不同的获取角度所获取的xa图像。在ccta图像中检测到的血管的钙化部分（例如，在图3的框304处检测到的钙化部分）的位置对应于一个或多个合成xa医学图像中的位置，这是因为一个或多个合成xa医学图像是从ccta图像生成的。
41.可以使用任何合适的方法来生成一个或多个合成xa医学图像。在一个实施例中，使用利用ccta图像和xa图像所训练的另一个经训练的人工智能模型来生成一个或多个合成xa医学图像。在一个实施例中，根据图7的方法700将该另一个人工智能模型训练成生成一个或多个合成xa医学图像。
42.在步骤606处，基于一个或多个合成xa医学图像以及所述合成xa医学图像中的血管的钙化部分（对应于在ccta图像中检测到的钙化部分的位置）将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分。该人工智能模型可以是任何合适的人工智能模型，诸如例如机器学习模型。
43.图7示出了根据一个或多个实施例的用于将人工智能模型训练成用于从ccta图像来生成血管的一个或多个合成xa医学图像的方法700。方法700的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，在在线阶段期间，可以在图6的步骤604中应用根据方法700所训练的经训练的人工智能模型。应当理解的是，虽然方法700是关于ccta图像和xa图像来描述的，但是这些图像可以属于任何合适的模态。
44.在步骤702处，接收血管的一组ccta图像和血管的一组xa图像。在一个实施例中，ccta图像是3d ct体积，并且xa图像包括以不同的获取角度（例如，主获取角度和次获取角
度）所获取的图像。在一个实施例中，该组ccta图像和该组xa图像是不同患者的图像。
45.在步骤704处，基于该组xa图像的获取角度来对该组xa图像进行分组。例如，具有相似（例如，在阈值量内）的主获取角度和次获取角度的xa图像可以被分组在一起。
46.在步骤706处，针对每一个获取角度来计算该组ccta图像的2d投影。该2d投影可以是平行投影、透视投影等。因此，针对该组ccta图像中的每个ccta图像，针对每一个不同的获取角度来计算2d ccta投影。
47.在步骤708处，基于该组ccta图像的2d投影以及所分组的该组xa图像将人工智能模型训练成用于跨模态图像合成。该人工智能模型被训练成从输入ccta医学图像来生成针对每一个获取角度的合成xa医学图像。该人工智能模型可以是任何合适的人工智能模型（例如，机器学习模型）。
48.在一个实施例中，被训练成用于跨模态图像合成的该人工智能模型是生成性对抗网络（gan）。gan包括采用深度网络形式的两个模块：用于生成合成xa图像的生成器和用于在真实图像与合成图像之间进行区分的鉴别器（discriminator）。在训练阶段期间，生成器从输入ccta图像来生成一个或多个合成xa图像。鉴别器接收由生成器生成的合成xa图像以及真实xa图像作为输入，并且将一个图像分类为真实的，并且将另一个图像分类为伪造的（合成的）。生成器和鉴别器被同时训练，使得当鉴别器在伪造图像检测方面进行改进时，生成器在产生能够欺骗鉴别器的逼真图像方面进行改进。因此，利用对抗损失来训练生成器和鉴别器，以迫使生成器学习最有意义的特征。在在线阶段期间，应用gan的经训练的生成器，以从ccta图像来生成一个或多个合成xa医学图像。鉴别器仅在训练阶段期间被使用，并且在在线或推理阶段期间不使用。在一个实施例中，如2016年12月16日提交的题为“deep image-to-image network learning for medical image analysis”的美国专利no.9,760,807中描述的那样，使用gan从ccta图像来生成血管的一个或多个合成xa医学图像，该美国专利的公开内容通过引用整体地并入本文中。
49.图8示出了根据一个或多个实施例的用于基于不同患者的血管内（iv）图像和xa图像将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分的方法800。除非另行指出，否则方法800的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，方法800的步骤在图3中的工作流程300的框306处执行，其中iv图像对应于以第一模态的第一医学图像，并且xa图像对应于以第二模态的第二医学图像。应当理解的是，虽然方法800是关于iv图像和xa图像来描述的，但是这些图像可以属于任何合适的模态。
50.在步骤802处，接收血管（例如，冠状动脉）的iv图像和血管的xa图像。血管的iv图像可以属于任何iv模态，诸如例如oct或ivus。在一个实施例中，iv图像和xa图像是不同患者的图像。
51.在步骤804处，针对多个角度来计算iv图像的纵向投影。一般而言，iv图像包括沿着血管中心线的一组2d图像（即，沿着中心线的横截面视图）。这些2d图像形成了3d体积。可以通过垂直于中心线对该3d体积进行投影来获得纵向投影。对应于不同的获取角度，可以获得不同的纵向投影。图9示出了示例性纵向投影900。
52.在步骤806处，将iv图像的所计算的纵向投影映射到2d血管树。2d血管树可以是二元血管树，其中设置为0的像素表示背景，并且设置为1的像素表示血管。在一个实施例中，
通过如下方式将iv图像的所计算的纵向投影映射到2d血管树：将iv图像的所计算的纵向投影映射到3d血管树，并且然后将该3d血管树投影到2d空间以提供2d血管树。在另一个实施例中，通过直接将iv图像的纵向投影映射到2d血管树，来将iv图像的所计算的纵向投影映射到2d血管树。可以通过将iv图像的所计算的纵向投影映射到表示一般血管（例如，一般冠状动脉树）的图谱（atlas），来将iv图像的所计算的纵向投影映射到2d血管树。纵向投影可以被映射到冠状动脉图谱的任何区域。iv图像的所计算的纵向投影到2d血管树的映射将增加血管的曲率，从而提供逼真的冠状动脉血管造影生成。
53.在步骤808处，从2d血管树来生成血管的一个或多个合成xa医学图像。在一个实施例中，一个或多个合成xa医学图像中的每一个对应于该多个角度中的一个，所计算的纵向投影是针对该多个角度来计算的。在iv图像中检测到的血管的钙化部分（例如，在图3的框304处检测到的钙化部分）的位置对应于一个或多个合成xa医学图像中的位置，这是因为一个或多个合成xa医学图像是从iv图像的所计算的纵向投影来生成的。
54.可以使用任何合适的方法来生成一个或多个合成xa医学图像。在一个实施例中，使用利用iv图像和xa图像所训练的另一个经训练的人工智能模型来生成一个或多个合成xa医学图像。在一个实施例中，根据图10的方法1000将该另一个人工智能模型训练成生成一个或多个合成xa医学图像。
55.在步骤810处，基于一个或多个合成xa医学图像以及在ccta图像中检测到的血管的钙化部分将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分。该人工智能模型可以是任何合适的人工智能模型，诸如例如机器学习模型。
56.图10示出了根据一个或多个实施例的用于将人工智能模型训练成用于从2d血管树图像来生成血管的一个或多个合成xa医学图像的方法1000。方法1000的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，在在线阶段期间，可以在图8的步骤808中应用根据方法1000所训练的经训练的人工智能模型。应当理解的是，虽然方法1000是关于iv图像和xa图像来描述的，但是这些图像可以属于任何合适的模态。
57.在步骤1002处，接收血管的一组iv图像和血管的一组xa图像。在一个实施例中，该组iv图像和该组xa图像是不同患者的图像。
58.在步骤1004处，针对多个角度来计算该组iv图像的纵向投影。因此，针对该组iv图像中的每个iv图像，针对该多个角度中的每一个来计算纵向投影。
59.在步骤1006处，将iv图像的所计算的纵向投影映射到2d血管树。
60.在步骤1008处，基于该2d血管树和该组xa图像将人工智能模型训练成用于跨模态图像合成。该人工智能模型被训练成从输入iv医学图像来生成针对该多个角度中的每一个的合成xa医学图像。该人工智能模型可以是任何合适的人工智能模型（例如，机器学习模型）。在一个实施例中，该人工智能模型是gan。
61.图11示出了根据一个或多个实施例的用于基于相同患者的iv图像和多个xa图像将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分的方法1100。除非另行指出，否则方法1100的步骤可以由任何合适的计算设备（诸如例如，图14的计算机1402）来执行。在一个实施例中，方法1100的步骤在图3中的工作流程300的框306处执行，其中iv图像对应于以第一模态的第一医学图像，并且该多个xa图像对应于以第二模态的第二医学
图像。应当理解的是，虽然方法1100是关于iv图像和多个xa图像来描述的，但是这些图像可以属于任何合适的模态。将参考图12同时描述方法1100，图12示出了根据一个或多个实施例的用于基于相同患者的iv图像和多个xa图像将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分的工作流程1200。
62.在步骤1102处，接收血管（例如，冠状动脉）的iv图像和血管的多个xa图像。 iv图像和该多个xa图像是相同患者的相同血管的图像。工作流程1200示出了oct图像1202（即，iv图像）、以及xa图像——视图1 1206-a和视图2 1206-b。oct图像1204示出了具有血管的检测到的钙化部分（例如，在图3的步骤304处检测到的钙化部分）的oct图像1202。
63.在步骤1104处，从该多个xa图像来执行血管的3d xa重建。血管的3d xa重建可以使用任何合适的（例如，已知的）方法来执行。在工作流程1200中，从oct图像1206-a和1206-b对血管进行分段，以分别提供分段1208-a和1208-b。分段1208-a和1208-b用于生成血管的3d xa重建。
64.在步骤1106处，在iv图像与血管的3d xa重建之间执行共同配准。工作流程1200示出了oct图像1204（其具有血管的检测到的钙化部分）和3d xa重建的共同配准1212。共同配准在空间上对准iv图像和血管的3d xa重建的特征以生成合成图像，该合成图像定义了iv图像和3d xa重建（并且因此该多个xa图像）中的像素/体素之间的对应性。基于可清楚标识的标志（例如，分叉等）和其他信息（例如，半径）来执行共同配准。可以使用任何合适的方法来执行共同配准。在一个实施例中，手动地执行共同配准。
65.在步骤1108处，基于共同配准，将在iv图像中检测到的血管的钙化部分（例如，在图3的步骤304处检测到的钙化部分）投影到该多个xa图像上。工作流程1200示出了其上投影有血管的所投影的钙化部分的xa图像1214-a和1214-b，该xa图像1214-a和1214-b是通过基于共同配准1212将钙化部分投影到xa图像1206-a和1206-b上生成的。特别地，基于共同配准（例如，从共同配准得到的合成图像）来确定xa图像中的如下像素：这些像素对应于iv图像中的描绘了血管的钙化部分的像素。xa图像中的血管的所投影的钙化部分可以由xa图像中的一个或多个边界框、分段、经加标签或突出显示的像素、或任何其他合适的形式来表示。
66.在步骤1110处，可选地确定血管的钙化部分在其他xa帧（frame）中的位置。该其他xa帧是对应于不同时间点的血管造影的其他帧。框架1200示出了被跟踪到非对比帧1216-a和1216-b的血管的钙化部分的位置。在一个实施例中，使用跟踪算法来确定血管的钙化部分在其他xa帧中的位置。还设想了其他方法。
67.在步骤1112处，基于该多个xa图像以及该多个xa图像上的血管的所投影的钙化部分将人工智能模型训练成用于在输入xa医学图像中检测血管的钙化部分。该输入xa医学图像可以是单个xa帧或一系列连续或非连续帧。在一个实施例中，还可以基于血管的钙化部分在其他xa帧中的位置（可选地，在步骤1110处执行）来训练该人工智能模型。该人工智能模型可以是任何合适的人工智能模型，诸如例如机器学习模型。应当理解的是，可以针对任何数量的iv和xa图像对（每个图像是相同的相应患者的图像）来执行方法1100的步骤，以训练该人工智能模型。
68.现在将讨论本发明的各种附加实施例。
69.根据一个实施例，描述了一种用于在介入期间（例如，在获取图像时的血管造影期
间）检测和更新血管的钙化部分的方法。获取血管的血管造影的第一xa图像，并且检测和/或评估第一xa图像中的血管的钙化部分，例如根据图3的方法300。然后，获取血管的血管造影的接下来的xa图像，并且检测和/或评估该接下来的xa图像中的血管的钙化部分，例如根据图3的方法300。执行共同配准以对准血管造影的所有xa图像（初始地，第一xa图像和该接下来的xa图像）的空间特征。基于共同配准，在血管造影的所有xa图像上更新血管的检测到的钙化部分。由于血管重叠、不同的获取角度等，血管的检测到的钙化部分在血管造影的所有xa图像上可能不是同等地良好可见。可以基于联合技术、交叉技术、或任何其他合适的技术来合并来自xa图像的信息。该方法可以通过以下步骤来继续用于血管的任何数量的接下来的xa图像：重复获取接下来的xa图像，检测和/或评估该接下来的xa图像中的钙化部分，在血管造影的所有xa图像上执行共同配准，以及基于共同配准来更新血管造影的所有xa图像上的检测到的钙化部分。
70.根据一个实施例，在xa图像中对血管的钙化部分的检测可以基于iv图像来精细调整。获取血管的血管造影的一个或多个xa图像，并且针对血管（与xa图像的获取同时地）获取一个或多个iv图像。执行共同配准以在空间上对准xa图像和iv图像的特征。在xa图像和iv图像中检测血管的钙化部分，例如根据图3的方法300。由于血管的钙化部分通常在iv图像中被更可靠地检测到，因此将iv图像中的血管的检测到的钙化部分用作地面真值（ground truth），以精细调整在xa图像中对血管的钙化部分的检测。例如，在xa图像中检测血管的钙化部分可以涉及后处理步骤（诸如例如，阈值化或其他后处理技术）来调整参数以获得最优结果。在该实施例中，可以仅使用与iv同时获取的xa图像，或者可以使用所有获取的xa图像。该实施例的一个优点是：虽然可以针对单个血管（例如，单个区段）来获取iv图像，但是可以针对xa图像中可见的所有血管来优化或改进血管的检测到的钙化部分。
71.根据一个实施例，在其上已经检测到钙化部分的xa图像可以用于生成对应的iv图像。图13示出了根据一个或多个实施例的用于从xa图像来生成iv图像的工作流程1300。在步骤1302处，获取血管的血管造影的一个或多个xa图像。在步骤1304处，检测xa图像中的血管的钙化部分，例如根据图3的方法300。在步骤1306处，针对xa图像选择感兴趣的血管区段。在步骤1308处，利用血管造影外观来生成所选血管区段的直线版本（straight version）和横截面版本。可以例如基于圆形或椭圆形腔横截面的假设来生成所选血管区段的横截面版本。在步骤1310处，应用经训练的人工智能模型（例如，gan）来生成所选血管区段的直线版本和横截面版本的iv图像。
72.根据一个实施例，可以基于在前ccta检查来辅助临床决策制定。在非急性病例（例如，稳定型cad患者）和低风险急性病例（例如，非st段抬高型心肌梗死（non-st-elevation myocardial infarction）或不稳定型心绞痛cad患者）中，可以在介入之前执行ccta检查（例如，血管造影）。由于血管的钙化部分在ccta图像上特别良好可见，因此ccta图像可以用于在介入期间辅助临床决策制定。首先，执行ccta检查，并且从ccta检查（例如，使用标准血管造影获取角度）来生成多个2d投影。采用人工智能模型以基于2d投影从ccta来生成xa图像。在xa图像上（基于在ccta检查期间在ccta图像中检测到的血管的钙化部分）突出显示血管的钙化部分，并且在介入之前由临床医生将钙化部分可视化。可选地，在介入期间获取的xa图像可以用于精细调整所有预先计算的投影。
73.根据一个实施例，可以估计对钙化的量化中的不确定性。在用于将人工智能模型
训练成用于在xa图像中检测血管的钙化部分的训练阶段期间，钙化部分的地面真值位置和延伸可以由不同模态的所获取的图像（例如，ccta或iv图像）来提供，这些不同模态向血管钙化部分的标识提供了更好的灵敏度和特异度。虽然该人工智能模型被训练成最小化地面真值与xa图像上的检测值（例如，钙化的位置和延伸）之间的差别，但是可以分析推理误差以定义不确定性的度量。例如，如在训练集或验证集上评估的钙化部分的位置标识中的误差可以作为目标血管的函数来分析（对更远处血管的钙化的量化由于这些血管较小的直径而被预期更具有挑战性），但是也基于图像样式（利用不同的s射线强度、帧率、空间分辨率等的血管造影）来分析。基于所估计的不确定性，可以训练该人工智能模型来推荐对附加数据（例如，xa图像或iv图像）的获取，以增加估计中的置信度。
74.在一个实施例中，可以通过获取xa图像并且检测xa图像中的钙化部分来确定对钙化的量化中的不确定性（例如，根据图3的方法300）。针对xa图像来确定钙化的估计量中的不确定性的度量。基于不确定性的量，该人工智能模型可以推荐对附加输入（例如，附加的xa图像或iv图像）的获取，或者可以提供评估（例如，钙化的位置和延伸）连同预测评估中的置信度的量度。
75.不确定性可能是由各种因素引起的。例如，用于该人工智能模型以确定血管的钙化部分的训练集可以通过将例如iv或ccta图像中的地面真值钙化部分投影到xa图像上来生成。然而，具有所投影的地面真值钙化部分的所生成或合成的xa图像可能不允许对钙化进行精确表征（例如，这是由于c形臂的模拟角度形成（angulation）不允许对具有钙化部分的血管区段进行正确可视化，或者由于图像合成过程中存在或固有的噪声）。因此，对钙化部分的检测和量化可能受到误差所影响，该误差是例如血管中的钙化部分的位置和模拟x射线检测器的角度形成的函数。该误差可以被计算为例如钙化的地面真值位置和延伸与检测值之间的差。因此，对于每个检测结果，不确定性的度量可以被定义为在地面真值上归一化的、检测到的钙化的特性的百分比误差。在给定xa图像作为输入（以及可能的输入，诸如例如x射线角度形成）的情况下，可以训练专用人工智能模型来预测钙化部分检测中的不确定性。该专用人工智能模型实时计算不确定性，并且将其作为反馈提供给临床医生。
76.本文中描述的实施例可以将血管的钙化部分分类为例如中度的或严重的。被训练成对血管的钙化部分进行分类的人工智能模型可以基于例如介入的结果数据（例如，由于严重钙化所致的支架部署次优（sub-optimal）的情况）来训练。
77.本文中描述的实施例可以使用图像到图像方法、或逐片块（patch）的方法，例如以仅在目标血管（例如，冠状动脉腔，其可以使用例如基于人工智能的血管性模型来检测）附近执行钙化部分的检测。
78.本文中描述的实施例输入xa图像，作为例如单个xa帧、或连续或非连续xa帧的序列。
79.本文中描述的实施例可以基于检测到的钙化部分（例如，钙化的位置和程度）和钙化得分来训练附加的人工智能模型以提供关于最优治疗策略的推荐。
80.本文中描述的系统、装置和方法可以使用数字电路、或者使用一个或多个计算机来实现，该一个或多个计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。典型地，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括、或耦合到一个或多个大容量存储设备，诸如一个或多个
磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
81.本文中描述的系统、装置和方法可以使用在客户端-服务器关系中操作的计算机来实现。通常，在这种系统中，客户端计算机被定位成远离服务器计算机，并且经由网络进行交互。客户端-服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
82.本文中描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机进行通信。例如，客户端计算机可以经由在客户端计算机上驻留并操作的网络浏览器应用来与服务器进行通信。客户端计算机可以将数据存储在服务器上，并且经由网络来访问该数据。客户端计算机可以经由网络向服务器传输针对数据的请求或针对在线服务的请求。服务器可以执行所请求的服务并且向（一个或多个）客户端计算机提供数据。服务器还可以传输被适配成使客户端计算机执行特定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传输被适配成使客户端计算机执行本文中描述的方法和工作流程的一个或多个步骤或功能的请求，这些步骤或功能包括图2、图3、图5-8和图10-13的一个或多个步骤或功能。本文中描述的方法和工作流程的某些步骤或功能——包括图2、图3、图5-8和图10-13的一个或多个步骤或功能——可以由服务器或另一个处理器在基于网络的云计算系统中执行。本文中描述的方法和工作流程的某些步骤或功能——包括图2、图3、图5-8和图10-13的一个或多个步骤——可以由客户端计算机在基于网络的云计算系统中执行。本文中描述的方法和工作流程的步骤或功能——包括图2、图3、图5-8和图10-13的一个或多个步骤——可以由服务器和/或客户端计算机在基于网络的云计算系统中以任何组合的方式来执行。
83.本文中描述的系统、装置和方法可以使用计算机程序产品来实现，该计算机程序产品有形地体现在信息载体中，例如有形地体现在非暂时性机器可读存储设备中，以供可编程处理器执行；并且本文中描述的方法和工作流程步骤——包括图2、图3、图5-8和图10-13的一个或多个步骤或功能——可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，这些指令可以直接或间接在计算机中使用以执行某个活动或带来某个结果。计算机程序可以用任何形式的编程语言（包括编译或解译语言）来编写，并且它可以以任何形式来部署，包括作为独立程序或作为模块、组件、子例程、或适合在计算环境中使用的其他单元。
84.图14中描绘了可以用于实现本文中描述的系统、装置和方法的示例计算机1402的高级框图。计算机1402包括处理器1404，处理器1404可操作地耦合到数据存储设备1412和存储器1410。处理器1404通过执行计算机程序指令来控制计算机1402的总体操作，该计算机程序指令定义了这种操作。该计算机程序指令可以被存储在数据存储设备1412或其他计算机可读介质中，并且在期望执行该计算机程序指令时被加载到存储器1410中。因此，图2、图3、图5-8和图10-13的方法和工作流程步骤或功能可以由存储在存储器1410和/或数据存储设备1412中的计算机程序指令来定义，并且由执行该计算机程序指令的处理器1404来控制。例如，该计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图2、图3、图5-8和图10-13的方法和工作流程步骤或功能。因此，通过执行该计算机程序指令，处理器1404执行图2、图3、图5-8和图10-13的方法和工作流程步骤或功能。计算机
1402还可以包括：一个或多个网络接口1406，其用于经由网络与其他设备进行通信。计算机1402还可以包括：一个或多个输入/输出设备1408，其使得用户能够与计算机1402（例如，显示器、键盘、鼠标、扬声器、按钮等）交互。
85.处理器1404可以包括通用和专用微处理器两者，并且可以是计算机1402的唯一处理器或多个处理器之一。例如，处理器1404可以包括一个或多个中央处理单元（cpu）。处理器1404、数据存储设备1412和/或存储器1410可以包括一个或多个专用集成电路（asic）和/或一个或多个现场可编程门阵列（fpga）、由其补充、或被并入在其中。
86.数据存储设备1412和存储器1410均包括有形的非暂时性计算机可读存储介质。数据存储设备1412和存储器1410可以均包括高速随机存取存储器，诸如动态随机存取存储器（dram）、静态随机存取存储器（sram）、双数据速率同步动态随机存取存储器（ddr ram）、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备，诸如内部硬盘和可移除盘、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备，诸如可擦除可编程只读存储器（eprom）、电可擦除可编程只读存储器（eeprom）、紧凑盘只读存储器（cd-rom）、数字多功能盘只读存储器（dvd-rom）盘、或其他非易失性固态存储设备。
87.输入/输出设备1408可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备1408可以包括：用于向用户显示信息的显示设备（诸如，阴极射线管（crt）或液晶显示器（lcd）监视器）、键盘、以及诸如鼠标或轨迹球之类的定点设备，用户可以通过该定点设备向计算机1402提供输入。
88.图像获取设备1414可以连接到计算机1402，以将图像数据（例如，医学图像）输入到计算机1402。有可能将图像获取设备1414和计算机1402实现为一个设备。还有可能的是，图像获取设备1414和计算机1402通过网络进行无线通信。在可能的实施例中，计算机1402可以关于图像获取设备1414远离地定位。
89.本文中讨论的任何或所有系统和装置可以使用一个或多个计算机（诸如，计算机1402）来实现。
90.本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其他结构，并且也可以包含其他组件，并且出于说明性目的，图14是这种计算机的一些组件的高级表示。
91.前述详细描述要被理解为在每个方面都是说明性和示例性的，而不是限制性的，并且本文中公开的本发明的范围不是从该详细描述来确定的，而是从根据专利法允许的全部范围所解释的权利要求来确定的。要理解的是，本文中示出和描述的实施例仅仅是本发明原理的说明，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。