用于血管造影图像处理的训练方法和装置、自动处理方法和装置与流程

1.本发明涉及医学图像处理领域，特别涉及一种用于血管造影图像处理的训练方法、训练装置、以及血管图像的自动处理方法和装置、设备及存储介质。


背景技术：

2.血管造影是将显影剂注入在血管里，在x光下显示影像。常见的例如为心血管、脑血管、视网膜血管、肺部血管等的造影图像。
3.以心血管造影影像为例，其中一个研究方向在于腔内影像与造影影像的匹配。对于冠心病的治疗，诸如光学相干断层成像(oct)、血管内超声(ivus)等腔内影像可以以较高的分辨率实现对冠脉斑块稳定性的评估，它们与冠脉造影的匹配能够进一步确认病变在造影图中的确切位置，指导精准化治疗策略及技术。而对于腔内影像在造影影像中的定位，当前血管腔内影像与冠脉造影融合技术需要改变传统介入手术流程，在采集腔内影像的同时对造影影像也进行采集，这对临床医生及技师的操作水平要求较高，使得腔内影像与冠脉造影的匹配难度较大，限制了腔内影像与造影融合技术的普遍应用。
4.目前，基于腔内影像的边支识别技术已经实现，对冠脉造影边支血管的准确检测能够帮助实现上述两种不同模态影像边支的匹配，在不改变当前手术流程的基础上，实现血管腔内影像与冠脉造影的融合。
5.因此，为了实现上述的降低匹配难度的改进效果，需要对造影图像中的边支血管进行检测及分割。
6.另一个研究方向在于血流储备分数(ffr)的计算。对于冠心病的诊断，血流储备分数作为金标准，是目前公认最准确的一种功能学评估指标，现已被欧洲心脏病学会(esc)指南推荐为ia级临床证据，且被美国心脏病学会(acc)指南推荐为iia级临床证据。然而，压力导丝测量获得ffr的方法仍存在耗时长、费用高等局限性，且容易增加损伤血管风险。基于造影影像的ffr计算方法可以克服传统方法采用压力导丝测量ffr的局限性，现已成为研究热点。
7.基于造影影像的ffr计算，关键步骤之一便在于求取无狭窄情况下的理想管腔大小。理论上，在无狭窄情况下，血管的理想管腔大小符合分叉分流定理(见下述公式1，其中r
i
表示该血管段近端起点至远端终点第i处分叉的血管管腔半径或直径。r
i
表示该血管段近端起点至远端终点第i-1和第i分叉之间的血管管腔半径或直径。其中，r0表示该血管段近端起点的血管管腔半径或直径；r
k
表示该血管段远端终点的血管管腔半径或直径；ri
′
表示该血管段近端起点至远端终点第i-1和第i分叉之间的理想血管管腔半径或直径)。理想管腔大小每经过一个边支血管，便会发生阶梯性下降。而目前基于冠脉造影的ffr计算方法只分割了待分析的主支血管，将理想管腔的大小简单地设置成线性的下降模式，并未考虑到边支产生的影响，因此可能带入误差。准确获得边支血管的尺寸能够解决基于冠脉造影的ffr计算方法中理想管腔的设定误差，提升ffr计算的准确度。
[0008][0009]
因此，为了提升ffr计算的准确度，也需要对造影图像中的边支血管进行分割，获得边支血管的管腔半径或直径。
[0010]
目前，对冠状动脉造影图像的边支血管检测及分割主要是通过以下方式实现：将包含所有血管的冠状动脉树(含整条主支跟所有分支血管直至血管末梢)提取出来，再通过对冠状动脉树的结构进行分析以确定主支血管与边支血管。
[0011]
文献一(陈建辉,赵蕾,李德玉,万涛.基于冠脉造影图像血管树分割的血管狭窄自动识别方法[j].中国生物医学工程学报2019,38(3):266-272)提供了一种基于统计学区域融合的血管树分割方法，并通过水平集算法获取血管骨架线，最终实现对边支血管的检测与分割。
[0012]
专利文献cn104867147a提供了一种基于冠状动脉造影图像分割的syntax自动评分方法。该方法中对于边支血管的检测及分割实现方式如下：对冠脉造影影像进行图像增强及预处理，得到冠脉二值图像；依据形态学运算获取血管中心线；通过识别血管中心线的交叉点，最终实现对边支血管的分割。
[0013]
目前，将主支血管和边支血管进行分割的方法仍然存在局限性，分割效果有待改善。


技术实现要素：

[0014]
本发明提出了一种用于血管造影图像处理的训练方法，以实现对边支血管的分割，解决分割血管的局限性。
[0015]
为解决上述技术问题，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，包括：获取训练数据，训练数据包括样本和标签，样本包含血管原始造影图像数据，标签包含确定的主支血管上的边支血管的局部分割结果数据；其中，边支血管的局部分割的分割范围为自边支血管的首端沿延伸方向延伸到分割终端，分割终端位于边支血管的首端和末端之间，边支血管的首端为该边支血管与其所属的主支血管的交叉端，末端为边支血管的最远端，延伸方向为从首端到末端的方向，分割终端沿延伸方向至少越过被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面；根据获取的训练数据对神经网络进行训练，以使神经网络对血管原始造影图像中确定的主支血管上的边支血管进行局部分割。
[0016]
采用上述技术方案，能够获得一种对边支血管进行局部分割的神经网络，实现了在提高分割效率的同时提升分割的准确度，避免边支血管的漏分割和错分割。
[0017]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，边支血管的局部分割结果数据中，分割出的边支血管至少包含一段正常管腔；或者，边支血管的局部分割结果数据中，分割出的边支血管的长度为其所属的主支血管管腔直径的1～10倍。
[0018]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，正常管腔为未出现狭窄、膨胀、重叠、截断或变形的管腔；或者所述正常
管腔沿所述延伸方向的长度为1～15mm。
[0019]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，样本为血管原始造影图像数据，所述标签为确定的主支血管上的边支血管的局部分割结果数据，或者标签为由主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组成的图像数据，确定的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。
[0020]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，样本为标记有主支血管的血管原始造影图像数据，标签为标记的主支血管上的边支血管的局部分割结果数据，或者标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组成的图像数据，标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。
[0021]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练方法，神经网络包括第一神经网络和第二神经网络，样本包括第一样本和第二样本，标签包括第一标签和第二标签，第一样本为血管原始造影图像数据；第一标签为确定的主支血管的分割结果数据，或者第一标签为由确定的主支血管的分割结果数据和血管原始造影图像数据组合的图像数据；根据第一样本和第一标签对第一神经网络进行训练，以使第一神经网络对血管原始造影图像中确定的主支血管进行分割；第二样本为标记有主支血管的血管原始造影图像数据；第二标签为标记的主支血管上的边支血管的局部分割结果数据，或者为第二标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据；标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据；根据第二样本和第二标签对第二神经网络进行训练，以使第二神经网络对血管原始造影图像中标记的主支血管所下属的边支血管进行局部分割。
[0022]
本发明提供一种用于血管造影图像处理的训练装置，包括：获取模块，用于获取训练数据；训练数据包括样本和标签，样本包含血管原始造影图像数据，标签包含确定的主支血管上的边支血管的局部分割结果数据；其中，边支血管的局部分割的分割范围为自边支血管的首端沿延伸方向延伸到分割终端，分割终端位于边支血管的首端和末端之间，边支血管的首端为该边支血管与所属的主支血管的交叉端，末端为边支血管的最远端，延伸方向为从首端到末端的方向，分割终端沿延伸方向至少越过被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面；训练模块，用于根据获取的训练数据对神经网络进行训练，以使神经网络对血管原始造影图像中确定的主支血管所属的边支血管进行局部分割。
[0023]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练装置，边支血管的局部分割结果数据中，分割出的边支血管至少包含一段正常管腔；或者，边支血管的局部分割结果数据中，分割出的边支血管的长度为其所属的主支血管管腔直径的1～10倍。
[0024]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练装置，正常管腔为未出现狭窄、膨胀、重叠、截断或变形的管腔；或者正常管腔沿延伸方向的长度为1～15mm。
[0025]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图
像处理的训练装置，样本为血管原始造影图像数据，标签为确定的主支血管上的边支血管的局部分割结果数据，或者标签为由确定的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，确定的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。
[0026]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练装置，样本为标记有主支血管的血管原始造影图像数据，标签为标记的主支血管上的边支血管的局部分割结果数据，或者标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。
[0027]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种用于血管造影图像处理的训练装置，神经网络包括第一神经网络和第二神经网络，样本包括第一样本和第二样本，标签包括第一标签和第二标签，训练模块包括第一训练模块和第二训练模块，获取模块包括第一获取模块和以及第二获取模块，其中，第一获取模块用于获取第一样本和第一标签，第一样本为血管原始造影图像数据；第一标签为确定的主支血管的分割结果数据，或者第一标签为由确定的主支血管的分割结果数据和血管原始造影图像数据组合的图像数据；第一训练模块用于根据第一样本和第一标签对第一神经网络进行训练，以使第一神经网络对血管原始造影图像中确定的主支血管进行分割；第二获取模块用于获取第二样本和第二标签，第二样本为标记有主支血管的血管原始造影图像数据；第二标签为标记的主支血管上的边支血管的局部分割结果数据，或者为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据；标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据；第二训练模块用于根据第二样本和第二标签对第二神经网络进行训练，以使第二神经网络对血管原始造影图像中标记的主支血管所下属的边支血管进行局部分割。
[0028]
本发明提供一种血管图像的自动处理方法，包括：获取包含待处理的血管原始造影图像数据；基于上述的用于血管造影图像处理的训练方法得到的神经网络对包含待处理的血管的原始造影图像数据进行处理，获得包含确定的主支血管上的边支血管的局部分割图像数据。
[0029]
本发明还提供一种血管图像的自动处理方法，包括：获取第一目标图像数据，第一目标图像数据为待处理的血管原始造影图像数据；基于上述的用于血管造影图像处理的训练方法得到的第一神经网络对第一目标图像进行处理，获得第一结果图像数据，第一结果图像数据包含确定的主支血管的分割图像数据；将第一结果图像数据转换为第二目标图像数据，第二目标图像数据为标注有主支血管的血管原始造影图像数据；基于上述的血管图像处理的训练方法得到的第二神经网络对第二目标图像数据进行处理，获得第二结果图像数据，第二结果图像数据包含确定的主支血管上的边支血管的局部分割图像数据。
[0030]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理方法，第一结果图像数据为确定的主支血管的分割图像数据，将第一结果图像数据转换为第二目标图像数据包括：将第一结果图像数据与第一目标图像数据融合，得到标注有主支血管的血管原始造影图像数据。
[0031]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动
处理方法，第二结果图像数据为确定的主支血管上的边支血管的局部分割图像数据，所述自动处理方法还包括：将第二结果图像数据与确定的主支血管的分割图像数据进行融合，获得融合后的图像数据。
[0032]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理方法，自动处理方法还包括：接收转换指令，根据接收的转换指令将第一结果图像数据转换为第二目标图像数据。
[0033]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理方法，自动处理方法还包括：输入修正后的主支血管的分割图像数据，将包含修正后的主支血管的分割图像数据更新为第一结果图像数据。
[0034]
本发明提供一种血管图像的自动处理装置，包括：血管造影图像获取模块，用于获取包含待处理的血管原始造影图像数据；处理模块，用于基于上述的用于血管造影图像处理的训练方法得到的神经网络对包含待处理的血管原始造影图像进行处理，以获得包含确定的主支血管上的边支血管的局部分割图像数据。
[0035]
本发明还提供一种血管图像的自动处理装置，包括：第一目标图像数据获取模块，用于获取第一目标图像数据，第一目标图像数据为待处理的血管原始造影图像数据；第一处理模块，用于基于上述的用于血管造影图像处理的训练方法得到的第一神经网络对第一目标图像进行处理，以获得第一结果图像数据，第一结果图像数据包含确定的主支血管的分割图像数据；转换模块，用于将第一结果图像数据转换为第二目标图像数据，第二目标图像数据为标注有主支血管的血管原始造影图像数据；第二目标图像获取模块，用于获取第二目标图像数据；第二处理模块，用于基于上述的用于血管造影图像处理的训练方法得到的第二神经网络对第二目标图像数据进行处理，获得第二结果图像数据，第二结果图像数据包含确定的主支血管上的边支血管的局部分割图像数据。
[0036]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理装置，第一结果图像数据为确定的主支血管的分割图像数据，转换模块用于将第一结果图像数据与第一目标图像数据融合，得到标注有主支血管的血管原始造影图像数据。
[0037]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理装置，第二结果图像数据为确定的主支血管上的边支血管的局部分割图像数据，自动处理装置还包括后处理模块，用于将第二结果图像数据与确定的主支血管的分割图像数据进行融合，获得融合后的图像数据。
[0038]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理装置，自动处理装置还包括接收模块，用于接收转换指令，转换模块用于根据接收的转换指令将第一结果图像数据转换为第二目标图像数据。
[0039]
根据本发明的另一具体实施方式，本发明的实施方式公开了一种血管图像的自动处理装置，自动处理装置还包括输入模块，用于输入修正后的主支血管的分割图像数据，并将包含修正后的主支血管的分割图像数据更新为第一结果图像数据。
[0040]
本发明提供一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令在被处理器执行时实现上述的用于血管造影图像处理的训练方法，或权利要求上述的血管图像的自动处理方法。
[0041]
本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条指
令，至少一条指令在被执行时实现如权利要求上述的用于血管造影图像处理的训练方法，或上述的血管图像的自动处理方法。
[0042]
本发明还提供一种腔内影像与造影影像配准的方法，该方法包括：采用上述的血管图像的自动处理方法，获得边支血管的局部分割图像；获得所属的主支血管的分割图像；将主支血管的分割图像和所属的边支血管的分割图像与该主支血管的腔内影像进行匹配。
[0043]
本发明还提供一种血流储备分数的计算方法，包括：采用上述的血管图像的自动处理方法，获得边支血管的局部分割图像；获得所属的主支血管的分割图像；根据主支血管以及所属的边支血管的分割图像，获得主支血管和边支血管的直径或半径，计算出该主支血管理想管腔的几何参数，计算获得该主支血管的血流储备分数。
附图说明
[0044]
图1示出本发明实施例的用于血管造影图像处理的训练方法的流程示意图；
[0045]
图2示出本发明实施例的对主支血管上的边支血管的局部分割示意图；
[0046]
图3示出本发明另一实施例的用于血管造影图像处理的训练方法的流程示意图；
[0047]
图4示出本发明实施例的用于血管造影图像处理的训练装置的示意图；
[0048]
图5示出本发明另一实施例用于训练第一神经网络的训练装置的示意图；
[0049]
图6示出本发明另一实施例用于训练第二神经网络的训练装置的示意图；
[0050]
图7示出本发明实施例的血管图像的自动处理方法的流程示意图；
[0051]
图8示出本发明另一实施例的血管图像的自动处理方法的流程示意图；
[0052]
图9示出本发明又一实施例的血管图像的自动处理方法的流程示意图；
[0053]
图10示出本发明实施例的血管图像的自动处理装置的示意图；
[0054]
图11示出本发明另一实施例的血管图像的自动处理装置的示意图；
[0055]
图12示出本发明实施例的血管原始造影图像数据示意图；
[0056]
图13示出本发明实施例的主支血管分割结果数据示意图；
[0057]
图14示出本发明实施例的主支血管分割结果数据和血管原始造影图像数据融合后的图像数据示意图；
[0058]
图15示出本发明实施例的主支血管上的边支血管局部分割结果数据示意图；
[0059]
图16a～图16e示出本发明实施例的局部分割后分出的每个边支血管图像数据示意图。
具体实施方式
[0060]
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0061]
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因
此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0062]
术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0063]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0064]
如上，发明人发现，现有技术中血管造影图像的自动分割方法，原理上分为两种。一种是检测血管特征的方法来分割血管，另一种是先找血管造影图上的分叉点，通过分叉点将血管分割出来。基于上述的分割原理，现有的血管造影图像的自动分割方法能够识别出整条边支血管，因此除了会将主支血管分割出来，还会将边支血管整条完整地分割出来。然而，现有的分割方法都存在诸多局限性。
[0065]
以冠状动脉为例来阐述。其一，由于是将三维空间中的血管投射到二维平面上，造影图像在采集时无论采用何种体位，均不可避免地可能产生血管重叠的现象，特别是边支血管较长的情况下，重叠现象可能更加严重。这种重叠现象对从冠状动脉树中提取主支和边支血管造成了很大困难，也严重影响了边支血管检测的精度。
[0066]
其二，由于血管造影的成像特点，越为细小的血管越接近血管末端，显影的越晚。同时随着时间的持续，血管造影剂的渗出效果也越为明显，导致算法的分割效果在细小血管处都可能不佳，出现血管断裂、甚至漏分割和错分割的情况。
[0067]
另外，将主支血管和边支血管完整分割也会耗费较多的时间。
[0068]
为此，本发明提出一种用于血管造影图像处理的训练方法，以对神经网络进行训练，获得训练后的神经网络模型，从而实现对主支血管所下属的边支血管进行局部分割。
[0069]
参考图1和图2，为此，本发明的用于血管造影图像处理的训练方法，包括以下步骤：s101，获取训练数据；s102，根据获取的训练数据对神经网络进行训练，以使神经网络对血管造影图像中确定的主支血管上的边支血管进行局部分割。其中，上述训练数据包至少包括血管原始造影图像数据以及边支血管的局部分割结果数据。训练数据包括样本和标签，样本包含血管原始造影图像数据，标签包含确定的主支血管上的边支血管的局部分割结果数据。血管原始造影图像数据为针对特定位置获得的血管造影图像数据，该图像数据可以为图片格式或者由图片转换的格式。例如图12所示的作为训练数据用的血管原始造影图像，将此血管原始造影图像转换为图像数据，作为样本数据。本实施例中可将图像转换为mask图(二值图)作为训练数据。血管原始造影图像是在特定选取的位置下获得的图像，图像中一般只会呈现一个主支血管，或者即使出现两个主支血管，也会有一个主支血管位于正视的位置，而另一个主支血管位于拐角处，并不会完整呈现。本发明的训练方法是训练神经网络对血管原始图像中位于正视位置的主支血管所下属的边支血管进行局部分割。
[0070]
在训练数据中，边支血管的局部分割结果数据为从血管原始造影图像中确定的主支血管上的边支血管的局部分割图像数据，同样可转换为mask图作为训练数据。在边支血管的局部分割图像数据中，局部分割的分割范围为自边支血管的首端沿延伸方向到分割终端，分割终端位于边支血管的首端和末端之间，边支血管的首端为该边支血管与所属的主支血管的交叉端，末端为边支血管的最远端，延伸方向为从首端到末端的方向。分割终端沿延伸方向至少越过被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面。
[0071]
上述训练方法可根据需要查看的主支血管，即感兴趣的主支血管，例如前降支，获
取到前降支相应的原始造影图像，在图像中找到感兴趣的该主支血管，作为确定的主支血管，先对主支血管进行分割，得到主支血管的分割图像，例如利用标记软件将图像中的主支血管进行标记，标记出主支血管的轮廓。有了主支血管，再依据标记寻找属于该主支血管的所有边支血管，对主支血管上的边支血管进行局部分割。
[0072]
通过本发明训练方法实现神经网络自动对边支血管进行局部分割。局部分割并没有将每个边支血管完整地分割出来，而是仅分割部分。上述分割终端即为分割出来的部分的终端的位置，分割出来的部分自边支血管的首端沿延伸方向到分割终端所在的位置为止。延伸方向可以理解为边支血管从首端到末端的延长的方向，例如可以是图1中边支血管中心线自首端向尾端延伸的方向。由于是局部分割，因而分割终端位于边支血管的首端和末端之间，至于具体在边支血管中间的哪个位置，并不作限定，但需满足的是，分割终端为沿延伸方向至少越过被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面。也就是说，边支血管的分割范围在延伸方向上覆盖过分叉嵴点垂直于边支中心线的截面，从而保证分割出来的边支血管能够完整地保留其与所属的主支血管之间的交叉部分。
[0073]
本发明用于血管造影图像处理的训练方法，既可以对处理心血管的造影图像进行训练，也可以对处理脑血管、视网膜血管、肺部血管、肾动脉血管等的造影图像进行训练。
[0074]
本发明打破了要对边支血管进行全部分割的常规思路，训练一种实现对边支血管局部分割的方法，相比于全部分割，避免了重叠、渗出效果等导致分割产生偏差的问题，分割结果准确，极大降低了分割难度，减少了造影图像的分割时间。另外，尽管局部分割使得分割的边支血管仅为完整边支血管的部分，但并不会影响其在绝大多数领域的应用。
[0075]
例如，发明人发现，冠脉造影影像与oct或ivus影像之间的配准并不需要边支血管远端的信息，因此也就不需要将边支血管完整地分割出来。一个造影投照体位很难同时暴露整条主支血管和整条边支血管，将主支血管和边支血管完整的分割出来会出现很多问题。但是暴露整条主支血管跟一小段边支血管比较容易满足，因此本发明采用通过对神经网络进行训练，能够实现对边支血管更有效更鲁棒的检测方法，即采用局部分割(也可以理解为短分割)的方式，即可获得能够作为与oct或ivus影像匹配造影影像分割图。oct或ivus影像图属于腔内影像，由于分割的边支血管的范围已经覆盖了分叉嵴点垂直于边支中心线的截面，因此保留了边支血管与主支血管交叉处的完整性，在进行造影影像与oct或ivus影像匹配时，可通过将oct或ivus影像图上交叉处的位置、尺寸等信息与血管分割后的造影影像上交叉处的位置、尺寸等信息进行比对，能够将造影影像与血管腔内影像位置进行匹配，在不改变当前手术流程的基础上，实现血管腔内影像与冠脉造影的匹配。
[0076]
又例如，在基于冠脉造影的ffr计算中，只需关心分叉处的管腔直径。也就是说，边支血管较长的情况下，边支血管远端对ffr计算的影响可以忽略不计。因此，只要能在局部分割的边支血管中计算出边支血管的管腔半径或直径即可。
[0077]
进一步地，作为本发明的另一具体实施方式，本发明的血管图像的处理方法分割出的边支血管至少包含一段正常管腔。所谓正常管腔是指未出现狭窄、膨胀、重叠、截断或变形的管腔。变形的管腔例如是形状发生明显改变，或者轮廓不清晰的管腔。正常管腔段具有清晰的轮廓，且整个正常管腔段的直径变化平缓。包含正常的管腔能够保证对边支血管的管腔半径或直径进行准确测量，以供作为进一步的应用。
[0078]
测量边支血管的管腔半径或直径可采用现有的手动方法或软件进行测定。软件的
方法一般会将一段正常的管腔模拟成一个圆柱形，从而得到管腔的半径或直径。
[0079]
为了让神经网络分割出的边支血管的结果符合预设情况，在制作训练数据时，可对局部分割的边支血管的长度进行统一规定。为方便计算半径或直径，制作的训练数据中，局部分割的边支血管中正常管腔沿延伸方向的长度可根据具体标准设定，可预先设置一个规定长度。例如，可设置规定长度为主支血管管腔直径的1～10倍，具体为2～6倍，更具体为3倍或5倍。或者从另一方面，例如在具体的尺寸上，规定长度可为1～15mm，进一步可为1～10mm，更进一步可为2～8mm。通过上述标准进行训练数据制作，能够使神经网络获得较好的学习效果。
[0080]
进一步地，关于制作训练数据，在对边支血管进行局部分割时，会在保证包含正常管腔段的同时尽量缩短分割出的边支血管的长度，从而尽可能避免远端的边支血管的不利影响。在进行局部分割时，首先找到要处理的主支血管。在血管原始造影图像中一般含有一种主支血管，例如针对左旋支获得血管原始造影图像，根据图像中的左旋支对其所有的边支血管进行局部分割。以被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面位置处作为起始端，沿延伸方向在边支血管的首端和末端之间确定分割终端。例如，当从边支血管的分叉嵴点垂直于该边支血管中心线的截面位置处开始，沿延伸方向有一段正常管腔，则即可在规定的长度下确定分割终端。若从边支血管的分叉嵴点垂直于该边支血管中心线的截面位置处开始，沿延伸方向存在狭窄、膨胀、重叠、截断或变形等非正常管腔区域，则越过该非正常管腔段后再向后延伸一段后确定分割终端。即分割范围覆盖非正常管腔段后还含有一段正常管腔段即可。
[0081]
在上述各实施例中，训练数据为样本和标签，上述训练方法包括：获取样本和标签，其中样本至少包含血管原始造影图像数据，标签至少包含确定的主支血管上的边支血管的局部分割结果数据。
[0082]
具体地，作为本发明的其中一个实施例，样本为血管原始造影图像数据，即将血管原始造影转换为供神经网络学习的二值图，标签为确定的主支血管上的边支血管的局部分割结果数据，或者标签为由确定的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据。上述确定的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。将主支血管的分割结果数据与该主支血管上的边支血管的局部分割结果数据组合，也就是将主支血管图像以及主支血管上的边支血管的局部分割图像合并为同一图像数据中。例如可采用将主支血管分割图像和边支血管局部分割结果数据融合的方式进行组合。采用本实施例中的训练数据对神经网络进行训练，当训练时的标签为确定的主支血管上的边支血管的局部分割结果数据时，在测试阶段，通过给神经网络输入血管原始造影图像数据，神经网络输出的是主支血管上的边支血管的局部分割结果数据，即训练出的神经网络输出的显示的图像数据仅为边支血管的局部分割结果数据。当训练时的标签为由主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据时，在测试阶段，通过给神经网络输入血管原始造影图像数据，神经网络输出的是由主支血管的分割结果数据和主支血管上的边支血管的局部分割结果数据组合的图像数据，即训练出的神经网络输出的是既包含边支血管的局部分割结果数据又包括主支血管的分割结果数据。采用本实施例的样本和标签对神经网络进行一步式训练，神经网络在测试时，在输入血管原始造影图像数据时，能够至少输出在局部分割后的边支
血管的图像数据，该局部分割后的边支血管是血管原始造影图像中唯一确定的主支血管上的所有边支血管。本实施例的训练方法训练出的神经网络模型实现一步完成自动分割。
[0083]
作为本发明的另一实施例，样本为标记有主支血管的血管原始造影图像数据，标签为标记的主支血管上的边支血管的局部分割结果数据，或者标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。本实施例中标记有主支血管的血管原始造影图像数据即既包含了主支血管的分割结果数据又包含了血管原始造影图像，是主支血管分割结果数据和血管原始造影图像组合后的结果。参考图14，例如可以为将造影图像中分割出来的主支血管图像与原始造影图像融合后形成图像掩模。图14展现了将主支血管分割结果数据和血管原始造影图像数据融合后形成的数据对应的图像示意图。经过融合后血管原始造影图像中主支血管的轮廓会标记出来。或者也可以是直接在血管原始造影图像中标记出主支血管的轮廓，从而获得标记主支血管的血管造影图像。
[0084]
上述实施例中，给神经网络训练用的样本已经将主支血管标记出来，只需训练神经网络能够检测到分割出的主支血管上的所有的边支血管，并对这些边支血管进行局部分割。样本的获得可采用人工分割主支血管，或者也可以采用计算机算法分割主支血管，再将主支血管分割结果数据与血管原始造影图像数据融合，获得标记有主支血管的原始造影图像，制成标记有主支血管的血管原始造影图像数据(例如二值图)。将主支血管自动单独分割出来可采用现有已有的算法实现。
[0085]
如图3所示，本发明还提供一种用于血管造影图像处理的训练方法的具体实施例，该训练方法采用分布式训练，训练两个神经网络。本实施例中神经网络包括第一神经网络和第二神经网络，样本包括第一样本和第二样本，标签包括第一标签和第二标签。训练方法具体包括：s201，获取第一样本和第一标签；s202，根据第一样本和第一标签对第一神经网络进行训练，以使第一神经网络对血管原始造影图像中确定的主支血管进行分割；s203，获取第二样本和第二标记；s204，根据第二样本和第二标签对第二神经网络进行训练，以使第二神经网络对血管造影图像中标记的主支血管上的边支血管进行局部分割。
[0086]
第一样本为血管原始造影图像数据，例如图12所示的为血管原始造影图像，将此图像转换为血管原始造影图像数据，形成第一样本数据。第一标签为确定的主支血管的分割结果数据，例如图13所示的将主支血管分割后显示的图像数据，将此图像转换为主支血管的分割结果数据，作为第一标签数据。或者，第一标签为由确定的主支血管的分割结果数据和血管原始造影图像数据组合后的图像数据，例如将图14中所呈现的既包含主支血管的分割结果数据又包含血管原始造影图像数据的数据，将如图14所示的组合后的图像数据作为第一标签数据。当第一标签为主支血管的分割结果数据时，在测试阶段，通过给第一神经网络输入血管原始造影图像数据，第一神经网络输出的是血管原始造影图像中主支血管的分割结果数据。当第一标签为由主支血管的分割结果数据和血管原始造影图像数据组合后的图像数据时，在测试阶段，通过给第一神经网络输入血管原始造影图像数据，第一神经网络输出的是由主支血管的分割结果数据和血管原始造影图像数据组合后的图像数据，即呈现的是标记有主支血管的血管造影图像。
[0087]
第二样本为标记有主支血管的血管原始造影图像数据。例如图14中所呈现的，即
第二样本既包含了血管原始造影图像又包含了主支血管的分割结果数据，是主支血管分割结果数据和血管原始造影图像组合后的结果。第二样本的获得，例如，可通过将主支血管分割结果数据与原始造影图像融合的方式，即，将图12中的血管原始造影图像和图13中主支血管分割结果数据进行融合，获得了如图14中所示的融合后的图像数据，再将此图像数据作为第二样本数据。图14中主支血管的轮廓采用黑色标记，在其它实施例中还可以采用彩色对分割出来的主支血管进行标记。或者，也可以直接在血管原始造影图像中将主支血管标记的方式制作第二样本数据。第二样本可结合人工分割主支以及算法融合的技术实现血管原始造影图像与主支分割结果数据的组合，或者也可以全部采用算法实现主支血管的分割以及主支血管与血管原始造影图像的组合。第二标签为标记的主支血管上的边支血管的局部分割结果数据，或者第二标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据。组合的方式同样可参考上述实施例中提到的方法。
[0088]
关于制作第二标签，例如，参考图15，图15为根据图12中的血管原始造影图像局部分割出的边支血管，将图15中的图像数据对应制作为第二标签数据，对应获得的第二标签为边支血管的局部分割结果数据，此方法制作的第二标签可以用于实现边支血管语义分割(semantic segmentation)。或者，参考图16a～图16e，在将边支血管局部分割后分别获得每个边支血管的局部分割mask，然后再将所有的边支mask合并，形成包含所有边支血管的局部分割结果数据，作为第二标签。此方法制作的第二标签可以实现边支血管实例分割(instance segmentation)。本实施例中关于制作第二标签的方法也可以运用在上述各实施例中的标签的制作方法。
[0089]
上述标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。当第二标签为标记的主支血管上的边支血管的分割结果数据时，在测试阶段，通过给第二神经网络输入标记有主支血管的血管原始造影图像数据，第二神经网络输出的是标记的主支血管上的边支血管的局部分割结果数据。当第二标签为由主支血管的分割结果数据和边支血管的局部分割结果数据组合的图像数据时，在测试阶段，通过给第二神经网络输入标记有主支血管的血管原始造影图像数据，第二神经网络输出的是标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，即呈现的是标记有主支血管轮廓和该主支血管上的边支血管的部分轮廓的图像。在训练第二神经网络时，通过将主支血管的分割结果数据与血管原始造影图像数据融合，获得的叠加结果已经将确定的主支血管标记出来，第二神经网络在训练后可以依据已经标记出来的主支血管作为确定的主支血管，从而实现对通过标记确定的主支血管上的边支血管进行局部分割。
[0090]
上述实施例中的训练方法，训练第一神经网络和训练第二神经网络可以分开进行也可以同步进行。第一神经网络和第二神经网络可以是设置在不同计算机中，也可以集成于同一个处理器中，本发明对此不作限制。
[0091]
上述实施例选取两个神经网络分别进行训练。第一神经网络训练其能够对主支血管进行分割，第二神经网络训练其至少能够对主支血管上的所有边支血管进行分割。采用分步训练的方式能够增加神经网络分割的准确度。并且由于一般一个病历的主支血管的造影图和边支血管的造影图的数据量不同，分别针对主支血管的分割和边支血管的局部分割
进行训练，训练效果也更好。
[0092]
上述各实施例中提到的样本和标签为输入给神经网络进行训练的数据，可以制作成掩模，即mask图(二值图)。一般原始造影图上只会显示一个主支血管，或者即使有两个也是只有一个在正视的位置。因此在制作训练数据时，会对原始造影图上唯一能确定的主支血管进行分割，或者当原始造影图中出现两个主支血管时，会对唯一位于正视位置的主支血管进行分割，将分割的结果输入给神经网络进行学习。
[0093]
上述各实施例中，可以采用人工分割的方式对血管造影图像进行处理，分割出大量结果制成训练集以供神经网络学习。人工分割的方法可以是进行手动分割，还可以是借助分割软件结合手动选取进行分割。也可以采用其它分割方式获得可供神经网络学习的训练数据，本发明对此不作限制。
[0094]
本发明的神经网络可选用卷积神经网络，进一步神经网络结构使用mask r-cnn。
[0095]
如图4所示，本发明提供了一种用于血管造影图像处理的训练装置，包括：获取模块21，用于获取训练数据，以及训练模块22，用于根据获取的训练数据对神经网络进行训练，以使神经网络对血管原始造影图像中确定的主支血管上的边支血管进行局部分割。其中训练数据包括血管原始造影图像数据以及边支血管的局部分割结果数据，边支血管的局部分割结果数据为从血管原始造影图像中确定的主支血管上的边支血管的局部分割图像数据；局部分割的分割范围为自边支血管的首端沿延伸方向到分割终端，分割终端位于边支血管的首端和末端之间，边支血管的首端为该边支血管与所属的主支血管的交叉端，末端为边支血管的最远端，延伸方向为从首端到末端的方向，分割终端沿延伸方向至少越过被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面。本发明的用于血管造影图像处理的训练装置对应上述各实施例中的用于血管造影图像处理的训练方法。
[0096]
在上述训练数据中，关于边支血管的局部分割结果数据，分割出的边支血管至少包含一段正常管腔。所谓正常管腔是指未出现狭窄、膨胀、重叠、截断或变形的管腔。变形的管腔例如是形状发生明显改变，或者轮廓不清晰的管腔。正常管腔段具有清晰的轮廓，且整个正常管腔段的直径变化平缓。包含正常的管腔能够保证对边支血管的管腔半径或直径进行准确测量，以供作为进一步的应用。
[0097]
为了让神经网络分割出的边支血管的结果符合预设情况，在制作训练数据时，可对局部分割的边支血管的长度进行统一规定。为方便计算半径或直径，制作的训练数据中，局部分割的边支血管中正常管腔沿延伸方向的长度可根据具体标准设定，可预先设置一个规定长度。例如，可设置规定长度为主支血管管腔直径的1～10倍，具体为2～6倍，更具体为3倍或5倍。或者从另一方面，例如在具体的尺寸上，规定长度可为1～15mm，进一步可为1～10mm，更进一步可为2～8mm。通过上述标准进行训练数据制作，能够使神经网络获得较好的学习效果。
[0098]
进一步地，关于制作训练数据，在对边支血管进行局部分割时，会在保证包含正常管腔段的同时尽量缩短分割出的边支血管的长度，从而尽可能避免远端的边支血管的不利影响。在进行局部分割时，首先找到要处理的主支血管。在血管原始造影图像中一般含有一种主支血管，例如针对左旋支获得血管原始造影图像，根据图像中的左旋支对其所有的边支血管进行局部分割。以被分割的边支血管的分叉嵴点垂直于该边支血管中心线的截面位置处作为起始端，沿延伸方向在边支血管的首端和末端之间确定分割终端。例如，当从边支
血管的分叉嵴点垂直于该边支血管中心线的截面位置处开始，沿延伸方向有一段正常管腔，则即可在规定的长度下确定分割终端。若从边支血管的分叉嵴点垂直于该边支血管中心线的截面位置处开始，沿延伸方向存在狭窄、膨胀、重叠、截断或变形等非正常管腔区域，则越过该非正常管腔段后再向后延伸一段后确定分割终端。即分割范围覆盖非正常管腔段后还含有一段正常管腔段即可。
[0099]
在上述各实施例中，训练数据为样本和标签。获取模块21包括用于获取样本和标签，该样本至少包含血管原始造影图像数据；标签至少包含确定的主支血管上的边支血管的局部分割结果数据，训练模块用于根据获取的样本和标签对神经网络进行训练。
[0100]
具体地，作为本发明的其中一个实施例，样本为血管原始造影图像数据，即将血管原始造影转换为共神经网络学习的二值图，标签为确定的主支血管上的边支血管的局部分割结果数据，或者标签为由主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据。上述确定的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。将主支血管的分割结果数据与该主支血管上的边支血管的局部分割结果数据组合，也就是将主支血管图像以及该主支血管上的边支血管的布局分割图像合并显示为同一图像数据中。例如可采用将主支血管分割图像和边支血管局部分割结果数据融合的方式进行组合。
[0101]
作为本发明的另一实施例，样本为标记有主支血管的血管原始造影图像数据，标签为标记的主支血管上的边支血管的局部分割结果数据，或者标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。本实施例中标记有主支血管的血管原始造影图像数据即既包含了主支血管的分割结果数据又包含了血管原始造影图像数据，是主支血管分割结果数据和血管原始造影图像数据组合后的结果。例如可以为将造影图像中分割出来的主支血管图像与原始造影图像融合后的图像掩模，经过融合后血管原始造影图像中主支血管的轮廓会标记出来。或者也可以是直接在血管原始造影图像中标记出主支血管的轮廓，从而获得标记主支血管的血管造影图像。本实施例中，给神经网络训练用的样本已经将主支血管标记出来，只需训练神经网络能够检测到分割出的主支血管上的所有的边支血管，并对这些边支血管进行局部分割。样本的获得可采用人工分割主支血管并将分割出的主支血管在血管原始造影图像中标记出来，或者也可以采用计算机算法分割主支血管，再将主支血管分割结果数据与血管原始造影图像融合，获得标记有主支血管的原始造影图像，制成标记有主支血管的血管原始造影图像数据(例如二值图)。将主支血管自动单独分割出来可采用现有已有的算法实现。
[0102]
如图5和图6所示，本发明还提供一种用于血管造影图像处理的训练装置的具体实施例，所训练的神经网络包括第一神经网络和第二神经网络，样本包括第一样本和第二样本，标签包括第一标签和第二标签，训练模块包括第一训练模块221和第二训练模块222，获取模块包括第一获取模块211和第二获取模块212。训练装置中，第一获取模块211用于获取第一样本和第一标签，第一样本为血管原始造影图像数据；第一标签为确定的主支血管的分割结果数据，或者为由确定的主支血管的分割结果数据和血管原始造影图像组合的图像数据。第一训练模块221用于根据第一样本和第一标签对第一神经网络进行训练，以使第一神经网络对血管造影图像中确定的主支血管进行分割。
[0103]
上述实施例的训练装置中，第二获取模块212用于获取第二样本和第二标签，第二样本为标记有主支血管的血管原始造影图像数据，即第二样本既包含了血管原始造影图像又包含了主支血管的分割结果数据，是主支血管分割结果数据和血管原始造影图像组合后的结果。例如，可通过将主支血管分割结果数据与原始造影图像数据融合的方式，或者是在血管原始造影图像中将主支血管标记的方式制作第二样本。第二样本可结合人工分割主支以及算法融合的技术实现血管原始造影图像与主支分割结果数据的组合，或者也可以全部采用算法实现主支血管的分割以及主支血管与血管原始造影图像的组合。第二标签为标记的主支血管上的边支血管的局部分割结果数据，或者第二标签为由标记的主支血管的分割结果数据和该主支血管上的边支血管的分割结果数据组合的图像数据。组合的方式同样可参考上述实施例中提到的方法。上述标记的主支血管的分割结果数据为从血管原始造影图像中确定的主支血管的分割图像数据。第二训练模块222用于根据第二样本和第二标签对第二神经网络进行训练，以使第二神经网络对血管造影图像中标记的主支血管上的边支血管进行局部分割。即训练的第二神经网络能够对通过标记确定的主支血管上的边支血管进行局部分割。
[0104]
参考图7和图8，本发明提出一种血管图像的自动处理方法，该方法包括：获取包含待处理的血管原始造影图像数据；基于上述的用于血管造影图像处理的训练方法得到的神经网络对包含待处理的血管原始造影图像进行处理，获得包含确定的主支血管上的边支血管的局部分割图像数据。当训练方法中标签为主支血管的分割结果数据和该主支血管上的边支血管的局部分割结果数据组合的图像数据，则训练出的神经网络输出的结果既包含主支血管的分割结果数据，也包含该主支血管上的边支血管的局部分割结果数据。采用上述实施例中的一步式训练的神经网络，在对血管图像进行自动处理时，可通过输入原始造影图像后直接输出局部分割的边支血管的图像数据或者由主支血管分割结果数据和边支血管局部分割结果数据组合的图像数据。例如，当训练的神经网络输出的是由主支血管分割结果数据和边支血管局部分割结果数据组合的图像数据时，则该自动处理方法具体为：s301，获取待处理的血管原始造影图像数据；s302，基于得到的神经网络对待处理的血管原始造影图像进行处理，获得主支血管分割结果数据和该主支血管上的边支血管局部分割结果数据组合的图像数据。
[0105]
在另一实施例中，由于训练的样本是标记好主支血管的血管原始造影图像，即主支血管已经通过人工或算法分割，训练神经网络依据此样本进行训练，可通过向神经网络输入标记有主支血管的血管原始造影图像数据后直接输出局部分割的边支血管的图像数据或者由主支血管分割结果数据和边支血管局部分割结果数据组合的图像数据。例如，当训练时标签仅为标记的主支血管上的边支血管的局部分割结果数据，那么训练的神经网络输出的就是边支血管的局部分割结果数据，则该自动处理方法具体为：s401，获取待处理的标记有主支血管的血管原始造影图像数据；s402，基于得到的神经网络对待处理的标记有主支血管的血管原始造影图像数据进行处理，获得标记的主支血管上的边支血管的局部分割图像数据。标记的主支血管即为确定的主支血管。
[0106]
如图9所示，采用上述实施例中的分步式训练得到的第一神经网络和第二神经网络，在对血管图像进行自动处理时，可分别进行主支血管的分割和主支血管上的边支血管的分割。自动处理方法包括：s501，获取第一目标图像数据，第一目标图像数据为待处理的
血管原始造影图像数据；s502，基于分步式训练得到的第一神经网络对第一目标图像数据进行处理，获得第一结果图像数据，第一结果图像数据包含确定的主支血管的分割图像数据；s503，将第一结果图像数据转换为第二目标图像数据，第二目标图像数据为标注有主支血管的血管原始造影图像数据；s504，基于分步式训练得到的第二神经网络对第二目标图像进行处理，获得第二结果图像数据，第二结果图像数据包含确定的主支血管上的边支血管的局部分割图像数据。即本实施例中是将第一神经网络的输出结果经转换等处理步骤后作为第二神经网络的输入信息。
[0107]
上述实施例中，第一结果图像数据包含确定的主支血管的分割图像数据，第一神经网络输出的结果与在训练第一神经网络时输入的第一标签相对应。具体为，当第一标签为确定的主支血管的分割结果数据时，第一结果图像数据为主支血管的分割图像数据。或者，当第一标签为由确定的主支血管的分割结果数据和血管原始造影图像组合的图像数据时，则第一神经网络输出的除了包含主支血管的分割图像数据，还包括有血管原始造影图像数据，即第一结果图像数据为由主支血管的分割图像和血管原始造影图像组合的图像数据，该图像数据为血管图像中标记有主支血管的轮廓。同理，第二神经网络输出的结果与在训练第二神经网络时输入的第二标签相对应。即，第二结果图像数据包含确定的主支血管上的边支血管的局部分割图像数据，具体为，第二结果图像数据为确定的主支血管上的边支血管的分割图像数据。或者，除了边支血管的分割图像数据，还包括所属的主支血管的分割图像数据，即第二结果图像数据为由确定的主支血管的分割图像和该主支血管上的边支血管的局部分割图像组合的图像数据。其中确定的主支血管即为通过标记确定的主支血管，该主支血管通过第一神经网络分割获得。通过第一神经网络和第二神经网络共同处理，通过第一神经网络检测到主支血管，通过第二神经网络检测到该主支血管上的边支血管，实现对血管原始造影图像中需要确定的主支血管上的边支血管的局部分割。
[0108]
进一步地，本实施例选择训练出的第一神经网络输出的第一结果图像数据仅为确定的主支血管的分割图像数据，将第一结果图像数据转换为第二目标图像数据包括：将第一结果图像数据与第一目标图像数据融合，得到标注有主支血管的血管原始造影图像数据。即本实施例中由主支血管分割图像和血管原始造影图像组合的图像数据是通过进一步转换获得。采用第一神经网络输出的为主支血管的分割图像数据，其结果较为准确，至于将主支血管分割图像与血管原始造影图像融合，可通过后续处理完成。在另一实施例中，如果第一神经网络输出的结果为由确定的主支血管的分割结果数据和血管原始造影图像组合的图像数据时，则可将输出的第一结果图像数据直接转换为第二目标图像数据作为第二神经网络的输入，无需再做融合。
[0109]
进一步地，本实施例选择训练出的第二神经网络输出的第二结果图像数据仅为确定的主支血管上的边支血管的局部分割图像数据。在获得第二神经网络的输出结果后，再对第二结果图像数据进行处理，将第二结果图像数据与确定的主支血管的分割图像数据进行融合，获得融合后的图像数据。该融合后的图像数据中，由主支血管的分割图像和边支血管的局部分割图像组成，可作为后续应用的图像数据。采用第二神经网络输出的为边支血管的局部分割图像数据，其结果较为准确，至于将主支血管分割图像与边支血管局部分割图像融合，可通过后续处理完成。
[0110]
在上述各实施例中，自动处理方法还包括：接收转换指令，根据接收的转换指令将
第一结果图像数据转换为第二目标图像数据。当第一神经网络输出第一结果图像数据后，当接收到转换指令后再进行转换步骤。使用者在第一神经网络完成输出后可查看输出结果，如果输出结果符合要求，则可输入转换指令，以使进入后续转换步骤。另外，本实施例的自动处理方法可以设置显示步骤，将第一神经网络的输出结果直接显示出来，以方便使用者查看。
[0111]
进一步地，自动处理方法还包括：输入修正后的主支血管的分割图像数据，将包含修正后的主支血管的分割图像数据更新为第一结果图像数据。具体地，当第一神经网络输出的主支血管的分割图像不符合要求，使用者可以对主支血管的分割结果进行修正，之后再将修正后的主支血管的分割图像数据输入，以此作为第一结果图像数据，之后输入转换指令，则将更新后的第一结果图像数据转换为第二目标图像数据。本实施例相当于为第一神经网络输出的主支血管的分割结果加入了修正的机会，减少错误率。由于主支血管的分割结果能够得到修正，以修正后的结果作为更加准确的依据，则后续第二神经网络对于边支血管的局部分割也会更加准确。另外，本实施例的自动处理方法也可以输入修正后的边支血管的局部分割结果数据，对第二神经网络的输出结果进行修正，将修正后的结果输入作为第二结果图像数据，以进一步提高准确性。
[0112]
如图10所示，本发明还提出一种血管图像的自动处理装置，包括：血管造影图像获取模块31，用于获取包含待处理的血管的原始造影图像数据；处理模块32，用于基于上述一步式训练得到的神经网络对包含待处理的血管的原始造影图像进行处理，以获得包含确定的主支血管上的边支血管的局部分割图像数据。其中，根据上述不同实施例的训练方法得到的神经网络，相应在进行图像处理时，输入的包含待处理的血管原始造影图像数据，一种为待处理的血管原始造影图像数据，另一种为由主支血管分割图像和血管原始造影图像组合的图像数据。输出的包含确定的主支血管上的边支血管的局部分割图像数据，一种仅为确定的主支血管上的边支血管的局部分割图像数据，另一种为由主支血管分割图像和该主支血管上的边支血管的局部分割图像组合的图像数据。本实施例的血管图像的自动处理装置与上述实施例中血管图像的自动处理方法对应。本发明的血管图像的自动处理装置对应上述各实施例中的血管图像的自动处理方法。
[0113]
如图11所示，在另一实施例中，自动处理装置包括：第一目标图像数据获取模块41，用于获取第一目标图像数据，第一目标图像为待处理的血管原始造影图像数据；第一处理模块42，用于基于上述分步法的训练方法得到的第一神经网络对第一目标图像数据进行处理，以获得第一结果图像数据，第一结果图像数据包含确定的主支血管的分割图像数据；转换模块43，用于将第一结果图像数据转换为第二目标图像数据，第二目标图像数据为标注有主支血管的血管原始造影图像数据；第二目标图像数据获取模块44，用于获取第二目标图像数据；第二处理模块45，用于基于上述分步法的训练方法得到的第二神经网络对第二目标图像数据进行处理，获得第二结果图像数据，第二结果图像数据包含确定的主支血管上的边支血管的局部分割图像数据。即本实施例通过设置转换模块42将第一神经网络的输出结果经转换等处理步骤后作为第二神经网络的输入信息。本实施例的血管图像的自动处理装置与上述实施例中血管图像的自动处理方法对应。
[0114]
上述实施例中，第一结果图像数据为确定的主支血管的分割图像数据，转换模块42用于将第一结果图像数据与第一目标图像数据融合，得到标注有主支血管的血管原始造
影图像数据。采用第一神经网络输出的为主支血管的分割图像数据，其结果较为准确，至于将主支血管分割图像与血管原始造影图像融合，可通过转换模块42进行后续处理完成。
[0115]
进一步地，第二结果图像数据为确定的主支血管上的边支血管的局部分割图像数据，自动处理装置还包括后处理模块46，用于将第二结果图像数据与确定的主支血管的分割图像数据进行融合，获得融合后的图像数据。
[0116]
参考图10，在上述各实施例中，自动处理装置还包括接收模块47，用于接收转换指令，转换模块42用于根据接收的转换指令将第一结果图像数据转换为第二目标图像数据。第一神经网络输出第一结果图像数据后，当接收模块47接收到转换指令后再进行转换步骤。使用者在第一神经网络完成输出后可查看输出结果，如果输出结果符合要求，则可输入转换指令，以使进入后续转换步骤。另外，本实施例的自动处理装置可以设置显示模块48，将第一神经网络的输出结果直接显示出来，以方便使用者查看。或者，也可以是使用者将第一结果图像数据输出到其它设备中查看。
[0117]
进一步地，自动处理装置还包括输入模块49，用于输入修正后的主支血管的分割图像数据，将包含修正后的主支血管的分割图像数据更新为第一结果图像数据。具体地，当第一神经网络输出的主支血管的分割图像不符合要求，使用者可以对主支血管的分割结果进行修正，之后再将修正后的主支血管的分割图像数据通过输入模块49输入，输入模块49将输入结果更新为第一结果图像数据，之后使用者输入转换指令，接收模块47接收到转换指令，则将更新后的第一结果图像数据转换为第二目标图像数据。
[0118]
上述各实施例提供了血管图像处理的训练方法和训练装置，获得了血管图像的自动处理方法和自动处理装置，实现了对边支血管的自动局部分割，相比于全部分割，精确度得到明显提高，避免了计算机自动分割中出现的漏分割和错分割的情况，且局部分割也会明显加快自动分割的速度。特别是在手术过程中，计算机能够迅速展现分割后主支血管和相应的边支血管的情况，为医生在手术过程争取到了宝贵的时间。
[0119]
相应地，本发明提供一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令，该至少一条指令在被处理器执行时实现上述各实施例中的用于血管造影图像处理的训练方法，或上述各实施例中的血管图像的自动处理方法。
[0120]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令，该至少一条指令在被执行时实现上述各实施例中的用于血管造影图像处理的训练方法，或上述各实施例中的血管图像的自动处理方法。
[0121]
采用现有方法获得的分割后的造影图，在造影影像与腔内影像配准的应用研究中，会由于分割效果不佳而影响匹配效果。采用现有方法获得的分割后的造影图，在应用在ffr的计算中时，也会影响计算的准确性。
[0122]
在示例性实施例中，本发明还提供了一种腔内影像与造影影像配准的方法，采用上述实施例中血管图像的自动处理方法，从而获得边支血管的局部分割图像。可通过上述各实施例中的血管图像的自动处理方法，或者其它算法获得主支血管的分割图像。之后获得由主支血管分割图像和该主支血管上的边支血管的局部分割图像组合的复合图像，再将该复合图像与该主支血管的腔内影像进行匹配。具体地，将获得主支血管以及主支血管上的边支血管的分割图像进行融合，获得融合图像，根据融合图像中边支血管的位置、边支血管与主支血管之间交叉端的几何参数，从而在融合图像的主支血管的某一处位置上找到与
该位置对应的腔内影像数据，完成融合图像与腔内影像的匹配，实现腔内影像与造影影像的配准。
[0123]
采用本发明提供的血管图像的处理方法以及血管图像的自动处理方法，能够获得结果准确的边支血管的分割图，从而能够提高腔内影像与造影影像配准的准确度和便利性。
[0124]
在示例性实施例中，本发明还提供了一种血流储备分数的计算方法，采用上述各实施例中血管图像的自动处理方法，从而获得边支血管的局部分割图像。可通过上述各实施例中的血管图像的自动处理方法，或者其它算法获得主支血管的分割图像。根据主支血管以及边支血管的分割图像，获得主支血管和边支血管的直径或半径，计算出该主支血管理想管腔的几何参数，从而获得该主支血管的血流储备分数。具体地，根据获得的主支血管以及边支血管的分割图像，可通过现有的方法，例如利用测量软件测量得到主支血管和该主支血管上的边支血管的直径或半径。然后采用以下公式1，计算出主支血管的理想管腔的半径或理想管腔的直径，从而代入ffr的计算公式中，获得感兴趣的主支血管的血流储备分数。
[0125][0126]
该公式中，r
i
表示该血管段近端起点至远端终点第i处分叉的血管管腔半径或直径。r
i
表示该血管段近端起点至远端终点第i-1和第i分叉之间的血管管腔半径或直径。其中，r0表示该血管段近端起点的血管管腔半径或直径；r
k
表示该血管段远端终点的血管管腔半径或直径；ri
′
表示该血管段近端起点至远端终点第i-1和第i分叉之间的理想血管管腔半径或直径。
[0127]
为进一步提高计算结果的准确度，分割出的边支血管至少包含一段正常管腔。
[0128]
采用本发明提供的血管图像的处理方法以及血管图像的自动处理方法，能够获得结果准确的边支血管的分割图，从而能够提高ffr计算的准确度，且耗时时间短。
[0129]
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本发明的精神和范围。