用于血管系统变异检测的方法、装置和存储介质与流程

1.本技术涉及医学图像处理的技术领域，更具体地，涉及一种用于血管系统变异检测的方法、装置和存储介质。


背景技术：

2.在传统技术中，血管系统变异检测主要通过影像科或放射科医生对医学影像进行主观阅片分析，例如确定willis环是否存在解剖变异以及存在何种解剖变异，确定头颈椎动脉系、颈内动脉系和锁骨下动脉系是否存在起源变异以及存在何种起源变异，等等。这一过程存在受主观影响较大、检测效率较低的问题。在目前较为先进的现有技术中，基于计算机辅助的血管系统变异检测技术虽然能够对血管变异进行自动检测，检测效果优于传统技术，也提高了检测效率，但是由于其往往仅仅考虑了血管系统的部分较为简单的特征，例如结构特征等，而并未对医学图像中所可能包含的关于血管系统变异的潜在信息进行深入挖掘，更没有在此基础上将多种特征进行融合分析，并且容易受到血管分割、血管分段不准确的影响，导致变异检测结果准确性不高的问题。


技术实现要素：

3.提供本技术以解决现有技术中存在的上述问题。
4.本技术旨在提供一种用于血管系统变异检测的方法、装置和存储介质，其能够在包含血管系统的3d医学图像和对应的3d血管分割掩模的基础上，对感兴趣血管系统的各类特征进行深入挖掘和融合分析，以减少血管分割和/或血管分段不准确对于血管系统变异检测的影响，从而能够对血管系统的变异信息进行更快速、更准确、更稳健的预测。
5.根据本技术的第一方案，提供一种用于血管系统变异检测的方法，包括：获取包含血管系统的3d医学图像和对应的3d血管分割掩模，其中，所述3d血管分割掩模包含用于定位感兴趣血管系统的关键片层；基于所述关键片层和所述3d血管分割掩模，利用血管分段模型或以手动标识方式，获取血管分段结果，所述血管分段结果包含所划分的各个血管段的血管分割掩模；基于所述3d医学图像、所述关键片层和所述血管分段结果，利用特征提取模型，获取所述感兴趣血管系统的结构特征、形态特征、影像组学特征和深度语义特征；基于所获取的结构特征、形态特征、影像组学特征和深度语义特征，利用预先训练收敛的第一深度学习网络，预测所述感兴趣血管系统的变异信息。
6.根据本技术的第二方案，提供一种用于血管系统变异检测的装置，包括接口和至少一个处理器，所述接口被配置为获取包含血管系统的3d医学图像和3d血管分割掩模，其中，所述3d血管分割掩模包含用于定位感兴趣血管系统的关键片层。所述至少一个处理器被配置为执行根据本技术实施例的用于血管系统变异检测的方法的步骤。
7.根据本技术的第三方案，提供一种非暂时性计算机可读存储介质，其上存储有计算机可执行的指令，其中当所述计算机可执行指令由处理器执行时，执行根据本技术实施例的用于血管系统变异检测的方法的步骤。
8.根据本技术各个实施例的用于血管系统变异检测的方法、装置和存储介质，其能够在获取包含血管系统的3d医学图像和对应的3d血管分割掩模的基础上，基于3d血管分割掩模及其中所包含的可以对感兴趣血管系统进行更准确定位的关键片层，利用血管分段模型或以手动标识的方式，对感兴趣血管系统进行按需分段，然后，在血管分段结果的基础上，利用特征提取模型，从多种角度对3d医学图像以及3d血管分割中所包含的血管系统变异的特征进行深入挖掘和充分提取，并将所提取的各类特征融合后作为深度学习网络的输入，最终实现对血管系统的变异信息进行快速、准确、稳健地预测。相较现有技术中仅基于血管分割进行分段，以及仅基于血管分段结果进行血管系统的变异分析，本技术中的方法能够在各个环节更加充分地利用3d医学图像中所包含的与血管系统变异相关联的信息，尽可能地减少由于血管分割和/或血管分段不够准确对变异检测的影响，并且通过多种特征的融合与综合分析，可以进一步提高血管变异检测的准确性和稳健性。
9.上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。
附图说明
10.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
11.图1示出根据本技术实施例的用于血管系统变异检测的方法的流程图。
12.图2示出根据本技术实施例的获取血管分段结果的流程的示意图。
13.图3示出根据本技术实施例的特征提取网络的组成结构的示意图。
14.图4示出根据本技术实施例的第一深度学习网络的组成结构的示意图。
15.图5示出根据本技术实施例的根据本技术实施例的用于血管系统变异检测的装置的组成的示意性框图。
具体实施方式
16.为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明，但不作为对本发明的限定。
17.图1示出根据本技术实施例的用于血管系统变异检测的方法的流程图。
18.首先，在步骤s101中，可以获取包含血管系统的3d医学图像和对应的3d血管分割掩模，其中，所述3d血管分割掩模包含用于定位感兴趣血管系统的关键片层。
19.在一些实施例中，例如可以经由接口，从数据库或从医学影像扫描设备等，获取包含血管系统的3d医学图像。在另一些实施例中，还可以经由接口，获取以掩模方式存储的3d医学图像所对应的3d血管分割（即，3d血管分割掩模），并且与所述3d血管分割掩模一并获取能够用于对感兴趣血管系统进行定位的关键片层。
20.在一些实施例中，所述3d医学图像至少可以包括头颈部和/或头部的cta血管造影
图像、mra血管造影图像、dsa血管造影图像中的一种。对于不同的3d医学图像，其中所包含的感兴趣血管系统也不尽相同，仅作为示例，对于头颈部或头部的3d医学图像而言，其中可能包含的血管系统例如可以是willis环等，根据本技术实施例的方法可以用于确定willis环是否存在解剖变异以及存在何种解剖变异。在另一些实施例中，感兴趣血管系统也可以是头颈椎动脉系、颈内动脉系和锁骨下动脉系，根据本技术实施例的方法可以用于确定头颈椎动脉系、颈内动脉系和锁骨下动脉系是否存在起源变异以及存在何种起源变异等。
21.优选地，上述3d医学图像可以由计算机设备从后处理工作站或影像归档和通信系统(picture archiving and communication systems, pacs)中获取。
22.可选地，计算机设备可以获取放射科/影像科技师实时上传到pacs系统中的医学影像，也可以以固定时间间隔为周期从pacs系统中获取这一时间段内的所有3d医学图像。
23.可选地，计算机设备还可以从医院信息管理系统(hospital information system, his)、临床信息管理系统(clinical information system, cis)、放射科信息管理系统(radiology information system, ris)、电子病例系统(electronic medical record, emr)以及相关的医学影像云存储平台获取待检测的3d医学图像。
24.可选地，计算机设备获取到待检测的3d医学图像之后，还可以对该3d医学图像进行预处理，包括将其格式为医学数字成像和通信(digital imaging and communications in medicine, dicom)格式转换为神经成像信息技术倡议(neuroimaging informatics technology initiative, nifti)格式。
25.接下来，在步骤s102中，基于所述关键片层和所述3d血管分割掩模，利用血管分段模型或以手动标识方式，获取血管分段结果，所述血管分段结果包含所划分的各个血管段的血管分割掩模。
26.针对不同的感兴趣血管系统，有不同的血管分段方式，例如在感兴趣的血管系统为willis环的情况下，所述血管分段结果至少包括前交通动脉、左侧大脑前动脉、右侧大脑前动脉、左后交通动脉、右后交通动脉、左大脑后动脉和右大脑后动脉。在一些实施例中，除上述血管段之外，血管分段结果中还可以包括其他的血管段，例如可以对3d血管分割掩模中所有的血管进行分段标记等。
27.然后，在步骤s103中，基于所述3d医学图像、所述关键片层和所述血管分段结果，利用特征提取模型，获取所述感兴趣血管系统的结构特征、形态特征、影像组学特征和深度语义特征。
28.最后，在步骤s104中，基于所获取的结构特征、形态特征、影像组学特征和深度语义特征，利用预先训练收敛的第一深度学习网络，预测所述感兴趣血管系统的变异信息。
29.在一些实施例中，所述感兴趣血管系统的变异信息例如可以包括各个血管段所对应的变异状态。再次以感兴趣的血管系统为willis环为例，按照willis环的血管分段结果，各个血管段所对应的变异状态可以包括如下划分方式：前交通动脉所对应的变异状态至少包括正常、缺如、重复（》1支血管）、发育不良中的一种；其他各个血管段，即，左侧大脑前动脉、右侧大脑前动脉、左后交通动脉、右后交通动脉、左大脑后动脉和右大脑后动脉这6个血管段的变异状态均至少包括正常、缺如、发育不良中的一种。
30.通过如图1所示的各个步骤，能够实现从3d医学图像到血管系统变异检测结果端到端的自动、快速、准确的输出，改变了人工阅片的低效率和受主观因素影响而导致的检测
结果不准确。本技术实施例在获取3d医学图像中的血管分割结果的同时，还一并获取用于定位感兴趣血管系统的关键片层，使得在后续的步骤中能够更准确地对感兴趣血管系统进行定位，并且，在后续的特征提取环节中，并非仅利用划分血管段后的血管分割，而是再次结合3d医学图像和关键片层，从而更充分地利用3d医学图像中与血管系统变异相关联的特征信息，也可以有效避免并在很大程度上弥补由血管分割、血管分段不准确所导致的变异检测结果不准确甚至错误的问题。此外，通过将低层的结构特征、形态特征和高层的影像组学特征、深度语义特征结合应用，能够为医生等用户提供更准确也更稳健的血管系统变异检测结果。
31.图2示出根据本技术实施例的获取血管分段结果的流程的示意图。在另一些实施例中，如果仅能获取包含血管系统的3d医学图像，也可以首先对包含血管系统的3d医学图像进行血管分割，然后再对感兴趣血管系统进行分段，具体步骤如下。
32.首先，获取包含血管系统的3d医学图像201，其中，3d医学图像201的获取方式，及其可能包括的图像类型，以及所涉及的部位及其可能包含的血管系统，均与图1中所述的相同，在此不赘述。
33.接下来，基于所获取的包含血管系统的3d医学图像201，利用血管分割模型202，从3d医学图像中获取以掩模方式存储的3d血管分割结果203，并且，一并获取用于定位感兴趣血管系统的关键片层（未示出）。其中，血管分割模型202例如可以采用诸如u型网络u-net、v型网络v-net等卷积神经网络来实现。在另外一些实施例中，血管分割模型202也可以采用区域生长方法等规则方式，根据3d医学图像的图像特征进行建模而得到。
34.具体地，以3d医学图像201为包含血管系统的头颈部cta图像为例，为了更好地定位头颈部cta图像中所包含的willis环，需要将头颈部cta图像划分出头部、颈部和胸部3个部分（或者也可以认为是3个部位），那么，需要2个关键片层以区分头部-颈部和颈部-胸部。在一些实施例中，血管分割模型202还可以包括关键片层识别子模型（未示出），利用关键片层识别子模型，可以识别出所述3d医学图像中作为相邻部位交界处的关键片层。在一些实施例中，关键片层识别子模型例如可以利用二维学习网络来实现，并利用具有对应部位的片层的分类信息的训练样本进行训练。在一些实施例中，关键片层识别子模型例如可以采用2d resnet网络结构，进行训练时，可以首先由经验丰富的影像科医生对训练样本图像中的2个关键片层进行标记，以此作为训练样本对应的金标准识别信息。然后，根据标记的关键片层信息收集头部、颈部、胸部的片层，并将训练样本图像输入关键片层识别子模型中，得到训练样本图像的关键片层，作为该子模型的输出结果，并计算输出结果与金标准识别信息之间的损失，依据该损失调整关键片层识别子模型，例如可以采用随机梯度下降sgd优化器或者其他类型的优化器，进行子模型参数的优化等，在此不做具体限定。在按照如上所述的方法识别出用于划分多个部位的关键片层的基础上，可以将3d医学图像201分为多个部位对应的子3d医学图像，然后例如可以利用血管分割模型202中的血管分割算法，分别对各个子3d医学图像进行3d血管分割，最后，再次利用所识别的关键片层，对各个部位的3d血管分割结果进行融合处理，最终得到包含能够用于定位感兴趣血管系统的关键片层的3d血管分割掩模203，作为血管系统的分割结果。
35.在一些实施例中，血管分割模型202可以利用带有感兴趣血管系统的血管分割信息（是或不是血管）的训练样本进行训练。具体方式可以包括：基于经验丰富的影像科医生
对3d医学图像或基于关键片层划分部位后的子3d医学图像的训练样本中的血管进行标记，以此作为训练时的金标准。然后将训练样本影像输入血管分割模型202中，得到血管分割结果，并计算血管分割结果与金标准之间的损失。依据该损失调整血管分割模型202的网络参数，当该损失小于等于预设阈值或者达到收敛时，表明血管分割模型202训练收敛。可选地，计算损失时可以采用dice损失函数，cross-entropy损失函数或者其他类型的损失函数。在调整网络参数时，可以采用随机梯度下降sgd优化器或者其他类型的优化器等，在此不一一列举。
36.可选地，在进行血管分割时，也可以采用手动勾画方式，例如由医学影像专家或医生在3d医学图像中进行手动勾画并进行标注，从而得到血管分割。
37.可选地，在3d医学图像输入血管分割模型202或进行手动勾画之前，可以进行图像标准化处理或图像归一化处理，以进一步提高血管分割的准确性。
38.下一步，可以基于关键片层和3d血管分割掩模203，利用血管分段模型204，对3d血管分割结果进行特征提取和特征分类，进而完成感兴趣血管系统的分段，得到血管分段结果205，其中，划分得到的各个血管段具有对应类别的标签，血管段分类的一个示例在血管分段结果205的右侧示出。需要说明的是，上述血管的分段方式可以根据对感兴趣血管系统进行变异检测的实际需求而设置，仍然以willis环为例，按照通用的标准，其血管分段结果可以包括前交通动脉、左侧大脑前动脉、右侧大脑前动脉、左后交通动脉、右后交通动脉、左大脑后动脉和右大脑后动脉等七个血管段，但对于每个血管段，可以按需将其分为多个部分，每一部分对应于一个标签，例如图2中示出的标签为17个。本技术对血管段具体的分段方式以及血管分段结果205中血管段（或血管段的一部分）的标签的对应方式不做限制。此外，由于上述血管分段是在3d血管分割的基础上进行的，因此，所得到的血管分段结果包含所划分的各个血管段的血管分割掩模。
39.在一些实施例中，血管分段模型204可以采用深度学习网络来实现，例如可以包括诸如pointnet、pointnet++等点云神经网络，等等，本技术不做具体限制。在一些实施例中，血管分段模型204可以利用带有血管段分类信息的3d血管分割作为训练样本进行训练，具体的训练方式例如可以包括：基于经验丰富的影像科医生对训练样本中的血管进行分段标记，并以此作为训练时的金标准。然后将训练样本输入血管分段模型204中，得到血管分段结果205，并计算血管分段结果与金标准之间的损失。依据该损失调整血管分段模型204的模型的网络参数，当该损失小于等于预设阈值或者达到收敛时，表明血管分段模型204训练收敛。可选地，计算损失时可以采用cross-entropy损失函数或者其他类型的损失函数。在调整模型的网络参数时，可以采用随机梯度下降sgd优化器或者其他类型的优化器，本技术对此不做限制。
40.在另外一些实施例中，也可以由影像科医生或其他从业人员，基于关键片层和3d血管分割掩模203，借助专业的画图及标记工具等，以手动标识的方式完成感兴趣血管系统的分段，得到血管分段结果205。
41.可选地，在将血管分割结果输入血管分段模型204或进行手动标识之前，可以对3d血管分割掩模203进行输入标准化处理或输入归一化处理，从而使得血管分段模型204在利用血管分割掩模203的灰度值等特征进行分段时，具有更准确的分类依据，提高血管分段模型204输出结果的准确性。
42.通过如图2所示的各个步骤，在获取3d血管分割掩模的同时，还一并获取能够对感兴趣血管系统进行定位的关键片层，基于关键片层进行的血管分段将具有更高的准确性，从而减少由于血管分段不够准确而可能对血管系统变异检测正确性和准确性所造成的影响。
43.图3示出根据本技术实施例的特征提取网络的组成结构的示意图。如图3所示，特征提取模型30可以由四个子模型组成，包括结构特征提取子模型301、形态特征提取子模型302、影像组学特征提取子模型303和深度语义特征提取子模型304。下面分别对各个特征提取子模型进行说明。
44.结构特征提取子模型301以血管分段结果为输入，从中提取用于表征所述感兴趣血管系统的各个血管段是否存在的结构特征向量，作为所述感兴趣血管系统的结构特征。仍然以感兴趣血管系统为willis环为例，结构特征提取子模型301所输出的结构特征向量所表征的是构成willis环的七个血管段是否存在。
45.具体地，判断构成willis环的血管段是否存在，可以采用任何适用的方法，例如可以按照下述步骤进行。首先，根据利用血管分段模型获取的血管分段结果（其中包含所划分的各个血管段的血管分割掩模），对每一血管段的血管分割掩模，先计算该段血管的血管分割掩模的体积，然后通过判断该体积是否大于预设的对应的血管段的体积的经验阈值，从而判定构成willis环中该血管段是否存在，若存在，其特征向量中对应元素的值记为1，否则记为0。如前所述，构成willis环的血管段包括前交通动脉(acoma)、左/右侧大脑前动脉a1段(l-aca-a1, r-aca-a2)、左/右后交通动脉(l-pcoma, r-pcoma)、左/右大脑后动脉p1段(l-pca-a1, r-pca-a1)，因此，当各个血管段均判定为存在时，结构特征提取子模型301所输出的感兴趣血管系统的结构特征其为[1, 1, 1, 1, 1, 1, 1]。
[0046]
形态特征提取子模型302以血管分段结果为输入，从中提取各个血管段与下游血管段的平均半径的比值，以及各个血管段的平均真实半径、真实长度、等效体积、真实体积、各个血管段与其对称血管段的平均半径的比值中的一种或其组合，作为所述感兴趣血管系统的形态特征。
[0047]
具体地，在计算上述形态特征时，各个特征值可以采用不同的方法，如下给出的形态特征示例性的计算方法，是针对willis环中由结构特征提取子模型301判断为“存在”的各个血管段进行的。
[0048]
平均真实半径：按照预设的规则，选择每段血管的若干个中心线点，提取每一个中心线点处所对应的血管的真实半径，并对所有的真实半径进行平均，得到每一血管段的平均真实半径。
[0049]
真实长度：类似地，中心线点的属性包括每一点到主动脉弓或起点的真实距离，利用每一血管段的终点真实距离减去起点真实距离，得到每一血管段的真实长度。
[0050]
等效体积：类似地，通过每一中心线点的真实半径，可计算每一中心线点所代表界面的面积，通过求和所有界面的面积，得到等效体积。
[0051]
真实体积：例如可以通过统计每一血管段的所有体素占据的物理体积来得到真实体积。
[0052]
各个血管段与其对称血管段的平均半径的比值：由于willis环具有完美的空间对称性，通过对比患侧和健侧血管，在很大的程度上，即可判断患侧血管存在异常。在得到每
一血管段的平均真实半径后，平均半径比值即可相应地得到。
[0053]
各个血管段与下游血管段的平均半径的比值：类似地，在得到每一血管段的平均真实半径后，平均半径比值即可得到。
[0054]
由于诸如willis环这样的血管系统的解剖结构通常在空间形态上具有显著特征，因此，按照上述方法提取的血管系统的形态特征，有利于对感兴趣血管系统的变异状况进行判断。特别是所计算的每一血管段与其下游血管段的平均半径的比值这一特征，可以用于识别并在一定程度上能够弥补血管段划分不够准确的缺陷。
[0055]
影像组学特征提取子模型303例如可以以血管分段结果、所述3d医学图像和所述关键片层作为输入，在利用关键片层准确定位感兴趣血管系统的基础上，首先可以利用pyradiomics等，对各个血管段的影像组学特征进行充分的计算，计算得到的第一影像组学特征包括一阶统计学特征、二维和三维形状特征、纹理特征中的一种或其组合。其中，纹理特征例如可以包括灰度共生矩阵纹理特征、灰度行程矩阵纹理特征、灰度区域中心矩阵纹理特征、邻域灰度差异矩阵纹理特征和灰度相关矩阵纹理特征等。在另外一些实施例中，还可以根据感兴趣血管系统的类别，选择性地计算其他的影像组学特征，在此不一一列举。
[0056]
然后，由所述影像组学特征提取子模型对各个血管段的第一影像组学特征进行特征选择，选择利于判别血管系统变异的显著特征。具体地，可以将经由特征选择确定的各个血管段的第一影像组学特征的第一子集作为所述感兴趣血管系统的影像组学特征，其中，所述第一子集的维数以及特征选择的准则可以与所述感兴趣血管系统的变异信息相关联地设置。在进行特征选择时，可以采用过滤法、嵌入法、包装法各种适用的方法，仅作为示例，例如可以采用过滤法中的方差阈值法，这是一种无监督学习的特征选择（也即降维）方法。假设来自于不同对象（3位）的willis环的某一段血管段的第一影像组学特征的特征矩阵为：[[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]，那么，在方差阈值法中，可以利用预先设定的阈值t，将特征矩阵中各个对象所对应的特征值之间的方差低于阈值t的第一影像组学特征的特征矩阵中对应的列所表征的特征去除，从而达到缩减特征数量，降低特征矩阵维数的目的。例如在假设阈值t=0的情况下，通过将各列方差与阈值t的比较，可以将第一列和第四列的特征去除，由此得到的降维后的第一子集的特征矩阵为[[2, 0], [1, 4], [1, 1]]，以此作为感兴趣血管系统的影像组学特征的特征矩阵。
[0057]
深度语义特征提取子模型304以血管分段结果、所述3d医学图像和所述关键片层作为输入，对所述感兴趣血管系统的深度语义特征进行提取。仍然以willis环为感兴趣血管系统为例，深度语义特征提取具体可以按如下步骤执行。
[0058]
首先，在利用关键片层准确定位感兴趣血管系统的基础上，由所述深度语义特征提取子模型304根据血管分段结果，确定willis环在3d医学图像中上下、前后、左右6个方向的位置。确定willis环的区域之后，可以截取willis环在3d医学图像中的范围，也即，截取包含感兴趣血管系统的3d子医学图像。
[0059]
接下来，由深度语义特征提取子模型304沿所截取的3d子医学图像的横断位方向，即，z轴方向，生成所述3d子医学图像的最大灰度值投影图像。
[0060]
然后，将所生成的最大灰度值投影图像输入第二深度学习网络，由第二深度学习网络对感兴趣血管系统的深度语义特征进行提取。在一些实施例中，第二深度学习网络例如可以采用诸如vggnet、resnet、densenet等类型的深度卷积网络模型。在一些实施例中，
第二深度学习网络可以基于包含所述感兴趣血管系统的变异信息的训练样本进行训练，具体方式包括：首先可以由经验丰富的影像科医生对包含感兴趣血管系统的3d子医学图像训练样本中的血管系统的变异进行判断，并对训练样本进行变异信息标注，以此作为训练时的金标准。以willis环为例，用于训练的感兴趣血管系统的变异信息例如可以包括四类：willis环正常、willis环前循环变异、willis环后循环变异、willis环前后循环均变异，可以看到，此处对变异信息的定义与前文所述的将变异状态与7个血管段一一对应的方式不同，其期望利用压缩投影后的3d子医学图像的最大灰度值投影图像来获取更高层的语义特征。然后可以将训练样本输入第二深度学习网络，由第二深度学习网络输出感兴趣血管系统的变异信息，并计算所输出的变异信息与金标准之间的损失，依据该损失调整第二深度学习网络的网络参数，当该损失小于或等于预设阈值，或者达到收敛时，可以认为第二深度学习网络训练收敛。在一些实施例中，计算损失时可以采用cross-entropy损失函数或者其他类型的损失函数。在调整网络参数时，可以采用随机梯度下降sgd优化器或者其他类型的优化器等，在此不一一列举。
[0061]
可选地，在将最大灰度值投影图像输入第二深度学习网络之前，还可以对最大灰度值投影图像进行输入标准化处理或输入归一化处理，以进一步提高利用最大灰度值投影图像进行深度语义特征计算时的准确性。
[0062]
图4以willis环为例，示出根据本技术实施例的第一深度学习网络的组成结构的示意图。在利用特征提取模型获取了感兴趣血管系统的结构特征、形态特征、影像组学特征和深度语义特征之后，可以进一步利用预先训练收敛的第一深度学习网络来预测所述感兴趣血管系统的变异信息。如图4所示，第一深度学习网络40采用支持多个分类任务的深度神经网络模型，例如可以由输入层401、至少一个隐藏层402、血管段学习层403和血管段分类层404依序串联而构成，其中，所述血管段学习层403的各层和所述血管段分类层404的各层与所述感兴趣血管系统的各个血管段相对应地设置。
[0063]
在一些实施例中，在将感兴趣血管系统的结构特征、形态特征、影像组学特征和深度语义特征输入第一深度学习网络40之前，还可以首先结构特征、形态特征、影像组学特征和深度语义特征进行融合处理，生成高维融合特征。在进行上述特征融合处理时，可以采用各种适用的特征融合算法，例如对各个特征的特征向量（或特征矩阵）进行直接连接（concatenate）、并行融合（add），也可以采用其他任何适用的算法进行特征融合，本技术对此不做具体限制，只要所生成的融合特征向量/矩阵包含比单个特征更丰富的特征信息即可。
[0064]
接下来，可以基于所述高维融合特征，利用预先训练收敛的第一深度学习网络40来预测作为感兴趣血管系统的willis环的各个血管段所对应的变异状态。第一深度学习网络40例如可以由多层神经网络构成，各层的示例性配置如下：在高维融合特征的维数为1024维的情况下，对应地，输入层401中的神经元也具有1024维，接下来，隐藏层402例如可以包括三层，各层的神经元维数依次为512维、256维和128维，即，逐层递减。接下来的血管段学习层403具有多个点卷积层，卷积层的个数与感兴趣血管系统的血管段的个数相匹配，例如，在感兴趣血管系统为willis环的情况下，血管段学习层403具有7个点卷积层，并且每个点卷积层均与willis环的一个血管段相对应，其中，每一个点卷积层例如可以采用64维。在血管段学习层403之后连接的是血管段分类层404，该层例如可以具有与感兴趣血管系统
相匹配的层数，对于willis环而言，血管段分类层404中的7个softmax层分别与willis环的7个血管段一一对应，并且，如前所述，willis环的各个血管段所对应的变异状态为3~4个，因此，每一个softmax层的维数可以设置为3~4维。图4中示出的willis环的各个血管段所对应的变异状态例如可以用一个7维向量表示，向量中的每个元素的值对应于一个血管段的变异状态，例如，前交通动脉变异状态从集合{0,1,2,3}中取值，而其他各个血管段的变异状态则从集合{0,1,2}中取值。可以按需设置元素的值与变异状态的对应关系，仅作为示例，例如可以假设0=正常，1=缺如，2=发育不良，3=重复（》1支血管）。
[0065]
在一些实施例中，上述第一深度学习网络40可以利用带有感兴趣血管系统的变异信息的训练样本进行训练。具体的训练方式例如可以包括：首先可以由经验丰富的影像科医生对训练样本中的血管系统的变异进行判断并标注，以此作为训练时的各血管段变异状态的金标准。然后训练样本输入第一深度学习网络40中，得到血管系统的变异检测结果，即，各个血管段对应的变异状态，并计算血管系统变异检测结果与各血管段变异状态的金标准之间的损失。依据该损失调整第一深度学习网络40的网络参数，当该损失小于等于预设阈值或者达到收敛时，表明第一深度学习网络40训练收敛。可选地，计算损失时可以采用cross-entropy损失函数或者其他类型的损失函数。在调整网络参数时，可以采用随机梯度下降sgd优化器或者其他类型的优化器等，在此不一一列举。
[0066]
根据本技术实施例的第一深度学习网络以基于结构特征、形态特征、影像组学特征和深度语义特征融合而生成的各个血管段的融合特征作为输入，不仅能够充分考虑结构特征、形态特征等低层特征所表征的诸如血管的形状、轮廓、位置等物理特征和细节特征，还通过影像组学特征对3d医学图像中的影像特征进行深入挖掘，如此，可以避免仅利用血管分割和血管分段进行变异检测时，由血管分割或血管分段的不准确而导致变异检测错误或准确性较低的缺陷，使变异检测结果具有更高的准确性和稳健性。此外，由于在融合特征中还结合了表征高层语义的深度语义特征，因此还能够使所输出的检测结果在更大尺度的血管系统（而不是局部的血管）的层面上更吻合用户期望的语义特征。
[0067]
图5示出根据本技术实施例的用于血管系统变异检测的装置的组成的示意性框图。具体地，根据本技术实施例的用于血管系统变异检测的装置500至少可以包括接口501和至少一个处理器508，其中，接口501可以被配置为获取包含血管系统的3d医学图像和3d血管分割掩模，其中，所述3d血管分割掩模包含用于定位感兴趣血管系统的关键片层。处理器508可以被配置为执行根据本技术各个实施例的用于血管系统变异检测的方法的步骤。接口501和处理器508例如可以设置于图像处理装置503中，图像处理装置503可以配置为执行3d医学图像中的血管系统的变异检测任务。
[0068]
在一些实施例中，装置500还可以包括配置为在训练阶段对根据本技术实施例的第一深度学习网络、第二深度学习网络、特征提取模型、血管分割模型、关键片层识别子模型、血管分段模型等进行训练的模型训练装置502。在一些实施例中，模型训练装置502和图像处理装置503可以在相同的计算机或处理装置内部。
[0069]
在一些实施例中，图像处理装置503可以是专用计算机或通用计算机。例如，图像处理装置503可以是医院执行图像获取或图像处理任务的定制计算机或布置在云端中的服务器。图像处理装置503还可以包括存储504、存储器506和总线510。其中，接口501、存储504、存储器506、处理器508与总线510连接并且通过总线510彼此通信。
[0070]
接口501例如可以包括网线连接器、电缆连接器、串行连接器、usb连接器、并行连接器、诸如光纤、usb 3.0、迅雷等的高速数据传输适配器、诸如wifi适配器的无线网络适配器、电信(3g、4g/lte等)适配器等。在一些实施例中，接口501从图像获取装置505接收包含血管系统的3d医学图像。在一些实施例中，接口501还从模型训练装置502处接收训练好的各个深度学习网络和模型等。
[0071]
图像获取装置505能够在功能性mri(例如fmri、dce-mri和弥散mri)、锥束ct（cbct)、螺旋ct、正电子发射体层成像(pet)、单光子发射计算机断层扫描(spect)、x射线、光学层析术、荧光成像、超声成像和放疗门户成像等或其组合中获取任意成像形式的图像，特别是头颈部和/或头部的cta血管造影图像、mra血管造影图像、dsa血管造影图像等。本技术各个实施例的用于血管系统变异检测的方法的步骤可以由装置500中的各个部件来共同执行。
[0072]
存储504/存储器506可以是非暂时性计算机可读介质，其上可以存储计算机可执行的指令，其中当所述计算机可执行指令由处理器执行时，可以执行根据本技术实施例的用于血管系统变异检测的方法等。存储504/存储器506可以是诸如只读存储器（rom）、随机存取存储器（ram）、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦可编程只读存储器(eeprom)、其他类型的随机存取存储器(rams)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、只读光盘存储器(cd-rom)、数字多功能光盘(dvd)或其他光存储器、磁带或其他磁存储装置，或任意其他可用于存储能被计算机装置访问的信息或指令的非暂时性介质等。
[0073]
在一些实施例中，存储504可以存储训练好的深度学习模型和数据，例如在通过接口501仅获取了包含血管系统的3d医学图像的情况下，可以利用存储504中预先存储的各个深度学习网络和模型，来进一步获取与血管系统对应的3d血管分割掩模，以及用于定位感兴趣血管系统的关键片层等。在一些实施例中，存储器506可以存储计算机可执行指令，诸如一个及以上的图像处理程序。
[0074]
处理器508可以是包括一个及以上的通用处理装置的处理装置，诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地，处理器可能是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器、或运行指令集的组合的处理器。处理器也可以是一个及以上的专用处理装置，诸如专用集成电路(asics)、现场可编程门阵列(fpgas)、数字信号处理器(dsps)、片上系统(socs)等。处理器708可以与存储704和/或存储器706通信地耦合，并且被配置为执行存储在其上的计算机可执行指令。
[0075]
模型训练装置502可以利用执行训练处理的软件专门编程的硬件来实现。例如，模型训练装置502可以包括与图像处理装置503相同的处理器和非暂时性计算机可读介质。处理器508可以通过执行存储在计算机可读介质中的训练处理的指令来进行训练。模型训练装置502还可以包括输入和输出接口（未示出）来与训练数据库、网络、和/或用户界面（未示出）进行通信。用户界面可用于选择训练数据集、调整的一个及以上的训练处理的参数、选择或修改学习模型的框架、和/或手动或半自动提供与训练的图像中的血管系统的变异信息相关的检测结果。
[0076]
根据本技术的实施例还提供一种非暂时性计算机可读存储介质，其上存储有计算
机可执行的指令，其中当所述计算机可执行指令由处理器执行时，执行本技术各个实施例的用于血管系统变异检测的方法的步骤。
[0077]
根据本技术的实施例的用于血管系统变异检测的方法、装置及存储介质，至少具有如下有益效果：（1）与通过人工阅片分析血管系统变异的现有技术方案相比，其可以自动、快速、准确地完成血管系统的变异状况检测，减少主观因素的影响，在提升检测效率的同时大幅降低医生工作负荷以及患者等待时间。
[0078]
（2）与其他计算机辅助的血管系统变异检测技术相比，其在进行血管分割的同时，还一并提供了用于定位感兴趣血管系统的关键片层，使得在后续的步骤中能够更准确地对感兴趣血管系统进行定位；在完成血管分割和血管分段后，在后续的特征提取步骤中，并非仅仅利用划分血管段后的血管分割，而是再次结合3d医学图像和关键片层，尽可能地对3d医学图像中所有可能包含的与血管系统变异相关联的特征信息进行全方位地深入挖掘，既包括低层的结构特征和形态特征，又包括高层的影像组学特征和深度语义特征，并且将所获取的各个特征融合为高维特征后，输入深度学习网络进行综合分析，这样的方案更充分地利用了3d医学图像各个层次的有用信息，能够有效避免并在很大程度上弥补由血管分割、血管分段不准确所导致的变异检测结果不准确甚至错误的问题，使得血管系统变异检测的准确性和稳健性进一步提高，并且其所预测的感兴趣血管系统的变异信息更吻合用户期望的语义特征。
[0079]
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本技术的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。虽然分别就无线通信方法和无线音频播放组件列举了若干实施例进行了说明，但须知无线音频播放组件说明中涉及的方法细节也可以结合到无线通信方法的各个实施例中，反之亦然。
[0080]
权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
[0081]
在本技术中的各个步骤的顺序仅仅是示例性的，而非限制性的。在不影响本技术的实现的情况下（不破坏所需的步骤之间的逻辑关系的情况下），可以对步骤的执行顺序进行调整，调整后得到的各种实施例依然落在本技术的范围内。
[0082]
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本技术。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。