基于DSA成像设备的术中导航系统、计算装置和程序产品的制作方法

基于dsa成像设备的术中导航系统、计算装置和程序产品
技术领域
1.本技术涉及手术导航技术领域，更具体地，涉及基于dsa成像设备的术中导航系统、计算装置和程序产品。


背景技术：

2.近年来，在常规的dsa造影图像中，血管位置经常交互重叠，需要进行多次投照来确定，迫使患者增加照射计量、检查时间、造影剂用量、经济负担，也增加了设备损耗，对介入机器人无法起到导航指引作用。
3.当前的导航技术包括基于二维图像或基于三维图像的导航技术。其中基于三维图像的导航技术主要是通过术前三维图像与术中的二维图像通过图像配准来实现。该技术主要有两个问题：第一是术前三维图像和术中的实际形态可能存在差异；第二是二维图像与三维图像的配准存在精准度的问题和实效性问题。基于二维图像的导航技术由于缺少一个维度的空间信息，所以信息的缺失造成功能的不完备。当前基于二维图像或基于三维图像的导航技术具有精度差和实效性差等的问题。


技术实现要素：

4.提供了本技术以解决现有技术中存在的上述缺陷。需要基于dsa成像设备的术中导航系统、计算装置和程序产品，能够获得清晰的介入器械和血管的三维实时图像，降低辐射剂量，能够得到示出介入器械与血管的相对位置关系的三维实时图像，提高对介入器械术中导航的精准度和实效性，有助于提高手术的效率和成功率。
5.根据本技术的第一方案，提供了基于dsa成像设备的术中导航系统，包括dsa（数字减影血管造影）成像设备，其配置为在术中，通过注射低剂量的造影剂，获取包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像。所述术中导航系统还包括处理器，处理器可以配置为获取所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像。所述处理器还可以配置为对第一平面图像、第二平面图像、第三平面图像和第四平面图像利用第一学习网络进行降噪处理。所述处理器还可以配置为基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。所述处理器还可以配置为基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息。所述处理器还可以配置为基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息。所述处理器还可以配置为将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
6.根据本技术的第二方案，提供了一种用于术中导航系统的计算装置，所述计算装置包括处理器，所述处理器被配置为获取，由dsa成像设备在术中通过注射低剂量的造影剂
而采集的包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像。所述处理器还可以被配置为对所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像利用第一学习网络进行降噪处理。所述处理器还可以被配置为基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。所述处理器还可以被配置为基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息。所述处理器还可以被配置为基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息。所述处理器还可以被配置为将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
7.根据本技术的第三方案，提供了一种用于术中导航系统的计算机程序产品，其包括由处理器执行时实现如下步骤的程序指令：获取由dsa成像设备在术中通过注射低剂量的造影剂而采集的包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像。所述处理器还可以实现对所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像利用第一学习网络进行降噪处理。所述处理器还可以实现基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。所述处理器还可以实现基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息。所述处理器还可以实现基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息。所述处理器还可以实现将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
8.本技术各个实施例提供的基于dsa成像设备的术中导航系统、计算装置和程序产品，利用dsa成像设备通过注射低剂量的造影剂，获取包含血管的平面图像，另外还获得包含介入器械的平面图像，通过第一学习网络降噪处理可以得到清晰的平面图像，有利于从图像中提取精准度高的信息，可以使用低剂量的造影剂，降低辐射剂量。通过第二学习网络重建分别得到3d血管和3d介入器械，通过配准融合，可以清晰的映射出3d血管和3d介入器械的相对位置关系，通过三维实时图像的显示有利于对介入器械进行术中导航，提高用户在术中进行介入器械的实时的三维导航的实效性，有利于提高介入器械到目标位置的过程中行进准确性，有助于提高手术的效率和成功率。
附图说明
9.图1示出根据本技术实施例的基于dsa成像设备的术中导航系统的结构示意图；图2示出根据本技术实施例的dsa成像设备的成像原理示意图；图3示出根据本技术实施例的术中导航系统的处理器的工作过程的示意图；图4示出根据本技术实施例的处理器降噪后的包含血管的第一平面图像；图5示出根据本技术实施例的处理器降噪后的包含血管的第二平面图像；
图6示出根据本技术实施例的提取血管2d位置信息的工作原理的示意图；图7示出根据本技术实施例的提取介入器械2d位置信息的工作原理的示意图；图8示出根据本技术实施例的三维实时图像；图9示出根据本技术另一实施例的三维实时图像；图10示出根据本技术实施例的处理器生成规划路线的工作过程的示意图；图11示出根据本技术实施例的在不同情况下获得的运动参数的示意图；图12示出根据本技术实施例的处理器生成机器人的操控参数的原理示意图；图13示出根据本技术实施例的第二学习网络结构示意图；以及图14示出根据本技术实施例的计算装置结构示意图。
具体实施方式
10.为使本领域技术人员更好的理解本技术的技术方案，下面结合附图和具体实施方式对本技术作详细说明。下面结合附图和具体实施例对本技术的实施例作进一步详细描述，但不作为对本技术的限定。
11.本技术中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。
12.图1示出根据本技术实施例的基于dsa成像设备的术中导航系统的结构示意图。术中导航系统100包括dsa成像设备101和处理器102。dsa成像设备101获得的图像输送到处理器102中进行进一步处理。在一些实施例中，术中血管动态变化较少（血管在术中保持稳定），介入器械可以响应于医生的操作而灵活地动态变化，通过dsa成像设备的实时成像能够获得介入器械的实时平面图像，血管平面图像和介入器械的实时平面图像通过处理器获得三维实时图像，得到介入器械与血管的相对位置关系，提高术中导航实效性。在一些实施例中，处理器可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元（cpu）、图形处理单元（gpu）等。更具体地，该处理器可以是复杂指令集计算（cisc）微处理器、精简指令集计算（risc）微处理器、超长指令字（vliw）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路（asic）、现场可编程门阵列（fpga）、数字信号处理器（dsp）、片上系统（soc）等。
13.图2示出根据本技术实施例的dsa成像设备的成像原理示意图。dsa成像设备，配置为在术中，通过血管中注射低剂量的造影剂，获取包含血管的第一平面图像201和第二平面图像202。可以在不注射造影剂时获得包含介入器械的实时的第三平面图像和第四平面图像。通过图2可以看到，两个平面图像是对同一部位的不同角度的双平面图像，获取不同角度的信息，有利于重建出血管网的三维结构，获得更加精准的图像信息，利于提高手术的精准度。其中介入器械可以是导丝，导管，球囊，支架等任何一种或多种医用器械。在一些实施例中，为了获取包含血管的第一平面图像和第二平面图像，术中注射的低剂量的造影剂，所述造影剂的剂量为手术透视情况下常规剂量的20%-35%。通过对平面图像的降噪处理，所述造影剂的剂量远低于常规剂量，可以实现在低剂量下获得清晰的平面图像，能够降低辐射剂量。
14.图3示出根据本技术实施例的术中导航系统的处理器的工作过程的示意图。在步
骤301，获取第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像。dsa成像设备得到的图像输送到处理器。接下来在步骤302，对第一平面图像、第二平面图像、第三平面图像和第四平面图像利用第一学习网络进行降噪处理。通过dsa成像设备获得的双平面图像具有不清晰的问题，即使通过常规的分割处理，仍然在图像上会出现点状雾噪声，通过第一学习网络的降噪处理，可以在术中导航的应用场景下，迅速高效地解决平面图像上的点状雾的噪声和统计涨落较大导致图像上部分血管部位模糊的问题，避免模糊的位置无法看到血管和介入器械的相对位置关系，导致导航的偏差。本技术通过降噪处理能够提高术中导航的精准度。由于通过降噪处理后可以得到清晰的图像，利于在获取血管的平面图像过程中，注射低剂量的造影剂，降低辐射量。在一些实施例中，第一学习网络可以包括生成式对抗网络、dncnn等中的任何一种。
15.作为示例，图4为示出根据本技术实施例的处理器降噪后的包含血管的第一平面图像。图5示出根据本技术实施例的处理器降噪后的包含血管的第二平面图像。如图4和图5所示的包含血管的第一平面图像和第二平面图像，可以看到足够清晰的血管分布和结构。接下来在步骤303，基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。通过对平面图像的信息提取可以分别获得双平面的位置信息，有利于进行三维重建。
16.图6示出根据本技术实施例的提取血管2d位置信息的工作原理的示意图。如图6所示，例如，降噪后的第一平面图像601通过血管分割603得到血管在第一平面的2d位置信息604，降噪后的第二平面图像602通过血管分割603得到血管在第二平面的2d位置信息605。图7示出根据本技术实施例的提取介入器械2d位置信息的工作原理的示意图。如图7所示，例如，降噪后的第三平面图像701通过介入器械分割703得到介入器械在第三平面的2d位置信息704，降噪后的第四平面图像702通过介入器械分割703得到介入器械在第二平面的2d位置信息705。进一步，深度学习网络可以是深入理解深度学习分割网络u-net、生成对抗网络gan等神经网络。进一步，所述深度学习网络是基于训练的神经网络。可以输入血管分割结果进行训练。有利于提高分割结果的准确性。通过对降噪后的图像进行分割处理，可以进一步区分血管和介入器械与周围组织，使血管图像和介入器械图像更加清晰。
17.接下来在步骤304，基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息。通过不同角度的二维平面上提取的2d位置信息能够互相补充，有利于获得更为准确的血管的三维信息，避免由于信息缺失导致的功能不完全，能够复现一些精细的结构，比如某个旋转的血管或者被其他血管覆盖住的血管，如果只通过一个平面的信息可能无法补全血管的结构，可能导致结构的缺失，本技术中通过双平面2d位置信息进行重建，提高精准度。在步骤305，基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息。通过不同角度的二维平面上提取的2d位置信息的能够互相补充，有利于获得准确的介入器械的三维信息。介入器械是变动的，通过利用dsa成像设备获得双平面图像，经过上述降噪、提取、三维重建的过程，利于获得精准度更高的三维实时图像。在一些实施例中，基于介入器械的2d位置信息重建3d介入器械的学习网络可以复用基于血管的2d位置信息重建3d血管的学习网络（均称为第二学习网络），如此，第二学习
网络的标注数据来源更丰富（血管标注数据和介入器械标注数据都涵盖在内），而且训练时可以针对血管标注数据和介入器械标注数据进行联合训练，从而使得训练好的第二学习网络在重建3d血管和重建3d介入器械表现都均衡且良好。例如，第二学习网络包括但不限于u-net分割网络，resnet（深度残差网络），unet++分割网络等中的一种或多种。
18.在步骤306，将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。在三维实时图像上同时显示血管和介入器械的位置，可以清晰的看到血管和介入器械的相对位置关系，比如介入器械和血管的方位关系、在血管的上游或下游等。医护人员通过三维实时图像可以清晰的看到介入器械所在的位置，便于进行术中导航。不必进行复杂的图像配准过程，降低耗时，提高手术的效率和成功率。通过获得三维实时图像，进行导航指引，可以提高术中导航的实效性。
19.图8示出根据本技术实施例的三维实时图像。图9示出根据本技术另一实施例的三维实时图像。图8和图9中介入器械是导丝，在三维实时图像可以同时看到血管、导丝及相互的位置关系。以此在相互位置信息的指引下，在术中可以为导丝的操作进行导航。导丝动作后，再通过获取导丝的实时图像，可以实时发现导丝与血管的相对位置，以此可以持续实时的进行导丝的导航。
20.图10示出根据本技术实施例的处理器生成规划路线的工作过程的示意图。首先处理器在步骤1001，根据所述三维实时图像利用第三学习网络识别病变部位，并映射到所述三维实时图像上。通过第三学习网络可以自动识别病变部位，比如狭窄、动脉瘤等。所述识别过程可以为：在三维实时图像上先识别血管的异常部位，再将所述异常部位确认为病变部位。所述三维实时图像能够显示清晰的血管三维分布和结构等，有利于进行识别过程。
21.接下来在步骤1003，响应于用户1002确定目标的操作，根据所确定的目标和3d介入器械生成规划路线。通过步骤1001，在三维实时图像上可以显示病变部位，用户1002通过显示的病变部位进行确认，比如医生可以根据经验对识别的病变部位进行确认。用户1002确认后，处理器收到响应，然后返回到处理器中进行处理，根据目标和介入器械生成规划路线。在三维实时图像上目标和介入器械都是确定的，然后再根据路径确定规划路线。比如根据手术目标和识别出的导丝确定规划路线的起点和终点，根据起点和终点自动生成介入器械行进路线，此行进路线一般为规划的最优路线。根据规划路线进行术中导航，可以提高手术的精准度和成功率，并且根据最优路线可以提高手术的效率。
22.在一些实施例中，所述处理器进一步配置为：基于所述介入器械的当前的3d位置信息、所述目标的3d位置信息以及所述规划路线，来生成机器人操控指令，所述机器人操控指令定义机器人的操控参数。在术中介入器械的位置是动态的，通过实时判别获得介入器械的位置与规划路线、目标位置的关系可以获得机器人的下一步操作。机器人的指令和机器人的操控参数进行转换机器人就可以按照操控参数进行操作，以此来完成术中的操作过程。
23.图11示出根据本技术实施例的在不同情况下获得的机器人操控指令的示意图。处理器根据介入器械的当前的3d位置信息1101、目标的3d位置信息1102、规划路线1103，进行判断过程1104。判断过程1104为判断介入器械的当前位置与目标位置、规划路线的关系。判断过程1104可以得到四种结果，分别是介入器械的当前的位置在规划路线上，且位于目标位置的正后方（如1105所示）、介入器械的当前的位置不在规划路线上（如1106所示）、介入
器械的当前的位置位于目标位置的侧方（如1107所示）、介入器械的当前的位置与目标重合（如1108所示）。1105所示的结果生成的操控指令如1109所示，操控指令1109为继续推进，并更新现在位置。1106所示的结果生成的操控指令如1110所示，操控指令1110为偏航预警，询问是否回退到规划路线。1107所示的结果生成的操控指令如1111所示，操控指令1111为转向操作。获得1105、1106、1107中的操作指令之后，下一步还是会进行操作获得1101，即获得实时的介入器械的当前的3d位置信息，以进行获得下一次的操作指令，实现实时的导航过程。直到出现1108所示的结果，则进行下一步骤1112，步骤1112为结束导航。以此完成术中导航过程。
24.图12示出根据本技术实施例的处理器生成机器人的操控参数的原理示意图。首先，步骤1201，预先利用第四学习网络来习得介入器械的运动参数与所述机器人的操控参数之间的映射关系。第四学习网络可以为cnn（卷积神经网络）、mlp（多层感知机）等。
25.接下来在步骤1202，基于所述介入器械的当前的3d位置信息、所述目标的3d位置信息以及所述规划路线，确定所述介入器械的运动参数。所述运动参数可以包括运动的位移和方向等。处理器根据操控指令，再结合坐标系和目标位置、规划路线可以得到介入器械的运动参数。
26.最后在步骤1203，所确定的介入器械的运动参数，利用所述映射关系得出所述机器人的操控参数。机器人的操控参数直接影响介入器械的运动过程，通过映射转换，可以使机器人的操控响应于介入器械的运动参数，达到最终的目标位置，实现基于导航的机器人智能化介入手术。
27.在一些实施例中，dsa成像设备获得双平面图像，所述第一平面和所述第二平面的夹角范围以及所述第三平面和所述第四平面的夹角范围均为40-120
°
。比如可以是80
°
、90
°
等，如果是90
°
，相当于获得相互垂直的两个平面的图像。两个平面的上的信息可以相互补充，通过夹角角度的限制有利于选取更为全面的血管和导丝信息，利于重建得到三维血管信息和三维导丝信息。
28.在一些实施例中，第一学习网络包括生成式对抗网络，且利用在低噪图像上掺杂高斯噪声和/或泊松噪声所形成的高噪图像和所述低噪图像作为训练样本来训练。低噪的清晰的图像中掺杂一定比例的高斯噪声和/或泊松噪声模拟得到高噪声的图像和低噪的清晰的图像共同作为训练的样本。所述低躁的清晰的图像可以预先通过高剂量的造影剂进行显影获得。训练得到的第一学习网络可以使真实的高噪图像通过降噪之后得到低噪高清图像。
29.在一些实施例中，所述dsa成像设备具有预先建立的本地空间坐标系，且配置为执行双平面成像，使得所述第一平面和所述第三平面在相同平面上，且所述第二平面和所述第四平面在相同平面上。dsa成像设备上配置的本地空间坐标系，可以先获得第一平面图像，然后按照第一平面图像的空间坐标，获得空间坐标相同的导丝的第三平面图像。获得同一平面上的血管和导丝的2d位置信息，使后续的将3d介入器械与3d血管进行配准融合，能够更加准确的体现血管和介入器械的相对的位置，有利于进行术中导航。在一些实施例中，本地空间坐标系包括九参数的空间坐标系，九参数包括x射线源到平板探测器的距离sdd、x射线源到旋转中心的距离sid、平板探测器中心位置在x方向的偏移δ1、平板探测器中心位置在y方向的偏移δ2、x射线源位置在x方向的偏移δ3、x射线源位置在y方向的偏移δ4、机架
围绕病床的旋转轴的旋转角度β、机架围绕垂直于病床的空间竖直方向的旋转轴的旋转角度γ和平板探测器在平板探测器平面的旋转角度α。进一步，通过全参数几何校准方法进行几何参数的求解。在一些实施例中，全参数几何校准方法包括如下步骤：在几何模体上设置有小球，以旋转中心为坐标原点建立空间坐标系，将平板探测器的位置及x射线源的位置用几何参数进行表示；将几何模体放置于旋转中心，对几何模体进行三维扫描获取系统二维投影图像，采用训练后的神经网络模型识别所述系统二维投影图像中每个小球对应的圆心，将圆心位置作为系统二维投影中小球位置i1；获取在空间坐标系内几何模体上的每个小球位置i3(x,y,z)，通过rtk技术利用当前几何参数构建投影矩阵，根据投影矩阵获取投影关系p，利用投影关系p和小球位置i3(x,y,z)计算虚拟投影图中小球位置i2(u,v)；通过i2(u,v)与相应的i1构建二者之间的差异函数，通过拟合对差异函数求取最小值，当差异函数最小时，对应的投影矩阵内的参数为最优几何参数，完成几何参数的校准。
30.在一些实施例中，所述血管在术中保持稳定，且所述第一平面图像和所述第二平面图像通过在注射低剂量的造影剂后获取且获取的时刻不同于获取所述第三平面图像和所述第四平面图像的时刻。在术中保持稳定的血管例如但不限于外周血管、四肢血管、脑部血管等，这些部位的血管不同于心脏紧密连接进而被带动周期性搏动的血管。血管的分布和结构等动态变化较少，介入器械比如导丝，在伸入到病变位置的过程中是动态变化的。所以通过注射低剂量的造影剂获得第一平面图像和第二平面图像。在不注射造影剂时，通过dsa成像设备能够获得导丝的平面图像。血管和介入器械的获取时刻可以不同，鉴于血管在术中保持相对稳定，即便利用获取时刻不同的血管的第一平面图像和第二平面图像，也可以建立这样的3d血管，其基本近似介入器械的第三和第四平面图像的获取时刻的3d血管。如此，恰好也吻合了血管平面图像依赖于造影剂的注射而介入器械平面图像获取时通常不注射造影剂的固有获取时刻差异。通过获取不同时刻的介入器械的平面图像，以便于进行后续的实时的术中导航。
31.在一些实施例中，所述血管的3d位置信息包括血管在所述本地空间坐标系中的3d坐标，所述介入器械的3d位置信息包括介入器械在所述本地空间坐标系中的3d坐标。获得在同一本地空间坐标系内的血管和介入器械的三维坐标，可以分别得到在同一坐标系上的血管和介入器械的图像。
32.在一些实施例中，将所述3d介入器械与所述3d血管进行配准融合具体包括：将3d介入器械和3d血管的3d坐标重合的部分重叠融合。将血管和介入器械的三维坐标的几何位置信息进行重叠，可以得到融合后的图像，图像上可以清晰的映射出血管和导丝的相对位置关系，可以看到目前介入器械位于血管的哪个位置，以便于生成介入器械的运动参数。
33.图13示出根据本技术实施例的第二学习网络结构示意图。第二学习网络1300将血管和介入器械的双平面的2d位置信息重建得到3d位置信息。第二学习网络1300包括特征提取网络1301、转换模块1302和生成网络1303，所特征提取网络1301包括类残差网络，所述转换模块包括卷积神经网络，所述生成网络1303包括生成式对抗网络。将双平面图像上获取的2d信息作为数据集输入到第二学习网络1300，特征提取网络1301提取图像上的特征信息，转换模块1302转换特征图的形状，生成网络1303在此基础上进而实时获得三维血管和三维介入器械，获得的三维血管具有明确的数字管壁的信息。通过基于深度学习的第二学习网络1300获得清晰的三维血管成像和实时的三维介入器械成像，提高精准度和实效性。
在一些实施例中，特征提取网络1301由以下层组成：卷积层(核大小为4，步距为2)，批归一化层，relu层，2d卷积层(核大小为3，步距为1)，2d批归一化层，relu层，将5个含有不同卷积滤波器个数的卷积残块串联起来，构成特征提取网络；转换模块，将得到的特征图通过核大小为1的卷积层和relu层后，转换特征图形状，从4096
×4×
4转换为2048
×2×4×
4。生成网络主要为三维反卷积块，由五个串联的反卷积块组成，其模块主要由以下层组成：3d反卷积层(核大小为4，步距为2)，3d批归一化层，relu层，3d反卷积层(核大小为3，步距为1)，3d批归一化层，relu层。
34.在一些实施例中，所述第三学习网络包括yolo网络、r-cnn网络（区域卷积神经网络）等中的一种。根据三维实时图像利用第三学习网络识别病变部位，单阶段目标检测算法yolo网络具有识别速度快，可进行实时检测的优点。以此实现在术中实时获取病变位置，快速确定手术目标，以利于确定介入器械的终点，然后再根据介入器械的起点确定规划路线，提高手术的实效性。
35.图14示出根据本技术实施例的计算装置结构示意图。计算装置1401包括处理器1401a。所述处理器1401a与dsa成像设备1402通信连接，以获取实时图像。具体的，所述处理器1401a被配置为：获取，由dsa成像设备1402在术中通过注射低剂量的造影剂而采集的包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像；并对所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像利用第一学习网络进行降噪处理。
36.所述处理器1401a进一步被配置为：基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。
37.所述处理器1401a进一步被配置为：基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息；并基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息。以及将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
38.根据本技术的实施例还提供一种非暂时性计算机可读介质，其上存储有指令，该指令由处理器执行时，实现的步骤为获取，由dsa成像设备在术中通过注射低剂量的造影剂而采集的包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像；并对所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像利用第一学习网络进行降噪处理。
39.指令由处理器执行时，进一步实现的步骤为基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。
40.指令由处理器执行时，进一步实现的步骤为基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息；并基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息；以及将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
41.根据本技术的实施例还提供一种用于术中导航系统的计算机程序产品，其包括由处理器执行时实现如下步骤的程序指令：获取，由dsa成像设备在术中通过注射低剂量的造影剂而采集的包含血管的第一平面图像和第二平面图像以及包含介入器械的实时的第三平面图像和第四平面图像；并对所述第一平面图像、所述第二平面图像、所述第三平面图像和所述第四平面图像利用第一学习网络进行降噪处理。
42.由处理器执行时，进一步实现如下步骤的程序指令：基于降噪后的第一平面图像和第二平面图像分别提取血管在第一平面和第二平面的2d位置信息，基于降噪后的第三平面图像和第四平面图像分别提取介入器械在第三平面和第四平面的2d位置信息。
43.由处理器执行时，进一步实现如下步骤的程序指令：基于血管在第一平面和第二平面的2d位置信息，利用第二学习网络来重建出3d血管，所述3d血管具有血管的3d位置信息；并基于介入器械在第三平面和第四平面的2d位置信息，利用所述第二学习网络来重建出3d介入器械，所述3d介入器械具有介入器械的3d位置信息；以及将所述3d介入器械与所述3d血管进行配准融合，得到示出介入器械与血管的相对位置关系的三维实时图像以供显示。
44.此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本技术的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
45.以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本技术。这不应解释为一种不要求保护的申请的特征对于任一权利要求是必要的意图。相反，本技术的主题可以少于特定的申请的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
46.以上实施例仅为本技术的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。