血管树图像的内窥镜配准的制作方法
【专利摘要】一种图像配准系统，内窥镜(12)和内窥镜控制器(22)。在手术中，内窥镜(12)生成解剖区域内的血管树(例如，动脉树或静脉树)的术中内窥镜图像(14)，并且内窥镜控制器(22)将血管树的术中内窥镜图像(14)与解剖区域内的血管树的术前三维图像(44)进行图像配准。所述图像配准包括对血管树的术中内窥镜图像(14)内的血管树的每个分叉的图形表示与血管树的术前三维图像(44)内的血管树的每个分叉的图形表示的图像匹配。
【专利说明】血管树图像的内窥镜配准
[0001]本申请主张2011年9月13日提交的标题为“Robotic Control of an Endoscopefrom Blood Vessel Tree Images” 的共同专利申请 PCT/IB2011/053998 的权利。
【技术领域】
[0002]本发明大体上涉及对术前三维(“3D”)血管树图像与术中内窥镜血管树图像之间的术中配准。本发明具体涉及用于在冠状外科手术过程期间解决在血管树的拓朴结构中的任何改变的术中配准合并方法。
【背景技术】
[0003]冠状动脉旁路移植术(“CABG”)是阻塞冠状动脉的血管重建的外科手术过程。在美国每年执行大约500，000例手术。在常规CABG中，患者的胸骨被打开，并且患者的心脏被完全暴露于外科医生。尽管心脏暴露，由于动脉上面的脂肪组织层，一些动脉会是部分不可见的。对于这样的动脉，外科医生可以触诊心脏表面，并且感觉来自动脉和动脉狭窄的血液脉动。然而，该数据稀少，并且可能不足以将外科手术规划转移到外科手术部位。[0004]在最小侵入性CABG中，由于外科医生不能触诊心脏表面，因此放大了常规CABG的前述问题。额外地，用于最小侵入性CAB中的外科手术器械的长度阻止来自工具近端的任何触觉反馈。
[0005]用于解决常规CABG问题的一个已知技术是将术中部位与术前3D冠状动脉树进行配准。具体而言，光学追踪指针用于使开放性心脏环境中动脉的位置数字化，并且使用本领域已知的迭代最近点(“ICP”)算法将位置数据配准到术前树。然而，因为由小口进出施加的空间约束，与匹配数字化动脉和术前数据的任何相关途径一样，该技术对于最小侵入性CABG是不实际的。另外，该技术要求大多数动脉是可见的或可由外科医生触诊，这在最小侵入性CABG中是不可能。
[0006]用于解决最小侵入性CABG问题的一个已知技术是实施配准方法，在所述配准方法中，使用光学追踪内窥镜重建心脏表面，并且将其与相同表面的术前计算机断层摄影(“CT”)数据进行匹配。然而，如果用于导出表面的内窥镜视图太小，该技术与提出基于表面的匹配的任何相关途径一样，可能失败。而且，当在不具有特定表面特征的情况下心脏表面相对平滑时，该技术的算法通常在算法的次优局部最大值中操作。
[0007]用于解决最小侵入性CABG问题的另一已知技术是使用先前标注情况和基于图形匹配的数据库来标注从新患者中提取的冠状树。然而，只有完全树是可用的，该技术才运作，并且其目的是标记树，而不是匹配几何结构。
[0008]一旦到达关于术前3D图像的全局位置，最小侵入性CABG的又一问题是内窥镜的取向和引导。配准的目的是便于吻合部位和狭窄的定位。在标准装备中，当外科医生握住两个器械时，辅助装置正握住内窥镜。外科医生向辅助装置发出命令，并且辅助装置据此移动内窥镜。由于辅助装置需要直觉地将通常在外科医生参照系发出的外科医生的命令转换到辅助装置参照系和内窥镜参照系，这类装备阻碍外科医生的手眼协同。多个坐标系会引起各种处理错误，延长外科手术或引起冠状动脉的错误识别。
[0009]被设计为允许外科医生经由感测到的外科医生头部的移动直接控制内窥镜的外科内窥镜辅助装置，通过将辅助装置从控制回路中移除，可以解决那些问题中的一些，但是外科医生参照系和内窥镜参照系之间的变换问题依然。
【发明内容】
[0010]本发明提供用于匹配如在术前三维(“3D”)图像(例如，CT图像、锥形射束CT图像、3D X-射线图像或MRI图像)和术中内窥镜图像中示出的在血管树的每个分叉(例如，动脉、毛细血管、静脉和其他多分枝解剖结构的每个点)的图形表示的图像配准方法。图像配准方法还可以解决在外科手术过程(尤其CABG)期间在血管树的拓朴结构中的任何改变。
[0011]出于本发明的目的，本文中术语“分叉”被广义定义为沿着血管树分成两个或更多分枝的任何点。
[0012]本发明的一个形式是采用内窥镜和内窥镜控制器的配准系统。在手术中，内窥镜生成解剖区域内的血管树(例如，动脉树、静脉树或人体任何其他管状结构)的术中内窥镜图像，并且内窥镜控制器图像将血管树的术中操作内窥镜图像与血管树的术前三维图像进行配准。图像配准包括对血管树的术中内窥镜图像内的血管树的每个分叉的图形表示与血管树的术前三维图像内的血管树的每个分叉的图形表示的图像匹配。
[0013]本发明的第二形式是图像配准方法，所述图像配准方法涉及解剖区域内的血管树的术前三维图像的生成、解剖区域内的血管树的术中内窥镜图像的生成、以及对血管树的术中内窥镜图像与血管树的术前三维图像的图像配准。图像配准包括对血管树的术中内窥镜图像内的血管树的每个分叉的图形表示与血管树的术前三维图像内的血管树的每个分叉的图形表示的图像匹配。
[0014]出于采集解剖区域的三维图像的目的，本文使用的术语“术前”被广义定义为描述解剖区域的内窥镜成像之前、期间或之后执行的任何活动，并且本文使用的术语“术中”被广义定义为描述解剖区域的内窥镜成像期间或与解剖区域的内窥镜成像有关的任何活动。解剖区域的内窥镜成像的范例包括但不限于，CABG、支气管镜检、结肠镜检查、腹腔镜检查和脑部内窥镜检查。
[0015]结合附图阅读本发明，从本发明的各种实施例的以下详细描述中，本发明的前述形式和其他形式以及本发明的各种特征和优点将变得更加显而易见。本发明的详细描述和附图仅仅是图示性的而不是限制性的，本发明的范围由附加权利要求及其等同方案来定义。
【专利附图】
【附图说明】
[0016]图1图示了根据本发明的机器人引导系统的范例性实施例。
[0017]图2图示了表示根据本发明的机器人引导方法的范例性实施例的流程图。
[0018]图3图示了在图2中示出的流程图的范例性外科手术实施方式。
[0019]图4图示了表 示根据本发明的图形匹配方法的范例性实施例的流程图。
[0020]图5和图6图示了根据本发明的血管树的主图形的范例性顺序。[0021]图7图示了根据本发明的内窥镜图像上的几何表示的范例性叠加。
[0022]图8图示了根据本发明的在图7中示出的叠加内的范例性机器人路径。
[0023]图9图示了表示根据本发明的静脉配准方法的流程图。
[0024]图10图示了表示根据本发明的静脉/动脉整合配准方法的第一实施例的流程图。
[0025]图11图示了表示根据本发明的静脉/动脉整合配准方法的第二实施例的流程图。
[0026]图12图示了表示根据本发明的配准校正方法的第二实施例的流程图。
【具体实施方式】
[0027]如在图1中示出的，机器人引导系统采用机器人单元10和控制单元20，进行任何内窥镜过程，这涉及具有一个或多个分叉(即，分枝)的血管树的内窥镜成像。这样的内窥镜过程的范例包括，但不限于 ，微创心脏外科手术(例如，冠状动脉旁路移植术或二尖瓣置换术)。
[0028]机器人单元10包括机器人11、被刚性附接到机器人11的内窥镜12和被附接到内窥镜12的视频捕获设备13。
[0029]在本文中，机器人11被广义定义为根据特定内窥镜过程需要在结构上被配置具有用于操纵末端效应器的一个或多个节点的机动化控制的任何机器人设备。实际上，机器人11可以具有四(4)个自由度，诸如，例如，具有与刚性片段串联连接的节点的串联机器人、具有以并联顺序安装(例如，本领域已知的斯图尔特平台)的节点和刚性片段的并联机器人或串联和并联运动学的任何合并组合。
[0030]在本文中，内窥镜12被广义定义为在结构上被配置具有从身体内成像的能力的任何设备。为了达到本发明的目的，内窥镜12的范例包括但不限于，弹性或刚性的任何类型的窥镜(例如，内窥镜、关节内窥镜、支气管窥镜、胆管镜、结肠镜、膀胱镜、十二指肠镜、胃镜、宫腔镜、腹腔镜、喉镜、神经内窥镜、耳镜、推送肠镜、鼻喉镜、乙状结肠镜、窦窥镜、胸腔镜等)以及类似于配备成像系统(例如，成像的嵌套套管)的窥镜的任何设备。成像是局部的，并且利用纤维光学、透镜和小型化(例如，基于CCD)成像系统可以光学地获得表面图像。
[0031]实际上，内窥镜12被安装到机器人11的末端效应器上。机器人11的末端效应器的姿势是末端效应器在机器人11执行器的坐标系内的位置和取向。在内窥镜12被安装到机器人11的末端效应器的情况下，解剖区域内的内窥镜12的视场的任何给定姿势对应于机器人坐标系内的机器人11的末端效应器的不同姿势。因此，由内窥镜12生成的血管树的每个单独内窥镜图像可以被链接到解剖区域内的内窥镜12的对应姿势。
[0032]在本文中，视频捕获设备13被广义定义为在结构上被配置为具有将来自内窥镜12的术中内窥镜视频信号转化为术中内窥镜图像(“10EI”)14的计算机可读时间序列的能力的任何设备。实际上，视频捕获设备13可以采用任何类型的帧抓取器，以捕获来自术中内窥镜视频信号的单独数字静止帧。
[0033]仍参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
[0034]在本文中，机器人控制器21被广义定义为根据内窥镜过程需要在结构上被配置为向机器人11提供一个或多个机器人执行器命令(“RAC”)26以控制机器人11的末端效应器的姿势的任何控制器。更具体而言，机器人控制器21将来自内窥镜控制器22的内窥镜位置命令(“EPC”) 25转化为机器人执行器命令26。例如，内窥镜位置命令25可以指示通向解剖区域内的内窥镜12的视场的期望3D位置的内窥镜路径，借此机器人控制器21将命令25转化为命令26，所述命令26包括机器人11的每个电机所需要的执行电流，以将内窥镜12移动到期望3D位置。
[0035]在本文中，内窥镜控制器22被广义定义为在结构上被配置用于根据本发明和在图2中示出的范例实施机器人引导方法的任何控制器。为了达到这个目的，内窥镜控制器22可以合并图像处理模块(“IPM”) 23，其在本文中被广义定义为在结构上被配置用于执行本发明的解剖对象图像配准的任何模块。尤其，血管树图像配准由在图2中示出的流程图30的步骤S32和S33范例性实施。内窥镜控制器22还可以合并视觉伺服模块(“VSM”) 24，其在本文中被广义定义为在结构上被配置用于生成内窥镜位置命令25的任何模块，所述内窥镜位置命令25指示通向解剖区域内的内窥镜12的视场的希望3D位置的内窥镜路径。尤其，内窥镜位置命令25是从由在图2中示出的流程图30的步骤S34范例性实施的血管树图像配准导出的。
[0036]在本文中现在将提供流程图30的描述，以便于对内窥镜控制器22的进一步理解。
[0037]参考图2，流程图30的步骤S31包含从身体的任何解剖区域的术前3D图像中提取血管树(例如，动脉、毛细血管或静脉的分叉)的几何表示。例如，如在图3中示出的，操作3D成像设备(例如，CT设备、X-射线设备或MRI设备)来生成图示了患者50的左边和右边冠状动脉51和52的患者50的胸部区域的术前3D图像42。其后，操作血管树提取器43，以从图像42中提取冠状动脉树的几何表示44，其可以被存储在数据库45中。实际上，由飞利浦出售的Brilliance iCT扫描器可以用于生成图像42，以及从图像42中提取冠状动脉树的3D数据集。
[0038]返回参考图2，流程图30的步骤S32包含图像处理模块23，所述图像处理模块23将血管树的一个或多个术中内窥镜图像14(图1)的图形表示与血管树的术前3D图像44(图1)的图形表示进行匹配。例如，如在图3中示出的，内窥镜12生成患者50的胸部区域的术中内窥镜检查视频，所述术中内窥镜检查视频由视频捕获设备13捕获并且被转化为术中内窥镜图像14，借此内窥镜控制器22的图像处理模块23将冠状动脉树的术中内窥镜图像14的图形表示与冠状动脉树的术前3D图像44的图形表示进行匹配。在一个范例性实施例中，图像处理模块23执行由在图4中示出的流程图60范例性表示的本发明的血管树图像匹配方法，在本文中，所述血管树图像匹配方法将在血管树是冠状动脉树的背景下被描述。
[0039]参考图4，(血管)流程图60的步骤S61包含图像处理模块23，所述图像处理模块23根据本领域已知的任何表示方法从冠状动脉树的几何表示中生成冠状动脉树主图形。例如，如在步骤S61中示出的，冠状动脉树的几何表示70被转化成主图形71，所述主图形71具有表示冠状动脉树几何表示70的每个分叉(例如，分支或三根分叉部)的结点，并且还具有在结点之间的分枝连接。凭借C型臂血管造影术或其他适当系统在术前(例如，在内窥镜外科手术之前几天或先于将内窥镜12引入患者50内的任何时间)或术中可以执行步Msei0
[0040] 流程图60的步骤S62包含图像处理模块23，所述图像处理模块23根据本领域已知的任何图形表示方法从在术中内窥镜图像14中可见的冠状动脉树的一部分中生成冠状动脉树子图形。具体而言，内窥镜12被引入到患者50，借此图像处理模块23执行对术中内窥镜图像14内的冠状动脉结构的检测。实际上，一些动脉结构可以是可见的，而其他动脉结构可以由脂肪组织层隐藏。正因如此，图像处理模块23可以通过已知图像处理操作(例如，通过可见冠状动脉结构的不同红色的阈值检测)实施可见冠状动脉结构的自动检测，或者外科医生可以手动使用输入设备来在计算机显示器上描画可见冠状动脉结构的轮廓。基于对动脉结构的检测，图像处理模块23以类似于生成冠状动脉树主图形的方式生成冠状动脉树图形。例如，如在步骤S62中示出的,冠状动脉结构的几何表示72被转化成图形73，所述图形73具有表示冠状动脉树几何表示72的每个分叉(例如，分支或三根分叉部)的结点，并且还具有在结点之间的分枝连接。由于树都来自相同的人，应当理解，从内窥镜检查图像导出的图形是从3D图像导出的图形的子图形。
[0041]流程图60的步骤S63包含图像处理模块23，所述图像处理模块23根据任何已知的图形匹配方法(例如，最大共同子图形或麦格雷戈(McGregor)共同子图形)将子图形与主图形进行匹配。例如，如在步骤S63中示出的，将子图形73的结点与主图形71的结点的子集进行匹配。
[0042]实际上，子图形73可以在术中内窥镜图像14内仅仅部分地被检测，或子图形73的一些结点/连接可以在术中内窥镜图像14中缺少。为了提高步骤S62的匹配精度，可以实施主图形71和子图形73的额外顺序。[0043]在一个实施例中，在步骤S61的图像扫描期间基于患者50的已知取向实施主图形71的垂直结点顺序。具体而言，主图形结点可以被定向地链接，以经由实线箭头保存如在图5中范例性示出的自顶向下顺序。对于子图形73，患者50相对于内窥镜12的取向可以是未知的。然而，已知的当冠状动脉树的分枝自顶向下扩展时，他们在直径上减少，然后术中内窥镜图像14中动脉分枝的变化的动脉尺寸可以指示取向。
[0044]在另一实施例中，在步骤S61的图像扫描期间基于患者50的已知取向可以实施主图形70的水平结点顺序。具体而言，主图形结点可以被定向地链接，以经由虚线箭头保存如在图6中范例性示出的自左向右的结点顺序。对于子图形73，在到内窥镜12的患者50的取向很有可能是未知的情况下，通过操作中的外科医生或辅助装置经由图形用户接口可以设置子图形73的水平结点顺序。
[0045]尽管顺序的使用可以减小用于匹配图形的时间，并且减少可能匹配的数量，理论上通过匹配算法仍可以获得图形之间的多个匹配。在流程图30的步骤S33期间解决这样的多个匹配的情况。
[0046]再次参考图2，基于图形的匹配，流程图的步骤S33包含血管树的术前3D图像44(图1)的几何表示叠加在血管树的术中内窥镜图像14上。通过使用唯一与主图形关联的几何表示完成该操作。由此，使用透视变换，整个几何结构可以被直接转换为术中内窥镜图像14。使用本领域已知的匹配算法(例如，单应性匹配)从术中内窥镜图像14和术前3D图像44中的结点中可以检测透视变换。
[0047]例如，图7图示了具有与术中内窥镜图像90的结点91-95匹配的结点的冠状动脉树的几何表示80。在结点91-95之间的每个结点对之间的距离可以用于确定几何表示80的比例因子，从而如图不出的使几何表不80能够置加术中内窥镜图像90。
[0048]实际上，如果步骤S32(图2)的图形匹配产生多个结果，则可以将所有可能的叠加显示给外科医生，借此外科医生可以经由图形用户接口选择外科医生认为是最可能匹配的匹配结果。考虑到外科医生知道内窥镜12相对于术中内窥镜图像14中的至少一些结构的位置，选择可以相对简单。
[0049]返回参考图2，流程图30的步骤S34包含视觉伺服模块24，所述视觉伺服模块24在血管树的术前3D图像44(图1)的几何表示到血管树的术中内窥镜图像14(图1)的叠加内生成内窥镜路径。基于内窥镜路径，视觉伺服模块24向机器人控制器21生成内窥镜位置命令25，以借此将内窥镜12(图1)沿着内窥镜路径引导至解剖区域内的期望位置。具体而言，一旦发现准确叠加，可以命令机器人11，以将内窥镜12引导至外科医生在术前3D图像44上选择的位置。外科医生或辅助装置可以选择血管树的点，并且机器人11可以引导内窥镜12沿着任何适当路径朝向期望位置。例如，如在图9中示出的，机器人11可以将内窥镜12沿着最短路径101移动到期望位置100，或沿着冠状动脉路径102移动到期望位置100。由于随着机器人11移动内窥镜12，冠状动脉路径102允许外科医生观察可见动脉，冠状动脉路径102是优选实施例。此外，其有助于外科医生决定匹配是否成功。使用本领域已知的方法(例如，迪科斯彻最短路径算法)可以定义冠状动脉路径102。
[0050]实际上，使用具有运动远程中心的未校准视觉伺服可以命令机器人11的移动，并且可以延伸内窥镜12的视场，以在匹配步骤S32期间实现更大的子图形(例如，本领域已知的术中内窥镜图像14的拼接)。
[0051]如本文前述，如在图2中示出的流程图30的步骤32和33表示涉及单个血管树的本发明的血管树图像配准。额外地，在冠状动脉树的背景下提供步骤S32和S33的先前描述，以便于对步骤S32和S33的理解。实际上，本发明的血管树图像配准可以涉及身体的任何解剖区域内的任何类型的两(2)个或更多血管树。
[0052]在身体的任何解剖区域(尤其冠状区域)内的动脉树和静脉树的背景下，图9-11图示了步骤S32和/或步骤S33(图1)的其他实施例。这些实施例根据如本文先前教导的流程图60(图4)的原理执行图形生成和结点匹配。
[0053]参考图9，流程图111表示静脉树图像配准方法，所述静脉树图像配准方法涉及对静脉树的术中内窥镜图像的主图形与静脉树的术前图像的匹配，所述静脉树的术前图像用作将解剖区域的术中内窥镜图像与解剖区域的术前3D图像进行配准的基础。
[0054]具体而言，流程图110的步骤Slll包含图像处理模块23，所述图像处理模块23执行对静脉树的术中内窥镜图像与静脉树的术前3D图像之间的静脉树图形匹配。例如，如在图9的步骤Slll中示出的，生成静脉树的术前3D图像120的主图形121和静脉树的术中内窥镜图像122的子图形123，并且子图形123的结点与主图形121的结点的特定子集匹配。结果是对解剖区域的术中内窥镜图像与解剖区域的术前3D图像的配准。
[0055]流程图110的步骤S112包含图像处理模块23，所述图像处理模块23执行如本领域已知的动脉树的术前图像的叠加的生成，所述动脉树的术前图像的叠加是从在解剖区域的术前图像内的动脉树与静脉树的相对定位导出的。例如，如在图9的步骤S112中示出的，动脉树的术前图像130到 动脉树的术中内窥镜图像132上的叠加是从动脉树(用虚线示出)的术前图像130与静脉树的术前图像120的相对定位导出的。
[0056]参考图10，流程图140表示血管树图像配准方法，所述血管树图像配准方法涉及以下的组合:(I)对动脉树的术中内窥镜图像的子图形与动脉的术前图像的主图形的动脉树匹配，以及(2)对静脉树的术中内窥镜图像的子图形与静脉树的术前图像的主图形的静脉树匹配。
[0057]具体而言，流程图140的步骤S141包含图像处理模块23，所述图像处理模块23执行对动脉树的术中内窥镜图像与动脉树的术前3D图像之间的动脉树图形匹配。例如，如在图10的步骤S141中示出的，生成动脉树的术前3D图像130的主图形131和动脉树的术中内窥镜图像132的子图形133，并且子图形133的结点与主图形131的结点的特定子集匹配。
[0058]流程图140的步骤S142包含图像处理模块23，所述图像处理模块23执行静脉树的术中内窥镜图像到静脉树的术前3D图像之间的静脉树图形匹配。例如，如在图10的步骤S142中示出的，生成静脉树的术前3D图像120的主图形121和静脉树的术中内窥镜图像122的子图形123，并且子图形123的结点与主图形121的结点的特定子集匹配。
[0059]流程图140的步骤S143包含图像处理模块，如本领域已知的所述图像处理模块以几何方式将步骤S141的动脉树匹配和步骤S142的静脉树匹配进行组合。
[0060]实际上，可以以任何顺序串行执行或并行执行步骤S141和S142。
[0061]参考图11，流程图150表示血管树图像配准方法，所述血管树图像配准方法涉及以下的整合:(I)对动脉树的术中内窥镜图像的子图形与动脉的术前图像的主图形的动脉树匹配，以及(2)对静脉树的术中内窥镜图像的子图形与静脉树的术前图像的主图形的静脉树匹配。
[0062]具体而言，流程图150的步骤S151包含图像处理模块23，所述图像处理模块23从动脉树和静脉树的相应的术前图像中生成动脉树和静脉树的主图形，并且流程图150的步骤S152包含动脉树的主图形和静脉树的主图形的整合。实际上，由于涉及心脏区域，不存在事实上连接了动脉树和静脉树的单个血管点。正因如此，动脉树和静脉树的主图形基本上是分离的。尽管如此，在心脏区域解剖结构内可以有多个点，在所述心脏区域解剖结构内，动脉结点和静脉结点以无关紧要的距离分开。这些结点可以被认为是符合步骤S152的目的，并且由此可以构建在这些结点接合的单个树。
[0063]例如，如在图11的步骤S152中示出的，静脉树的主图形121的结点124和动脉树的主图形131的结点134在心脏区域的术前体积图像内以无关紧要的距离分开，并且因此，在心脏区域的术前体积图像内在点161处被接合，以形成整合的血管树图形160。
[0064]流程图150的步骤S153包含图像处理模块23，所述图像处理模块23从动脉树和静脉树的相应的术中内窥镜图像中生成动脉树和静脉树的子图形，并且流程图150的步骤S154包含对动脉树和静脉树的子图形与整合的血管图形的结点匹配。例如，如在图11的步骤S154中示出的，生成的动脉树的子图形132和生成的静脉树的子图形122与整合的血管树图形160匹配。
[0065]实际上，备选地，血管树的主图形的整合可以发生在血管树的子图形与相应的主图形的单独匹配处。
[0066]返回参考图2，步骤S32-S34可以一次性被执行，或者在周期的基础上执行，直到机器人11已经将内窥镜12移动到在解剖区域内的期望位置的时间，或者外科医生指示的多个时间。
[0067]在流程图130的备选实施例中，当在解剖区域(尤其心脏区域)内的血管树中的一个或多个上执行外科手术时，为了达到更新图像配准的目的，可以执行步骤S35。例如，在完成旁路之后，在心脏区域中的旁路的术中外科手术图像(例如，内窥镜图像或χ-射线血管造影术图像)中，动脉树的新近引入拓扑结构将是可见的，并且在心脏区域的术前体积图像上将是不可见的。使用如本文前述的本发明的图形匹配算法，将来自术中外科手术图像的动脉树与来自术前体积图像的动脉树进行匹配。基于所述配准，通过将一个新结点(远端吻合部位)和一个连接(旁路)添加到主图形，可以更新术前体积图像的主图形。
[0068]在图12中示出的流程图170表示步骤S35和步骤S31 (图2)的一个实施例。流程图170的步骤S171包含从解剖区域的术中外科手术图像中提取血管树，并且步骤S172包含对术中外科手术图像与术前体积图像的配准。例如，如在图12的步骤S172中示出的，从心脏区域的术中内窥镜图像14或术中X-射线血管造影术图像15中提取动脉树133的外科手术图像180，所述图像180图示了旁路181。生成图像180的主图形182，新连接结点183表示旁路。主图形182是与术前体积图像的主图形(例如，如在图10中示出的动脉树图像130和主图形131)匹配的结点。
[0069]流程图170的步骤S173包含对术前体积图像的更新。实际上，更新的图像133可以完整图示整个动脉树，或可以排除整个动脉树的旁路部分。例如，如在图12的步骤S173中示出的，术前体积图像133的更新图像133a图示了包括旁路181的整个动脉树，或者术前体积图像133的更新图像134b图示了不包括动脉树的旁路部分的动脉树。
[0070]流程图170返回到步骤S32(图2)，在该步骤中，更新的图像133可以用于将术中内窥镜图像12与术前体积图像44重新配准，并且在步骤S32-S34期间引导机器人11。
[0071]返回参考图1，实 际上，可以通过整合在如示出的内窥镜控制器22内的硬件、软件和/或固件来实施模块23和24。
[0072]从本文图1-12的描述中，本领域技术人员应当认识到，本发明的许多优点包括但不限于，本发明应用于在任何类型血管上执行的任何类型的内窥镜检查外科手术。
[0073]尽管已经参考范例性方面、特征和实施方式描述了本发明，但所公开的系统和方法不限于这样的范例性方面、特征和/或实施方式。相反，本领域技术人员从本文提供的描述将明了，所公开的系统和方法允许在不脱离本发明的精神或范围的情况下进行修改、变更和改进。因此，本发明明确地包含这种在其范围内的修改、变更和改进。
【权利要求】
1.一种图像配准系统，包括: 内窥镜(12)，其能够操作用于生成解剖区域内的血管树的术中内窥镜图像(14);以及 内窥镜控制器(22)，其能够操作用于将所述血管树的所述术中内窥镜图像(14)与所述血管树的术前三维图像(44)进行图像配准， 其中，所述图像配准包括对所述血管树的所述术中内窥镜图像(14)内的所述血管树的每个分叉的图形表示与所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉的图形表示的图像匹配。
2.根据权利要求1所述的图像配准系统，其中，所述内窥镜控制器(22)还能够操作用于，响应于所述血管树的拓朴结构中的任何外科手术变更来更新对所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准。
3.根据权利要求1所述的图像配准系统，其中，所述图像匹配包括: 生成从所述血管树的所述术前三维图像(44)的几何表示导出的主图形，所述主图形包括连接结点的主集，所述连接结点表示所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉；并且 生成从所述血管树的所述术中内窥镜图像(14)的几何表示导出的子图形，所述子图形包括连接结点的所述主集的子集，并且所述子图形表示所述血管树的所述术中内窥镜图像(14)内的所述血管树的每个分叉；并且 将所述子图形与所述主图形进行结点匹配。
4.根据权利要求3所述的图像配准方法，其中，所述内窥镜控制器(22)还能够操作用于，响应于所述血管树的拓朴结构中的任何外科手术变更来更新对所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准， 其中，所述主图形被修改以反映所述血管树的所述拓朴结构中的任何外科手术变更。
5.一种图像配准系统，包括: 内窥镜(12)，其能够操作用于生成包括动脉树和静脉树的解剖区域的术中内窥镜图像(14);以及 内窥镜控制器(22)，其能够操作用于将所述术中操作内窥镜图像(14)内的所述动脉树与所述解剖区域的术前三维图像(44)进行图像配准， 其中，所述图像配准包括对所述解剖区域的所述术中内窥镜图像(14)内的所述静脉树的每个分叉的图形表示与所述解剖区域的所述术前三维图像(44)内的所述静脉树的每个分叉的图形表示的静脉图像匹配。
6.根据权利要求5所述的图像配准系统，其中，所述内窥镜控制器(22)还能够操作用于，响应于所述血管树的拓朴结构中的任何外科手术变更来更新对所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准。
7.根据权利要求5所述的图像配准系统，其中，所述图像配准还包括对所述解剖区域的所述术前三维图像(44)中的所述动脉树与所述解剖区域的所述术前三维图像(44)中的所述静脉树的相对定位的确定。
8.根据权利要求5所述的图像配准系统，其中，所述静脉图像匹配包括: 生成从所述解剖区域的所述术前三维图像(44)的几何表示导出的静脉主图形，所述静脉主图形包括静脉结点的主集，所述静脉结点表示在所述解剖区域的所述术前三维图像(44)内的所述静脉树的每个分叉，并且 生成从所述解剖区域的所述术中内窥镜图像(14)的几何表示导出的静脉子图形，所述静脉子图形包括静脉结点的所述主集的子集，并且所述静脉子图形表示所述解剖区域的所述术中内窥镜图像(14)内的所述静脉树的每个分叉。
9.根据权利要求5所述的图像配准系统，其中，所述图像配准包括对所述解剖区域的所述术中内窥镜图像(14)内的所述动脉树的每个分叉的图形表示与所述解剖区域的所述术前三维图像(44)内的所述动脉树的每个分叉的图形表示的动脉图像匹配。
10.根据权利要求9所述的图像配准系统， 其中，所述静脉图像匹配包括: 生成从所述解剖区域的所述术前三维图像(44)的几何表示导出的静脉主图形，所述静脉主图形包括静脉结点的主集，所述静脉结点表示所述解剖区域的所述术前三维图像(44)内的所述静脉树的每个分叉，并且 生成从所述解剖区域的所述术中内窥镜图像(14)的几何表示导出的静脉子图形，所述静脉子图形包括静脉结点的所述主集的子集，并且所述静脉子图形表示所述解剖区域的所述术中内窥镜图像(14)内的所述静脉树的每个分叉；以及其中，所述动脉图像匹配包括: 生成从所述解剖区域的所述术前三维图像(44)的几何表示导出的动脉主图形，所述动脉主图形包括动脉结点的主集，所述动脉结点表示所述解剖区域的所述术前三维图像 (44)内的所述动脉树的每个分叉，并且 生成从所述解剖区域的所述术中内窥镜图像(14)的几何表示导出的动脉子图形，所述动脉子图形包括动脉结点的所述主集的子集，并且所述动脉子图形表示所述解剖区域的所述术中内窥镜图像(14)内的所述动脉树的每个分叉。
11.根据权利要求10所述的图像配准系统， 其中，所述静脉图像匹配还包括对所述静脉子图形与所述静脉主图形的静脉结点匹配； 其中，所述动脉图像匹配还包括对所述动脉子图形与所述动脉主图形的动脉结点匹配；并且 其中，所述图像配准还包括所述静脉结点匹配和所述动脉结点匹配的组合。
12.根据权利要求10所述的图像配准系统， 其中，所述图像配准还包括所述静脉主图形和所述动脉主图形的整合； 其中，所述静脉图像匹配还包括对所述静脉子图形与所述静脉主图形和所述动脉主图形的所述整合的静脉结点匹配；并且 其中，所述动脉图像匹配还包括对所述动脉子图形与所述静脉主图形和所述动脉主图形的所述整合的动脉结点匹配。
13.根据权利要求10所述的图像配准方法，其中，所述内窥镜控制器(22)还能够操作用于，响应于所述血管树的拓朴结构中的任何外科手术变更来更新对所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准， 其中，所述动脉主图形被修改以反映所述血管树的所述拓朴结构中的任何外科手术变更。
14.根据权利要求13所述的图像配准方法，其中，对所述动脉主图形的修改包括将额外的结点连接到所述主图形，新结点表示所述血管树的额外分叉的外科手术创建。
15.根据权利要求13所述的图像配准方法，其中，对所述动脉主图形的修改包括分离所述主图形的所述结点中的一个，分离的结点表示所述血管树的所述分叉中的一个的外科手术移除。
16.一种图像配准方法，包括: 生成解剖区域内的血管树的术前三维图像(44)； 生成所述解剖区域内的所述血管树的术中内窥镜图像(14);并且 将所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)进行图像配准， 其中，所述图像配准包括对所述血管树的所述术中内窥镜图像(14)内的所述血管树的每个分叉的图形 表示与所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉的图形表示的图像匹配。
17.根据权利要求16所述的图像配准方法，还包括: 响应于所述血管树上的任何外科手术变型来更新所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准。
18.根据权利要求16所述的图像配准方法，其中，所述图像匹配包括: 生成从所述血管树的所述术前三维图像(44)的几何表示导出的主图形，所述主图形包括连接结点的主集，所述连接结点表示所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉；并且 生成从所述血管树的所述术中内窥镜图像(14)的几何表示导出的子图形，所述子图形包括所述连接结点的主集的子集，并且所述子图形表示所述血管树的所述术中内窥镜图像(14)内的所述血管树的每个分叉；并且 将所述子图形与所述主图形进行结点匹配。
19.根据权利要求16所述的图像配准方法，还包括: 响应于所述血管树的任何外科手术变型来更新对所述血管树的所述术中内窥镜图像(14)与所述血管树的所述术前三维图像(44)的所述图像配准 其中，修改所述主图形，以反映所述血管树的所述拓朴结构中的任何改变。
20.根据权利要求16所述的图像配准方法，其中，所述血管树是动脉树和静脉树中的一个。
【文档编号】A61B19/00GK103957832SQ201280052557
【公开日】2014年7月30日 申请日期:2012年10月19日 优先权日:2011年10月26日
【发明者】A·波波维奇, H·埃尔哈瓦林, C·S·霍尔 申请人:皇家飞利浦有限公司