来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿的制作方法
【专利摘要】本发明提供一种方法、系统和程序产品，用于将来自体积模态的结构叠加到未校准内窥镜的视频上。所述方法包括：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性(310)；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换(320)的投影矩阵；使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影(330)；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影(340)。
【专利说明】来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
[0001]相关申请的交叉引用
[0002]本申请与2010年9月15日递交的临时专利申请号61/382980，“Robotic Controlof an Endoscope from Blood Vessel Images”及2011年9月13日递交的共同未决非临时国际申请PCT/IB2011/053998相关，通过引用将它们并入本文。
【技术领域】
[0003]本发明涉及医学成像领域，并且更具体而言涉及用于将来自体积成像模态的三维结构叠加到未校准内窥镜的视频上并补偿所述体积结构在所述内窥镜的所述视频上的运动的方法、系统和计算机程序产品。
【背景技术】
[0004]在微创冠状动脉搭桥手术中，典型地使用两种成像模态:(I)术前3D成像(例如计算机断层摄影，或CT或3D X射线血管造影)以提取有关冠状动脉的几何学的信息，以及
(2)实时内窥镜成像。归因于覆盖冠状动脉的不同组织，它们通常在内窥镜视频上不完全可见。而且，内窥镜视频典型地是以二维方式记录的。体积3D图像以三维方式提供冠状动脉的完整可视化。然而，外科医师必须准确地内窥镜视频上察看所述冠状动脉的位置，以成功地执行微创冠状动脉搭桥手术。为了在所述动脉在内窥镜视频上不可见时确定他们的位置，可以将所述动脉叠加在所述内窥镜视频上。
[0005]然而，已有的用于叠加术前3D成像数据(例如从CT扫描到内窥镜视频上)的方法要求对所述内窥镜的校准，用额外的定位系统追踪，或者两者。校准内窥镜是个复杂的过程，如果处理不当容易出错，并且因此在临床环境中不太实际。内窥镜的光学性质可能随着使用而改变，因此一次校准不能长时间使用。此外，定位系统，例如光学标记物在手术期间并不总是可用，并且给程序增加了相当大的成本和时间。
[0006]而且，用于在心脏和其他手术中规划的三维成像通常不是以时间序列执行的(例如门控CT)。因此，结构的3D几何没有把因生理学过程(例如心跳和呼吸)造成的移动考虑在内。例如，在心脏手术中，仅知晓针对心动周期的一个相位的动脉树几何。
【发明内容】
[0007]提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法、系统和程序产品。所述方法包括:确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图 像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
[0008]根据一个实施例，所述结构为动脉树并且所述多个点对为所述动脉树的分叉点。[0009]根据一个实施例，所述结构为静脉树并且所述多个点对为所述静脉树的分叉点。
[0010]根据一个实施例，所述结构为支气管树并且所述多个点对为所述支气管树的分叉点。
[0011]根据一个实施例，通过将所述2D内窥镜中的树结构中的分叉图样与来自所述3D图像的所述树结构中的对应的分叉图样进行匹配，来确定多个点对的对应性。
[0012]根据一个实施例，使用所确定的点对来导出所述单应性矩阵。
[0013]根据一个实施例，针对所述2D内窥镜图像的多于一个不同分区的每个，来导出单应性矩阵。
[0014]根据一个实施例，针对所叠加的结构提供运动补偿。通过将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧，来导出对应性矩阵。然后，使用所述对应性矩阵追踪所述结构的运动，来翘曲所绘制的结构投影。
[0015]根据一个实施例，使用在时间序列上计算的多个对应性矩阵，来翘曲所叠加的结构。
[0016]根据本发明的另一方面，提供一种方法，以补偿叠加的结构的运动。用于对从体积模态绘制到未校准 内窥镜的视频上的结构叠加的运动补偿的方法包括以下步骤:确定用于将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧的对应性矩阵；并且使用所述对应性矩阵追踪所述结构的运动，翘曲所绘制的叠加结构。
[0017]根据本发明的另一方面，提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统。所述系统包括:处理器；存储器，其能够操作地与所述处理器相关联；显示器，其能够操作地与所述处理器相关联；以及叠加程序指令，其被编码在所述存储器上并且由所述处理器运行以:确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和所述对应的点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵，绘制来自所述3D图像的所述结构到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
[0018]根据一个实施例，所述叠加程序指令针对所述2D内窥镜图像的多于一个不同分区的每个，导出单应性矩阵。
[0019]根据一个实施例，所述叠加程序指令在被所述处理器运行时还提供针对所叠加的结构的运动补偿。为了提供运动补偿，所述叠加程序指令确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
[0020]根据本发明的另一方面，提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的计算机程序产品。所述计算机程序产品包括计算机可读存储设备，所述计算机可读存储设备上编码有计算机可执行程序指令，包括:用于确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性的计算机可执行指令；用于使用假定相机参数和相对应的所述点对导出从所述3D图像到所述2D图像的变换投影矩阵的计算机可执行指令；用于使用所导出的投影矩阵将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影的计算机可执行指令；用于确定单应性矩阵的计算机可执行指令；以及用于使用所述单应性矩阵来翘曲所绘制的结构投影的计算机可执行指令。[0021]根据一个实施例，所述计算机可执行程序指令还包括:用于确定对应性矩阵的计算机可执行指令，所述对应性矩阵用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧；以及用于使用所述对应性矩阵追踪所述结构的运动来翘曲所绘制的结构投影的计算机可执行指令。
【专利附图】
【附图说明】
[0022]在结合附图阅读时，根据后文对优选实施例的详细描述，将更清楚地理解本发明的特征和优点。附图中包括以下图:
[0023]图1为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统的框图；
[0024]图2为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法的流程图；
[0025]图3为在心脏程序期间示出可见动脉结构的内窥镜图像；
[0026]图4为根据本发明的 实施例的、用于匹配3D图像和2D图像中对应的点对的方法的流程图。
[0027]图5为根据本发明的实施例的、在心脏程序期间的内窥镜图像，其中在用单应性矩阵翘曲之前在其上叠加动脉树结构；
[0028]图6为根据本发明的实施例的、用于对2D内窥镜图像上的叠加的运动补偿的方法的流程图；
[0029]图7为根据本发明的实施例的、在心脏程序期间示出对追踪特征的选择的内窥镜图像；并且
[0030]图8为在来自图5的后续帧的内窥镜图像，其示出所选特征的移动。
【具体实施方式】
[0031 ] 本发明提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法、系统和计算机程序产品。根据本发明的一个实施例，确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性。使用估计的相机参数和所述对应的点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵。所述内窥镜未被校准。尤其地，这意味着所述相机参数，例如焦距和光学图像的中心是未知的。所述估计的相机参数因此是估计的，而不知晓准确参数。使用所导出的投影矩阵，绘制来自所述3D图像的所述结构到所述2D内窥镜图像上的2D投影。确定针对所述结构的所述内窥镜图像和2D投影的单应性矩阵，并且使用所述单应性矩阵翘曲所绘制的结构投影。
[0032]图1为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统的框图。所述系统包括:内窥镜100和处理系统200。内窥镜100可以为适用于在微创手术程序期间提供图像的任意内窥镜。而且，内窥镜100可以包括一起或按序列使用的多于一个内窥镜。
[0033]处理系统200可以为适用于处理并显示医学图像的任意系统，例如通用计算机。处理系统200包括处理器210，其例如通过系统总线220，能够操作地连接到存储器230。应理解，在本发明的范围内其他合适的架构也是可能的。处理器210可以为任意合适的处理器，例如一个或多个微处理器。存储器230可以为任意合适的存储器，包括但不限于RAM、ROM、内置硬盘驱动器、磁盘驱动器、USB闪存驱动器或适用于存储程序代码的任意其他存储器设备。存储器230上编码有由处理器210运行的内窥镜视频程序指令232，以实时处理和显示内窥镜视频图像。所述存储器上也编码有(或为所述内窥镜程序指令的部分，或可由所述内窥镜程序指令调用的)叠加程序指令234，用于将来自体积模态的结构叠加到来自所述内窥镜的所述视频图像上。也编码在存储器230上的是血管树提取器236，其可由叠加程序指令234操作，以提取动脉树结构的几何表示。
[0034]来自内窥镜100的所述视频图像被呈现在显示器240上，用于在手术程序期间由外科医师察看。
[0035]针对解剖结构(例如动脉树)的结构数据301获取自数据存储设备300。结构数据301可以为提取的所述结构的几何表示的形式。实践中，由飞利浦销售的Brilliance iCT扫描器可以被用于生成图像并提取诸如动脉树的结构的表示。
[0036]由处理器210运行的程序指令234:确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
[0037]图2为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法的流程图。叠加程序指令234确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性(步骤310)。以下描述将描述探测冠状动脉结构上相对应的点对 。然而，所述结构可以为任意动脉树、静脉树、支气管树，或具有区别特征的图样(例如分叉)的任意其他解剖结构。
[0038]实践中，如图3中所示，动脉结构的一些部分可以在所述内窥镜射频图像上可见，而所述动脉结构的其他部分被脂肪组织层隐藏。如图4中所示，叠加程序指令234可以通过已知的图像处理操作(例如对所述冠状动脉的可见部分372的阈值探测)，实施对可见冠状动脉的自动探测。可选地，外科医师可以通过与视频显示器240交互的输入设备(例如鼠标)，来手动输入动脉结构。
[0039]血管树提取器236，其在本领域是已知的，被叠加程序指令234操作为提取冠状动脉结构的可见部分372的几何表示(子图)392(步骤312)。所述几何表示包括节点，所述节点表示所述动脉结构的每个分叉并且在所述节点之间具有分支连接。
[0040]叠加程序指令234也接收在术前扫描期间由3D成像系统从完整冠状动脉结构370提取的所述完整冠状动脉树的几何表示(主图)391(步骤311)。由于在所述内窥镜图像中所述冠状动脉结构的所述可见部分与来自所述3D扫描的所述完整冠状动脉树的所述表示来自相同的患者，因此其为所提取的3D树表示的子图。
[0041]叠加程序指令234使用任意合适的图匹配方法将子图392匹配到主图391，所述图匹配方法例如最大共同子图方法、McGregor共同子图方法，等等(步骤313)。例如，将子图392的节点匹配到来自主图391的节点的子集。现在，不可见的周围的动脉树从所述3D成像知晓。
[0042]叠加程序指令234使用假定相机参数和相对应的点对，导出用于从所述3D结构到所述2D图像的变换的投影矩阵(步骤320)。将所匹配的节点(或分叉)的3D坐标和3D坐标与针对所述内窥镜的焦距和光学中心的假定值输入到公式中，以求解用于将来自所述3D图像的所述动脉的形状投影到所述2D内窥镜图像的投影矩阵。在本领域中已知对3X4投影矩阵P的计算为重新划分(resectioning)。对于N个3D结构点Xi= [Xi, Yi, Zi]TN个2D图像点xi= [xi，yi，zi]T的成对对应，可以使用下式，以计算投影矩阵P= [P1T P2tP3T]。
【权利要求】
1.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法，包括以下步骤: 确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性； 使用假定相机参数和相对应的所述点对，导出用于从所述的3D图像到所述2D图像的转换的投影矩阵； 使用所导出的投影矩阵，将来自所述3D图像的所述的结构绘制到所述2D内窥镜图像上的2D投影； 确定单应性矩阵；并且 使用所述单应性矩阵，翘曲所绘制的结构投影。
2.如权利要求1所述的方法，其中，所述结构为动脉树并且所述多个点对为所述动脉树的分叉点。
3.如权利要求1所述的方法，其中，所述结构为静脉树并且所述多个点对为所述静脉树的分叉点。
4.如权利要求1所述的方法，其中，所述结构为支气管树并且所述多个点对为所述支气管树的分叉点。
5.如权利要求1所述的方法，其中，多个点对的对应性是通过将所述2D内窥镜图像中的树结构中的分叉图样与来自所述3D图像的所述树结构中的对应的分叉图样进行匹配，来确定的。
6.如权利要求1所述的方法，其中，所述单应性矩阵是使用所确定的点对而导出的。
7.如权利要求1所述的方法，其中，单应性矩阵是针对所述2D内窥镜图像的多于一个不同分区中的每个而导出的。
8.如权利要求1所述的方法，还包括以下步骤:确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
9.如权利要求8所述的方法，其中，多个对应性矩阵被使用。
10.一种用于对从体积模态绘制到未校准内窥镜的视频上的结构叠加进行运动补偿的方法，所述方法包括以下步骤: 确定用于将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧的对应性矩阵；并且 使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的叠加结构。
11.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统，包括: 处理器； 存储器，其能够操作地与所述处理器相关联； 显示器，其能够操作地与所述处理器相关联；以及 叠加程序指令，其被编码在所述存储器上并且由所述处理器运行以: 确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性； 使用假定相机参数和相对应的所述点对，导出用于从所述的3D图像到所述的2D图像的转换的投影矩阵； 使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影； 确定单应性矩阵；并且 使用所述单应性矩阵，翘曲所绘制的结构投影。
12.如权利要求11所述的系统，其中，所述叠加程序指令针对所述2D内窥镜图像的多于一个不同分区中的每个，导出单应性矩阵。
13.如权利要求11所述的系统，其中，所述叠加程序指令在由所述处理器运行时，还: 确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且 使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
14.如权利要求13所述的系统，其中，多个对应性矩阵被使用。
15.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的计算机程序产品，所述计算机程序产品包括计算机可读存储设备，所述计算机可读存储设备上编码有计算机可执行程序指令，包括: 用于确定3D术前图像上 的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性的计算机可执行指令； 用于使用假定相机参数和相对应的所述点对导出用于从所述3D图像到所述2D图像的转换的投影矩阵的计算机可执行指令； 用于使用所导出的投影矩阵来将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影的计算机可执行指令； 用于确定单应性矩阵的计算机可执行指令；以及 用于使用所述单应性矩阵来翘曲所绘制的结构投影的计算机可执行指令。
16.如权利要求15所述的计算机程序产品，其中，单应性矩阵是针对所述2D内窥镜图像的多于一个不同分区中的每个而导出的。
17.如权利要求15所述的计算机程序产品，其中，所述计算机可执行程序指令还包括: 用于确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵的计算机可执行指令；以及 用于使用所述对应性矩阵来追踪所述结构的运动来翘曲所绘制的结构投影的计算机可执行指令。
18.如权利要求17所述的计算机程序产品，其中，多个对应性矩阵被使用。
【文档编号】G06T7/00GK104010560SQ201280063699
【公开日】2014年8月27日 申请日期:2012年12月17日 优先权日:2011年12月21日
【发明者】A·波波维奇, H·埃尔哈瓦林 申请人:皇家飞利浦有限公司