本发明涉及估计手术治疗中切除的组织的体积，并且更具体地涉及根据2D/2.5D术中图像数据估计切除的组织的体积。
手术治疗通常涉及从患者体内切除和移除组织，尤其是移除癌症患者的肿瘤。在这种情况下，准确知道要去除的组织的范围至关重要。例如，神经外科手术中的患者存活结果与切除后的残余肿瘤体积相关，肝功能与肝脏手术中的肿瘤切除后剩余的存活肝组织相关，并且部分肾切除术后的肾功能与所保留的肾体积有关。对手术目标的体积测量通常在术前图像(诸如计算机断层扫描(CT)图像或核磁共振(MR)图像)上做出的，这有助于指导临床决策制定。对于大多数手术，对应的体积测量通常不在术中进行，这有可能是因为执行这种体积测量会对手术工作流程造成太大干扰。
技术实现要素：
本发明提供了一种用于使用术中图像数据、诸如腹腔镜或内窥镜图像流来计算切除的组织的体积的方法和系统。本发明的实施例通过将手术治疗期间移除的切除的组织的2D/2.5D术中图像的序列拼接在一起来创建感兴趣的组织的3D模型。重建模型表示用于计算切除的组织的体积的组织几何形状的物理测量值。
在本发明的一个实施例中，接收已经从患者的周围组织中移除的患者的切除的组织的2D/2.5D术中图像流。2D/2.5D术中图像流包括相对于切除的组织以不同角度采集的多个2D/2.5图像。在多个2D/2.5D术中图像中的每一个中分割切除的组织的表面。分割的切除的组织的表面被拼接以产生切除的组织的表面的3D点云表示。根据切除的组织的表面的3D点云表示产生切除的组织的表面的3D网格表示。根据切除的组织的表面的3D网格表示计算切除的组织的体积。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域一般技术人员将是显而易见的。
附图说明
图1示出了根据本发明的实施例的用于计算切除的组织的体积的方法；
图2示出了图1的方法步骤的示例性结果；并且
图3是能够实施本发明的计算机的高层级框图。
具体实施方式
本发明涉及一种用于根据术中图像数据、诸如腹腔镜或内窥镜图像数据来计算手术治疗中的切除的组织的体积的方法和系统。本发明的实施例在本文被描述为给出对用于根据术中图像数据计算切除的组织的体积的方法的直观理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。本文通常在识别和操纵对象方面描述对象的数字表示。这种操纵是在计算机系统的存储器或其它电路/硬件中完成的虚拟操纵。因此，应该理解的是，可使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
越来越多的微创外科手术正在利用相机来执行，诸如内窥镜或腹腔镜。本发明的实施例使用这种术中成像来采集在外科手术期间移除的切除的组织的连续表面测量值。使用2D/2.5D深度数据，将来自多个术中图像(例如，内窥镜或腹腔镜视频的多个帧)的表面测量值组合以产生切除的组织的3D模型。3D模型表示切除的组织的3D几何形状并且提供切除的组织体积的测量值。本文描述的方法可用交互式响应时间来实施，并且因此可在外科手术期间实时或接近实时地执行。应当理解的是，术语“腹腔镜图像”和“内窥镜图像”在本文中可互换使用，并且术语“术中图像”是指在外科手术或介入期间采集的任何医学图像数据，包括腹腔镜图像和内窥镜图像。
图1说明了根据本发明的实施例的用于计算切除的组织的体积的方法。图1的方法可用于根据术中图像数据在计算手术治疗中切除的组织的体积。图1的方法将术中图像数据转换以产生切除的组织的3D模型，并且根据所产生的体积计算切除的组织的体积。
在步骤102处，组织在手术治疗中被切除。切除是指移除器官的一部分或其它身体结构的一部分。例如，可执行手术治疗以切除位于软组织器官(诸如脑、肝脏、肺等)中的肿瘤。因此，在示例性实施方式中，切除的组织对应于已经从患者体内的器官移除的肿瘤的组织。图2说明了图1的方法步骤的示例性结果。如图2的图像(a)中所示，切除的组织202是从脑200中移除的肿瘤。
在步骤104处，接收到了切除的组织的2D/2.5D术中图像流。术中图像流也可被称为视频，其中视频的每一帧均是术中图像。例如，术中图像流可为经由腹腔镜采集的腹腔镜图像流、经由内窥镜采集的内窥镜图像流或者使用手术显微镜采集的术中图像流。根据有利的实施例，术中图像流的每一帧均是2D/2.5D图像。即，术中图像序列的每一帧包括提供用于多个像素中的每一个的2D图像外观信息的2D图像通道，以及提供对应于2D图像通道中的多个像素中的每一个的深度信息的2.5D深度通道。例如，术中图像序列的每一帧可为RGB-D(红、绿、蓝+深度)图像，其包括RGB图像和深度图像(深度图)，在RGB图像中，每个像素具有RGB值，在深度图像中，每个像素的值对应于所考虑像素距图像采集装置(例如，腹腔镜、内窥镜或手术显微镜)的相机中心的深度或距离。用于采集术中图像的术中图像采集装置(例如腹腔镜、内窥镜或手术显微镜)可配备有相机或摄像机以采集每个时间帧的RGB图像以及飞行时间或者配备有结构化光传感器以采集每个时间帧的深度信息。
通过将术中图像采集装置瞄准切除的组织并且改变术中图像采集装置相对于切除的组织的表面的角度以使得从不同角度以不同的术中图像(帧)对切除的组织可视化来采集术中图像流。在有利的实施例中，术中图像流对应于由术中图像采集装置对完整的切除的组织的表面的扫描。一旦切除的组织从患者体内移除，或者可通过保持切除的组织于固定的位置并且相对于切除的组织旋转术中图像采集装置，或者通过保持术中图像采集装置于固定位置并且相对于术中图像采集装置旋转切除的组织来采集术中图像流。例如，如图2的图像(b)中所示，将切除的组织202从脑200中移除，保持在术中图像采集装置204的视场中，并且将其相对于术中图像采集装置204进行旋转。在一个可能的实施方式中，切除的组织或术中图像采集装置的旋转可由用户(例如，医师)手动执行。在这种情况下，用户可使用镊子或某个其它手术工具保持切除的组织，该手术工具尽可能少地阻碍对切除的组织的观察。在另一个可能的实施方式中，切除的组织或术中图像采集装置的旋转可在机器人辅助下执行。例如，一旦将切除的组织从患者体内移除，可将切除的组织放置在机械臂的端部处，该机械臂将切除的组织保持在术中图像采集装置的视场中。术中图像采集装置保留在固定位置，并且机械臂以预定速率旋转切除的组织。手术中图像流的帧可直接从图像采集装置接收。例如，在有利的实施例中，术中图像数据流的帧可在由术中图像采集装置采集它们时被实时地接收。或者，可通过加载存储在计算机系统的存储器或存储装置上的先前采集的切除的组织的术中图像来接收术中图像序列的帧。
在步骤106处，在2D/2.5D术中图像中，对切除的组织的表面进行分割。为了计算切除的组织的体积，切除的组织必须从术中图像中的场景的其余部分中分割出来。因此，可对每个2D/2.5术中图像(帧)执行二进制图像分割以区分切除的组织(前景)与术中图像的其余部分(背景)。
在第一实施例中，使用在2D/2.5D术中图像中捕获的深度值对每个术中图像中的切除的组织进行分割。在该实施例中，在采集术中图像期间，将切除的组织物理地从剩余组织上提起并且将其保持与其它结构在空间上分开。例如，可将切除的组织保持在剩余组织上方(例如，使用镊子或另一种手术工具，或在机械臂上)。因为该组织被从剩余组织中提起，所以存在可见的尖锐不连续性的情况下，切除的组织的表面在深度信息中与术中图像中的场景中的其余部分在几何上分开。这些不连续性用于在切除的组织与术中图像中的剩余组织之间执行自动图形-背景分割。在有利的实施例中，在图像收集期间这种自动分割方法假定该切除的组织在图像中心居中，并且随着距术中图像中心的距离的增加，通过搜索较大的深度不连续性来切割术中图像中的切除的组织的表面。例如，可使用基于距离和深度连续性的3D点流算法来提取每个术中图像中的切除的组织的表面。另外，基于机器学习的分类器技术可集成到自动切除的组织分割以将工具信息与切除的组织分开，从而改进体积估计。因为使用工具来保持切除的组织，所以该工具可具有与术中图像中的切除的组织类似的深度值。基于机器学习的分类器(例如，概率性增强树(PBT)分类器)可使用带注释的训练图像来训练，以基于从术中图像中的RGB和/或深度图像通道中提取的特征来检测工具。然后可自动地将检测到的工具从分割的切除的组织的表面中移除。
在第二实施例中，使用外观驱动分割基于均匀背景来对每个术中图像中的切除的组织进行分割。在该实施例中，术中图像是利用放置在具有均匀背景的表面上切除的组织来采集的，并且用于自动化组织分割的均匀背景是3D空间。2D/2.5D术中图像提供了多视图外观以及几何信息。先前的信息(诸如平坦背景的背景颜色和形状)被集成并且用于使术中图像中的二进制组织分割自动化。具体地，可使用各种公知的分割技术(诸如基于机器学习的分割、区域生长、图形切割等)基于对术中图像中的均匀背景和颜色(RGB)信息的先前的了解来实施分割。
在步骤108处，拼接分割的切除的组织的表面以产生完整的切除的组织的表面的3D点云表示。由于术中图像中的切除的组织分割的可用性(步骤106)，仅在3D空间中重建/缝合切除的组织。根据有利的实施方案，如下地执行3D重建(拼接)。首先，使用RGB图像数据来估计在单独的帧中的分割的切除的组织的表面之间的待估计的对应关系。使用RGB通道中的图像测量值比较单独的帧中的分割的切除的组织的表面，以估计具有分割的切除的组织的表面的重叠区域的对应帧。接下来，执行鲁棒姿态估计以估计单独的帧之间的相对姿态。可基于对应的图像测量值和/或基于对应的深度测量值来估计对应帧之间的相对姿态。然后，执行全局集束调整步骤以优化切除的组织的表面的3D结构。具体地，集束调整通过最小化在像素空间中或3D空间中定义的度量中的2D再投影误差，相对于2D图像中定义的误差度量来调整单独的帧之间的估计相对姿态的集合以及与帧相关联的原始相机姿态来优化切除的组织的最终几何结构，在该3D空间中，切除的组织的表面的对应3D点之间的3D距离被最小化。所估计的姿态与2.5D深度通道信息一起用于将2D/2.5D术中图像中的分割的切除的组织的表面拼接成切除的组织的一致的3D点云模型。图2的图像(c)示出了切除的组织202的3D点云表示206。
在步骤110处，根据切除的组织的表面的3D点云表示产生切除的组织的表面的3D网格表示。一旦使用拼接过程构造了表示对切除的组织的表面的描述的3D点云，3D点云则被转换为3D网格表示使得其体积可被计算。将网格技术应用于3D点云表示以产生切除的组织的表面的封闭的3D网格。例如，这样的网格划分技术可对3D点云执行三角化程序以将3D点云的点与光滑表面连接，并且然后用多边形(例如，四面体、六面体等)网格元素填充该表面。因为可见性信息对于每一个3D测量(即，相对于相机视图向量的3D点法线)是可用的，所以可将标准的公知的网格划分技术(诸如泊松三角化或移动立方体)应用于3D点云以产生光滑无缝的(封闭)3D网格。在示例性实施方式中，由于该技术保留了与自然结构的一致3D建模相关的光滑表面，所以使用泊松三角化来产生3D网格。取决于数据收集和分割策略，网格划分技术可利用诸如背景表面或一个或多个肿瘤形状先验等信息来提高为切除的组织产生的封闭3D网格表面的准确性。例如，可使用从术前成像数据(诸如患者的术前计算机断层扫描(CT)或磁共振(MR)图像)中提取的肿瘤形状先验来约束3D网格的构造。图2的图像(d)示出了切除的组织202的3D网格表示208。
在步骤112处，根据切除的组织的表面的3D网格表示估计切除的组织的体积。具体地，切除的组织的体积被计算为切除的组织的表面的3D网格表示的体积。在一个实施例中，在切除的组织的表面的3D网格表示是多边形网格的情况下，可通过在3D网格中的所有网格元素上对单独的多边形(例如四面体、六边形等)网格元素的体积进行积分来计算3D网格的体积。在另一个实施例中，因为3D网格表示是无缝(封闭)的表面网格，所以可使用散度定理算法来计算体积。在这种情况下，体积根据网格表面上的点的点列表被估计为：
其中i是指3D表面网格上的网格点，xi、yi和zi是点i的坐标，nxi、nyi和nzi是点i处的单位法向向量分量，Δai是点i处的差分表面积，并且kx、ky和kz是总和等于1的系数。系数kx、ky和kz被计算为点的总数的一部分，其中，这些点的梯度向量中的最大单位向量在系数下标的方向上。例如通过在计算机系统的显示装置上显示体积测量值(例如以cm3或任何其它体积单位表示)或者将体积测量值存储在计算机系统的存储装置或存储器中来输出切除图像的所计算的体积测量值。
在可能的实施例中，可基于术前医学成像数据(例如，CT或MR图像数据)来确定目标体积。例如，可在术前医学成像数据中检测待切除肿瘤，并且可基于术前医学图像数据估计肿瘤的体积。然后可将根据切除的组织的3D网格表示计算的体积测量值与目标体积进行比较，以确定切除是否成功移除了整个肿瘤。
如上所述，输出切除的组织的体积测量值。也可例如通过在显示装置上显示术中图像来输出在图1的步骤104中接收的术中图像。例如，术中图像流可作为视频在显示装置上输出。在图1的步骤106中由手术中图像的二进制分割产生的分割的切除的组织的表面、在图1的步骤108中产生的切除的组织的表面的3D点云表示和/或在图1的步骤110中产生的切除的组织的表面的3D网格表示也可例如通过在计算机系统的显示装置上显示这些步骤的结果来输出。
用于根据2D/2.5D术中图像数据来计算切除的组织的体积的上述方法可使用公知的计算机处理器、存储器单元、存储装置、计算机软件和其它部件在计算机上实施。图3中说明了这种计算机的高层级框图。计算机302包含处理器304，其通过执行定义这种操作的计算机程序指令来控制计算机302的整体操作。计算机程序指令可存储在存储装置312(例如，磁盘)中，并且在期望执行计算机程序指令时加载到存储器310中。因此，图1的方法的步骤可由存储在存储器310和/或存储装置312中的计算机程序指令来定义，并且由执行计算机程序指令的处理器304来控制。诸如腹腔镜、内窥镜或手术显微镜等术中图像采集装置320可连接到计算机302以将图像数据输入到计算机302。图像采集装置320和计算机302可通过网络进行无线通信。计算机302还包括一个或多个网络接口306，其用于经由网络与其它装置进行通信。计算机302还包括使得用户能够与计算机302(例如，显示器、键盘、鼠标、扬声器、按钮等)交互的其它输入/输出装置308。这样的输入/输出装置308可与计算机程序集合结合使用作为注释工具以注释从图像采集装置320接收到的体积。本领域技术人员将认识到，实际计算机的实施也可包含其它部件，并且图3是用于说明目的的这种计算机的一些部件的高层级表示。
前面的详细描述应被理解为在每个方面均是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围不是根据详细描述来确定，而是根据依据专利法允许的全部范围解译的权利要求来确定。应该理解的是，本文所示出和描述的实施例仅仅是对本发明原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可实施各种修改。本领域技术人员可在不脱离本发明的范围和精神的情况下实施各种其它特征组合。