用于提供外科手术指导的系统和方法与流程

背景技术：

1、外科医生在操作期间可使用解剖学和解剖标志作为进行术中外科手术决策的指导。这样的解剖标志使得外科医生在外科手术过程期间更容易获得和保持视觉取向，这可以防止由于个体变化或病理而对改变或隐藏的关键结构造成未识别的或无意的伤害。在外科手术过程期间使损伤最小化的一种策略是预期识别关键结构并使用安全的关键视图，即描绘在给定过程期间使意外组织损伤最小化所必需的相关解剖结构的术中视图。使用可见光谱以外的光的解剖视觉也可以在术中提供价值。

技术实现思路

1、目前可用的外科手术指导系统可基于视觉光谱中的标准术中腹腔镜和机器人辅助内窥镜数据集提供解剖位置和组织结构轮廓的预测。考虑到患者解剖学、病理学、外科手术技术以及外科医生风格、能力和熟练程度的变化，这种常规系统的精度和准确度不足以用于临床应用，并且这种系统的可行性是假设的和不切实际的。

2、本文认识到目前可用的外科手术指导系统的各种限制。鉴于与基于人类视觉光谱的常规外科手术指导系统相关联的限制，本公开提供了基于人工智能(ai)的系统，其可用于改善先验或预期的外科手术结果。

3、本公开一般涉及使用人工智能(ai)为外科医生和其他手术助手提供增强视觉、实时指导和决策支持的系统和方法。更具体地，本公开提供了用于在外科手术过程之前、期间和/或之后使用机器学习算法来在术中实时预测关键结构和/或组织活力的位置和识别关键结构和/或组织活力的系统和方法，所述机器学习算法在基于白光的图像和/或视频、诸如荧光近红外(nir)图像和/或视频或者放射性标记的染料成像的化学信号增强剂、固有发色团、自身荧光以及诸如基于激光散斑的图像和/或视频光学的增强信号的任意组合上训练，以便执行、分析、识别、预期和计划预料的步骤并避免非预料的步骤。本公开还提供了实时的基于术中机器学习的指导系统，其可以在外科手术过程(例如，解剖)之前和/或期间在关键结构上或附近提供实时视觉支持，使得外科手术操作者可以在手术期间识别相关的关键结构，评估组织活力，和/或做出外科手术决策。在一些实施方式中，这种实时的基于机器学习的指导系统还可以被实现为用于事后医学或外科手术训练的工具。本公开还提供了一种系统，该系统具有在外科手术过程或介入期间执行组织操纵时自主或半自主地跟踪和更新活动和可变形组织目标的能力。

4、一方面，本公开提供了一种外科手术指导系统，其包括图像处理模块，该图像处理模块被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像或视频数据，以及(ii)基于(a)图像或视频数据或者与图像或视频相关联的生理数据以及(b)包括与患者或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集，来生成一个或多个医学预测或评估。一个或多个训练数据集可以包括使用多个成像模态获得的解剖和生理数据。该系统还可以包括可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。在一些实施方式中，由可视化模块提供的增强视图包括对应于一个或多个组织区域的组织活力的信息或数据。在一些实施方式中，信息或数据包括组织活力的定量测量值。在一些实施方式，可视化模块与图像处理模块集成或可操作地耦合到图像处理模块。

5、在一些实施方式中，一个或多个图像和/或视频采集模块包括(i)第一图像和/或视频采集模块，其被配置为使用第一成像模态来捕获图像和/或视频，以及(ii)第二图像和/或者视频采集模块，其被配置为使用第二成像模态来捕获图像和/或视频。

6、在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的识别或分类。在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的预测位置。在一些实施方式中，一个或多个医学预测或评估在外科手术过程之前和期间向该外科手术操作者提供预测性临床决策支持。在一些实施方式中，一个或多个医学预测或评估部分地基于一个或多个计算机视觉算法的输出来生成或更新。在一些实施方式中，一个或多个医学预测或评估包括通过一个或多个通知或消息标题提供给用户或操作者的医学信息或实况指导。在一些实施方式中，一个或多个医学预测或评估包括外科手术场景中一个或多个组织区域的组织活力。

7、在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进一个或多个关键结构的预测位置。

8、在一些实施方式中，一个或多个训练数据集包括与一个或多个参考外科手术过程相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括与(i)外科手术过程的一个或多个关键阶段或场景或(ii)在所述外科手术过程期间可见或可检测的关键结构的一个或多个视图相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括使用腹腔镜、机器人辅助成像单元或成像传感器获得的医学数据，所述腹腔镜、机器人辅助成像单元或成像传感器被配置为生成红-绿-蓝可见光谱中的解剖图像和/或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于化学信号增强剂生成生理或功能成像数据。在一些实施方式中，化学信号增强剂包括icg、荧光或放射性标记的染料。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于激光散斑图案生成生理或功能成像数据。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括两个或更多个共同配准的图像或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括外科手术感兴趣的关键结构的分割的解剖位置。在一些实施方式中，一个或多个训练数据集包括使用多个成像模态获得的医学数据，所述多个成像模态实现生理图像或视频与对应的rgb图像或视频之间的直接客观关联。多个成像模态可以包括深度成像、距离映射、术中胆管造影、血管造影、导管造影、输尿管造影或淋巴管造影。在一些实施方式中，训练数据集包括灌注数据。

9、在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加生理数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，可视化模块被配置为实时显示和跟踪一个或多个医学工具或关键特征的位置和取向。在一些实施方式中，可视化模块被配置为显示与关键特征的预测轮廓或边界相对应的一个或多个关键特征的可视外形。在一些实施方式中，使用一个或多个图像和/或视频采集模块获得的图像数据包括灌注数据。在一些实施方式中，可视化模块被配置为在外科手术操作者执行外科手术过程的一个或多个步骤之前、期间或之后，显示指示一个或多个关键特征的预测位置的可视外形。在一些实施方式中，可视化模块被配置为在外科手术过程期间执行组织操纵时，自主或半自主地跟踪活动和可变形的组织目标。

10、在一些实施方式中，图像处理模块包括数据多路复用器，该数据多路复用器被配置为组合使用一个或多个图像和/或视频采集模块获得的解剖和/或生理数据。在一些实施方式中，图像处理模块还包括空间域或时间域上的一个或多个特征提取器。一个或多个特征提取器使用一个或多个训练数据集来训练，并被配置为从组合的解剖和/或生理数据中提取一个或多个特征。在一些实施方式中，一个或多个特征提取器包括空间特征提取器，该空间特征提取器被配置为检测空间特征并为每个图像帧生成特征集。在一些实施方式中，空间特征包括一个或多个关键结构的纹理、颜色或边缘。在一些实施方式中，一个或多个特征提取器包括时间特征提取器，该时间特征提取器被配置为检测多个图像帧上的多个时间特征或特征集。在一些实施方式中，时间特征对应于对比度、灌注或透视的变化。

11、在一些实施方式中，图像处理模块还包括视图分类器，该视图分类器被配置为使用一个或多个提取的特征来确定相对于外科手术场景的当前外科手术视图。在一些实施方式中，图像处理模块还包括组织分类器，该组织分类器被配置为使用一个或多个提取的特征来识别、检测或分类一个或多个组织。在一些实施方式中，图像处理模块还包括阶段检测器，该阶段检测器被配置为使用一个或多个提取的特征来确定外科手术阶段并基于该外科手术阶段生成指导。在一些实施方式中，图像处理模块还包括关键结构检测器，该关键结构检测器被配置为基于(i)使用组织分类器识别、检测或分类的一个或多个组织，(ii)使用视图分类器确定的当前外科手术视图，以及(iii)使用阶段检测器确定的外科手术阶段来定位和识别一个或多个关键特征。在一些实施方式中，图像处理模块还包括增强视图生成器，该增强视图生成器被配置为基于使用关键结构检测器定位和识别的一个或多个关键特征，显示与外科手术过程相关联的指导和度量。

12、本公开的另一方面提供了一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或多个计算机处理器、图形处理单元和/或数字信号处理器执行时实施上述或本文别处的任何方法。

13、本公开的另一方面提供了一种包括一个或多个计算机处理器和与其耦合的计算机存储器的系统。计算机存储器包括机器可执行代码，该机器可执行代码在由一个或多个计算机处理器执行时实施上述或本文别处的任何方法。

14、根据以下详细描述，本公开的附加方面和优点对于本领域技术人员来说将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。如将认识到的，本公开能够具有其他和不同的实施方式，并且其若干细节能够在各种明显的方面进行修改，所有这些都没有背离本公开。因此，附图和描述本质上应被视为是说明性的，而不是限制性的。

15、援引并入

16、本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请都具体且单独地指明通过引用并入。在通过引用并入的出版物和专利或专利申请与说明书中包含的公开内容相矛盾的情况下，说明书旨在取代和/或优先于任何此类矛盾的材料。