用于可见光谱图像的基于不可见光谱光图像的操作的制作方法

背景技术：

1、在医疗程序期间捕获的基于光的图像数据在此类程序期间和之后具有许多用途。例如，在医疗程序期间可以显示来自内窥镜的医疗图像数据，以帮助医疗人员执行该程序。作为另一个示例，在医疗程序期间捕获的医疗图像数据可以用作计算机辅助医疗系统的控制信号。作为另一个示例，在医疗程序期间捕获的医疗图像数据也可以在医疗程序之后用于术后评估、诊断、指导等。

2、各种照射和图像感测技术已被用于捕获医疗程序的图像。可见光谱发光源和图像传感器已被用于捕获医疗程序的彩色(白光)图像。不可见光谱图像传感器，有时与不可见光谱发光源配对，已被用于捕获医疗程序的不可见光谱图像。

技术实现思路

1、以下描述呈现了本文所述系统和方法的一个或多个方面的简化
技术实现要素：
。本发明内容不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的关键或重要元件/元素(element)，也不旨在勾勒任何或所有方面的范围。其唯一目的是呈现本文所述系统和方法的一个或多个方面，作为下文呈现的具体实施方式的前奏。

2、一种说明性系统包括：存储指令的存储器；和一个或多个处理器，其通信地耦合到存储器，并被配置为执行所述指令以执行包括以下项的过程：访问包括第一图像的第一图像序列，第一图像基于使用可见光谱光的与医疗程序相关联的场景的照射；访问包括第二图像的第二图像序列，第二图像基于使用不可见光谱光的场景的照射；检测第二图像序列中的对象；以及基于检测到的对象，对第一图像序列执行操作。

3、一种由一个或多个计算装置执行的说明性方法可以包括：访问包括第一图像的第一图像序列，第一图像基于使用可见光谱光的与医疗程序相关联的场景的照射；访问包括第二图像的第二图像序列，第二图像基于使用不可见光谱光的场景的照射；检测第二图像序列中的对象；以及基于检测到的对象，对第一图像序列执行操作。

4、一种说明性非瞬态计算机可读介质可以存储指令，所述指令在执行时指导计算装置的处理器执行包括以下项的过程：访问包括第一图像的第一图像序列，第一图像基于使用可见光谱光的与医疗程序相关联的场景的照射；访问包括第二图像的第二图像序列，第二图像基于使用不可见光谱光的外科手术场景的照射；检测第二图像序列中的对象；以及基于检测到的对象，对第一图像序列执行操作。

技术特征：

1.一种系统，包括：

2.根据权利要求1所述的系统，其中所述不可见光谱光包括荧光。

3.根据权利要求1所述的系统，其中所述不可见光谱光包括红外光。

4.根据权利要求1所述的系统，其中以每秒图像的第一速率捕获所述第一图像，其中以每秒图像的第二速率捕获所述第二图像，并且其中所述第二速率小于所述第一速率。

5.根据权利要求1所述的系统，其中所述过程还包括：访问包括第三图像的第三图像序列，检测所述第三图像序列中的第二对象，并基于检测到的所述对象和检测到的所述第二对象执行所述操作。

6.根据权利要求1所述的系统，其中当图像捕获装置和所述场景相对于彼此移动时，所述图像捕获装置捕获所述第一图像序列和所述第二图像序列，其中在第一时间处捕获所述第一图像序列中的第一图像，并且在第二时间处捕获所述第二图像序列中的第二图像，并且其中基于指示所述图像捕获装置在所述第一时间和所述第二时间之间的移动的数据对所述第二图像进行几何变换。

7.根据权利要求1所述的系统，其中所述过程还包括识别在所述第二图像序列中检测到的所述对象，并且其中所述操作包括基于对所述对象的所述识别将标签应用于所述第一图像序列。

8.根据权利要求1所述的系统，其中所述操作包括基于在所述第二图像序列中检测到的所述对象来修改第一图像中的像素。

9.根据权利要求1所述的系统，其中所述过程还包括：访问包括第三图像的第三图像序列，检测所述第三图像序列中的第二对象，以及基于检测到的所述第二对象对所述第一图像序列执行第二操作。

10.根据权利要求1所述的系统，其中所述第一图像序列中的第一图像的子序列按时间顺序对应于所述第二图像序列中第二图像，其中所述过程还包括识别在所述第二图像序列中检测到的所述对象，其中识别的所述对象包括识别的解剖特征，并且其中识别的所述解剖特征的指示被应用于所述第一图像的子序列。

11.根据权利要求10所述的系统，其中所述应用包括标记或修改所述第一图像的子序列。

12.根据权利要求1所述的系统，其中与捕获所述第二图像序列对应的由发光源提供的光对人类视觉是不可察觉的。

13.根据权利要求1所述的系统，其中在捕获所述第一图像期间间歇地捕获所述第二图像，使得在没有捕获第二图像的时间段内捕获一些第一图像。

14.根据权利要求13所述的系统，其中所述第一图像和所述第二图像由相同传感器捕获，并且其中所述第一图像和所述第二图像是在互斥的时间捕获的。

15.根据权利要求1所述的系统，其中所述过程还包括识别在所述第二图像序列中检测到的所述对象，并且其中与识别的所述对象对应的标签与所述第一图像序列一起显示。

16.根据权利要求1所述的系统，其中基于检测到的所述对象显示第一图像的分割。

17.根据权利要求1所述的系统，其中基于检测到的所述对象来控制计算机辅助医疗系统。

18.根据权利要求17所述的系统，其中所述计算机辅助医疗系统包括操纵器臂，并且其中所述控制包括基于检测到的所述对象禁止所述操纵器臂的移动。

19.根据权利要求1所述的系统，其中检测到的所述对象对应于所述场景中的组织的内部的所述场景的解剖特征，并且其中所述过程还包括构建所述解剖特征的三维模型。

20.根据权利要求1所述的系统，所述过程还包括：

21.根据权利要求20所述的系统，其中所述操作包括触发视频记录、更新用户接口或渲染通知中的一个或多个。

22.根据权利要求1所述的系统，其中所述过程还包括将所述对象识别为解剖特征，并且其中将与识别的所述解剖特征对应的标识符提供给算法，所述算法(i)识别外科手术程序的片段，(ii)识别医疗程序的类型，或(iii)评估分子的标识。

23.根据权利要求1所述的系统，其中所述过程还包括：

24.根据权利要求1所述的系统，其中在所述第二图像序列中检测到所述对象的同时，显示所述第一图像序列。

25.根据权利要求1所述的系统，其中所述过程还包括使得显示所述第一图像序列，但不显示所述第二图像序列。

26.根据权利要求1所述的系统，其中所述第一图像序列和所述第二图像序列由感测可见光和不可见光的成像装置捕获。

27.根据权利要求1所述的系统，其中在外科手术程序期间对所述第一图像序列执行所述操作。

28.根据权利要求27所述的系统，其中访问所述第一图像序列和所述第二图像序列包括在所述外科手术程序期间从用于执行所述外科手术程序的计算机辅助医疗系统的成像装置接收包括所述第一图像和所述第二图像的图像流，并且其中在接收到所述图像流时实时执行所述操作。

29.根据权利要求1所述的系统，其中所述过程还包括将所述第二图像输入到机器学习模型。

30.一种由一个或多个计算装置执行的方法，所述方法包括：

31.根据权利要求30所述的方法，其中所述不可见光谱光包括荧光。

32.根据权利要求30所述的方法，其中所述不可见光谱光包括红外光。

33.根据权利要求30所述的方法，其中以每秒图像的第一速率捕获所述第一图像，其中以每秒图像的第二速率捕获所述第二图像，并且其中所述第二速率小于所述第一速率。

34.根据权利要求30所述的方法，还包括：访问包括第三图像的第三图像序列，检测所述第三图像序列中的第二对象，并基于检测到的所述对象和检测到的所述第二对象执行所述操作。

35.根据权利要求30所述的方法，其中当图像捕获装置和所述场景相对于彼此移动时，所述图像捕获装置捕获所述第一图像序列和所述第二图像序列，其中在第一时间处捕获所述第一图像序列中的第一图像，并且在第二时间处捕获所述第二图像序列中的第二图像，并且其中基于指示所述图像捕获装置在所述第一时间和所述第二时间之间的移动的数据对所述第二图像进行几何变换。

36.根据权利要求30所述的方法，还包括识别在所述第二图像序列中检测到的所述对象，并且其中所述操作包括基于对所述对象的所述识别将标签应用于所述第一图像序列。

37.根据权利要求30所述的方法，其中所述操作包括基于在所述第二图像序列中检测到的所述对象来修改第一图像中的像素。

38.根据权利要求30所述的方法，还包括：访问包括第三图像的第三图像序列，检测所述第三图像序列中的第二对象，以及基于检测到的所述第二对象对所述第一图像序列执行第二操作。

39.根据权利要求30所述的方法，其中所述第一图像序列中的第一图像的子序列按时间顺序对应于所述第二图像序列中第二图像，其中所述方法还包括识别在所述第二图像序列中检测到的所述对象，其中识别的所述对象包括识别的解剖特征，并且其中识别的所述解剖特征的指示被应用于所述第一图像的子序列。

40.根据权利要求39所述的方法，其中所述应用包括标记或修改所述第一图像的子序列。

41.根据权利要求30所述的方法，其中与捕获所述第二图像序列对应的由发光源提供的光对人类视觉是不可察觉的。

42.根据权利要求30所述的方法，其中在捕获所述第一图像期间间歇地捕获所述第二图像，使得在没有捕获第二图像的时间段内捕获一些第一图像。

43.根据权利要求42所述的方法，其中所述第一图像和所述第二图像由相同传感器捕获，并且其中所述第一图像和所述第二图像是在互斥的时间捕获的。

44.根据权利要求30所述的方法，还包括识别在所述第二图像序列中检测到的所述对象，并且其中与识别的所述对象对应的标签与所述第一图像序列一起显示。

45.根据权利要求30所述的方法，其中基于检测到的所述对象显示第一图像的分割。

46.根据权利要求30所述的方法，其中基于检测到的所述对象来控制计算机辅助医疗系统。

47.根据权利要求46所述的方法，其中所述计算机辅助医疗系统包括操纵器臂，并且其中所述控制包括基于检测到的所述对象禁止所述操纵器臂的移动。

48.根据权利要求30所述的方法，其中检测到的所述对象对应于所述场景中的组织的内部的所述场景的解剖特征，并且其中所述方法还包括构建所述解剖特征的三维模型。

49.根据权利要求30所述的方法，还包括：

50.根据权利要求49所述的方法，其中所述第二操作包括触发视频记录、更新用户接口或渲染通知。

51.根据权利要求30所述的方法，还包括将所述对象识别为解剖特征，并且其中将与识别的所述解剖特征对应的标识符提供给算法，所述算法(i)识别外科手术程序的片段，(ii)识别医疗程序的类型，或(iii)评估分子的标识。

52.根据权利要求30所述的方法，还包括：

53.根据权利要求30所述的方法，其中在所述第二图像序列中检测到所述对象的同时，显示所述第一图像序列。

54.根据权利要求30所述的方法，还包括使得显示所述第一图像序列，但不显示所述第二图像序列。

55.根据权利要求30所述的方法，其中所述第一图像序列和所述第二图像序列由感测可见光和不可见光的成像装置捕获。

56.根据权利要求30所述的方法，其中在外科手术程序期间对所述第一图像序列执行所述操作。

57.根据权利要求56所述的方法，其中访问所述第一图像序列和所述第二图像序列包括在所述外科手术程序期间从用于执行所述外科手术程序的计算机辅助医疗系统的成像装置接收包括所述第一图像和所述第二图像的图像流，并且其中在接收到所述图像流时实时执行所述操作。

58.根据权利要求30所述的方法，还包括将所述第二图像输入到机器学习模型。

59.一种存储指令的非瞬态计算机可读介质，所述指令在被执行时指导计算装置的处理器执行包括以下项的过程：

技术总结
说明性系统可以访问包括第一图像的第一图像序列，第一图像基于使用可见光谱光的与医疗程序相关联的场景的照射；访问包括第二图像的第二图像序列，第二图像基于使用不可见光谱光的场景的照射；检测第二图像序列中的对象；并基于检测到的对象对第一图像序列执行操作。

技术研发人员：A·M·扎克,T·W·罗杰斯
受保护的技术使用者：直观外科手术操作公司
技术研发日：
技术公布日：2025/2/24