具有一次性插管的便携式人体工程学内窥镜的制作方法

具有一次性插管的便携式人体工程学内窥镜
1.相关申请
2.本技术是下列各项专利的部分延续：2021年6月29日提交的美国专利申请第17/362,043号；2019年6月7日提交的国际专利申请第pct/us19/36060号；2019年3月25日提交的美国专利申请第16/363,209号，发布的专利号为10,278,563；2017年9月25日提交的国际专利申请第pct/us17/53171号。
3.本技术以引用的方式纳入了上述专利申请的全部内容，并要求获得上述每项专利申请以及它们直接或间接以引用方式纳入的申请和它们所要求的权益，包括美国临时申请、美国非临时申请和国际申请的申请日期。
4.本专利申请要求获得以下临时申请的权益，并通过引用纳入这些申请：
5.2021年7月4日提交的美国临时申请第63/218,362号；
6.2021年6月22日提交的美国临时申请第63/213,499号；
7.2021年6月13日提交的美国临时申请第63/210,034号；
8.2021年6月7日提交的美国临时申请第63/197,639号；
9.2021年6月7日提交的美国临时申请第63/197,611号；
10.2021年5月3日提交的美国临时申请第63/183,151号；
11.2021年2月24日提交的美国临时申请第63/153,252号；
12.2021年2月14日提交的美国临时申请第63/149,338号；
13.2021年1月18日提交的美国临时申请第63/138,751号；
14.2020年12月23日提交的美国临时申请第63/129,703号；
15.2020年12月13日提交的美国临时申请第63/124,803号；
16.2020年12月6日提交的美国临时申请第63/121,924号；
17.2020年12月4日提交的美国临时申请第63/121,246号；
18.2020年10月29日提交的美国临时申请第63/107,344号；
19.2020年10月6日提交的美国临时申请第63/087,935号；
20.2020年9月27日提交的美国临时申请第63/083,932号；
21.2020年9月13日提交的美国临时申请第63/077,675号；以及
22.2020年9月13日提交的美国临时申请第63/077,635号。
23.本专利申请还通过引用纳入下列各项国际申请、非临时申请和临时申请：
24.2017年9月25日提交的国际专利申请第pct/us17/53171号；
25.2014年4月22日发布的美国专利第8,702,594号；
26.2019年3月25日提交的美国专利申请第16/363,209号；
27.2019年6月7日提交的国际专利申请第pct/us19/36060号；
28.2020年12月7日提交的美国专利申请第16/972,989号；
29.2019年3月11日提交的美国临时申请第62/816,366号；
30.2018年5月15日提交的美国临时申请第62/671,445号；
31.2018年4月6日提交的美国临时申请第62/654,295号；
32.2018年3月25日提交的美国临时申请第62/647,817号；
33.2017年9月14日提交的美国临时申请第62/558,818号；
34.2017年8月26日提交的美国临时申请第62/550,581号；
35.2017年8月25日提交的美国临时申请第62/550,560号；
36.2017年8月25日提交的美国临时申请第62/550,188号；
37.2017年5月6日提交的美国临时申请第62/502,670号；
38.2017年4月14日提交的美国临时申请第62/485,641号；
39.2017年4月14日提交的美国临时申请第62/485,454号；
40.2016年12月2日提交的美国临时申请第62/429,368；
41.2016年11月30日提交的美国临时申请第62/428,018号；
42.2016年11月18日提交的美国临时申请第62/424,381号；
43.2016年11月17日提交的美国临时申请第62/423,213号；
44.2016年10月8日提交的美国临时申请第62/405,915号；
45.2016年9月26日提交的美国临时申请第62/399,712号；
46.2016年9月25日提交的美国临时申请第62/399,436号；
47.2016年9月25日提交的美国临时申请第62/399,429号；
48.2016年1月28日提交的美国临时申请第62/287,901号；
49.2016年1月17日提交的美国临时申请第62/279,784号；
50.2016年1月6日提交的美国临时申请第62/275,241号；
51.2016年1月5日提交的美国临时申请第62/275,222号；
52.2015年11月25日提交的美国临时申请第62/259,991；
53.2015年11月13日提交的美国临时申请第62/254,718号；
54.2015年3月29日提交的美国临时申请第62/139,754号；
55.2015年2月24日提交的美国临时申请第62/120,316号；和
56.2015年2月23日提交的美国临时申请第62/119,521号。
57.上述所有的非临时、临时和国际专利申请在此统称为“共同转让的合并申请”。
技术领域
58.本发明主要涉及内窥镜。更具体地说，一些实施例涉及便携式内窥镜设备，包括可重复使用的手柄部分和一次性或单次使用插管部分。


背景技术：

59.对于常规的刚性内窥镜和柔性内窥镜，透镜或光纤系统相对昂贵，并且重复多次使用。因此，每次使用后都必须经过严格灭菌和消毒。一次性内窥镜是一个新兴的内窥镜器械类别。一次性内窥镜是内窥镜仪器的新兴类别。在某些情况下，内窥镜的制造成本可以变得足够廉价使其仅用于单个患者。一次性或单次使用内窥镜降低了交叉污染和院感疾病的风险。
60.本专利说明书中描述或要求保护的主题不限于为解决任何特定缺点或仅在诸如上述环境中操作的具体实施例中所描述的。相反，提供以上背景仅是为了说明本文描述的
一些实施例在示例性技术领域的可行性。


技术实现要素：

61.在一些实施例中，一种多相机、多光谱内窥镜的第一相机系统包括：一个可插入病人体内的一次性插管；第一相机和第一光源以及第二相机和第二光源，均配置在所述插管的前端；其中：第一光源被配置为主要在第一波长范围内发光，第二光源被配置为主要在与第一波长范围不同的第二波长范围内发光；第一相机和第二相机的视场以及第一光源和第二光源的照明场至少部分重叠，以便两个相机基本上在同一时间观察病人的同一目标，同一目标基本上在同一时间被两个光源照亮；第一相机包括一个第一二维(2d)图像传感器和一个第一彩色滤光片，第二相机包括一个第二二维(2d)传感器和一个第二彩色滤光片，其允许通过的波长与第一彩色滤光片不同；处理系统接收用第一相机和第二相机拍摄的图像，并将这些图像处理成合成图像，将第一相机拍摄的目标的选定部分的图像叠加在用第二相机拍摄的目标图像上，这些图像的属性与目标的其余部分不同，从而突出目标的所述选定部分；一个显示器从处理系统接收所述合成图像，并显示至少一些所接收到的合成图像。
62.所述内窥镜可进一步包括以下一个或多个特征：(a)可重复使用的部分可选地固定在插管上并携带所述显示器，其中所述显示器包括具有包括插管前端视场的第二组相机系统，其中所述显示器被配置为可选地显示来自第二组相机系统的图像和所述合成图像，由此用户可以在插管插入病人时查看插管前端的图像并在插入后查看合成图像；(b)第一相机的空间分辨率比第二相机低但灵敏度高；(c)第一光源发出荧光成像的光，第二光源发出白光，第一相机和第一滤光片被配置为主要对来自病人体内目标的荧光成像，第二相机和第二滤光片被配置为主要对来自目标的反射白光成像；(d)第一光源可选地发射与荧光成像不同的光或蓝光，第二光源发射白光，第一相机和第一滤光片被配置为主要对来自病人体内目标的荧光或反射蓝光进行选择性成像，第二相机和第二滤光片被配置为主要对来自目标的反射白光进行成像；(e)所述第一和第二相机以及所述第一和第二光源可选地在以下情况下工作：(i)蓝色模式，其中第一光源被打开，但第二光源被关闭，第一相机捕获荧光图像，其中蓝色背景被过滤掉，而第二相机捕获荧光图像加上主要的蓝色背景；(ii)白色模式，其中第二光源被打开，但第一光源被关闭，第一相机捕获红色或红外图像，第二相机主要捕获标准白光图像；(f)所述处理系统被配置为对捕获的图像进行空间关联或对应，即所述模式蓝，并通过结合两者的特征产生第一校正和增强的图像；(g)所述处理系统被配置为对捕获的图像进行空间关联或对应，即所述模式白，并通过结合两者的特征产生第二校正和增强的图像；(h)所述处理系统被配置为将第一校正和增强的图像与第二校正和增强的图像相结合，以产生所述合成图像；(i)所述插管包括两个通道，其中每个通道被配置为作为流体流入或流出病人的液体通道或手术工具的工作通道，据此，在用通过另一通道的手术工具进行的手术期间，其中一个通道可以将液体或碎片从病人体内清除；(j)位于插管后端的流体枢纽，其中所述插管被配置为与流体枢纽的前端部分一起围绕纵向插管轴相对旋转；(k)在插管的后端有一个固定在其上的流体枢纽，以及一个可选地固定在流体枢纽上的可重复使用部分，所述可重复使用部分包括一个与插管的前端可操作地连接的拇指杆，并配置为通过拇指杆的手动操作使插管的前端相对于插管的其余部分弯曲；(l)在插管的
后端有一个流体枢纽，可重复使用部分通过相对线性运动和四分之一圈的相对旋转运动可选地固定在流体枢纽上；(m)所述可重复使用部分包括一个拇指杆，一个由此驱动的驱动齿轮，所述流体枢纽包括一个与驱动齿轮啮合并与插管的前端操作连接的从动齿轮，以根据拇指杆的手动操作将前端向选定方向弯曲。
63.在一些实施例中，内窥镜包括：一个可插入病人体内的一次性插管；位于插管前端的第一相机系统；可重复使用部分，该部分位于插管的后端并与插管可选地连接；由可重复使用部分携带的显示器；由显示器携带的第二相机系统，所述第二相机系统具有包括所述摄像机前端的视场；其中，所述显示器被配置为显示用所述第二相机系统拍摄的图像，并在插管插入患者体内时显示插管前端周围，以及在插管插入患者体内后显示用所述第一相机系统拍摄的图像。
64.前述内窥镜进一步包括以下一个或多个特征：(a)所述第二相机系统包括在横向于插管纵轴的方向上相互间隔的两台相机，并提供插管前端及其周围的景深图像；(b)第一相机系统包括在第一波长范围内捕获图像的第一相机和在不同波长范围内捕获图像的第二相机；(c)进一步包括一个处理系统，该系统被配置为将用所述第一和第二相机捕获的图像的各个方面组合成合成图像，以增强医学上可观的解剖特征。
65.在一些实施例，一种内窥镜方法包括：配有可插入病人体内一次性插管；将插管可选地连接到携带显示屏的可重复使用部分；用位于插管前端的第一相机和同样位于插管前端的第二相机同时捕捉病人器官的图像，第一相机在第一波长范围内捕捉图像，第二相机在不同的第二波长范围内捕捉图像；将图像处理成合成图像，将第一相机拍摄的目标的选定部分的图像叠加在第二相机拍摄的目标的图像上，这些图像的属性与目标的其余部分不同，从而突出目标的所述选定部分；显示至少一些所接收到的合成图像。
66.该方法可进一步包括当插管被插入病人体内时，用所述显示器携带的第二组相机系统拍摄插管前端图像，并在所述显示器上可选地显示相机前端及其周围的图像。
67.如本文中所使用的，语法连词“和”，“或”和“和/或”均旨在指示它们所连接的情形、物体或主题可能会有或已经存在一种或多种选择。以这种方式，如本文所用，用语“或”在所有情况下表示“兼或”的含义，而不是“异或”的含义。
68.如本文所使用的，术语“外科手术”或“手术”是指对患者组织的任何物理干预，并且不一定涉及切割患者组织或闭合先前已有的伤口。
附图说明
69.为了进一步阐明本专利说明书保护主题的上述和其他优点以及特征，以附图来说明具体实施例。这些附图应当理解为仅描绘了示例性实施例，因此不应被认为是对本专利说明书或所附权利要求保护范围的限制。使用以下附图，特异性和细节化描述、解释本发明的主题，其中：
70.图1a、图1b图1c是本发明一些实施例中的具有一次性插管的便携式人体工程学内窥镜的侧视图、俯视图和后视图；
71.图2a和图2b是本发明一些实施例中的具有一次性插管的便携式人体工程学内窥镜的立体图；
72.图3a和图3b是立体图，示出了一些实施例中便携式人体工程学内窥镜的可重复使
用部分和一次性部分的接合和分离；
73.图4a和图4b是本发明一些实施例中包括与便携式人体工程学内窥镜一起使用的多个相机和照明模块的前端尖端的立体图和示意图；
74.图5是一些实施例中用于多光谱成像和手术应用的双相机双光源系统的示意图；
75.图6是一个概念图，说明在一些实施例中用于多光谱成像和手术应用的双相机双光源系统的设计方面；
76.图7是一些实施例中说明用于多光谱成像和手术应用的双相机双光源系统可能的彩色滤光片阵列配置的图；
77.图8是显示nyxel和传统像素的量子效率与波长的关系图；
78.图9是一个示意图，说明在一些实施例中结合来自双相机双光源系统的多光谱图像数据的进一步方面。；
79.图10是一个立体图，示出一些实施例中在内窥镜系统上向用户显示的组合的、空间配准的图像；以及
80.图11是一些实施例中具有一个或多个前置摄像头的内窥镜系统的立体图。
具体实施方式
81.下面提供了优选实施例的详细描述。尽管描述了几个实施例，但是应该理解，本专利说明书中描述的新主题不限于本文描述的任何一个实施例或实施例的组合，而是包括许多替代、修改和等同形式。另外，尽管在下面的说明书中阐述了许多具体细节以便提供透彻地理解，但是缺少部分甚至全部这些细节仍能实现一些实施例。而且，为了清楚起见，没有详细描述现有技术中已知的某些技术材料，以避免不必要地淡化本文所述的新主题。应该清楚的是，这里描述的一个或几个具体实施例的各个特征可以与其他描述的实施例的特征或其他特征结合使用。此外，各个附图中相同的附图标记和指示表示相同的元件。
82.一些实施例说明了一种便携式人体工程学内窥镜系统，其包括一个具有至少两个独立的相机和两个独立光源的成像系统。相机和光源被配置为用于同时对目标物体(如组织)进行成像。通过采用不同的光照、不同的滤光片和控制光谱响应，可以捕捉到目标物体的不同特征。在一些实施例中，系统处理器可以协调相机、光源，并结合所得到的图像，向使用者显示目标物体的增强型合成图像。在一些实施例中，所述系统可以被配置为执行nbi(窄带成像)。在一些实施例中，所述系统还可以被配置为执行荧光成像。
83.本文所使用的，彩色滤光片数阵(cfa)指的是放置在像素上的滤光片，以允许一定的带宽通过。常规消费类相机，如手机相机使用rgb cfa。对于其他特殊应用，可以设计特殊的cfa。
84.本文所用窄带成像(nbi)是指一种用于内窥镜诊断医学测试的彩色成像技术，其中使用特定蓝色和绿色波长的光来增强粘膜表面的某些方面的细节。在一些实施例中，可以通过内窥镜中的开关电子激活一个特殊的滤光板，促使使用最好是波长为415纳米(蓝色)和540纳米(绿色)的环境光。因为血红蛋白的光吸收峰值发生在这些波长上，所以血管会显得非常暗，使其能见度提高，并能更好地识别其他表面结构。
85.本文所用荧光成像(fi)是指荧光成像，有时使用荧光染料，以标记、突出或增强某些生物机制和/或结构。荧光本身是一种发光形式，是物质在吸收电磁辐射后发出一定波长
的光而产生的。例如，在蓝光内窥镜检查中，荧光染料(hexvix)被注射到膀胱内。然后用蓝光(约405纳米)照射组织，hexvix发出的荧光波长约为610纳米。请注意，在fi中，相机可以看到物体内部发出的荧光，而在nbi中，相机可以看到物体对各种带宽的光的反射。
86.在一些实施例中，描述了一种新型的双相机和双光源(dcdl)系统，用于多光谱或多色成像。公开了同时具有白光、荧光和红外图像的手术应用的实施例。
87.所述方法适用于一般的多光谱多波段成像。一些实施例中包括一种内窥镜系统，它包括两个独立的相机/led系统，它们被集成到同一个插管或内窥镜中。一个称为相机w的白光相机与称为光源的w白光led相配合。一个称为相机f的荧光相机与称为相机c的蓝光led相配合。在这种配置中，当光源c和光源w中的任何一个或两个关闭时，相机f被用作红外摄像机。
88.在一些实施例中，相机w针对白光内窥镜进行了优化，即用强而优的白光led来照亮物体，这样就可以获得高的图像分辨率。相机f对灵敏度进行了优化，因为通常情况下，荧光光源很弱。为了最大限度地提高cmos传感器像素的灵敏度和信噪比以获得高质量的成像，实施了以下措施。
89.在一些实施例中，在像素数阵上使用了特殊的彩色滤光片数阵(cfa)(如图7所示)，这样cmos传感器数阵对红色或红外光谱(接近600nm或更高)敏感。在一些实施例中，为了进一步提高灵敏度，优选将相对较大的像素(例如2.2um x 2.2um)用于相机f的cmos传感器。在这种情况下，相机f最好具有比相机w像素更低的空间分辨率(例如，1.75um x 1.75um或1.0um x 1.0um)，但灵敏度高得多。
90.图1a、图1b和图1c是一些实施例中具有一次性插管的便携式人体工程学内窥镜的侧视图、俯视图和后视图。系统100适合于简单快速的使用，最大限度地减少病人的不适感和高放置精度。系统100是由一次性的，或单次使用的部分102和可重复使用的部分104组成。这两部分102和104可以通过连接器相互配合和分离，下文将进一步详细说明。插管120在其前端110有一个成像和照明模块。一条电缆(未显示)位于插管内，为前端110上的相机和led照明模块提供控制信号和电源，并将视频图像数据从成像模块传输到手柄140和显示屏150，供使用者查看。在所示的实施例中，手柄140包括两个控制按钮142和144，可以分别配置为电源开/关和图像捕获。在一些实施例中，手柄140的形状如图所示为手枪式握把，并包括一个可充电的电池141，可通过电池门148进入。在一些实施例中，电池141是一个18650型锂离子电池。手柄140内还包括安装在印刷电路板(pcb)145上的电子模块143。电子模块143和pcb 145被配置为执行各种进程，如视频处理和捕获、向外部设备传输数据的wi-fi、照明控制、用户界面处理和诊断。电子模块143还被配置为包括至少一个非易失性存储器模块，用于存储从成像模块捕获的视频和图像。在一些实施例中，显示器150既可以倾斜又可以旋转，以便为使用者提供最佳的观察角度。旋转接头152被配置为提供显示器150的旋转，如图1c中的虚线箭头所示，而铰链接头154被配置为提供显示器150的旋转，如图1b中的虚线箭头所示。在一些实施例中，铰链接头被配置为允许显示器在前端倾斜约90度，或接近90度。这种倾斜是有用的，例如，当给操作者一个无障碍或较少障碍的视野时。手柄140还包括一个可向上或向下移动的拇指杆146，如虚线箭头所示。向上和向下移动拇指杆146会使前端110分别向上和向下弯曲，如虚线180和182所示。在2021年6月29日提交的美国专利申请第17/362,043号中提供了关于拇指杆146控制前端110和插管120转向的操作的进一步细
节，通过引用并入本文，在此称为
“‘
043申请”。
91.插管120后端连接到一个流体枢纽172，在本实施例中包括两个流体端口132和134。在流体枢纽的后端是一个项圈168。在一些实施例中，项圈168被配置为可旋转，以便允许一次性使用部分102和可重复使用部分104的“插头和扭锁”式配合，这将在下文进一步详细说明。在一些实施例，流体枢纽172的至少一部分，连同插管120和前端110，可沿插管120的主要纵轴相对于手柄140手动旋转，如实线箭头124所示。因此，流体枢纽172的可旋转部分导致插管120和前端110的旋转，如实线箭头122所示。在一些实施例中，旋转插管120和前端110以及移动拇指杆146的组合，使用者可以根据需要“引导”前端110的方向。在一些实施例中，插管120的优选工作长度大约为12英寸，但根据医疗应用，可以使用更短或更长的长度，优选的外径为5.5至6.5英寸，但根据医疗应用以及相机和照明技术的发展，可以使用更大或更小的直径。
92.图2a和图2b是一些实施例中具有一次性插管的便携式人体工程学内窥镜的立体图。图2a示出了用于通过管子232、连接器234和流体端口134的注射器230，通过插管120内的流体腔(未显示)供应流体，例如生理盐水。在一些实施例中，插管120是半刚性的。插管120有足够的硬度，因此在它所要进行的医疗程序中预期的纵向推力和拉力下不会崩溃。另一方面，插管120有足够的弹性，以便在通过弯曲的解剖结构时可以弯曲。
93.图3a和图3b为立体图，说明了在一些实例中便携式人体工程学内窥镜的可重复使用部分和一次性部分的接合和分离。一次性使用部分102和可重复使用部分104通过机械和电气连接器可连接和分离。电气连接是通过一次性使用部分102上的usb-c型插头302(图3a)和可重复使用部分104上的usb-c型插座304(图3b)进行的。机械连接既包括固定连接一次性使用部分102和可重复使用部分104的结构连接，也包括转向连接，通过这种连接，来自可重复使用部分104的转向结构的转向输入可以转给一次性使用部分102的转向部件。在这个实施例中，结构连接包括一次性使用部分102上的一个公圆形部分312，其形状可与可重复使用部分104上的一个母插口314紧密配合。该结构连接还包括一个扭锁式的机制，其中公部分322可以插入母开口324，然后通过扭动公部分322大约四分之一圈(90度)来锁定。扭转动作可以通过有纹理或滚花的环圈168手动实施。通过这种方式，连接可以被配置为“插拔”式连接。转向连接是通过将可重复使用部分104上的传动齿轮334与一次性使用部分102上的从动齿轮332相啮合来实现的。
94.图4a和图4b是一些实施方例中包括用于便携式人体工程学内窥镜的多个相机和照明模块的前端的立体图和示意图。在图4a中，前端110被显示为连接到插管120的前端。在一些实施例中，前端110包括一个壳体410，与插管120的前端分开成型，并粘合在一起。壳体410内容纳有两个相机模块：相机f模块420和相机w模块430。每个相机f 420和相机w 430模块包括一个镜头和传感器。每个相机f 420和相机w 430的传感器包括一个颜色传感器，彩色滤光片数阵，以及电子和电路，下文将进一步详细描述。在相机f模块420的两侧有两个蓝色led灯422和424，被配置为发射适合荧光内镜检查的激光。在一些实施例中，蓝色led灯422和424被配置为发射大约410纳米(紫蓝色)的光。在相机w模块430的两侧是两个白光led 430和434，配置为发射适合可见白光内窥镜检查的白光。图4a中还显示了端口412，该端口被配置为提供液体(流入或流出病人)和/或提供工具或其他设备可以通过的开口(例如针)。请注意，尽管图4a显示了总共四个led(两个白色和两个蓝色)，一般来说，根据所需的
照明质量、内窥镜尺寸和led特性如尺寸和亮度等因素，可以提供其他数量的led。在一些实施例中，可以提供三个或更少的led，在一些实施例中，可以提供10个或更多的led。此外，白色和蓝色led的数量不一定相等，也取决于各种因素。led组可以是3个、4个或更多。也可以用其他光源代替，如传递其他地方产生的光的光学纤维。
95.在图4b中，所示的实施例包括两个独立的设备/流体通道414和416。在这种情况下，两者的内径都是2.2毫米。在一些实施例中，通道414可以连接到流体端口134(图1a)，而通道416连接到流体端口132(图1a)。在一些实施例中，为了提高对荧光的敏感性，相机f 420的cmos传感器被配置成比相机w 430更大的像素。例如，相机f的像素可以是2.2um x 2.2um，排列在400x400的矩阵尺寸中，而相机w的像素是1.0um x 1.0um或1.75umx1.75um，排列在更高的空间分辨率矩阵尺寸。由于白光led往往相对较强，相机w 430模块可以包括一个像素较小的cmos传感器，如1.75um x 1.75um或1um x 1um，因此可以实现更高的空间分辨率，矩阵尺寸可达720x720。
96.在一些实施例中，相机f 420用于和部分cfa进行蓝光(荧光)内镜检查。一个实施例显示在图7中，其中只使用了r滤光片，因此蓝光和绿光被过滤掉了，到达传感器的大部分光线是红色。在一些实施例中，使用红外相机作为相机f。
97.图5是一些实施例中用于多光谱成像和手术应用的双相机双光源系统的示意图。如图所示，前端110包括相机和照明模块，即相机f、光源c、相机w和光源w。相机f相机420被配置为捕捉特定颜色或带宽的图像，如以610纳米为中心的窄带的荧光。相机f 420的滤光片被设计为阻挡其他波长的入射光，例如通过使用专门设计的cfa数阵。相机f可用于nbi或fi，这取决于特定的应用。用于相机f 420的光源c(422和424)，在荧光成像的情况下可以是激光，在nbi的情况下可以是简单的蓝光或绿光。可以使用led或特殊光源。在一些实施例中，相机w 430是普通的白光相机，如手机的摄像头。可以使用典型的rgb cfa，此外还可以使用红外滤光片。通常可以使用一个过滤掉50％的650纳米以上波长的红外滤光片。光源w的光源w(432和434)可以是具有接近白昼光的各种色调的led灯。插管120包括电缆450和452。图f指的是由相机f捕获的图像，可以是荧光，或者在nbi的情况下，是绿光或蓝光的反射。图w指的是相机w捕获的图像，可能是荧光，或者在nbi的情况下，是绿色或蓝色光的反射。
98.因为内窥镜有两部相机，可以同时操作，并有不同的照明组合，如光源c、光源w(或其他光带)，该系统利用了有两只“眼睛”看着同一目标的优势，但同时看到目标的不同方面，从而从物体和目标中提取更多信息。例如，当蓝光亮起时，相机f会看到大部分的荧光发射，而相机w则同时看到物体对光源c的反射(可能非常强烈)和一点点的荧光。由于两部相机是同步的，而且在空间上也是相对配准的，不同种类的综合信息被传递给使用者，与只看到关于物体或目标的两种信息中的一种相比，改善了临床体验。
99.在一些实施例中，可以使用nyxel技术，该技术由omnivision开发。nyxel像素可用于相机f 420，其像素灵敏度有显著提高，特别是对红色和近红外带宽的灵敏度。这对于检测610纳米左右的荧光特别有用。
100.在电子模块143中，执行前端处理和主系统处理。在一些实施例中，图像被合成，在显示器150上显示。
101.图6是一个概念图，说明一些实施例中用于多光谱成像和手术应用的双相机双光
源系统的设计方面。一般来说，最好能捕获目标物体(如人体组织)的多色或多光谱图像。通常，物体的可见光图像加上由其他色带捕获的图像被用来更好地描述目标组织和形状。两台相机(相机f、相机w)关联两个光源(光源c、光源w)。相机f是一个光学相机，对某些色带敏感，例如红色和红外。相机f的输出是图像f。光源c是一个光源(c波段)，而不是白光。在双频成像(dbi)中，光源c可以是绿色或蓝色。在荧光成像中，它也可以是激发物体发出荧光色的光源。相机w是一种对某些色带(b)敏感的光学相机，例如白光。相机w的输出是图w。光源w是一个发射特定色带b的光源，例如白光。
102.图7示出了一些实施中用于多光谱成像和手术应用的双相机双光源系统可能的彩色滤光片数阵配置。在一些实施例中，相机f使用nyxel像素(来自omnivision)和“仅红色”滤光片数阵，即camf rrrr滤光片。这种配置允许红色和/或红外波段通过，同时过滤掉背景蓝光和绿光。
103.与nyxel cfa或old cfa相比，相机f可以达到四倍的红色分辨率，因为nyxel或old cfa排列中的四个像素中就有一个用于捕捉红色。另一方面，图7中相机f排列中的每个像素都被用来捕捉红色。
104.图8示出了nyxel和传统像素的量子效率与波长的关系。在该图中，量子效率显示的是ominivision开发的新传感器，nyxel像素。曲线810是nyxel蓝色像素。曲线812是常规的蓝色像素。曲线820是nyxel绿色像素。曲线822是常规的绿色像素。曲线830是nyxel红色像素。曲线832是常规的红色像素。尤其是曲线830和832可以看出，nyxel红色像素对红色或红外波段的灵敏度明显高于常规红色像素。
105.图9示出了一些实施例中结合双相机双光源系统的多波段图像数据的进一步方面。随着全局快门能力相机f的可用性，相机w可以在光源c和光源w被“打开”或“关闭”的不同组合下捕获图像帧。在“手术实施例1”中，光源c(蓝光)“打开”，但光源w“关闭”，所捕获的图像是相机f的图f和相机w的图wb。图f和图wb在空间上是配准或相关的。由于不同相机拍摄的图像之间存在短暂的时间滞后(或在两台相机同时拍摄时完全同步)，因此可以做到这一点。图wb提供了光源c照明下的背景图像，可用于修正图f的背景。当只有光源c打开时，图f数据与图wb合成，产生"eimgb"。
106.在蓝光内窥镜的情况下，图f的信噪比低(由于荧光信号弱)，因此使用高信噪比像素的cmos传感器。另一方面，图w具有较高的信噪比(由于强白光)，因此可以使用具有较小像素的cmos传感器来提高空间分辨率。
107.在“手术实施例2”中，相机f用于在光源c“关闭”时捕捉图ir。图w在光源w“打开”的情况下捕获标准白光图像。在这种情况下，图ir提供了目标的“热图”；在使用激光或射频等能量设备进行组织修饰时，它很有用。图ir可以提醒使用者注意热点或冷点。图ir和图w的数据可以在空间上配准或关联，这也是由于不同相机拍摄的图像之间的时间差很短(或没有时间差)。图ir和图w也可以结合或叠加，以提供热点和冷点的精确位置。也就是说，可以在普通的标准白光图像的背景下查看热点和冷点，为观看者提供热点和冷点的定位背景。
108.在“手术实施例3”中，图w与eimgb相结合。通过结合实施例1和2，高质量的eimgb数据与白光图像图w进行空间配准。观察者可获得高分辨率的图w，或荧光eimgb或两者的合成图。在一些实施例中，外科医生可以采用现有的图像来更好地观察他们的目标。荧光图像eimgb、白光图像图w和红外图像图ir在不同的可视化模式之间无缝切换。
109.在第四个“实施例4”(未在图9中显示)，随着临床病例的积累，可以设计人工智能算法(或机器学习)进行自动诊断。
110.图10是一个立体图，其中在一些实施例中在内窥镜系统上向使用者显示一个组合的、空间配准的图像。在显示的视图中，普通白光图像(图w)1020在显示屏幕150的大部分上显示。所示的实施例是图9所示的“实施例3”，其中eimgb图像与标准白光图像(图w)结合并进行空间配准。在这种情况下，区域1010和1012是从eimgb数据中得到的，并清楚地显示出癌性肿瘤。使用者可以很容易地在空间配准中查看癌症区域1010和1012与周围组织的普通彩色图像。这种混合或组合提供了一个大大增强的目标组织的视图。在一些实施例中，使用者可以通过按下一个切换按钮，如按钮142、按钮144(在图1b和2b中显示)，或通过触摸式显示器150上的软按钮1040，轻松地在不同模式(例如实施例1、2或3)之间切换。
111.图11是一个内窥镜系统的立体图，在一些实施例中该系统具有一个或多个朝前的相机。所示的实施例有两个向前(远端)的相机1140和1142。朝前的相机让使用者能够准确地看到前端的位置，而不必将屏幕移开。在外科手术过程中，特别是紧接着或在初次插入前端110时，使用者的视线可以主要集中在显示屏150上。通过面向前方的相机1140和1142，可以在显示屏150上看到前端的精确位置及其周围环境。图像增强，如人为地提供景深，在某些程序中可能是有益的。两个相机或其他手段(如激光雷达成像)可用于模拟以前端为中心的景深，以提高可用性。
112.尽管为了清楚起见已经详细描述了前述内容，但是显而易见的是，可以在不脱离本发明原理的情况下进行某些改变和修改。应当注意，存在许多实现本文描述的过程和装置的替代方式。因此，本实施例应被认为是说明性的而不是限制性的，并且本文描述的工作主体不限于本文给出的细节，这些细节可以在所附权利要求的范围和等同范围内对其进行修改。