立体内窥镜投影装置和成像显示系统的制作方法

1.本实用新型涉及内窥镜成像技术领域，特别是涉及一种立体内窥镜的投影装置和成像显示系统。


背景技术：

2.在临床手术中，内窥镜是一种常见的一种医疗器械，能够伸入患者体内进行观察，以辅助医生进行诊疗判断和实施手术。目前，新兴的3d内窥镜对比传统内窥镜采集的二维图像，能够进一步提供作业面的深度信息，为医生临床应用提供了便利性。
3.目前主要是通过搭载大型的3d显示器或者医生佩戴3d眼镜实现内窥镜的3d成像，但是3d显示器的会增加系统的体积和重量，同时只有移动到显示器前方才能观察到图像，佩戴3d眼镜进行手术操作也对手术存在一定影响，因此，目前的3d成像方法在使用中都会存在限制，进而影响手术操作。


技术实现要素：

4.在本实施例中提供了一种立体内窥镜的投影装置和成像显示系统，以解决相关技术在使用中存在限制，进而影响手术操作的问题。
5.第一个方面，本实施例提供了立体内窥镜投影装置，其特征在于，包括：投影光源、超表面器件以及调控单元；其中，
6.所述的超表面器件表面设有用于对入射光进行相位调制的微纳单元；
7.所述的调控单元与所述超表面器件电连接；所述调控单元基于被检对象的全息图对所述超表面器件的微纳单元的调制相位进行电调控；
8.所述的投影光源的出射光入射至所述超表面器件，经过所述超表面器件进行光调制后在空间介质中形成所述被检对象的立体影像。
9.在其中的一些实施例中，所述的被检对象的全息图为相位全息图。
10.在其中的一些实施例中，所述的调控单元对所述超表面器件表面的微纳单元实现独立寻址和独立调控。
11.在其中的一些实施例中，所述投影光源为相干光源或部分相干光源。
12.第二个方面，本实施例提供了一种立体内窥镜成像显示系统，包括：信息采集模块、信号处理模块以及如第一方面所述的立体内窥镜投影装置；其中，
13.所述的信息采集模块用于被检对象表面的信息采集；
14.所述的信号处理模块根据采集模块的采集信号生成被检对象的全息图，并将所述的全息图传输至所述的立体内窥镜投影装置；
15.所述信息采集模块与所述信号处理模块电连接；所述的信号处理模块与所述的立体内窥镜投影装置电连接。
16.在其中的一些实施例中，所述信号处理模块包括：3d建模子模块和全息图生成子模块；
17.所述3d建模子模块，与所述全息图生成子模块连接，用于根据所述信息采集模块的采集信号生成所述被检对象的3d模型；
18.所述全息图生成子模块，用于根据所述3d模型计算得到对应的所述被检对象的全息图。
19.在其中的一些实施例中，所述信号处理模块与所述立体内窥镜投影装置一体化设置。
20.在其中的一些实施例中，所述信号处理模块与所述立体内窥镜投影装置分立设置。
21.在其中的一些实施例中，所述信息采集模块为双光路图像采集模块。
22.在其中的一些实施例中，所述双光路图像采集模块通过双目相机采集所述被检对象不同视角的二维图像，并将图像传输至所述的信号处理模块。
23.在其中的一些实施例中，所述3d建模子模块，与所述双光路图像采集模块连接，用于融合处理所述被检对象不同视角的二维图像，解析得到所述二维图像的深度信息；
24.根据所述深度信息建立三维点云图，构建所述被检对象的3d模型。
25.在其中的一些实施例中，所述信息采集模块为结构光发射和摄像接收系统。
26.在其中的一些实施例中，所述结构光发射和摄像接收系统，与所述信号处理模块连接，用于通过结构光发射组件将结构光投射到所述被检对象表面进行调制，通过摄像接收组件采集经过调制的所述结构光。
27.在其中的一些实施例中，所述3d建模子模块，与所述结构光发射和摄像接收系统连接，用于根据经过调制的结构光，计算所述被检对象的三维表面信息；
28.根据所述三维表面信息建立所述被检对象的3d模型。
29.在其中的一些实施例中，所述信息采集模块为tof发射接收系统。
30.在其中的一些实施例中，所述tof发射接收系统，与所述信号处理模块连接，用于通过tof发射接收组件将入射光投射到所述被检对象表面，再接收从所述被检对象表面反射的反射光。
31.在其中的一些实施例中，所述3d建模子模块，与所述tof发射接收系统连接，用于根据tof发射接收系统接收的反射光，计算所述被检对象的三维表面信息；
32.根据所述三维表面信息建立所述被检对象的3d模型。
33.本实用新型提供的一种立体投影装置和成像显示系统，其中装置包括：投影光源、超表面器件以及调控单元；其中，所述的超表面器件表面设有用于对入射光进行相位调制的微纳单元；所述的调控单元与所述超表面器件电连接；所述调控单元基于被检对象的全息图对所述超表面器件的微纳单元的调制相位进行电调控；所述的投影光源的出射光入射至所述超表面器件，经过所述超表面器件进行光调制后在空间介质中形成所述被检对象的立体影像，通过对超表面器件进行调制，从而能够投影实现内窥镜的立体成像，解决了现有技术中在使用中的限制，实现了不影响手术操作的效果。
附图说明
34.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
35.图1为一个实施例中立体内窥镜投影装置的示意图；
36.图2为一个实施例中立体内窥镜投影装置中投影的示意图；
37.图3为一个实施例中立体内窥镜成像显示系统的示意图；
38.图4为另一个实施例中立体内窥镜成像显示系统的示意图；
39.图5为一个优选实施例中立体内窥镜成像显示系统的结构框图。
40.图中：10、立体内窥镜投影装置；11、投影光源；12、超表面器件；13、调控单元；20、信息采集模块；30、信号处理模块；31、3d建模子模块；32、全息图生成子模块。
具体实施方式
41.下面将结合本实用新型实施方式中的附图，对本实用新型实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是本实用新型一部分实施方式，而不是全部的实施方式。基于本实用新型中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本实用新型保护的范围。
42.需要说明的是，当元件被称为“设于”另一个元件，它可以直接设在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“设置于”另一个元件，它可以是直接设置在另一个元件上或者可能同时存在居中元件。当一个元件被认为是“固定于”另一个元件，它可以是直接固定在另一个元件上或者可能同时存在居中元件。
43.除非另有定义，本文所使用的所有的技术和科学术语与属于本实用新型的技术领域的技术人员通常理解的含义相同。在本实用新型的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本实用新型。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
44.内窥镜是一种常用于临床手术中的医疗器械，能够伸入患者体内进行观察伤口或组织内部情况，以辅助医生进行诊疗判断和实施手术。传统的内窥镜只能采集被检对象的二维图像，因此无法全面地观察被检对象。目前，内窥镜技术逐渐向实现3d显示的方向发展，能够进一步提供被检对象作业面的深度信息，为医生临床应用提供了便利性。
45.3d内窥镜的出现为医生临床应用提供了便利性。从现有技术来看，3d内窥镜的显示方案主要有两种类型，一种是采用3d显示器进行显示，如公开号cn109770825a的申请文件中所公开的一种3d内窥镜，通过将探头采集的图像传输到3d显示器中进行显示。该方案在一定程度上解决了3d显示的效果，但是这种内窥镜系统必须要搭载大型的3d显示器才能实现较好的三维立体显示，不仅增加了系统的体积、重量，同时只有移动到显示屏前方才可以观察到图像，因此在实际应用中仍然存在较大的限制。另外一种方案是，医生需要佩戴3d眼镜的方案才可以实现伤口内部图像的观察，然而3d眼镜的使用对于医生手术操作的影响非常大，对于不经常戴眼镜或者已佩戴眼镜的医生来讲，极大的影响了手术的进行。
46.超表面器件，又称超颖表面，其表面周期性、准周期性或随机分布有亚波长的金属、介质天线，可以对电磁波的振幅、相位、偏振进行调制。超颖表面通过进行入射光和纳米天线的相互作用，为实现光场的调制提供了一种新途径。同时，超表面与传统的光调制器件相比，具有超薄、低损耗、平面化以及易于制造等优点，为光学系统的小型化实现提供了更大的优势。在本技术中将超表面器件用于内窥镜的3d显示中，具体提供了如下实施例。
47.在本实施例中提供了一种立体内窥镜投影装置，图1是本实施例立体内窥镜投影
装置的示意图，如图1所示，该立体内窥镜投影装置10包括：投影光源11、超表面器件12以及调控单元13；其中，
48.超表面器件12表面设有用于对入射光进行相位调制的微纳单元；
49.调控单元13与超表面器件12电连接；调控单元13基于被检对象的全息图对超表面器件12的微纳单元的调制相位进行电调控。
50.具体地，通过调控单元13与超表面器件12电连接，进而对超表面器件12表面的微纳单元进行电调控，电调控具体可以通过电压或电流实现，电流或电压对应对每个微纳单元的光调制性能实现入射光的相位和振幅调节。其中，全息图中包含图上每个位置对应的相位信息，超表面器件12表面的每个微纳单元与全息图中的相位信息一一对应，调控单元13基于图上每个位置的相位信息对应电调控超表面器件12上的各微纳单元。
51.投影光源11的出射光入射至超表面器件12，经过超表面器件12进行光调制后在空间介质中形成被检对象的立体影像。
52.具体地，投影光源11发射光线至经过调控的超表面器件12上，经过超表面器件12的微纳单元光调制后，在空间介质中形成被检对象的三维立体影像。
53.具体地，图2为本实施例中立体内窥镜投影装置中投影的示意图，如图2所示，投影光源发射入射光到超表面器件上，经过超表面器件后，能够在空间介质中形成三维立体影像，最终实现裸眼3d的效果。其中，空间介质包括气体(比如电离的空气)、毛玻璃、全息投影膜等，能够实现立体影像呈现的介质。
54.进一步地，在实际应用中可以根据需要的角度方向，调整投影光源位置，将立体影像投影至目标位置，增加了使用上的便捷性。
55.现有技术通常是通过搭载大型的3d显示器或者医生佩戴3d眼镜实现内窥镜的3d成像，但是3d显示器的会增加系统的体积和重量，同时只有移动到显示器前才能观察到图像，佩戴3d眼镜进行手术操作也对手术存在一定影响，因此，目前的3d成像方法在使用中都会存在限制，进而影响手术操作。本实施例提供的立体内窥镜投影装置在现有技术的基础上提供了有效的补充，通过上述结构，将超表面器件用于内窥镜3d成像，由调控单元基于被检对象全息图中的相位信息对应调控超表面器件的微纳单元，再由投影光源发射光线至超表面器件上，以形成被检对象的立体影像，由于超表面器件的微小结构，能够极大程度地减小了立体内窥镜的体积和重量，并且通过投影成像，无需医生佩戴3d眼镜或者移动到显示器前方观察图像，因此解决了现有技术中在使用上存在限制，进而影响手术操作的问题。
56.在其中的一些实施例中，上述被检对象的全息图为相位全息图。
57.具体地，相位全息图中包含图上每个位置对应的相位信息，超表面器件表面的每个微纳单元与全息图中的相位信息一一对应，因此调控单元能够基于图上每个位置的相位信息对应电调控超表面器件上的各微纳单元，从而为实现入射光的调制提供相应的超表面器件，以实现3d成像。
58.在其中的一些实施例中，上述调控单元对超表面器件表面的微纳单元实现独立寻址和独立调控。
59.具体地，超表面器件表面的每个微纳单元均可以进行独立寻址和独立调制，对各微纳单元进行电调控，包括但不限于以下方式：
60.(1)将压控变容二极管集成到超表面器件的阵列子单元中，通过改变压控变容二
极管的电压值，超表面器件每个阵列子单元即可实现连续的相位补偿。
61.(2)超表面器件为液晶超表面，通过液晶对超表面微纳单元的相位实现调制。
62.(3)超表面器件的每个微纳单元对应设置相变材料，通过电控改变相变材料的折射率实现调制。
63.通过本实施例中调控单元对超表面器件表面的微纳单元能够实现独立寻址和独立调控，为超表面器件的微纳单元提供了更加灵活、实用的电调控方法，从而能够基于被检对象的全息图更准确地调控超表面器件。
64.在其中的一些实施例中，上述投影光源为相干光源或部分相干光源。
65.具体地，相干光源可以为激光，部分相干光源可以为led光源和超宽带led光源(sled)等，并且能够独立控制开关和调整出射光的角度，以能够将3d影像投影至目标位置。
66.通过本实施例中为立体内窥镜投影装置提供了必需的光源，以根据实际需求发射出射光至超表面器件，最终能够形成立体影像。
67.在本实施例中提供了一种立体内窥镜成像显示系统，图3是本实施例立体内窥镜成像显示系统的示意图，如图3所示，该立体内窥镜成像显示系统包括：上述实施例中立体内窥镜投影装置10、信息采集模块20以及信号处理模块30；
68.信息采集模块20，用于被检对象表面的信息采集。
69.具体地，信息采集模块20包括各类图像采集组件或信号接收组件，通过各类组件采集得到被检对象的采集信号，其中，采集信号具体是被检对象的二维图像或三维表面信息。
70.信号处理模块30，根据信息采集模块20的采集信号生成被检对象的全息图，并将全息图传输至立体内窥镜投影装置10；
71.信息采集模块20与信号处理模块30电连接；信号处理模块30与立体内窥镜投影装置10电连接。
72.具体地，信号处理模块30与立体内窥镜投影装置10可以分立设置，并且信号处理模块30与立体内窥镜投影装置10电连接，根据信息采集模块20采集的被检对象采集信号进行相应的处理和计算，生成全息图并传输至立体内窥镜投影装置10，其中全息图具有图中各位置对应的相位信息。
73.进一步地，图4是另一种立体内窥镜成像显示系统的示意图，如图4所示，该立体内窥镜成像显示系统包括：上述实施例中立体内窥镜投影装置10、信息采集模块20以及信号处理模块30。其中，信号处理模块30与立体内窥镜投影装置10一体化设置，并且信息采集模块20与信号处理模块30电连接。
74.具体地，信号处理模块30可以为一个平板电脑，或其它手持电子设备，其中还集成了立体内窥镜投影装置10，能够在平板电脑中获取信息采集模块20采集的采集信号，再通过其中的信号处理模块30和立体内窥镜投影装置10实现立体成像，进一步提高了使用上的便捷性。
75.通过本实施例中提供的立体内窥镜成像显示系统，能够实现被检对象的信号采集，再根据采集到的信号进一步分析处理生成被检对象的全息图，最终通过立体内窥镜投影装置基于全息图对超表面器件进行电调控，从而实现被检对象的立体成像。其中，由于超表面器件的微小结构，能够极大程度地减小了立体内窥镜的体积和重量，并且通过投影成
像，无需医生佩戴3d眼镜或者移动到显示器前方观察图像，进一步地，在使用中能够将信号处理模块和立体内窥镜投影装置一体化设计，因此解决了现有技术中在使用上存在限制，进而影响手术操作的问题。
76.在其中的一些实施例中，上述信号处理模块包括：3d建模子模块和全息图生成子模块；
77.3d建模子模块，与全息图生成子模块连接，用于根据信息采集模块的采集信号生成被检对象的3d模型。
78.具体地，3d建模子模块根据信息采集模块采集的被检对象的采集信号进行相应的计算处理，形成被检对象的3d点云图，进而建立被检对象的3d模型，并将3d模型传输给全息图生成子模块。其中，采集信号包括被检对象的二维图像或三位表面信息。
79.全息图生成子模块，用于根据3d模型计算得到对应的被检对象的全息图。
80.具体地，全息图生成子模块接收3d建模子模块传输的3d模型，通过对3d模型进行各点的衍射光场计算，再对每个点的衍射光场进行全息编码，生成被检对象的全息图。
81.在其中的一些实施例中，上述全息图生成子模块，具体可以通过以下方法实现，其中，包括但不限于：
82.(1)采用物点散射法计算3d模型每个物点在全息面上的光场复振幅，并进行叠加，得到全息面上总的复振幅分布，进而对复振幅进行编码获得相位全息图。
83.(2)采用层析法对3d模型不同深度表面在全息面上的光场复振幅进行叠加，得到全息面处的总的复振幅分布，进而对复振幅进行编码获得相位全息图。
84.通过本实施例中信号处理模块包括的3d建模子模块和全息图生成子模块，能够实现从采集的被检对象的采集信号处理得到相应的3d模型，再根据3d模型生成被检对象的全息图这一完整的信号处理模块功能，为立体内窥镜投影装置提供被检对象的全息图，以对超表面器件进行调控。
85.在其中的一些实施例中，上述信号处理模块与立体内窥镜投影装置一体化设置，或者上述信号处理模块与立体内窥镜投影装置分立设置。
86.具体地，一体化设置和分立设置的示意图分别如以上实施例中图4和图3所示。在一体化设置中，信号处理模块可以为一个平板电脑，或其它手持电子设备，其中还集成了立体内窥镜投影装置，能够在平板电脑中获取信息采集模块采集的采集信号，进一步提高了使用上的便捷性。在分立设置中，可以将信号处理模块和立体内窥镜投影装置分别设于不同结构或组件中，能够提高整体立体内窥镜成像显示系统结构上的灵活性。
87.在其中的一些实施例中，上述信息采集模块为双光路图像采集模块、结构光发射和摄像接收系统、tof发射接收系统中的一种或几种。
88.具体地，信息采集模块可以是双光路图像采集系统，也可以是结构光、tof等三维图像传感器信号采集系统，其中双光路图像采集系统实现3d重建的原理是通过采集到的二维图像进而重建物体的三维模型；结构光、tof三维传感器可以直接探测获取被检物体的三维表面信息。
89.进一步地，将以上两种或三种采集模块和采集系统进行组合，比如，结合双光路图像采集系统和结构光发射和摄像接收系统，或者，结合双光路图像采集系统和tof发射接收系统，或者，结合结构光发射和摄像接收系统和tof发射接收系统，以实现对被检对象表面
的信息采集也是可以构想的。
90.通过本实施例中提供的信息采集模块的实施系统，能够通过以上提供的采集系统或采集系统的组合实现对被检对象的信息采集。
91.在其中的一些实施例中，上述双光路图像采集模块用于通过双目相机采集被检对象不同视角的二维图像，并将图像传输至信号处理模块。
92.具体地，在信息采集模块为双光路图像采集模块时，双光路图像采集模块与信号处理模块连接，双光路图像采集模块通过双目相机(两路光学取像装置)实现不同视角下被检对象的图像采集，并分别成像传输至两个图像传感器，获得两幅具有视差的二维图像，再将二维图像传输给3d建模子模块。
93.相应地，3d建模子模块与双光路图像采集模块连接，用于融合处理被检对象不同视角的二维图像，解析得到二维图像的深度信息；根据深度信息建立三维点云图，构建被检对象的3d模型。
94.具体地，3d建模子模块与双光路图像采集模块连接，接收其传输的两幅二维图像并进行融合处理，可以采用三角距离测定法获得图像上每个点的距离信息，进而生成3d点云图，并构建被检对象的3d模型。
95.通过本实施例中在选用双光路图像采集模块作为信息采集模块时，相应地采集得到被检对象不同视角下的二维图像，再通过3d建模子模块对二维图像进行融合处理，最终得到相应的3d模型。
96.在其中的一些实施例中，上述结构光发射和摄像接收系统，与信号处理模块连接，用于通过结构光发射组件将结构光投射到被检对象表面进行调制，通过摄像接收组件采集经过调制的结构光。
97.具体地，在信息采集模块为结构光发射和摄像接收系统时，结构光发射和摄像接收系统与信号处理模块连接，通过结构光发射组件将结构光投射到被检对象表面后，经过被检对象的高度调制，再将经过调制的结构光经由摄像系统接收组件采集。
98.相应地，3d建模子模块与结构光发射和摄像接收系统连接，用于根据经过调制的结构光，计算被检对象的三维表面信息；根据三维表面信息建立被检对象的3d模型。
99.具体地，3d建模子模块与结构光发射和摄像接收系统连接，接收其传输的经过调制的结构光后，经过分析计算后得出被检对象的三维表面数据，完成被检对象的3d模型建立。
100.通过本实施例中在选用结构光发射和摄像接收系统作为信息采集模块时，相应地根据经过被检对象表面调制过后的结构光，获得被检对象的三维表面信息，最终得到相应的3d模型。
101.在其中的一些实施例中，tof发射接收系统，与信号处理模块连接，用于通过tof发射接收组件将入射光投射到被检对象表面，再接收从被检对象表面反射的反射光。
102.具体地，在信息采集模块为tof发射接收系统时，tof发射接收系统与信号处理模块连接，通过tof发射接收组件将入射光投射到被检对象表面，再由tof发射接收系统接收被检对象表面反射回来的反射光，从而完成被检对象表面信息的采集。
103.相应地，3d建模子模块与tof发射接收系统连接，用于根据tof发射接收系统接收的反射光，计算被检对象的三维表面信息；根据三维表面信息建立被检对象的3d模型。
104.具体地，3d建模子模块与tof发射接收系统连接，接收tof发射接收系统传输的发射光信号，经过分析计算后可以得到被检对象的三维表面数据，从而建立被检对象的3d模型。
105.通过本实施例中在选用tof发射接收系统作为信息采集模块时，相应地根据经过被检对象表面反射的反射光，获得被检对象的三维表面信息，最终得到相应的3d模型。
106.下面通过优选实施例对本实施例进行描述和说明。
107.图5是本优选实施例的立体内窥镜成像显示系统的结构框图，如图5所示，该立体内窥镜成像显示系统，包括：立体内窥镜投影装置10、信息采集模块20以及信号处理模块30；信号处理模块30分别与信息采集模块20和立体内窥镜投影装置10连接。其中，信息采集模块20可以为双光路图像采集模块、结构光发射和摄像接收系统、tof发射接收系统中的一种或几种的组合。
108.信号处理模块30包括3d建模子模块31和全息图生成子模块32，3d建模子模块31和全息图生成子模块32连接。
109.需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
110.本领域普通技术人员可以理解，以上实施例中所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，立体内窥镜投影装置和立体内窥镜成像显示系统还可包括比图中所示更多或者更少的组件，或者具有与图中所示出的不同配置。
111.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
112.应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
113.显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0114]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0115]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。