专利名称：双目内窥镜手术视觉系统的制作方法
双目内窥镜手术视觉系统
技术领域：
本发明属于内窥镜立体视觉领域，特别涉及医疗机器人在腹腔微创领域的立体视觉系统，其原理为通过位移视差法双光路实时图像合成虚拟现实的立体视觉系统。
背景技术：
目前，医疗机器人技术的研究已经成为国际机器人领域的前沿研究热点之一，其中医疗外科机器人的研究最为突出。近年来，医务工作人员与科学工程技术人员紧密配合，研究开发了许多类型的医用外科手术机器人系统，有些已经很好的应用于临床实践。如美国Intuitive Surgical公司开发的daVinci外科手术机器人系统。而在da Vinci系统问世之前，Computer Motion公司于1996年，根据所研制的AESOP系列机器人，开发出功能强大的视觉系统，推出了ZEUS机器人系统。这个系统让外科医生首先突破了传统微创手术的界限，将微创手术精度和水平提高到新的高度，大大降低了病人的痛苦、手术创伤和手术费用，縮短了康复时间，同时也减轻了医生的疲劳强度。
腹腔镜手术环境下的立体显示系统要求具备双路内窥镜视频流实时立体显示、易消毒、可靠性、高图像质量等要求。而传统的内窥镜都是单目，医生通过观察单路2D图像进行手术。2D图像不能给医生直观的立体感，从而使医生手术过程中强度变大，手术精度不高。为了解决由于2D图像缺乏立体视觉而给医生造成额外工作负担和工作效率受损的问题，腹腔镜手术立体视觉系统的研发就显得尤为重要。目前市场上有很多种类型的立体视觉显示设备，其中比较成熟的是双色眼镜、快门眼镜、立体显示器、被动式投影和头盔式立体显示设备。目前这些技术已经有成熟的产品，但是现有的每种解决方案都不能满足腹腔镜手术立体视觉显示的要求。
发明内容本发明目的是为了满足腹腔镜手术过程中医生对于3D立体视觉显示的需求，提供一种立体的双目内窥镜手术视觉系统。临床手术研究发现，医生通过观察3D的手术场景比观察2D图像进行手术成功率更高、精确度高、手术效率高，因为3D视觉能给医生提供深度信息。
本发明提供的双目内窥镜手术视觉系统主要由双目内窥镜、图像服务器和内窥镜立体显示单元构成；其中，
双目内窥镜所述的双目内窥镜包括双摄像机和双光路，分别是为获取两路有视差视
频流和为摄像机提供双路照明，保证图像亮度，并且使得获取的图像光照均匀。其具体结构包括，双目内窥镜管身，管身内设置有两路相互独立的图像采集单元，该图像采集单元
包括物镜，以及物镜后依次设置的转镜、转向棱镜和目镜，然后通过小镜头在CCD上成像，再经摄像机控制器通过S端子将图像信号输出至图像服务器中的PC机；双目内窥镜
管身内还设有通过管身上设置的进光组件与外部光源连通的光纤。
图像服务器使用一般的PC机，其主板安装双图像采集卡，图像采集卡具备S端子并和摄像机控制器相连，用于实时采集双目内窥镜输出的实时视频信号；同时PC机显卡要支持双屏幕显示；图像服务器用于完成对双目内窥镜视频流的实时采集，选择输出图像至内存，在内存中对内窥镜图像进行处理，基本的处理包括图像的平移、剪裁、去噪、白平衡、测光区域选取等。另外为了解决摄像机图像畸变问题，在图像服务器中进行癍像机标定，使用标定出的摄像机内参数对图像进行径向畸变校正，从而获得高质量立体效果。梭芷过的两路实时图像分别传送至立体显示单元的左右显示器的显示屏。
内窥镜立体显示单元由图像服务器提供双显示器接口，为内窥镜立体显示单元提供双路视差场景视频流信号；内窥镜立体显示单元主要包括三部分立体显示控制台；平面镜；显示器；
立体显示控制台两侧各活动安装有一个显示器，两个显示屏相对设置，显示器可以绕安装轴转动，支撑板中部安装有两个平面镜，两个平面镜间的夹角在45°-135°范围自由调整，以使立体显示控制台前方观察到的两个平面镜中的图像重合。
所述的平面镜为单面镀铝膜平面镜。由于普通的平面镜一般是要经过玻璃折射，再反射成像，这样会容易产生重影现象，影响立体视觉效果。
两个平面镜一侧共同安装在控ft台中部的立轴上，两个平面镜的另一侧分别各与一个长拉杆的一端固定，长拉杆的另一端各铰接一个短拉杆，短拉杆上各开有一个调节槽，两个短拉杆用螺栓通过调节槽铰接固定在一起。
所述的显示器为液晶显示器。
立体显示单元工作原理，如图6所示
双目内窥镜的左右两路有视差的视频实时场景信号分别由16、17输入左右显示屏18、19，调整左右平面镜20、 21的位置，使左右两路视差图像在平面镜中的像22重合，由于观察者左右服23、 24分别只能看到其中的一路图像，因此人眼通过直接观察平面镜中重合在一起的两路视差图像便可获得立体效果。
本发明的优点和积极效果
本发明是利用自主研发的双目内窥镜提供的具有视差的两路图像，通过图像服务器进入专门设计的立体显示单元，在立体显示单元的光学系统作用下，医生通过左右眼分别观察两路有视差的图像，从而获取良好的立体视觉效果。本发明是专门为腹腔镜手术环境下的立体视觉显示需求而设计的，适用于通过两路实时视差场景进行立体场景显示的环境，完全能满足医生在腹腔镜手术中对3D立体视觉的需求。
本发明实现了腹腔镜手术立体视觉显示功能；适应了手术的无菌环境；具有三维场
景显示实时性、可靠性、立体效果良好的特点。结构简单、可靠、体积适中、产品化水平高。本发明满足了手术环境的基本要求，是医生通过该立体视觉系统操作医疗机器人进行腹腔手术的基础，为手术的顺利高效完成提供了必要条件，具有很好的应用前景。
图l是双目内窥镜手术视觉系统结构示意图
图2是双目内窥镜手术视觉系统流程图3是双目内窥镜内部结构图4是系统软件流程图5是摄像机标定目标标定板；
图6是立体显示单元工作原理；
图7是立体显示单元结构机械阁；
图8是内窥镜手术立体显示单元外观图中，l双目内窥镜，2图像服务器，3立体视觉显示单元，4手术对象，5保护片，6物镜，7光纤，8转镜，9进光组件，10转向棱镜，11光栏，12目镜，13保护片，14小镜头，15靶面，16、 17分别为左右双目内窥镜视频输入，18、 19左右显示屏，20、 21左右平面镜，22左右视差图像在平面镜中的像，23、 24分别为观察者左右眼，25控制台，26显示器支架，27螺钉，28液晶显示器，29长拉杆，30短拉杆，31方头螺栓，32盖形螺母，33立轴，34调整槽，35观察窗。
具体实施方式实施例1:
如图1所示，本发明所述的双目内窥镜手术视觉系统主要由双目内窥镜、图像服务器和内窥镜立体显示单元三部分构成，其中，
第一部分双目内窥镜，
包括如图3所示的双目内窥镜，包括双目内窥镜主体，双路冷光源和摄像机，双路冷
光源是为摄像机提供双路照明，保证图像亮度，并且使得获取的图像光照均匀。本发明中的双目内窥镜使用双路氤气冷光源照明，摄像机控制器具备测光区选择和白平衡功能，并
提供s端子视频输出接口和图像服务器连接。
所述的双目内窥镜具体结构包括，双目内窥镜管身，管身内设置有两路相互独立的图
像采集单元，该图像采集单元包括物镜6，以及物镜后依次设置的转镜8、转向棱镜IO、光栏11和目镜12，在物镜和目镜外分别设有保护片5、保护片13，经过目镜后的光信号通过小镜头14和靶面15在CCD上成像，再经摄像机控制器实时的图像视频流；双目内窥镜管身内还设有通过管身上设置的进光组件9与外部光源连通的光纤7。
双目内窥镜通过光纤7提供氙气冷光源，末端分布双物镜和双光源口"两路图像经过左右物镜进入内窥镜管身，经过转镜光路传输到内窥镜后端口和目镜，通过小镜头在1/3英寸的CCD上成像，图像信号由信号线连入摄像机控制器，在后端可以对内窥镜进行调焦和CCD位置调整。
本发明实施例中的内窥镜性能- 双路物镜、双路光纤氤气冷光源照明；* 焦距20mm-25mm;
* 视差5mm;
* CCD大小l/3英寸；
*前段直径10mm，管身长度319mm;*工作视角30。；
* 内窥镜景深20mm — 120mm;
第二部分图像服务器(属现有技术此不赘述)
图像服务器可以使用一般的PC机，但是主板必须要支持双图像采集卡，图像采集卡具备S端子并和摄像机控制器相连，实时采集双目内窥镜实时视频信号。显卡要支持双屏幕显示，显卡DMA存取速度要快。
第三部分内窥镜立体显示单元，如图6至图8所示，
图像服务器提供双显示器接口，为内窥镜立体显示单元提供双路视差场景视频流。内窥镜立体显示单元主要包括三部分(l)立体显示控制台；(2)单面铝膜直接反射平面镜；(3)液晶显示器(15英寸)。
立体显示控制台的支撑板25两侧各活动安装有一个15英寸液晶显示器28，两个显示器的显示屏相对设置(最好平行)，距离500mm，显示器通过显示器支架26由螺栓27活动安装在支撑板25上，显示器可以绕安装轴(即螺栓27)转动，根据显示屏视差图像的特点，调整最佳立体效果位置。支撑板中部安装有两个平面镜，两个平面镜间的夹角在45°-135°范围自由调整，以使立体显示控制台前方观察到的两个平面镜中的图像重合。该内窥镜显示单元中选择的平面镜为单面镀铝膜平面镜，直接利用铝膜反射成像，这样避免了光束经过普通反光镜多次反射产生多重图像的缺陷，从而得到良好的立体视觉效果。角度和位置调整完毕后，人就可以用双眼通过图8中所示的观察窗35中观察立体显示。
所述的平面镜为单面镀铝膜平面镜。由于普通的平面镜一般是要经过玻璃折射，再反射成像，这样会使图像质量下降，从而影响立体视觉效果。
两个平面镜一侧共同安装在控制台中部的立轴33上，两个平面镜的另一侧分别各与—个长拉杆29的一端固定，该长拉杆可沿平面镜上的调整槽在4cm范菌内调整，长拉杆的另一端通过盖形螺母32各铰接一个短拉杆30，短拉杆上各开有一个调节槽，两个短拉杆用方头螺栓31通过调节槽铰接固定在一起。通过调节长拉杆29与短拉杆30之间的角度，以及两个短拉杆30之间的连接长度，可以保证两个平面镜间的夹角在45°-135°范围自由调整。
立体显示单元通过左右液晶显示屏分别显示有视差的两路实对场景，通过特殊放置的平面镜，使得左右显示屏的图像在平面镜中的成像重合在一起，人眼通过直接观察平面镜中重^"在一起的两路视差图像获得立体效果。实施例2:腹腔镜手术立体视觉系统模拟工作过程下面通过一次完整的立体视觉形成过程说明本发明第一步硬件系统准备
将双目内窥镜使用改造过的普通照相机三脚架固定，使内窥镜与观察的平面大约成30°夹角，双目内窥镜的末端距离目标物4cm，这样放置双目内窥镜，是模拟腹腔镜手术环境中双目内窥镜在腹腔中的位置；将双目内窥镜的进光组件9处连接氙气冷光源。末端图像信号线连接摄像机控制器(图中略)。两个摄像机控制器分别通过连接线与图像服务器的S端子相连接，在图像服务器上连接立体显示单元的液晶显示器，这样就建立了视频流通道(参见图2工作流程)。
第二步启动系统，调整图像质量
将腹腔镜立体视觉系统硬件连接完毕后，打开电源使系统运行。打开图像服务器运行图像采集和处理程序，观察输出窗口图像。在内窥镜末端放一张白纸，通过摄像机服务器
进行白平衡调节；然后将白纸撤去，观察目标物在图像中的位置，调整摄像机服务器上的测光区选择按钮，调节合适的视野范围；接着进行光源亮度调节，然后对图像系统进行图像立体匹配。
第三步调整立体显示单元
立体显示单元机械图如图7所示，双液晶显示器28的显示屏左右平行对称放置(平行设置时的调节最简单，也可以不平行)，屏幕间距离50cm。通过图8所示的观察窗35观看立体视觉效果，如果双路图像成像不重合，则通过调整长短拉杆29、 30之间的角度以友两个短拉杆铰接臂长来调整平面镜夹角、以及其与观察窗距离，该距离通过控制台中间的调整槽34进行调节，获取良好的立体视觉效果。
综上，本发明就是人眼立体成像原理，通过专门设计的双目内窥镜和立体显示单元给观察者提供良好的立体视觉效果。该系统除可用于腹腔镜手术外，其立体显示单元可以将任意类型具有视差的两幅图像进行立体显示，具有很好的应用前景和拓展空间。
权利要求
1、一种双目内窥镜手术视觉系统，其特征在于该系统主要由双目内窥镜、图像服务器和内窥镜立体显示单元构成；其中，双目内窥镜包括双目内窥镜管身，管身内设置有两路相互独立的图像采集单元，该图像采集单元包括物镜，以及物镜后依次设置的转镜、转向棱镜和目镜，通过小镜头在CCD上成像，再经摄像机控制器S端子将图像信号输出至图像服务器中的PC机；双目内窥镜管身内还设有通过管身上设置的进光组件与外部光源连通的光纤；图像服务器使用一般的PC机，其主板安装双图像采集卡，图像采集卡具备S端子并和摄像机控制器相连，用于实时采集双目内窥镜输出的实时视频信号；同时PC机显卡要支持双屏幕显示；内窥镜立体显示单元由图像服务器提供双显示器接口，为内窥镜立体显示单元提供双路视差场景视频流信号；内窥镜立体显示单元主要包括三部分立体显示控制台；平面镜；显示器；立体显示控制台的支撑板两侧各活动安装有一个显示器，两个显示器的显示屏相对设置，显示器可以绕安装轴转动，支撑板中部安装有两个平面镜，两个平面镜间的夹角在45°-135°范围自由调整，以使立体显示控制台前方观察到的两个平面镜中的图像重合。
2、 根据权利要求l所述的双目内窥镜手术视觉系统，其特征在于所述的平面镜为单 面镀铝膜平面镜。
3、 根据权利要求1或2所述的双目内窥镜手术视觉系统，其特征在于两个平面镜一 侧共同安装在支撑板中部的立轴上，两个平面镜的另一侧分别各与一个长拉杆的一端固 定，长拉杆的另一端各铰接一个短拉杆，短拉杆上各开有一个调节槽，两个短拉杆用螺栓 通过调节槽铰接固定在一起。
4、 根据权利要求1或2所述的双目内窥镜手术视觉系统，其特征在于所述的显示器 为液晶显示器a
全文摘要
一种双目内窥镜手术视觉系统。该系统主要由双目内窥镜、图像服务器和内窥镜立体显示单元构成。通过双目内窥镜得到两路清晰的腹腔图像视频信号，双路视频流通过双路图像采集卡进入图像处理服务器内存或显存，经处理过的左右双路图像被分别显示在左右两个显示器中。通过平面镜，左右显示器内容分别进入观察者左右眼，从而实现立体效果。本发明适用于医疗外科内窥镜手术环境，完全可以满足微创手术机器人腹腔镜手术的立体视觉需求。该系统实现了腹腔镜手术中双目立体视觉实时显示，系统性能可靠；结构简单、产品化水平高，适应手术的无菌环境。
文档编号A61B1/313GK101518438SQ20091006827
公开日2009年9月2日 申请日期2009年3月27日 优先权日2009年3月27日
发明者史瑞芝, 刚 安, 娜 张, 张建勋, 牛和明, 王春雷, 王树新, 陈祥军, 浩 鞠, 魏彦勋, 黄大刚 申请人:南开大学