一种基于微型结构光投影的医用内窥镜三维成像系统及方法

本发明设计光学成像，特别涉及一种基于微型结构光投影的医用内窥镜三维成像系统及方法。

背景技术：

1、医用内窥镜前端大部分采用微小的cmos构成微型成像探头，配合内窥镜软管镜体进入到人体腔道内获取图像，在医生的诊疗和手术过程中，可以协助医生获取在体高分辨率的二维图像。在目前的内窥镜系统中，多以二维内窥镜为主，在狭小的空间内可以满足医生使用等多方面要求。但二维图像无法为医生提供病灶和组织的深度信息，对于医生而言获取的信息仍有限。三维内窥镜应运而生，目前商用的三维内镜多采用双目立体视觉的方式，为使用者提供深度感知功能，配合三维眼镜，可以为使用者提供纵深立体感，但仍无法实现准确的三维尺寸的测量。

技术实现思路

1、本发明所要解决的技术问题在于针对现有技术中的不足，提供一种基于微型结构光投影的医用内窥镜三维成像系统及方法。

2、为解决上述技术问题，本发明采用的技术方案是：

3、一种基于微型结构光投影的医用内窥镜三维成像系统，包括内窥镜镜头头端和图像处理器；所述内窥镜镜头头端含有结构光投射通道，具体包括：成像通道、白光光源通道、微型结构光光源通道；此外还可包括有钳道和水汽通道等。

4、所述白光光源通道发出可见光照射到被测物上，通过所述成像通道获取被测物的二维图像信息；

5、所述微型结构光光源通道发出编码结构光投射到被测物上，通过所述成像通道获取被测物的编码结构光图像；

6、优选的是，所述微型结构光光源通道包括沿光轴投射光线出射方向依次设置的高功率led、导光棒、基于m阵列的四元光刻掩模版和基于q型非球面透镜的投影镜头。

7、优选的是，所述微型结构光光源通道和成像通道的距离满足如下的关系：

8、

9、其中radii1和radii2分别是成像通道的半径和微型结构光通道的半径，b是微型结构光光源通道与成像通道之间的距离，lmin是内窥镜镜头距被测物的最小工作距离，α1是成像通道的视场角，α2是微型结构光投射的视场角。

10、优选的是，基于m阵列的光刻掩模版采用基于六阶gf(4)的本原多项式，生成四元m序列，并填充到二维阵列中。其本原多项式是：

11、h(x)＝x6+x2+x+1

12、在该二维阵列中，每个3*2大小的图元窗口的特征编码值是唯一的，籍此实现每个图元的相对位置确定。

13、优选的是，四元阵列中，分别采用四种易于识别且分辨开的图元代表二维阵列中的码字0，1，2，3。优选采用四种基本图元：横向矩形、纵向矩形、圆形与十字叉丝型，相对于其他图元而言，采用这四种基本图元能够在内窥镜的使用场景中更为易于识别和分辨，配合所述投影镜头、导光棒和高功率led在所述区域上投射掩模版设计图案的结构光图形，能够有效完成对所述区域的编码。所述的四元光刻掩模版的边长lm需要满足：

14、

15、其中，h1为成像通道在内窥镜最小工作距离时的半像高，b为微型结构光光源通道与成像通道的距离，β为所述投影镜头在内窥镜最小工作距离时的放大率；

16、掩模版中，每个图元的尺寸和图元间的间距需要确保经过投影镜头之后可以被清晰投射和分辨，含矩形的图元的最短边、以及每个图元之间的间距均需要满足以下条件：

17、

18、其中，δ为含矩形的图元的最短边或图元之间的间距，lp为所述投影镜头的空间频率，γ为空间频率的整倍数，一般取3～10，可根据实际尺寸和需求进行选择。

19、优选的是，基于q型非球面透镜的投影镜头，由物方至像方依次包括：具有保护作用的蓝宝石平板，具有负光焦度的第一透镜，具有正光焦度的第二透镜，光阑，具有正光焦度的第三透镜，具有正光焦度的第四透镜，红外滤光片；所述第一透镜的物侧面和像侧面均为凹面；所述第二透镜物侧面为凸面，像侧面为凹面；所述第三透镜的物侧面和像侧面均为凸面；所述第四透镜的物侧面和像侧面均为凸面；所述第一透镜和第四透镜为塑胶非球面镜片；第二透镜和第三透镜为玻璃球面镜片；上述投影镜头满足下列条件式：

20、0.8<(d3+d11)/t311<1.0

21、其中，d3为所述第一透镜物侧面的有效口径大小；d11为所述第四透镜像侧面的有效口径大小；t311为所述第一透镜物侧面与第四透镜像侧面在光轴上的距离。

22、优选的是，所述基于q型非球面透镜的投影镜头，满足下列条件式：

23、0.5<tanω<1.6

24、其中，ω为该投影镜头的半视场角。

25、优选的是，所述基于q型非球面透镜的投影镜头，满足下述条件式:

26、ttl≤4mm

27、其中ttl为镜头光学总长，为所述蓝宝石平板物侧面到所述红外滤光片像侧面在光轴上的距离。

28、优选的是，所述基于q型非球面透镜的投影镜头，满足下述条件式:

29、vd1-vd2>30

30、其中，vd1为所述第一透镜(l1)的色散系数；vd2为第二透镜的色散系数。

31、所述成像通道，在白光光源通道的照明下，采用张正友标定法进行标定，通过拍摄多张已知棋盘物理尺寸的棋盘格图像，获取棋盘格图像中的角点位置，计算变焦通道的镜头畸变大小，并获得相机的焦距f和主点位置(x0,y0)，完成对成像通道的标定。

32、所述微型结构光通道，投射结构光图案至标准白板，分别在白板距离镜头端固定距离下(在工作距离范围内等步长拍摄)拍摄得到标准距离图像。

33、对所述拍摄的不同标准距离下的标准白板结构光图像，使用相机的标定的参数基于张正友标定法进行标定，完成标准距离图像的标定。

34、对所述标准距离图像进行otsu阈值处理，按照图像的灰度特性，存在阈值th，将图像中的像素分为两类，分别为c1(小于th)和c2(大于th)，分为前景和背景两部分，计算图像分割的阈值，使得前景和背景的类间方差最大，其中，类间方差σ2的公式为：

35、σ2＝p1(m1-mg)2+p2(m2-mg)2

36、其中，两类像素的各自均值为m1、m2，图像全局均值为mg，像素被分为两类的概率分别为p1、p2，其中，

37、

38、

39、

40、其中，i是对应灰度值，pi是图像中像素为i的概率，对于8bit的图像，l取256，代入到上式中，求出使得类间方差最大的k值，即为所求阈值。对标准距离图像使用上述所求阈值进行二值化处理，得到二值图像。

41、对所述标准距离图像使用上述所求阈值进行二值化处理，得到二值图像。

42、对所述标准距离图像的图元进行识别，需要提取以每个图元为起点，提取3*2大小窗口的图元集合。

43、对所述标准距离图像进行上述处理，得到每个距离下每个特征点的像素坐标结合，根据三角原理，得到以下公式：

44、

45、其中，z1、z2为两个标准距离，δd为每个特征点对之间的视差大小，f为系统的焦距，通过该公式可以计算得到系统的基线长度b，从而完成系统结构光通道的标定工作。

46、对所述目标区域打开微型结构光光源通道进行照明，完成对所述目标区域的编码。

47、对所述目标区域二维图像进行同态滤波，将图像的高频部分和低频部分分开，使用滤波器h(u,v)对图像进行频域滤波，滤波器h(u,v)设计为：

48、h(u,v)＝(γh-γl)hhp(u,v)+γl

49、其中，γh>1，γl<1，用于控制滤波器幅度的范围，hhp(u,v)采用高斯高通滤波器。

50、对所述同态滤波处理后的图像进行锐化，锐化后得到图元轮廓更为清晰的图像。

51、对所述锐化后的图像进行自适应二值化处理，将目标图像分成若干个子区域，分别计算每个子区域的像素块的加权求和灰度值，作为每个子区域的二值化阈值，实现图像的自适应分割，完成所述目标图像的二值化处理。

52、对所述锐化后的图像进行图元识别与定位，实现所述目标区域的特征点识别和与标准距离图像的特征点对匹配，对每个特征点对计算视差d，并根据三角原理，结合以下公式：

53、

54、实现所述目标区域的三维点云重建和形貌恢复。

55、对于所述的白光照明通道，使用成像通道拍摄白光图像，为三维点云提供纹理贴图信息，与上述三维点云进行融合，完成三维贴图，输出三维图像。

56、本发明的有益效果是：

57、(1)本发明包括成像通道、白光光源通道和微型结构光光源通道三个光学单元，通过白光光源通道照明，成像可以获得病灶区域的二维图像，为三维点云提供纹理贴图信息；通过微型结构光光源通道照明，投射结构光图案至病灶区域，完成对病灶区域的编码。通过图像处理器对结构光图像进行解码和重建，配合二维纹理信息，实现三维重建并输出三维图像。三维图像与传统二维图像相比，信息更全面，对病灶的物理尺寸信息有了更为精确的数值，辅助医生测量病灶中相关组织结构的大小，提高诊疗的成功率；

58、(2)本发明中，微型结构光光源通道的光学设计视场角大、畸变小、分辨率高，结构光投影系统在头端狭小的空间里实现了结构光图案的高分辨率投射，易于安装；

59、(3)本发明中，结构光掩模版采用基于m阵列的图元设计，在内窥场景中，采用四种特定的易于提取和识别的图元，消耗计算资源少，重建实时性佳。

60、(4)本发明的系统结构简单，使用方便，与现有的内窥镜镜体兼容，学习成本低，易于医生手持操作。