一种高精度显微测量系统及方法与流程

本发明实施例涉及显微测量技术领域，具体涉及一种高精度显微测量系统及方法。

背景技术：

通常显微外科技术是外科医生借助于手术显微镜的放大，使用精细的显微手术器械及缝合材料，对细小的组织进行精细手术。目前已经在眼科、脑科、耳鼻喉科、口腔科、骨科等领域具有重要的应用。在手术显微镜下做手术，不仅能看清手术中肉眼看不清的细小组织，而且还具有立体感，因而有利于外科医生精确地解剖、切开和缝合各种组织。虽然在手术显微镜下具有较好的立体感，但是手术过程缺乏数字化装置及辅助手段，致使初期使用显微镜，需要长时间的训练以及适应。手术的成像及医生的操作过程无法使用人工智能等先进技术对手术进行指引来进一步提高手术效果。针对手术过程缺乏数字化装置的情况，市面上出现立体显微手术成像装置，可以对术区进行数字成像并在显示器上实时显示手术过程，但该技术仍然只能实现术区成像，无法对手术区域的立体信息进行精确量化。

技术实现要素：

为此，本发明实施例提供一种高精度显微测量系统及方法，以解决现有的显微成像装置无法对术区场景的立体信息进行精确量化的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种高精度显微测量系统，所述系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元；

所述体式显微镜单元用于基于双成像光路对物镜下样品进行显微成像；

所述光学分光器单元连接所述体式显微镜单元，用于对所述体式显微镜单元的双成像光路分别进行半反半透分光；

所述结构光投射单元连接所述光学分光器单元，用于将结构光通过光学分光器单元并经由体式显微镜单元的一路成像光路投射至样品上；

所述图像采集单元连接所述光学分光器，用于通过光学分光器单元并经由体式显微镜单元的另一路成像光路采集受结构光照射的样品的图像信息；

所述同步控制单元用于所述结构光投射单元和图像采集单元的同步控制，实现结构光投射和样品图像信息采集的同步执行；

所述计算单元用于向所述结构光投射单元下发结构光模式图形以及根据所述样品的图像信息进行解码计算和点云配准融合实现样品的三维重建。

进一步地，所述体式显微镜单元采用手术显微镜或金相显微镜。

进一步地，所述光学分光器单元包括两组半反半透棱镜。

进一步地，所述结构光投射单元包括红外波段dlp。

进一步地，所述图像采集单元包括光学适配器和相机，所述光学适配器用于将体式显微镜单元成像光路采集的光线传导至所述相机的感光元件。

根据本发明实施例的第二方面，提出了一种高精度显微测量方法，所述方法包括：

将标定样品置于体式显微镜的物镜下方设置对焦点对焦，并投射结构光，按照预设步长调节所述标定样品的高度，采集受结构光照射的所述标定样品在不同高度下的图像信息；

对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息；

根据所述标定样品的相位信息以及三维信息，获得标定的相位信息以及三维信息的对应关系；

将样品置于体式显微镜单元的物镜下方，按照所述步长调节对焦点并对焦，采集受结构光照射的所述样品在不同对焦点下的图像信息；

对所述样品在不同对焦点下的图像信息进行解码获得所述样品在不同对焦点下的相位信息；

根据所述样品在不同对焦点下的相位信息以及标定的相位信息以及三维信息的对应关系，获取所述样品不同对焦点下的三维信息；

将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果。

进一步地，对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息，具体包括：

对所述标定样品在不同高度下的图像信息进行解码获得所述标定样品的真实相位值；

按照如下公式计算所述标定样品的高度z(x,y)：

其中m0，m1，n1为常数参数，φunwarp(x,y)为标定样品的真实相位值，x、y表示相位图像的横纵坐标值。

进一步地，对采集的受结构光照射的样品图像信息进行解码，包括：

投射的结构光包括多幅正弦结构光和二值结构光，正弦结构光的像素点灰度isin沿水平方向以周期为t，初始相位为的正弦函数变化，即：

其中，为多幅正弦结构光之间相位相差，a为正弦函数的幅值；

每一幅正弦结构光对应两幅二值结构光，二值结构光的周期和相位与对应的正弦结构光一致，其灰度值为：

其中ibin1，ibin2为二值结构光的像素点值，isin为正弦结构光灰度值；

对所述图像信息进行解码，首先分别对每一幅正弦结构光样品图像进行傅里叶变换，并低通滤波，滤波结果的频率域相位图即为正弦结构光未解缠相位图；

对二值结构光样品图像进行处理，首先求取ibin1，ibin2之间的差值图像，对所述差值图像进行二值化处理得到二值化图像，采用边缘检测算子对所述二值化图像进行边缘检测得到边缘图像，对所述边缘图像进行曲线拟合，提取黑白条纹跳变边缘的边缘坐标；

将条纹边缘作为初始种子点，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，并根据所述解缠相位图，计算获得样品的真实相位图。

进一步地，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，具体包括：

计算正弦结构光未解缠相位图中每个像素点的质量值r(i,j):

其中，

d(i,j)＝[h²(i,j)+v²(i,j)+d1(i,j)+d2(i,j)]^1/2

其中，表示相位图像坐标(i,j)处的相位值，γ(·)表示对括号内数值进行解相位操作；

计算边缘质量值：从所述正弦结构光未解缠相位图的坐标原点扫描，垂直相邻两个像素点之间的边的质量值为垂直相邻两个像素点的质量值相加，水平相邻两个像素点之间的边的质量值为水平相邻两个像素点的质量值相加；

对所有边的质量值进行排序，按质量值由大到小，对原始相位图像进行解相位获得解缠相位图；

根据所述解缠相位图，计算获得样品的真实相位图，真实相位值计算公式为:

其中，

θ1＝ftp[i2]-ftp[i1]

θ2＝ftp[i3]-ftp[i2]

其中ftp[i1]，ftp[i2]，ftp[i3]分别为所采集的正弦结构光样品图像i1，i2，i3的频率域解缠相位值。

进一步地，将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果，具体包括：

采用icp算法进行点云配准与融合。

本发明实施例具有如下优点：

本发明实施例提出的一种高精度显微测量系统及方法，该系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例1提供的一种高精度显微测量系统的结构示意图；

图2为本发明实施例1提供的一种高精度显微测量系统的另一结构示意图；

图3为本发明实施例2提供的一种高精度显微测量方法的流程示意图；

图4为本发明实施例2提供的一种高精度显微测量方法的正弦结构光图像；

图5为本发明实施例2提供的一种高精度显微测量方法的二值化结构光图像。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例提出了一种高精度显微测量系统，如图1和图2所示，该系统包括体式显微镜单元110、光学分光器单元120、结构光投射单元130、图像采集单元140、同步控制单元150以及计算单元160。

体式显微镜单元110用于基于双成像光路对物镜下样品进行显微成像。

具体的，体式显微镜单元110采用手术显微镜或金相显微镜，优选采用蔡司opmisenseras7型可连续变焦及变倍的手术显微镜。体式显微镜单元110具有双成像光路，双成像光路具有一定辐辏夹角α。

光学分光器单元120连接体式显微镜单元110，用于对体式显微镜单元110的双成像光路分别进行半反半透分光。

具体的，光学分光器单元120包括两组半反半透棱镜，光学分光器单元120安装于体式显微镜的的光学接口上，通过两组半反半透棱镜分别对体式显微镜的双成像光路进行半反半透分光。

结构光投射单元130连接光学分光器单元120，用于将结构光通过光学分光器单元120并经由体式显微镜单元110的一路成像光路投射至样品上。

具体的，结构光投射单元130安装于光学分光器单元120的一个光学接口处，将结构光经过光学分光器单元分光后经由体式显微镜的一路成像光路投射至体式显微镜物镜下方的样品上。结构光投射单元130采用特定波段dlp以及必要的光学适配镜头，优选的采用红外波段dlp(digitallightprocessing，数字光处理装置)，其红外波长优选采用850nm。

图像采集单元140连接光学分光器，用于通过光学分光器单元120并经由体式显微镜单元110的另一路成像光路采集受结构光照射的样品的图像信息。

具体的，图像采集单元140安装于光学分光器单元120的另一光学接口处，通过光学分光器经由体视显微镜的另一成像光路采集体式显微镜物镜下方被结构光照射的样品的图像信息，图像采集单元140可采用对850nm波长敏感的相机以及光学适配器，光学适配器用于将体式显微镜的成像光路采集的光线传导至相机的感光元件以进行成像。

同步控制单元150用于结构光投射单元130和图像采集单元140的同步控制，实现结构光投射和样品图像信息采集的同步执行。

具体的，同步控制单元150具有脉冲发生器，脉冲发生器可同时触发结构光投射单元投射结构光以及相机采集图像。

计算单元160用于向结构光投射单元130下发结构光模式图形以及根据样品的图像信息进行解码计算和点云配准融合实现样品的三维重建。

具体的，结构光投射单元130的图形输入接口以及图像采集单元140的图像数据接口分别连接计算单元160，计算单元160控制结构光投射图形内容并对图像采集单元所采集结构光图像进行解码，并对所解码数据进行处理实现镜下样品的高精度三维重建。

本发明实施例提出的一种高精度显微测量系统，该系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化。

实施例2

与上述实施例1相对应的，本实施例提出了一种高精度显微测量方法，该测量方法采用实施例1中的高精度测量系统来实施，如图3所示，该方法包括以下步骤：

步骤210、将标定样品置于体式显微镜的物镜下方设置对焦点对焦，并投射结构光，按照预设步长调节标定样品的高度，采集受结构光照射的标定样品在不同高度下的图像信息。

具体的，首先采用标定样品进行标定，将标定样品置于体视显微镜的物镜下方，设置对焦点进行对焦，向标定样品投射结构光。标定样品具有标定平台，标定高度可以高精度微小步长上下调节。按照固定步长上下调节标定样品的高度，可按照从上到下或从下到上的顺序调节标定样品的高度，优选采用由下到上的顺序进行调节。步长的设置根据在需要的放大倍数下，将全景深的可对焦范围进行多等分，相邻等分点之间的距离即为调节步长。优选的，按照测量需求选定6倍放大倍数，在6倍放大倍数下将全景深的可对焦范围进行20等分。获取物镜下样品场景在不同标定高度下的图像信息。

步骤220、对标定样品在不同高度下的图像信息进行解码和计算获得标定样品在不同高度下的相位信息以及三维信息。

首先对采集的受结构光照射的标定样品图像信息进行解码，具体包括以下步骤：

投射的结构光包括多幅正弦结构光和二值结构光，正弦结构光的像素点灰度isin沿水平方向以周期为t，初始相位为的正弦函数变化，如图4所示，即：

其中，为多幅正弦结构光之间相位相差，优选的取值为n取值-1,0,1，a为正弦函数的幅值；

每一幅正弦结构光对应两幅二值结构光，二值结构光的周期和相位与对应的正弦结构光一致，如图5所示，其灰度值为：

其中ibin1，ibin2为二值结构光的像素点值，isin为正弦结构光灰度值；

对图像信息进行解码，首先分别对每一幅正弦结构光样品图像进行傅里叶变换，并低通滤波，滤波结果的频率域相位图即为正弦结构光未解缠相位图；

对二值结构光样品图像进行处理，首先求取ibin1，ibin2之间的差值图像，对差值图像进行二值化处理得到二值化图像；

采用边缘检测算子对二值化图像进行边缘检测得到边缘图像，优选的边缘检测算子采用canny算子；

对边缘图像进行曲线拟合，提取黑白条纹跳变边缘的边缘坐标，具体为结合原始图像以及获取的图像边缘进行高精度亚像素点坐标的提取，获取更加精确的边界坐标亚像素点值，优选的亚像素点坐标提取方法采用二次插值法；

将以上获取的条纹边缘作为初始种子点，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，并根据解缠相位图，计算获得样品的真实相位图。

进一步地，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，具体包括：

计算正弦结构光未解缠相位图中每个像素点的质量值r(i,j):

其中，

d(i,j)＝[h²(i,j)+v²(i,j)+d1(i,j)+d2(i,j)]^1/2

其中，表示相位图像坐标(i,j)处的相位值，γ(·)表示对括号内数值进行解相位操作；

计算边缘质量值：从正弦结构光未解缠相位图的坐标原点扫描，垂直相邻两个像素点之间的边的质量值为垂直相邻两个像素点的质量值相加，水平相邻两个像素点之间的边的质量值为水平相邻两个像素点的质量值相加；

对所有边的质量值进行排序，按质量值由大到小，对原始相位图像进行解相位获得解缠相位图，为了加快质量值排序速度，本实施例中采用直方图法对质量值进行排序，由于质量值的分布特性，并进一步增加排序速度，本实施例中将直方图以一个阈值分为两段，优选的本实施例中该阈值设为1.732π，小于阈值范围的直方图间隔赋以较小的间隔值，优选的本实施例中该间隔值设为0.1732π，大于阈值的直方图间隔赋予较大的间隔值，优选的本实施例中该间隔值设置为0.7849π；

根据所述解缠相位图，计算获得样品的真实相位图，真实相位值计算公式为:

其中，

θ1＝ftp[i2]-ftp[i1]

θ2＝ftp[i3]-ftp[i2]

其中ftp[i1]，ftp[i2]，ftp[i3]分别为所采集的正弦结构光样品图像i1，i2，i3的频率域解缠相位值。

通过上述步骤完成了对标定样品图像进行的解码得到标定样品的真实相位值，进一步地，可以按照如下公式计算标定样品的高度z(x,y)：

其中m0，m1，n1为常数参数，其数值由系统的结构特性决定，其具体数值通过至少三个已知固定厚度的标准平板件置于被测场景中求取获得，φunwarp(x,y)为标定样品的真实相位值，x、y为相位图像的横纵坐标。

步骤230、根据标定样品的相位信息以及三维信息，获得标定的相位信息以及三维信息的对应关系。

具体的，重复以上解码过程和高度计算过程，对采集的不同高度下的标定样品的图像信息进行解码和计算，获得一系列真实相位值φunwarp(x,y)和高度z(x,y)的对应关系。

步骤240、将样品置于体式显微镜单元的物镜下方，按照步长调节对焦点并对焦，采集受结构光照射的样品在不同对焦点下的图像信息。

具体的，完成上述标定样品标定之后，对样品进行测量，测量时样品的高度不改变，按照与标定过程高度调节相同的调节步长调节显微镜对焦点，优选的焦点调节方式采用由下到上的顺序进行连续变焦。获得一系列受结构光照射的样品在不同对焦点下的图像信息。

步骤250、对样品在不同对焦点下的图像信息进行解码获得样品在不同对焦点下的相位信息。

具体的，按照步骤220中与标定样品相同的解码方法，对获取的一系列样品在不同对焦点下的图像信息进行解码，得到一系列样品的真实相位值。

步骤260、根据样品在不同对焦点下的相位信息以及标定的相位信息以及三维信息的对应关系，获取样品不同对焦点下的三维信息。

具体的，在标定样品标定过程得到了标定的真实相位值φunwarp(x,y)和高度z(x,y)的对应关系，根据对应关系获得与样品的真实相位值对应的一系列高度值z(x,y)，即可得到样品每一个空间点的三维坐标。

步骤270、将样品不同对焦点下的三维信息进行点云配准与融合，获得样品的三维点云测量结果。

具体的，步骤270中，采用icp(iterativeclosestpoint，迭代最近点搜索法)算法进行点云配准与融合，将一系列空间点的三维坐标融合为一个完整的三维点云数据，此数据即为最终的高精度三维点云测量结果。

本发明实施例提出的一种高精度显微测量方法，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化，针对手术显微镜在较高放大倍数下景深较小的问题，本发明实施例通过利用手术显微镜的连续变焦与连续变倍功能实现z轴重建数据的拼接，实现大景深的高精度三维重建。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。