一种基于几何约束半全局匹配的立体数字图像相关方法

本发明属于光学测量，具体为一种基于几何约束半全局匹配的立体数字图像相关方法。

背景技术：

1、立体数字图像相关(stereo-dic)已成为一种用于定量分析材料和结构全场三维形状、位移或变形的主流光学计量技术。无论是测量三维轮廓还是变形，stereo-dic中的立体匹配方法是从立体图像中重建三维点云的核心技术。基于特征的传统方法(如sift)通过从立体图像中提取大量特征，为立体匹配提供了初始二维位移参数，但代价是昂贵的计算开销。此外，由于透视差异导致复杂区域的特征匹配精度较低，这些方法无法精确测量具有复杂表面或经历大旋转和/或变形的物体。

技术实现思路

1、本发明的目的在于提出了一种基于几何约束半全局匹配的立体数字图像相关方法。

2、实现本发明目的的技术解决方案为：一种基于几何约束半全局匹配的立体数字图像相关方法，包括如下步骤：

3、步骤一：使用投影仪投影散斑图案，双目相机同步采集立体散斑图像；

4、步骤二：利用双目相机的标定参数对采集的原始散斑图像进行立体校正，利用半全局匹配算法处理校正后的散斑图像，获得一维视差图；

5、步骤三：利用几何约束和一维视差图反向建立原始立体散斑图像之间的全局二维对应关系；

6、步骤四：基于最小二乘的表面拟合方法获得精确的初始二阶变形参数，进行基于数字图像相关的亚像素视差优化，实现单帧三维形貌测量。

7、优选地，步骤三利用几何约束和一维视差图反向建立原始立体散斑图像之间的全局二维对应关系：

8、根据左相机的内参矩阵al和镜头畸变参数将位于左相机成像平面il中的点p映射到归一化平面；

9、根据校正后的左相机的内参矩阵和旋转矩阵rl将映射到归一化平面的点投影到校正后的左图像上的对应点prect；

10、对获得的一维视差图drect进行双线性插值，得到点prect的视差值drect(prect)，得到校正后的右图像上对应的点qrect；

11、利用校正后的右相机的内参矩阵旋转矩阵rr、右相机的内参矩阵ar和镜头畸变参数将点qrect转换为右图像ir上的点q；

12、根据左图像il上的任意点p在右图像ir的对应点q，建立原始立体散斑图像之间的全局二维对应关系：

13、

14、(u,v)表示点p与其对应点q间的二维坐标差值，(xl，yl)为点p坐标，(xr，yr)为点q坐标。

15、优选地，点prect具体为：

16、

17、其中，表示镜头畸变去除函数，fk表示镜头畸变函数。

18、优选地，点qrect具体为：

19、qrect＝prect-drect(prect)。

20、优选地，点q具体为：

21、

22、其中，fk(·)表示镜头畸变函数

23、优选地，基于最小二乘的表面拟合方法获得精确的初始二阶变形参数，然后进行基于数字图像相关的亚像素视差优化，实现单帧三维形貌测量的具体方法为：

24、在立体数字图像相关中，引入二阶形状函数w(ξ,t)建立以点p为中心的左参考子集与以点q为中心的右目标子集之间的透视变换：

25、

26、

27、其中，ξ＝[x,y]t为子集中的局部坐标，t为待求的二阶变形参数[u,ux,uy,uxx,uyy,uxy,v,vx,vy,vxx,vyy,vxy]t；

28、(u,v)是点p与其对应点q间的二维坐标差值，(ux,uy,vx,vy)是(u,v)在水平方向x轴或垂直方向y轴的梯度，(uxx,uyy,uxy,vxx,vyy,vxy)是(ux,uy,vx,vy)在水平方向x轴或垂直方向y轴的梯度；

29、利用步骤三得到的二维匹配结果，根据基于最小二乘的表面拟合方法得到：

30、

31、

32、其中，(a1,a2,a3,a4,a5,a6)和(b1,b2,b3,b4,b5,b6)分别被设置为(uxx/2,uyy/2,uxy,ux,uy,u)和(vxx/2,vyy/2,vxy,vx,vy,v)；

33、使用最小二乘最小化方法求解上述公式，获得初始二阶变形参数；

34、进行基于数字图像相关的亚像素视差优化，实现单帧三维形貌测量。

35、本发明与现有技术相比，其显著优点为：本发明使用半全局匹配方法和几何约束为立体数字图像相关方法提供准确的初始二阶变形参数，经过基于数字图像相关的亚像素视差优化后，实现了单帧、鲁棒的绝对三维形貌测量。

36、下面结合附图对本发明做进一步详细的描述。

技术特征：

1.一种基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，步骤三利用几何约束和一维视差图反向建立原始立体散斑图像之间的全局二维对应关系：

3.根据权利要求2所述的基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，点prect具体为：

4.根据权利要求2所述的基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，点qrect具体为：

5.根据权利要求2所述的基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，点q具体为：

6.根据权利要求1所述的基于几何约束半全局匹配的立体数字图像相关方法，其特征在于，基于最小二乘的表面拟合方法获得精确的初始二阶变形参数，然后进行基于数字图像相关的亚像素视差优化，实现单帧三维形貌测量的具体方法为：

技术总结
本发明公开了一种基于几何约束半全局匹配的立体数字图像相关方法，使用投影仪投影散斑图案，双目相机同步采集立体散斑图像；利用双目相机的标定参数对采集的原始散斑图像进行立体校正。利用半全局匹配算法处理校正后的散斑图像，获得密集、可靠的一维视差图。利用几何约束和一维视差图反向建立原始立体散斑图像之间的全局二维对应关系。通过基于最小二乘的表面拟合方法获得精确的初始二阶变形参数，进行基于数字图像散斑相关的亚像素视差优化，从而实现单帧三维形貌测量。本发明使用半全局匹配方法和几何约束为立体数字图像相关方法提供准确的初始二阶变形参数，经过基于数字图像相关的亚像素视差优化后，实现了单帧、鲁棒的绝对三维形貌测量。

技术研发人员：尹维,左超,丁坤梅,季逸凡,冯世杰,陈钱,胡岩
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/15