基于图像特征与种子点的全场三维变形测量方法及装置与流程

本发明涉及材料变形测试，尤其涉及基于图像特征与种子点的全场三维变形测量方法及装置。

背景技术：

1、在科学和工程领域，三维数字图像相关法由于其装置简单和非接触式等优点被广泛应用于三维变形测量。三维数字图像相关法可以测量曲面物体的三维形貌和全场三维变形，具有非常丰富的应用场景。然而，由于其直接处理高分辨率的数字图像，其计算量也相当大，具有计算耗时长的问题。随着数字图像采集技术的发展，图像分辨率和采样率提高，这个问题愈发突出，限制了三维数字图像相关法在一些实时监测等场景下的应用。其次，作为测量方法，保持其高精度也十分重要。

2、公布号为cn556653500a的中国专利公开了一种融合神经网络和双目视觉的无标记结构全场三维应变测量方法，先标定双目视觉系统，直接采集无标记结构变形前后的数字图像，并在左视角的变形前图像上选取表面测量区域和划分测量网格点；对无标记结构变形前的左、右视角图像进行sift特征点检测与匹配，通过特征点对的三级筛选，建立自适应的立体匹配数据集；构建并训练自适应的立体匹配人工神经网络，并将左视角的测量网格点输入神经网络，获取右视角的测量网格点；分别在两视角下，基于多尺度光流算法对变形前后图像进行测量网格点追踪，计算变形前后测量网格点的三维坐标；基于子域投影和最小二乘拟合，逐点计算三维应变。但是上述方案无法避免由于感兴趣区域变形不连续，容易导致匹配算法出现误差增殖。因此，提供一种涉及基于图像特征与种子点的全场三维变形测量方法及装置，来提升匹配算法的匹配精度和匹配效率，是非常有必要的。

技术实现思路

1、有鉴于此，本发明提出了一种基于图像特征与种子点的全场三维变形测量方法及装置，通过区域图像特征匹配快速获取区域特征点和中心点，并基于ic-gn迭代优化得到中心点的位移参数进行扩散，有效避免了变形不连续导致误差增殖，提升了匹配算法的精度和效率。

2、本发明提供了一种基于图像特征与种子点的全场三维变形测量方法，所述方法包括：

3、对待测试样的表面进行散斑处理，并采用双目相机获取具有散斑标记的待测试样表面信息，其中，所述待测试样表面信息包括左相机参考图像和右相机参考图像；

4、基于所述双目相机的外部参数和内部参数，对所述左相机参考图像和所述右相机参考图像进行校正匹配，获取与所述左相机参考图像和所述右相机参考图像对应的视差图；

5、通过所述视差图生成所述待测试样中各待测点的视差值，并根据所述视差值计算出对应点的三维空间坐标，得到变形前的三维点云坐标；

6、在所述左相机参考图像中确定感兴趣区域，在所述右相机参考图像中确定与所述感兴趣区域对应的待匹配区域，并将所述感兴趣区域进行均匀划分，得到若干计算区域，提取各个所述计算区域对应的区域特征点，并获取各所述计算区域中心点对应的仿射变换矩阵；

7、基于各所述计算区域的仿射变换矩阵分别计算所述计算区域对应中心点的位移参数，并以所述中心点作为初代种子点，所述位移参数作为种子点的变形参数进行扩散，得到变形后的三维点云坐标；

8、基于所述变形前的三维点云坐标和变形后的三维点云坐标，获取所有待测点的三维变形数据，完成对所述待测试样的全场三维变形测量。

9、在以上技术方案的基础上，优选的，所述基于所述双目相机的外部参数和内部参数，对所述左相机参考图像和所述右相机参考图像进行校正匹配，获取与所述左相机参考图像和所述右相机参考图像对应的视差图，具体包括：

10、基于所述双目相机的外部参数和内部参数，通过极线约束对所述左相机参考图像和所述右相机参考图像进行校正匹配，使所述左相机参考图像和所述右相机参考图像中的对应点在同一条水平极线上；

11、以所述左相机参考图像和所述右相机参考图像中划分出的子区为单位，在所述左相机参考图像和所述右相机参考图像中所述水平极线上的视差范围内，采用基于积分图加速的方法计算zncc相关函数；

12、基于反向合成高斯牛顿算法和所述zncc相关函数进行迭代优化，获取与所述左相机参考图像和所述右相机参考图像对应的视差图。

13、在以上技术方案的基础上，优选的，所述zncc相关函数的表达式为：

14、

15、其中，n表示子区内像素点总数，sr表示参考图像的像素子区内像素点的灰度值之和，st表示变形图像的像素子区内像素点的灰度值之和，srr表示参考图像的像素子区内像素点灰度值的平方和，stt表示变形图像的像素子区内像素点灰度值的平方和，srt表示参考图像和变形图像子区内对应像素点的灰度值乘积之和。

16、更进一步优选的，所述在所述左相机参考图像中确定感兴趣区域，在所述右相机参考图像中确定与所述感兴趣区域对应的待匹配区域，并将所述感兴趣区域进行均匀划分，得到若干计算区域，提取各个所述计算区域对应的区域特征点，并获取各所述计算区域中心点对应的仿射变换矩阵，具体包括：

17、在所述左相机参考图像中手动框选出感兴趣区域，在所述右相机参考图像中框选出待匹配区域，并将所述感兴趣区域均匀切割为若干计算区域；

18、基于sift特征提取算法和加权值函数，对应提取所述计算区域和所述待匹配区域的区域特征点；

19、若所述区域特征点满足相关性条件，则将所述区域特征点作为匹配点，确定所述匹配点对应的匹配计算区域，并计算所述匹配计算区域的中心点对应的仿射变换矩阵。

20、更进一步优选的，所述若所述区域特征点满足相关性条件，则将所述区域特征点作为匹配点，具体包括：

21、获取所述区域特征点的最邻近点以及与所述区域特征点的次邻近点对应的描述子向量；

22、判断所述最邻近点的描述子向量欧式距离与所述次邻近点的描述子向量欧式距离之比是否小于预设距离比值；

23、若所述最邻近点的描述子向量欧式距离与所述次邻近点的描述子向量欧式距离之比小于预设距离比值，则判断所述最邻近点的znssd相关系数是否均大于预设代价阈值；

24、若所述最邻近点的znssd相关系数均大于预设代价阈值，则将所述区域特征点的最邻近点作为匹配点。

25、更进一步优选的，所述基于各所述计算区域的仿射变换矩阵分别计算所述计算区域对应中心点的位移参数，并以所述中心点作为初代种子点，具体包括：

26、将所述计算区域各自中心点对应的仿射矩阵转换为一阶形函数，并将所述一阶形函数代入到反向合成高斯牛顿算法中进行迭代优化，获取与所述中心点对应的位移参数，并以所述中心点作为初代种子点。

27、更进一步优选的，所述加权值函数的表达式为：

28、

29、其中，(xn,yn)表示目标像素点的位置坐标，(x0,y0)表示中心点的位置坐标，σ表示所在子区的尺度，d表示所述目标像素点与所述中心点之间的欧式距离，r表示所在子区的步长。

30、在本技术的第二方面提供了基于图像特征与种子点的全场三维变形测量装置，所述全场三维变形测量装置包括依次连接的散斑信息采集模块、第一坐标处理模块、第二坐标处理模块以及三维变形测量模块，其中，

31、所述散斑信息采集模块用于对待测试样的表面进行散斑处理，并采用双目相机获取具有散斑标记的待测试样表面信息，其中，所述待测试样表面信息包括左相机参考图像和右相机参考图像；

32、所述第一坐标处理模块用于基于所述双目相机的外部参数和内部参数，对所述左相机参考图像和所述右相机参考图像进行校正匹配，获取与所述左相机参考图像和所述右相机参考图像对应的视差图，通过所述视差图生成所述待测试样中各待测点的视差值，并根据所述视差值计算出对应点的三维空间坐标，得到变形前的三维点云坐标；

33、所述第二坐标处理模块用于在所述左相机参考图像中确定感兴趣区域，在所述右相机参考图像中确定与所述感兴趣区域对应的待匹配区域，并将所述感兴趣区域进行均匀划分，得到若干计算区域，提取各个所述计算区域对应的区域特征点，并获取各所述计算区域中心点对应的仿射变换矩阵，基于各所述计算区域的仿射变换矩阵分别计算所述计算区域对应中心点的位移参数，并以所述中心点作为初代种子点，所述位移参数作为种子点的变形参数进行扩散，得到变形后的三维点云坐标；

34、所述三维变形测量模块用于基于所述变形前的三维点云坐标和变形后的三维点云坐标，获取所有待测点的三维变形数据，完成对所述待测试样的全场三维变形测量。

35、在本技术的第三方面提供了一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令。

36、在本技术的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现基于图像特征与种子点的全场三维变形测量方法的步骤。

37、本发明提供的基于图像特征与种子点的全场三维变形测量方法及装置相对于现有技术具有以下有益效果：

38、(1)采用基于图像特征和种子点的时域匹配方法，通过区域图像特征匹配快速获取对应区域的区域特征点和中心点对应的仿射变换矩阵，并基于ic-gn迭代优化得到中心点的位移参数，并以此作为初始种子点参数基于相关性最优原则进行扩散，有效避免了变形不连续导致误差增殖，提升了匹配算法的精度和效率，实现了高精度的快速三维变形场测量；

39、(2)有效避免了由于噪声、弱纹理以及视差遮挡等因素干扰导致的错误匹配，同时利用左右相机拍摄图像的唯一性和左右耦合一致性检查剔除错误匹配数据，获取整像素最优匹配点，以提升匹配算法的鲁棒性和准确性。