一种基于深度学习的大变形测量方法及系统

本发明属于数字图像相关，尤其涉及到一种基于深度学习的大变形测量方法及系统。

背景技术：

1、随着社会的蓬勃发展和科技的不断进步，测量技术也在持续快速发展，现代测量手段广泛应用于各类材料、部件结构及产品性能的研究，在基础制造业，汽车工业，航空航天以及国防等领域对生产制造和研究发挥巨大的反馈修正作用，在工业发展中具有举足轻重的地位；位移和应变这两个被测量通常能直接反映材料和结构的力学特性，从而为材料的选择提供理论支撑，通常进行测量的方法主要分为接触式测量与非接触式测量两种，接触式测量主要有位移计，应变片等，这种测量方式精度较高，且稳定性较好，但由于其需接触被测物，在一定程度上会影响测量结果的准确性，而非接触式测量主要有光弹法、条纹投影法、云纹干涉法和数字图像相关方法，其中，数字图像相关方法以其测量设备简单、环境要求较低等特殊优势从众多方法中脱颖而出，是目前光测力学研究领域最为活跃的测量方法。

2、数字图像相关(digital image correlation)法，这是一种用于全场运动、变形测量的非接触式光学计量技术，这种技术只需要相机作为图像采集设备，就可以完成变形的测量，过去三十年中，数字图像相关(dic)技术越来越多地应用于许多涉及非接触式测量领域，如实验力学，细胞力学和结构健康监测，传统dic方法核心需要将物体变形前和变形后的图像分别作为参考图像和变形图像，并在参考图像上选择几个等距的子区，通过在变形图像上匹配最大相关性子区来跟踪子区的中心。这些子区中心也被称为种子点，可以通过跟踪种子点的位置来测量物体的表面变形，但一般为了保证较高的计算效率，往往会设置较少的种子点来描述表面变形，计算出所设种子点的位移后会根据插值得到整个全场的位移，这也会导致较大插值误差，因此种子点的数量必须权衡计算效率和插值精度，显然设计一个具有高计算效率和足够种子点的dic算法意义非凡。

3、dic方法其理论的研究主要集中于整像素搜索和亚像素配准，整像素搜索的方法如傅里叶变换，sift，遗传算法等；关于亚像素配准，自1989年，提出newton-raphson偏微分迭代法以来，是dic方法发展过程中的一个重大突破，然而，当变形图像被更新时，newton-raphson方法需要重新计算hessian矩阵，这大大限制了其计算效率，但亚像素配准的整体精度很高，后续有人提出了反向组合高斯牛顿迭代法来进行图像配准，又称ic-gn(inversecompositional gauss-newton algorithm)法，它避免了hessian矩阵的重复计算，成为最高效的亚像素匹配方法，到目前为止，ic-gn算法成为当前的dic计算中亚像素配准的主流方法。

4、上述提到的主流方法的计算效率很难满足实时测量的要求，尤其对于分辨率较大的图像，若想获得全场每个像素的位移则无法满足，且该方法需要人为根据变形的类型确定子区大小与迭代参数，这依赖于人为的经验，对于一些复杂的变形需要迭代更长的时间，甚至对于一些高梯度变形会失效，近期，有些学者将深度学习应用于dic测量以获得全场位移测量，这一方法能够极大的提高计算效率，但他们的网络仅仅只是对于u-net进行简单更改，网络只能进行小位移测量，且参数量多，同时泛化能力差。

5、近年来，随着数码相机高速、高分辨率的快速发展，导致了图像的激增以及每张图像中需要处理的像素的激增，对高精度的高速dic的要求越来越迫切；此外，针对某些应用中实时运动跟踪的特殊要求，dic方法的计算效率近年来变得越来越重要，研究一种速度快，鲁棒性好，且能克服传统方法带来不足的dic方法意义重大。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的大变形测量方法及系统，以克服现有深度学习数字图像相关方法只能针对小位移测量，且参数量多，计算效率低，同时泛化能力差的问题。

2、一种基于深度学习的大变形测量方法，包括以下步骤：

3、s1，利用布尔模型渲染得到参考图，施加变形场给参考图得到变形图，通过参考图、变形图及相应的变形场构建数据集；

4、s2，特征提取阶段：提取s1数据集中图像的特征信息与变形信息；

5、初始值估计阶段：根据图像的特征信息与变形信息完成位移初始值估计；

6、迭代细化阶段：对位移初始值进行迭代细化得到最终位移，完成测量模型构建；

7、s3，对测量模型进行训练优化，得到最终测量模型；

8、s4，采集图像，对采集的图像进行灰度处理，对于一系列帧图像，以第一帧图像作为参考图，后续每一帧图像都作为变形图，将参考图及变形图输入训练好的模型即可得到两帧图像之间的变形场。

9、进一步的，s1中，所述位移随机生成，指定像素坐标系为基准，在变形帧上检索参考帧对应像素，判断更新后的索引坐标是否越界，若发生越界，则重新生成位移。

10、进一步的，特征提取阶段，通过特征编码器提取图像不同尺度的特征信息其中参考图特征信息为变形图特征信息为上下文编码器提取图像不同尺度的变形信息

11、进一步的，初始值估计阶段，利用已得到的位移对变形图特征信息进行特征扭曲处理得到利用参考图特征信息与扭曲后的变形图特征信息构建相应代价体，进而得到运动信息表达式：

12、

13、其中，deformation是变形量，dk-1是上一层计算出的变形场，ck代表相关代价体，是变形图扭曲后的特征，描述了扭曲的特征与参考特征之间的差异，fm,fc,fφ,fδ,f1,f2表示用卷积层进行线性映射；

14、将得到的deformation与图像变形信息送入更新模块，通过gru完成更新。

15、进一步的，所述gru公式为：

16、zt＝σ(conv3×3([ht-1,xt],wz))

17、rt＝σ(conv3×3([ht-1,xt],wr))

18、

19、

20、其中，与为图像变形信息在c通道上分割的两部分，conv3×3表示3×3的卷积，[]表示拼接，σ与tanh表示激活函数，wz、wr、wh为不同的权重参数；

21、通过gru公式最终得到ht，令dk＝conv(ht,wk)，mask＝conv(ht,wm)

22、其中，conv表示卷积层，wk与wm是权重参数，dk表示变形场，mask表示掩码信息用于对变形场进行上采样。

23、进一步的，迭代细化阶段与初始值估计阶段相同，用来估计残差位移δd，每次迭代所得位移估计值为：dk+1＝δd+dk，由此可得一系列位移估计值。

24、进一步的，所述一系列位移估计值均为原图像的1/4分辨率，通过掩码信息将其上采样4倍，输出一系列位移di。

25、进一步的，测量模型使用pytorch框架实现，在rtx3090上进行训练，选择adamw作为优化方法，损失定义为：

26、

27、其中，γ＝0.8，n表示训练轮次，dgt表示给定真实位移，di表示模型输出的一系列位移。

28、进一步的，训练优化结果采用平均端点误差进行评估，训练过程中，若当前结果在测试集上达到最好的平均端点误差(epe)，则确定该组训练参数，进而确定最终测量模型。

29、进一步的，数据集生成模块，用于生成一系列参考图与变形图以及相应的变形场；

30、模型构建模块，用于提取图像生成模块信息，完成位移初始值估计并进行迭代更新细化；

31、模型训练优化模块，对模型构建模块得到的模型进行训练优化，确定最优训练参数，进而确定最终模型；

32、测量模块，用于采集图像并进行灰度处理，将图像输入进训练好的测量模型得到图像之间的变形场。

33、与现有技术相比，本发明具有以下有益的技术效果：

34、本发明一种基于深度学习的大变形测量方法，通过对参考图及变形图的特征及变形信息进行提取完成初始值估计，再利用递归迭代的思想对位移初始值进行迭代细化，完成测量模型的构建，最后对得到的测量模型进行训练优化得到最终模型；相比于现有深度学习数字图像方法，本方法可以完成小变形及大变形的测量，通过在低尺度特征上进行初始值估计，然后使用估计的初始值在高尺度特征上进行迭代细化，保证了模型能够同时适应于小变形以及大变形测量；在迭代细化阶段，每次迭代共享模型参数，在不影响模型泛化能力的情况下减少了模型参数，降低了训练成本；本技术还解决了传统方法中计算速度慢，人为设置参数等影响，同传统方法相比，该方法不再依赖子区大小的设置，在测量高频率变化的位移场方面具有绝对优势。

35、优选的，在制作参考图及变形图阶段，针对大变形，当位移量较大时，会产生移进，移出的像素，通过指定像素坐标系为基准，在参考帧上检索变形帧对应像素，判断更新后的索引坐标是否越界，若发生越界，则重新生成位移。

36、优选的，初始值估计阶段，对变形图特征信息进行特征扭曲，通过特征扭曲减少参考图与变形图特征信息之间的特征空间距离，以便于处理大位移预测。