一种基于自适应窗口匹配的数字散斑全场形变测量方法与流程

本发明涉及计算机视觉领域，尤其是涉及一种基于自适应窗口匹配的数字散斑全场形变测量方法。

背景技术：

在现代城市化建设中，建筑材料的稳定性和安全性已经成为焦点问题。因此在每一种特制材料投入使用之前，都需要通过拉伸/压缩测试、碰撞测试、高温测试等测试性实验评估材料的结构性能和安全系数。然而传统接触式传感器由于单点监测、测量范围有限、安装困难等缺陷不适用于材料的全场形变测量。而随着光学工程的快速发展，数字影像相关凭借非接触式的优点已经成为力学分析中的主要测量方法。该方法与视频测量技术相结合可以克服传统传感器的缺陷。在数字摄影测量中，数字影像相关又被称为影像匹配。在计算机视觉领域，影像匹配广泛应用于视差的计算。然而由于立体影像存在视差突变的问题，传统固定窗口匹配策略无法解决这类难题，所以许多学者开始逐渐使用变化窗口匹配方法以准确提取视差边界。但是这些方法却不能直接应用于散斑影像序列中的细微形变测量。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于自适应窗口匹配的数字散斑全场形变测量方法。

本发明的目的可以通过以下技术方案来实现：

一种基于自适应窗口匹配的数字散斑全场形变测量方法，包括以下步骤：

1)构建相机网络：在待测量物体表面喷设数字散斑，在布设卤素灯作为光源后设置两台相机以交向摄影的方式拍摄待测量物体，获取左右散斑影像序列；

2)立体匹配与目标跟踪：指定待测量物体上的散斑兴趣区，采用可靠性引导匹配方式确定左右散斑影像序列中目标点的同名位置，对每个目标点采用自适应窗口匹配方法确定最佳的匹配窗口，并采用最小二乘匹配完成目标精确跟踪，获取散斑影像序列中同名点的二维序列坐标；

3)全场三维形变测量：根据同名点的二维序列坐标采用基于共线方程的前方交会算法获得目标点的时序三维空间坐标，重建测量面的三维空间点云完成待测量物体的形变结构参数的测量。

所述的步骤1)中，在待测量物体表面喷设数字散斑具体为：

在被测物体的表面均匀喷涂白色哑光漆，再将黑色哑光漆或黑色墨水均匀喷洒在白色哑光漆表面上。

所述的步骤2)中，立体匹配具体为：

在序列影像的初始时刻，所有目标点以zncc值作为依据逐个进行立体匹配，即拥有最高zncc值的目标相邻点位被优先匹配，并且每个目标点的搜索窗口将由已匹配点的相邻点提供。

所述的步骤2)中，目标跟踪具体为：

在初始时刻赋予每个目标点一个匹配窗口，当目标影像块在同名搜索区域找到唯一的同名影像块，且其信息熵达到信息熵的阈值δ，则停止增加匹配窗口的尺寸，每个目标点的匹配窗口尺寸根据空间相关性和信息熵确定，则有：

其中，entropy(f)为信息熵，n(i)为灰度值为i的像素个数，nsum为匹配窗口内总的像素个数，逻辑函数log的底设为2。

所述的匹配窗口均为方形窗口，并且目标点位于匹配窗口的中心。

根据目标点的四个方向，采用四个不同的目标窗口获取zncc值，并且保留具有最高zncc值的窗口，使得具有最高zncc值的影像窗口中具有相同的形变参数，目标窗口的形变参数直接由具有最大zncc数值方向的相邻点位提供。

采用分布式并行的方式完成目标跟踪，具体为：

每个相机配备一台子控机，并采用一台主控机管理和控制两台子控机，为实时采集和存储海量影像序列，每台子控机配备高速影像采集卡和固态磁盘阵列，每台子控机还装配多核中央处理器用以完成影像序列跟踪匹配的并行计算。

所述的步骤3)具体包括以下步骤：

31)全场三维形变构建：采用基于平面的标定方法完成相机的立体标定并获取相机的内外方位元素和相机畸变参数，采用基于共线方程的前方交会算法获取所有目标点的时序三维空间坐标；

32)测量结构参数估计：通过时间序列影像中的后续点云与初始点云的坐标差获取待测量物体的三维位移场，并对待测量物体的三维位移场进行局部微分获取全场三维应变参数。

与现有技术相比，本发明具有以下优点：

本发明设计改进变化窗口匹配方法以达到细微形变提取的目的，在非接触式形变监测领域，大部分实验依然使用固定窗口提取目标形变，并且匹配窗口尺寸往往取值足够大以满足形变测量的需求，大尺寸匹配窗口由于覆盖形变区域将导致位移结果不准确，并且由于目标突发断裂，形变边缘的目标点将无法准确地匹配，本发明根据全场三维形变的特征，提出了自适应窗口匹配策略以精确提取散斑影像的位移参量，此外，本发明与高速视频测量技术相结合，能够有效地探测材料的瞬态细微形变。

附图说明

图1为数字散斑全场形变测量方法流程图。

图2为材料表面的散斑纹理。

图3为可靠性引导匹配策略，其中，图(3a)为粗匹配流程图，图(3b)为基于zncc数值的点位匹配顺序图。

图4为自适应窗口匹配策略。

图5为分布式并行计算框架。

图6为散斑模拟影像，其中，图(6a)为三个不同密度的散斑区域，图(6b)为初始散斑影像，图(6c)为变形散斑影像。

图7为自适应窗口匹配策略的应用，其中，图(7a)为匹配窗口的分布统计，图(7b)为自适应窗口匹配方法精度评定。

图8为高速相机采集的原始影像图。

图9为固定窗口匹配和自适应窗口匹配，其中，图(9a)为小尺寸固定窗口匹配结果，图(9b)为大尺寸固定窗口匹配结果，图(9c)为自适应窗口匹配结果。

图10为岩石表面在第4000帧的三维位移场和应变场，其中，图(10a)岩石表面x方向位移场，图(10b)岩石表面y方向位移场，图(10c)岩石表面z方向位移场，图(10d)岩石表面εxx应变场，图(10e)岩石表面εyy应变场，图(10f)岩石表面εxy应变场。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供一种基于自适应窗口匹配的数字散斑全场形变测量方法，其技术路线如图1所示，具体包括以下步骤：

1、相机网络的构建：

为了获取材料结构瞬态的三维动态形变信息，视频测量已经作为主要光学测量方法来监测物体的三维形态变化，且高速相机的出现使精密量测快速移动物体成为可能。因此，凭借高帧频的优势，两台高速相机被用来记录同一目标场景的空间变化。在本方案中，为了加大立体影像的重叠度，两台相机将以交向摄影的方式拍摄实验场景。

如图2所示，为了增加特征信息，散斑影像的生成是近景摄影测量中最为简单的方式。首先，白色哑光漆被均匀喷涂在被测物体的表面，然后黑色哑光漆或黑色墨水被均匀喷洒在白色表面上。其中，哑光漆的作用是为了克服光反射造成的影像质量退化问题。因此，黑白散斑影像能够提高影像对比度与影像匹配精度。此外，由于大部分测试性实验于室内完成，因此卤素灯可作为人工灯源来提高影像的拍摄质量。

2、立体匹配与目标跟踪

在同名匹配之前，散斑兴趣区和目标点位需要被确定。在相机的初始参考影像中，目标点的选择方法与采样过程相似。在指定的散斑兴趣区中，全场目标点的位置可通过均匀间隔采样来确定。

在影像匹配中，由粗到精的匹配方法适用于同名散斑影像序列中的同名匹配与目标跟踪。在精匹配过程中，立体匹配与目标跟踪采用相同的亚像素级匹配方法。在众多亚像素级匹配方法中，本专利采用最小二乘匹配方法(least-squaresmatching,lsm)，该方法在解算过程中能够考虑目标影像块的几何畸变且计算效率优于传统的牛顿-拉夫逊相关方法(newton-raphsonmethod,nr)。此外，凭借灰度不变性的优势，本专利将采用零均值归一化互相关(zero-meannormalizedcross-correlation,zncc)以评估影像块间的相似程度。而在粗匹配过程中，立体匹配与目标跟踪将根据不同的匹配目的与特征分别采取不同的匹配策略。

2.1、左右散斑影像对的立体匹配

立体匹配通常应用于同名影像序列的初始时刻。它主要有两个目的：(1)计算左右散斑影像对中的同名像点坐标；(2)为后续的影像序列跟踪提供点位的像方初始位置。由于左右像对间的视差影响，每个目标点位在同名影像中的搜索窗口需要被确定。在本专利中，提出了一种有效的可靠性引导匹配策略以精确确定目标点的同名位置。

为了达到自动化解算的目的，可靠性引导匹配策略主要完成两个计算步骤：(1)所有目标点将以zncc值作为依据逐个实施立体匹配；(2)每个目标点的搜索窗口将由已匹配的相邻点位所提供。如图(3a)所示，当一个目标点(黑色圆)被成功匹配时，它相邻点位(即l1，l2，l3和l4)的搜索窗口将由该目标点的同名点位(灰色圆)来提供。因此，在整个匹配过程的初期，需要提供至少一对已知种子点来保证该算法的成功运行。图(3b)展示了目标点位的立体匹配顺序。其中，具有最高zncc值的目标相邻点位将被优先匹配，并且该目标影像块的形变参数能够被直接提供给它的相邻点位以作为最小二乘匹配的迭代初值。通过上述可靠性引导匹配策略与最小二乘匹配方法，可在序列影像的初始时刻计算出密集且精确的同名点位，zncc值的计算公式如下：

公式(1)为zncc计算方程，参考影像块和目标影像块的大小为(2m+1)×(2m+1)，fi,j为参考影像块中坐标点(i,j)处的灰度值，gi,j为目标影像块中坐标点(i,j)处的灰度值，和分别为两张图像的平均灰度值。

2.2、散斑影像序列间的自适应窗口匹配

在目标跟踪中，每个目标点都能够通过自适应窗口匹配策略获取一个最佳的匹配窗口。在以往的相关方法中，目标影像块的窗口尺寸经常由实验经验来指定，并且所有目标点的窗口类型与窗口尺寸是相同的。然而匹配窗口的大小将直接影响实验结果的精度，小尺寸目标窗口由于影像信息的缺失将导致误匹配，而大尺寸目标窗口将无法探测细微的变形。因此，通过本专利的自适应窗口匹配策略能够获取最佳的目标窗口。由于散斑点位的随机性，黑色散斑点并非均匀地分布在白色的物体表面上，因此每个目标点的窗口尺寸需要分别解算。通常情况下，在初始时刻(时刻0)的目标影像块将被视为参考影像块，以此来匹配后续时刻的目标点位。

在本发明中，目标窗口的尺寸将根据空间相关性和信息熵来确定。针对于空间相关性，每个目标影像块应该在局部相邻区域中保证唯一性。因此，唯一空间相关约束的目的是为了避免由相似纹理导致的误匹配问题。而且这个约束条件也能在一定程度上避免由灰度信息缺失导致的误匹配问题。此外，与传统计算机视觉领域中的立体匹配不同，最小二乘匹配在迭代收敛过程中需要足够的纹理信息来实现高精度定位的目的。因此作为一种常规纹理特征，影像信息熵能够评价纹理的复杂度。根据公式(1)，影像纹理越复杂，信息熵值将会越大。相反地，当影像灰度更均匀时，信息熵值将会越小。因此，在自适应窗口匹配策略中，窗口尺寸的不断扩大将导致影像纹理信息的增加，此时信息熵将同样变大。此外，在目标跟踪匹配之前，信息熵的阈值(δ)需要被设定，并且不同的阈值将会导致不同的匹配结果。

公式(1)为信息熵方程。在该方程中，n(i)为灰度值为i的像素个数，nsum为窗口内总的像素个数，并且在本发明中，逻辑函数(log)的底被设为2。

如图4所示，目标点的初始位置已由立体匹配确定。因此，在目标跟踪初期，每个目标点将被赋予一个小的匹配窗口。一旦目标影像块在同名搜索区域找到唯一的同名影像块，并且它的信息熵达到所设阈值，那么其匹配窗口的尺寸将停止增加。在整个过程中，zncc同样被用来评估空间相关程度。最后，最小二乘匹配被用来解算每个跟踪点的精确位置。

在本专利中，目标窗口皆为方形窗口，并且目标点位于窗口的中心。然而，在实际实验中，非刚性材料的突然断裂将导致局部形变的突变。而由于较低的zncc数值，在突变区域的目标点位将无法获取精确的匹配结果。因此，本专利采用多窗口匹配方法解决形变边缘的误匹配问题。如图中(c)所示，根据目标点位的四个方向，采用四个不同的目标窗口解算zncc值，并且具有最高zncc值的窗口将被保留下来。该方法的目的就是具有最高zncc值的影像窗口中将具备相同的形变参数。因此，在精确匹配中，目标窗口的形变参数将直接由具有最大zncc数值方向的相邻点位所提供。

2.3、分布式并行计算

为了实现现场解算的目的，并行计算能够大幅度提高影像序列的处理效率。在本专利中，每个高速相机将配备一台子控机，并且一台主控机管理和控制两台子控机。为了实时采集和存储海量影像序列，每台子控机将配备高速影像采集卡和固态磁盘阵列。此外，每台子控机还将装配多核中央处理器(centralprocessingunit,cpu)以支持影像序列跟踪匹配的并行计算。在并行计算过程中，立体影像的兴趣区应根据cpu的计算核心数进行分割。详细的解算过程如图5所示，处理步骤如下：

(1)从子控机中提取初始影像并传递至主控机；

(2)在主控机中通过立体匹配求解初始同名目标点位；

(3)将目标点位分别传输至各子控机中；

(4)在影像分块后，通过多核心cpu并行解算序列同名点；

(5)将序列同名点传递至主控机以参与目标点云的三维重建。

3、全场三维形变测量

在数字摄影测量中，最为关键的技术就是建立目标点二维影像投影与三维空间位置的空间数学模型。根据标准的共线方程，本专利介绍了严密光学几何解析算法。并且在获取被测物体表面空间信息后，通过序列三维点云的时序空间分析进一步计算材料结构的关键形变参数。

3.1全场三维形变构建

立体标定和三维点云重建是全场形变测量中的重要步骤。立体相机标定的目的是为了获取立体相机的内方位元素、镜头畸变参数和外方位元素。在本专利中，基于平面的标定方法凭借灵活、鲁棒和低成本的优势应用于相机参数的解算中。在整个计算过程中，基于平面的标定方法能够同时确定相机与标定板间的空间关系。因此，当立体相机同步采集标定板影像时，能够通过严格的空间数学转换模型确定相机间的空间关系，因此每个相机的外方位元素将被进一步推算出来。

由于立体相机在整个实验中保持稳定不动，因此相机的内外方位元素和相机畸变参数在任意时刻可视为固定常数。通过立体匹配和目标跟踪，可获取同名影像点位的二维序列坐标。进而通过基于共线方程的前方交会算法能够同时解算出所有目标点的时序三维空间坐标。因此，在任意时刻，通过上述流程能够重建出测量面的三维空间点云。

3.2结构参数估计

在本专利中，通过序列空间信息的时序分析，能够轻松获得目标材料的结构动态参数。其中，在获取序列三维点云后，通过后续点云与初始点云的坐标差可获得三维位移场。此外，根据材料测试的特殊需求，瞬态速度场和加速度场能够分别通过位移场对时间的一次或二次微分获取。而作为力学分析中的主要结构参数，目标结构的全场三维应变需要通过位移场的局部微分解算。如公式(2)，本专利将采用二次多项式拟合位移场。

在公式(2)和(3)中，(u(x,y,z),v(x,y,z),w(x,y,z))为跟踪点的三维位移参量；(x,y,z)为跟踪点的三维空间坐标；(αi,βi,γi)为未知的二次项参数；(εxx,εyy,εzz,εxy,εyz,εzx)为拉格朗日应变向量。在全场应变解算过程中，每个跟踪点的局部相邻点位通过最小二乘优化来拟合位移方程。在获得二次项系数后，能够通过公式(3)的数值微分方程计算目标点位的应变向量。

实施例：

模拟测试：本例中采用高斯散斑模拟实验

为了验证本专利的影像匹配策略，可通过模拟影像提供鲁棒的散斑特征和精确的形变信息。基于公式(4)，散斑模拟影像可通过高斯随机散斑生成。其中，初始的散斑影像根据随机散斑点位和散斑半径生成，而变形的散斑影像则是在初始影像上设定不同形变参数而成。

在公式(4)中，(u,v)为每个像素的像坐标，(ui,vi)为第i个散斑点的像坐标，ii为第i个散斑点的灰度值，r为散斑点的半径，(a0,a1,a2,b0,b1,b2)为仿射形变参数。如图6所示，根据设定参数(m＝16718，ii＝rand(100～255),和r＝3像素)生成了一幅分辨率为800×800像素的模拟散斑影像。并且为了定量评价自适应窗口匹配策略，变形散斑影像则采用b0＝0.75像素而成。此外，模拟影像根据散斑密度的不同分为了三个不同区域。

在模拟测试中，目标点采样间隔为2像素，窗口半径取值范围为[0，30]，且信息熵的阈值设为6。通过本专利介绍的自适应窗口匹配策略，获取每个目标点的最佳匹配窗口尺寸。如图7(a)所示，区域a中目标点位的匹配窗口普遍较小，而区域c中大部分点位的匹配窗口已达到设定的窗口上限。通过均值计算，在区域a，区域b和区域c中统计的平均匹配窗口分别为6.76像素，14.05像素和28.98像素。此外，在精确目标跟踪匹配之后，所有跟踪点位的平均位移为0.739像素。与理论设定的0.75像素位移值相比，所有点位的位移偏差均方根为0.01像素。此外，根据不同的形变参数(a0＝0.01～1像素或者b0＝0.01～1像素)能够生成不同的形变散斑影像。图7(b)详细展示了本方法的计算误差，由此可证明，本专利的自适应窗口匹配策略在散斑序列影像中能够达到约0.01像素的匹配精度。

实例验证：单轴压缩实验

在实例验证中，使用由两台高速相机组成的双目视觉测量系统测量岩石材料在单轴压缩下的三维形态变化。其中，高速相机的满幅分辨率为2304×1720像素，采集帧频为400帧/秒。并且为了减少影像畸变，每台高速相机配备了50mm的定焦镜头。此外，岩石材料样本被制作成边长70mm的正方体。

在立体标定过程中，相机的反投影误差约为0.1-0.2像素，且目标的三维定位精度为0.02mm。如图8所示，物方坐标系的坐标轴方向依照右手坐标系设定，且xy平面平行于岩石表面。在后续的数据处理中，目标点的采样间隔为5像素。

通过目标跟踪和匹配，可以获得二维位移场结果。为了评估本专利的算法性能，从原始影像中裁剪部分形变区域作为解算对象。如图9(a)和(b)所示，不同尺寸的固定窗口导致了不同的匹配结果。小尺寸窗口导致了影像的误匹配，而大尺寸窗口导致了位移结果的平滑。因此，传统的固定窗口匹配策略无法获取精确且细微的位移结果。然而，本专利介绍的自适应窗口匹配策略能够解决上述难题。如图9(c)所示，根据设定的信息熵阈值，每个目标点能够在特定条件下获取最佳窗口，并获得精确的位移值。在本实验中，将采用5.2作为匹配信息熵的阈值。

图9固定窗口匹配和自适应窗口匹配。(a)小尺寸固定窗口匹配结果。(b)大尺寸固定窗口匹配结果。(c)自适应窗口匹配结果。

通过三维重建可获取目标材料在任意时刻下的点云数据。进而可根据本专利介绍的形变参数评估，可以计算出目标材料在任意时刻下的三维位移场和应变场。如图10所示，随着单轴压缩机不断地向下施压，岩石表面的上方会发生明显断裂。并且其破坏程度可通过位移场和应变场进行准确的定量评估，为土木工程领域提供重要的实验依据。

本专利基于非接触式高速视频测量技术提出了一种测量特定材料全场三维形变的新型方法。在该方法中，使用可靠性引导的匹配策略确定左右目标点的同名关系，并且利用自适应窗口匹配策略获取同名跟踪点的序列影像坐标。此外借助分布式并行计算，整个匹配过程能够高效地完成：

1)在散斑模拟实验中，自适应窗口匹配策略能够实现约0.01像素的匹配精度。与传统固定窗口匹配方法相比，自适应窗口匹配方法能够提取更细微的形变且避免更多的误匹配。

2)两台帧频为400帧/秒的高速相机精确测量岩石材料在单轴压缩下的三维形态变化，并且该立体测量方案能够实现0.02mm的目标定位精度。

3)在实例验证中，岩石材料表面在任意时刻(0.025s)下的全场应变可通过局部位移微分求解，且岩石的破坏机理与单轴压缩实验设计相一致。