一种适应高仿射变换的区域特征描述符构造方法

本发明涉及一种适应高仿射变换的区域特征描述符构造方法，属于计算机视觉。

背景技术：

1、特征描述符是用以区别不同特征点在同一图像上的差异及保持同一特征点在不同图像上的相同信息，应用于目标检测、图像匹配、图像检索、三维重建等领域。然而图像发生仿射变换特别是光轴与场景的倾斜角大于40度时的仿射变换下，用以描述特征点的邻域灰度信息会发生显著变化，从而导致描述符较难保持特征点信息的差异性和不变性。

2、针对描述符保持不变性问题，目前方法中有效的解决策略是采用模拟不同仿射程度下的图像变换的方法保持描述符不变性。但现有模拟变换策略均采用固定数据的模拟变换，如著名的asift(affine scale invariant feature transform)算法对图像仅进行放大仿射变换的模拟，导致在面对较大仿射变换时，生成的两组仿射图像集合之间存在更大的仿射差距，无法保证同一描述符的不变性。另外，针对描述符保持差异性问题，目前方法中有效的解决策略是采用邻域信息补充的方式，但邻域信息有限往往会导致无法区分描述符的差异性。若直接扩大描述的区域范围，虽能有效缓解不同大区域下的描述符相似问题，但也会造成同一大区域下与其相近的描述符对应的区域信息重叠，严重影响同一大区域下描述符的差异性，从而导致依据此类描述符所进行特征点匹配的精确度下降。

技术实现思路

1、为了解决仿射程度较大所导致的区域信息变化而造成难以维持描述符同一性和差异性的问题，以提升后续特征匹配的精确度，本发明提供了一种适应高仿射变换的区域特征描述符构造方法，所述技术方案如下：

2、本发明的第一个目的在于提供一种图像区域特征描述符的构造方法，包括：

3、步骤1：在分类模拟仿射变换中，对待匹配图像的仿射程度进行判断，并得出相对高/低程度的仿射变换，进而分别实现模拟图像仿射程度的降低/增加，在所得的模拟图像集上进行已有的sift特征点描述；

4、步骤2：在描述符区域信息添加中，对所述待匹配图像进行图像增强；

5、步骤3：并基于mser算法对所述步骤2增强后的图像进行区域分割；

6、步骤4：使用灰度直方图描述分割后的图像区域，得到区域描述信息；

7、在区域坐标归一化的基础上，使用灰度质心法将该区域的主方向旋转至x轴正方向一致，并计算出特征点与质心归一化后的相对位置；

8、步骤5：对所述区域描述信息与相对位置信息分别赋予权重，并将赋予权重后的区域描述信息与相对位置信息与所述步骤1得到的特征点描述符融合。

9、可选的，所述步骤1中判断仿射程度的过程包括：

10、对输入的所述待匹配图像a、b分别模拟增加倍的仿射量，分别生成图像a、b，通过sift特征提取及描述算法进行匹配，图像a和图像b的特征匹配数目为mab，图像a和图像b的特征匹配数目为mab，若mab>mab，则图像a为仿射程度更低的图像，反之则图像b为仿射程度更低的图像。

11、可选的，所述步骤1分别实现模拟图像仿射程度的降低/增加的过程包括：

12、对输入图像中仿射程度较低的图像采用模拟放大的仿射量t_1，且t_1∈{√2,2,2√2}；对于输入图像中仿射程度较高的图像采用模拟缩小的仿射量t_2，且t_2∈{√2/2,1/2,√2/4}。两张图片的倾斜角φ模拟均为-45度至45度，步长为15度。

13、可选的，所述步骤2采用clahe算法对图像对比度增强后，采用双边滤波器对图像区域细节进行平滑。

14、可选的，所述步骤2中，双边滤波器在高斯滤波的基础上增加了像素灰度值的权重，在减少区域细节的同时加强了对边缘信息的保留，如下式所示：

15、

16、

17、

18、

19、其中，h(x)为输出灰度值，k(x)为对权重归一化的量，x为输入像素，s为x像素对应的滤波窗口，f(x)为像素x的灰度值，c(ξ,x)为空间权重，s(f(ξ),f(x))为灰度权重，σd和σr为空间邻近度标准差和灰度相似度标准差。

20、可选的，所述步骤4包括：

21、步骤4-1：对区域进行坐标归一化，将区域看作若干个平行线段的积分，坐标归一化公式为：

22、

23、

24、其中，(x，y)为输入像素坐标，(norm_x，norm_y)为归一化坐标，min_x、min_y、max_x和|max_y为区域所有像素坐标中最小和最大的x、y坐标值；

25、步骤4-2：同一区域在发生仿射变换时，像素灰度变极小和线段比例不变，则区域的灰度质心会对应同一像素点，通过下式求出区域质心c的坐标和区域的主方向角度θ：

26、mpq＝∑x，y∈sxpyqi(x，y) p，q＝{0，1}

27、

28、

29、其中，mpq为区域s的矩，m00表示区域s的像素灰度总和，m10为区域s在x方向灰度矩，m01为区域s在y方向灰度矩，通过将该区域x轴正方向转向主方向，消除仿射变换中旋转对坐标数值的影响；

30、步骤4-3：基于所述坐标归一化及区域质心c求出特征点与质心的相对位置。

31、本发明的第二个目的在于提供一种图像匹配方法，首先利用上述的图像区域特征描述符的构造方法对输入的待匹配图像进行区域特征描述符的构造，然后基于构造的特征描述符进行特征匹配。

32、本发明的第三个目的在于提供一种图像匹配装置，包括：处理器以及存储器，所述存储器上存储有由所述处理器执行的指令，当指令被所述处理器执行时，使得所述图像匹配装置实现上述的图像匹配方法。

33、本发明的第四个目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的图像匹配方法。

34、本发明有益效果是：

35、本发明使用分类模拟仿射变换的策略，解决了当待匹配图像发生较大仿射变换时，由于区域变化明显所导致的难以维持同一描述符的不变性问题，并在已有的sift描述符的基础上结合了在仿射变换下不变的区域信息生成了新的描述符，增强了分辨仿射变化中的相似小区域时不同描述符的差异性。在不同数据集下的仿真结果证明，本发明所提出的描述符可更准确的提高特征匹配的精度。

技术特征：

1.一种图像区域特征描述符的构造方法，其特征在于，所述方法包括：

2.根据权利要求1所述的图像区域特征描述符的构造方法，其特征在于，所述步骤1中判断仿射程度的过程包括：

3.根据权利要求1所述的图像区域特征描述符的构造方法，其特征在于，所述步骤1分别实现模拟图像仿射程度的降低/增加的过程包括：

4.根据权利要求1所述的图像区域特征描述符的构造方法，其特征在于，所述步骤2采用clahe算法对图像对比度增强后，采用双边滤波器对图像区域细节进行平滑。

5.根据权利要求4所述的图像区域特征描述符的构造方法，其特征在于，所述步骤2中，双边滤波器在高斯滤波的基础上增加了像素灰度值的权重，在减少区域细节的同时加强了对边缘信息的保留，如下式所示：

6.根据权利要求1所述的图像区域特征描述符的构造方法，其特征在于，所述步骤4包括：

7.一种图像匹配方法，其特征在于，首先利用权利要求1-6任一项所述的图像区域特征描述符的构造方法对输入的待匹配图像进行区域特征描述符的构造，然后基于构造的特征描述符进行特征匹配。

8.一种图像匹配装置，其特征在于，包括：处理器以及存储器，所述存储器上存储有由所述处理器执行的指令，当指令被所述处理器执行时，使得所述图像匹配装置实现根据权利要求7所述的图像匹配方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据权利要求7所述的图像匹配方法。

技术总结
本发明公开了一种适应高仿射变换的区域特征描述符构造方法，属于计算机视觉技术领域。本发明对不同仿射程度的图像分类模拟仿射变换生成新的图像集，进而在新的图像集上计算特征点的邻域信息，最后结合特征点所属的最大稳定极值区域的灰度直方图、以及特征点相对区域灰度质心的归一化位置，生成新的描述符。通过比较仿射变换场景下的特征匹配指标，证明了本发明的描述符较现有的经典描述符更具有高精度的稳健性，同时具有与其它描述符融合的鲁棒性。

技术研发人员：王映辉,南彬,张少杰
受保护的技术使用者：江南大学
技术研发日：
技术公布日：2024/1/13