基于多中心采样均衡滤波的特征描述子重构方法、装置、介质及终端

1.本发明涉及计算机视觉领域，尤其涉及一种基于多中心采样均衡滤波的特征描述子重构方法、装置、介质及终端。


背景技术：

2.局部图像特征描述与匹配是计算机视觉技术的核心步骤，它广泛应用于许多计算机视觉应用之中，包括三维重建、物体识别、图像配准等等。局部图像特征描述的目的是用一个向量对输入的局部图像进行表达，通常将重构出的表示向量称为局部图像特征描述子。通过比较不同的局部图像之间的特征描述子的相似性/距离，就可以进行局部图像匹配，以期得到对应于同一物理场景的局部图像匹配关系。
3.图像中的特征点由关键点和特征描述子两部分构成，其中，特征描述子用来对特征关键点的邻域图像块进行编码描述，重构方法从直接用邻域像素值构成，发展到基于hog直方图，再到二进制编码。其中，brief、orb和brisk等二进制描述符构造快，具有匹配快和存耗小的优点，但其由于不考虑关键点的灰度分布特点，导致特征描述子在匹配过程中鲁棒性不足，在光照变换等较恶劣条件下提取数量少、匹配精度较低。


技术实现要素：

4.鉴于上述现有技术的不足，本技术的目的在于提供一种基于多中心采样均衡滤波的特征描述子重构方法、装置、介质及终端，旨在解决在如何增强特征描述子的鲁棒性和提高匹配精度的问题。
5.为解决上述技术问题，本技术实施例第一方面提供了一种基于多中心采样均衡滤波的特征描述子重构方法，所述方法包括：
6.提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点；
7.基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；
8.对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；
9.基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子。
10.作为进一步改进技术方案，所述提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点包括：
11.提取出原始图像中的关键点，基于所述关键点对所述原始图像的初始特征描述子进行圆周分布采样，得到关键点信息和关键点周围的采样点信息；
12.基于所述关键点信息和关键点周围的采样点信息，提取出原始图像中的关键点，
将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点。
13.作为进一步改进技术方案，所述基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息包括：
14.所述基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样；
15.将所述描述重心点与描述重心点周围的采样点像素值进行对比，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息。
16.作为进一步改进技术方案，所述对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息包括：
17.基于灰度变化信息通过加权求和方法对所述采样点进行加权求和，得到若干个精确采样点的坐标信息和灰度值。
18.作为进一步改进技术方案，所述基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子包括：
19.将所述中心的描述重心点与所述精确采样点的灰度值进行比较得到64维的二值符串；
20.以每个所述采样的描述重心点为圆心画圆，以所述圆作为每个采样的描述重心点的图像块，其中，所述采样的描述重心点到中心的描述重心点的距离作为圆的半径；
21.依次对每个所述图像块进行圆周采样，得到32个像素点的灰度值；
22.将每个所述采样的描述重心点与对应的所述32个像素点的灰度值依次进行比较，得到6
×
32维的二值符串；
23.将所述6
×
32维的二值符串与所述64维的二值符串进行拼接得到重构的256维二值特征描述子。
24.作为进一步改进技术方案，所述加权求和方法采用的第一公式如下：
25.p1(x1,x2)＝(a
×
i(x1,x2)+b
×
(i(x
1-1,x
2-1)+
26.i(x
1-1,x2)+i(x
1-1,x2+1)+
27.i(x1,x
2-1)+i(x1,x2+1)+
28.i(x1+1,x
2-1)+i(x1+1,x2)+
29.i(x1+1,x2+1)))/(a+8b)
30.所述加权求和方法采用的第二公式如下：
31.p2(x1,x2)＝(a
×
i(x1,x2)+b
×
(i(x1+1,x
2-1)+
32.i(x1+1,x2)+i(x1,x
2-1)))/(a+4b)
33.其中，所述第二公式和第二公式中的p1、p2为灰度值，(x1,x2)为采样点的坐标，i为灰度值，a，b为分配的权重。
34.作为进一步改进技术方案，所述固定采样所用的采样公式如下：
35.(x-a)2+(y-b)2＝r，r＝2.9f,4.9f,7.4f,10.8f
36.num∈[0,numsi),i∈[1,4]
[0037]
p
x
＝r
×
cosα
[0038]
py＝r
×
sinα
[0039]
其中，所述采样公式中的p
x
为圆周分布采样点横坐标，py为圆周分布采样点纵坐标，r为半径，f＝1.39，(a，b)为关键点的坐标，α为采样点的角度，num为每一个圆周的第num个采样点，numsi是第i个圆周的采样点数量，取值为线性增长，numsi＝4i+6，i∈[1,4]。
[0040]
本技术实施例第二方面提供了一种基于多中心采样均衡滤波的特征描述子匹配装置，包括：
[0041]
描述重心点选择模块，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点；
[0042]
固定采样模块，基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；
[0043]
滤波模块，对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；
[0044]
编码模块，基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子。
[0045]
本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于多中心采样均衡滤波的特征描述子重构方法中的步骤。
[0046]
本技术实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0047]
所述通信总线实现处理器和存储器之间的连接通信；
[0048]
所述处理器执行所述计算机可读程序时实现如上任一所述的基于多中心采样均衡滤波的特征描述子重构方法中的步骤。
[0049]
有益效果：相较于现有技术本发明的基于多中心采样均衡滤波的特征描述子重构方法包括，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点；基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子；本发明采用上述方法后提高了提高了特征描述子的鲁棒性，提高了在光照变换等较恶劣条件下的提取数量和匹配精度。
附图说明
[0050]
图1是本发明的基于多中心采样均衡滤波的特征描述子重构方法的流程图。
[0051]
图2是本发明提供的终端设备的结构原理图。
[0052]
图3是本发明提供的装置结构框图。
[0053]
图4是本发明确定七个描述重心点示意图。
[0054]
图5是本发明多中心圆周编码示意图。
[0055]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0056]
为了便于理解本技术，下面将参照相关附图对本技术进行更全面的描述。附图中给出了本技术的较佳实施方式。但是，本技术可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本技术的公开内容理解的更加透彻全面。
[0057]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本技术。
[0058]
发明人经过研究发现，现有技术存在以下问题：
[0059]
(1)图像中的特征点由关键点和特征描述子两部分构成，其中，特征描述子用来对特征关键点的邻域图像块进行编码描述，重构方法从直接用邻域像素值构成，发展到基于hog直方图，再到二进制编码。其中，brief、orb和brisk等二进制描述符构造快，具有匹配快和存耗小的优点，但其由于不考虑关键点的灰度分布特点，导致特征描述子在匹配过程中鲁棒性不足，在光照变换等较恶劣条件下提取数量少、匹配精度较低。
[0060]
如图1所示，本技术实施例提供的一种基于多中心采样均衡滤波的特征描述子重构方法，包括以下步骤：
[0061]
s1，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点；
[0062]
具体的，提取出原始图像中的关键点坐标信息，将关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点，一共确定了六个采样的描述重心点，六个采样的描述重心点加上一个中心的描述重心点，总共确定了七个描述重心点。
[0063]
其中，所述提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点包括以下步骤：
[0064]
s101，提取出原始图像中的关键点，基于所述关键点对所述原始图像的初始特征描述子进行圆周分布采样，得到关键点信息和关键点周围的采样点信息；
[0065]
s102，基于所述关键点信息和关键点周围的采样点信息，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点。
[0066]
具体的，圆周分布采样相对于均匀分布采样更加稀疏和高效，且能更好的体现描述重心与邻域点的关系，圆周分布采样能够获取关键点及关键点周围采样点的灰度变化信息，关键点为邻域的灰度信息是具有相关联系的，传统的圆周分布采样算法通过将中心点与周围采样点的像素值两两对比，将关键点的信息描述集中于在中心点上，容易受环境影响，鲁棒性低，为了提高特征描述子的鲁棒性，在传统的采样分布中加入多个描述重心点，从而将传统描述子的单重心重构成多重心，固定采样与传统的采样分布相比，描述重心点由一个增加到七个；
[0067]
如图4所示，首先提取出原始图像中的关键点，基于关键点对原始图像的初始特征描述子进行圆周分布采样，得到关键点信息和关键点周围的采样点信息，基于关键点信息
和关键点周围的采样点信息，提取出原始图像中的关键点，将关键点确定为一个中心的描述重心点，将以关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点，如图4所示，确定六个采样的描述重心点的过程为，在圆周分布采样得到的若干采样点中，以关键点为圆心由内到外的第三个由采样点连接形成的圆周上均匀分布有六个采样点，六个采样点分别确定为采样的描述重心点，以描述除中心的描述重心点外的邻域图像块的信息。
[0068]
s2，基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；
[0069]
具体的，在确定一个中心的描述重心点和六个采样的描述重心点后，需要对原始图像重新进行采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息，也就是说基于七个描述重心点通过固定采样方法对原始图像进行重新采样。
[0070]
其中，所述基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息包括以下步骤：
[0071]
s201，所述基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样；
[0072]
s202，将所述描述重心点与描述重心点周围的采样点像素值进行对比，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息。
[0073]
所述固定采样所用的采样公式如下：
[0074]
(x-a)2+(y-b)2＝r，r＝2.9f,4.9f,7.4f,10.8f
[0075]
num∈[0,numsi),i∈[1,4]
[0076]
p
x
＝r
×
cosα
[0077]
py＝r
×
sinα
[0078]
其中，所述采样公式中的p
x
为圆周分布采样点横坐标，py为圆周分布采样点纵坐标，r为半径，f＝1.39，(a，b)为关键点的坐标，α为采样点的角度，num为每一个圆周的第num个采样点，numsi是第i个圆周的采样点数量，取值为线性增长，numsi＝4i+6，i∈[1,4]。
[0079]
s3，对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；
[0080]
为了过滤在固定采样产生的噪声点，需要对固定采样得到的采样点灰度变化信息采取进一步的过滤，通过加权求和的方案来获得采样点灰度变化信息处理后的灰度值，对采样点进行加权求和，不仅能解决噪点问题，而且也能在灰度值比较的过程中，加入更多的邻域信息，增加描述符的可靠性；
[0081]
其中，所述对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息包括：
[0082]
基于灰度变化信息通过加权求和方法对所述采样点进行加权求和，得到若干个精确采样点的坐标信息和灰度值。
[0083]
所述加权求和方法采用的第一公式如下：
[0084]
p1(x1,x2)＝(a
×
i(x1,x2)+b
×
(i(x
1-1,x
2-1)+
[0085]
i(x
1-1,x2)+i(x
1-1,x2+1)+
[0086]
i(x1,x
2-1)+i(x1,x2+1)+
[0087]
i(x1+1,x
2-1)+i(x1+1,x2)+
[0088]
i(x1+1,x2+1)))/(a+8b)
[0089]
所述加权求和方法采用的第二公式如下：
[0090]
p2(x1,x2)＝(a
×
i(x1,x2)+b
×
(i(x1+1,x
2-1)+
[0091]
i(x1+1,x2)+i(x1,x
2-1)))/(a+4b)
[0092]
其中，所述第二公式和第二公式中的p1、p2为灰度值，(x1,x2)为采样点的坐标，i为灰度值，a，b为分配的权重。
[0093]
同时使用两个加权求和公式是为了避免在邻域的采样加权中，对其中一个像素多次进行采用。如果加权求和时的采样点为描述重心点或者该采样点到对应描述重心点的距离大于设定的阈值8，则选用第一公式，否则选用第二公式。
[0094]
s4，基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子。
[0095]
如图5所示，确认了描述重心点的位置之后，需要对描述重心点进行多中心圆周编码，即为每一个描述重心点添加一次圆周分布采样，目的是为了获得更多的周围采样点信息与描述重心的差异，对于在不同图像中的同一个特征点，可以更好的识别出来，同时获取描述重心邻域信息，也就是获取邻域灰度值与描述重心灰度值的差异信息。
[0096]
其中，所述基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子包括以下步骤：
[0097]
s401，将所述中心的描述重心点与所述精确采样点的灰度值进行比较得到64维的二值符串；
[0098]
s402，以每个所述采样的描述重心点为圆心画圆，以所述圆作为每个采样的描述重心点的图像块，其中，所述采样的描述重心点到中心的描述重心点的距离作为圆的半径；
[0099]
s403，依次对每个所述图像块进行圆周采样，得到32个像素点的灰度值；
[0100]
s404，将每个所述采样的描述重心点与对应的所述32个像素点的灰度值依次进行比较，得到6
×
32维的二值符串；
[0101]
s405，将所述6
×
32维的二值符串与所述64维的二值符串进行拼接得到重构的256维二值特征描述子。
[0102]
优点为：
[0103]
1、在传统特征描述子中加入描述重心的概念，从而增加关键点邻域的灰度信息，使得关键点特征描述子对于光照、旋转等环境干扰因素不敏感，从而增强特征描述子的鲁棒性；
[0104]
2、加入了多中心圆周编码的步骤，进一步获取描述中心邻域信息；
[0105]
3、加入了加权求和方法，有效防止在固定采样时，有部分采样点是突出的噪点或者产生混叠效应。
[0106]
基于上述基于多中心采样均衡滤波的特征描述子重构方法，本实施例提供了一种基于多中心采样均衡滤波的特征描述子匹配装置，包括：
[0107]
描述重心点选择模块1，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样
的描述重心点；
[0108]
固定采样模块2，基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；
[0109]
滤波模块3，对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；
[0110]
编码模块4，基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子。
[0111]
此外值得说明，本实施例提供的基于基于多中心采样均衡滤波的特征描述子匹配装置的工作过程与上述基于多中心采样均衡滤波的特征描述子重构方法的工作过程相同，具体可以参照基于多中心采样均衡滤波的特征描述子重构方法的工作过程，这里就不再赘述。
[0112]
基于上述基于多中心采样均衡滤波的特征描述子重构方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于多中心采样均衡滤波的特征描述子重构方法中的步骤。
[0113]
如图2所示，基于上述基于多中心采样均衡滤波的特征描述子重构方法，本技术还提供了一种终端设备，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0114]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0115]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0116]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0117]
相较于现有技术本发明的基于多中心采样均衡滤波的特征描述子重构方法包括，提取出原始图像中的关键点，将所述关键点确定为一个中心的描述重心点，将以所述关键点为圆心并按圆周均匀分布的六个采样点分别确定为采样的描述重心点；基于所述中心的描述重心点和采样的描述重心点对原始图像进行固定采样，得到描述重心点的灰度变化信息及描述重心点周围采样点的灰度变化信息；对所述灰度变化信息进行滤波处理，得到若干个精确采样点的信息；基于所述精确采样点的信息对所述描述重心点及周围采样点进行编码，得到重构的二值特征描述子；本发明采用上述方法后提高了提高了特征描述子的鲁棒性，提高了在光照变换等较恶劣条件下的提取数量和匹配精度。
[0118]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。