一种用于视觉相机克服光照不变性的三角形状特征描述符的视觉定位方法

本发明涉及视觉传感器的同时定位与建图(slam)，尤其涉及一种用于视觉相机克服光照不变性的三角形状特征描述符的视觉定位方法。

背景技术：

1、随着现代科技的不断进步，基于视觉传感器的slam技术是无人系统实现智能化、自主化的关键技术之一，尤其是在机器人领域被广泛地应用。在slam技术的过去几十年的发展中，由于视觉传感器能获取丰富的纹理信息，具有无限的挖掘空间被应用于无人系统作为定位问题的解决方案，不仅在理论上取得广泛的突破，也促进了许多应用领域的蓬勃发展。通过使用视觉传感器获取未知的环境信息，可以实现环境地图的感知、确定相机自身所在环境中的位置和姿态信息。但是视觉相机传感器也容易受到环境光照时变的影响，因此，提出一种能克服光照变化影响的环境信息获取方法是极为重要的。

2、视觉相机通过实时获取环境中的三维信息来估计自身的运动及姿态，目前主流的视觉slam方法主要可以被分为直接法和特征点法。直接法不需要通过相机来换取环境的纹理特征以及匹配过程，而是直接对比相邻两帧图像的像素点的灰度差异，利用灰度误差函数估计优化相机位姿。由于直接法不需要提取特征和匹配特征这两个阶段，所以该方法获取环境信息的速度较快，但由于其基于灰度一致性假设，在时变的光照环境中容易导致相机的定位丢失。相比较与直接法，基于特征点的方法是视觉slam的前端，该方法通过相机获取环境的三维信息，然后转化为二维图像，从而提取的图像中纹理丰富的特征点。通过不同相邻两帧之间的关系完成数据关联，并计算出相机传感器的位姿信息。为了克服光照变化的影响，我们通过获取的特征点进行构造三角形状特征描述符，利用强边缘特征区域的特征点构造的描述符具有较强的光照不变性。

3、本发明提出了一种用于视觉相机克服光照不变性的三角形状特征提取与描述方法。为了克服复杂多变的环境光照给相机获取的图像信息带来巨大的挑战，从而导致相机提取的特征信息准确性较差及后续相机出现定位误差累积问题。该方法首先将输入的图像数据进行直方图均衡化，使得图像能够突出局部边缘的纹理特征。然后对输入的当前帧进行特征点的提取并计算特征点的特征向量，根据特征向量的权重进行划分强边缘特征区域和弱边缘特征区域。最后利用强边缘特征区域的三个最优特征点进行构造三角形状特征描述符。构造的三角形状特征描述符属于图像的几何属性，由长度和角度组成，对光照变化不敏感，能克服光照时变环境的影响。

技术实现思路

1、本发明公开了一种用于视觉相机克服光照不变性的三角形状特征提取与描述方法，其目的在于通过划分的强边缘特征区域中提取出最优的三个特征点，从而构造三角形状特征描述符。三角形状特征描述符由特征点两两相连的几何信息组成，具有较强的抗光照变化能力。

2、本发明的技术方案为：

3、一种用于视觉相机克服光照不变性的三角形状特征提取与描述方法，其特征在于，包括如下步骤：

4、步骤一、输入一帧rgb图像、对输入的当前帧的rgb图像进行直方图均衡化，突出图像的局部边缘纹理特征。

5、步骤二、根据图像局部边缘纹理分布情况，对图像局部边缘纹理信息明显区域进行特征点的提取。

6、步骤三、在当前帧中，设置提取的特征点总数目为psum，每个特征点的特征向量权重wi。计算每个特征点的特征向量，判断每个特征点的特征向量的权重是否大于均值权重其中，均值权重如果特征向量的权重大于均值权重且相邻特征点之间的必须位于半径为5个像素点的圆内，则把该区域称为强边缘特征区域。否则，其他区域则为弱边缘特征区域。

7、步骤四、与弱边缘特征区域的特征点相比，考虑到图像的强边缘特征区域的特征点更稳定，对于光照时刻变化较不敏感的因素。因此，计算强边缘特征区域特征点的特征向量，将特征向量的位置大小加入到特征向量列表中，将相对应的特征向量的方向角度加入到列表中。

8、步骤五、在当前强边缘特征区域的特征向量列表中，计算中相邻两个特征点之间的距离，并从小到大排列。同时，计算中相邻两个特征点之间的方向角度，并从小到大排列。

9、步骤六、通过中值法获得当前强边缘特征区域中最优三个特征点pi、pj、pm，同理，重复上述步骤四和步骤五，获得其它强边缘特征区域的最优三个特征点。

10、步骤七、利用强边缘特征区域中三个特征点构建三角形状特征描述符，分别获取特征点像素pi与pm的梯度方向为与特征点像素pj与pm的梯度方向与特征点像素pi与pj的梯度方向为θi与θj。

11、步骤八、将特征点像素pi、pj、pm两两相连组合形成三角形状描述符。构造的三角形状特征描述符如下公式(1)所示。最后，利用构造三角形状描述符的特征点通过旋转矩阵和平移向量求解相机的位姿变化，避免容易受到光照变化区域的特征点信息用于求解相机的位姿，从而造成定位误差增大的问题。

12、

13、优选的，在步骤一中，所述的局部边缘纹理特征是指图像中像素灰度差异变化明显的区域，这些区域纹理信息丰富，对光照变化不敏感。

14、优选的，在步骤二中，所述的特征点提取过程是一种角点检测，通过算法判断一个像素与相邻的像素之间的差别较大且满足算法设定参数，则对该像素点判定为特征点。

15、本发明的有益效果：本发明通过生成强边缘特征区域，可以使得算法提取的特征点更具有代表性，而且可以避免大量的时间浪费在无用的弱边缘特征区域；与直接法获取图像信息相比，改进后的基于特征点的三角形状特征描述符的方法具有优越的抗光照性能。同时，该算法能够快速、稳定地适应室内或者室外光照不稳定的复杂环境。本发明也可以运用于机器人导航、3d建模、无人自动驾驶、增强现实/虚拟现实、智能家居、防疫消毒等领域。

技术特征：

1.一种用于视觉相机克服光照不变性的三角形状特征描述符的视觉定位方法，其特征在于，包括如下步骤：

2.如权利要求1所述的方法，其特征在于，在步骤一中，所述的直方图均衡的目的是使输入的图像数据的灰度分布均匀,从而增大对比度,使得图像纹理特征密集的区域更加突出，便于后续的特征提取。

3.如权利要求1所述的方法，其特征在于，在步骤三中，所述的特征向量包括特征点的梯度大小和梯度方向。

4.如权利要求1所述的方法，其特征在于，在步骤八中，dmi为像素点pm到像素点pi的距离，dmj为像素点pm到像素点pj的距离，dij为像素点pi到像素点pj的距离。

5.一种用于视觉相机克服光照不变性的三角形状特征描述符的视觉定位设备，其包括摄像设备和数据处理器，所述摄像设备提供图像数据；

6.如权利要求5所述的设备，其特征在于，所述数据处理器与摄像设备物理有线连接或无线连接。

7.如权利要求1至4任一项所述的方法或如权利要求5或6所述的设备机器人导航、3d建模、无人自动驾驶、增强现实/虚拟现实、智能家居控制、防疫消毒视觉定位中的应用。

技术总结
本发明公开了一种用于视觉相机克服光照不变性的三角形状特征描述符的视觉定位方法。为了克服复杂多变的环境光照给相机获取的图像信息带来巨大的挑战，从而导致相机提取的特征信息准确性较差及后续相机出现定位误差累积问题。该方法首先将输入的图像数据进行直方图均衡化，使得图像能够突出局部边缘的纹理特征。然后对输入的当前帧进行特征点的提取并计算特征点的特征向量，根据特征向量的权重进行划分强边缘特征区域和弱边缘特征区域。最后利用强边缘特征区域的三个最优特征点进行构造三角形状特征描述符。构造的三角形状特征描述符属于图像的几何属性，由长度和角度组成，对光照变化不敏感，能克服光照时变环境的影响。

技术研发人员：韦玉海,魏武,柳雄顶,杨姗,肖震东
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/1/15