视觉定位特征提取和匹配方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种视觉定位特征提取和匹配方法及装置。

背景技术：

室外车辆在自然场景的视觉定位中，可以采用车辆内部地图与车辆外部环境匹配定位的方法。但外部环境受季节和光照条件的变化影响较大，如道路两侧树木的枯荣变化，清晨和正午时的光照剧烈变化等，而且这些变化造成的外部环境差异，会影响车辆内部地图与外部环境间的匹配效果，造成视觉定位系统的成功率下降，或者定位误差变大。

相关技术中，通常采用针对场景类型对车辆外部环境提取相应的特征点，如sift(scale-invariantfeaturetransform，旋转不变性特征)，快速旋转特征(orb)等，特征构成外部场景地图。而后将内部地图与外部地图间进行特征点匹配。然而，由于自然场景中，行道树等构成了车辆行进过程中可以看到的主要视野，其枯荣变化前后差异巨大，基于相关技术中的方法的难以将不同季节的内外部地图进行特征点匹配，而且类似挑战同样发生在光照条件剧烈变化的情况下，亟待解决。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种视觉定位特征提取和匹配方法，该方法可以有效地解决季节和光照对视觉定位系统的影响，简单便捷。

本发明的另一个目的在于提出一种视觉定位特征提取和匹配装置。

为达到上述目的，本发明一方面实施例提出了一种视觉定位特征提取和匹配方法，包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据所述匹配点集合得到最优位姿矩阵。

本发明实施例的视觉定位特征提取和匹配方法，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

另外，根据本发明上述实施例的视觉定位特征提取和匹配方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：采集光照和/或季节不同的所述外部图像和所述内部图像；对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。

进一步地，在本发明的一个实施例中，所述通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。

进一步地，在本发明的一个实施例中，所述分别对所述外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。

进一步地，在本发明的一个实施例中，所述根据所述匹配点集合得到最优位姿矩阵，进一步包括：根据所述匹配点集合并采用ransac鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。

为达到上述目的，本发明另一方面实施例提出了一种视觉定位特征提取和匹配装置，包括：获取模块，用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；提取模块，用于分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；匹配模块，用于根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；优化模块，用于根据所述匹配点集合得到最优位姿矩阵。

本发明实施例的视觉定位特征提取和匹配装置，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

另外，根据本发明上述实施例的视觉定位特征提取和匹配装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：采集模块，用于采集光照和/或季节不同的所述外部图像和所述内部图像；处理模块，用于对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。

进一步地，在本发明的一个实施例中，所述获取模块进一步用于提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。

进一步地，在本发明的一个实施例中，所述提取模块包括：扫描单元，用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；检测单元，用于在所有的虚拟视图上检测协变特征及其描述子；投影单元，用于将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。

进一步地，在本发明的一个实施例中，所述优化模块进一步用于根据所述匹配点集合并采用ransac鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的视觉定位特征提取和匹配方法的流程图；

图2为根据本发明一个实施例的视觉定位特征提取和匹配方法的流程图；

图3为根据本发明实施例的视觉定位特征提取和匹配装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配方法及装置，首先将参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配。

图1是本发明实施例的视觉定位特征提取和匹配方法的流程图。

如图1所示，该觉定位特征提取和匹配方法包括以下步骤：

在步骤s101中，获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域。

其中，在本发明的一个实施例中，还包括：采集光照和/或季节不同的外部图像和内部图像；对外部图像和内部图像进行预处理，并设定算法参数，以提供输入信息。

需要说明的是，如图2所示，在步骤s2之前，本发明实施例还可以包括步骤s1，即图像预处理和参数设定。具体地，输入两张光照或季节差异较大的图像i1和i2，将其图像大小、格式等调整为可用的模式，并设定重要的算法参数，如最小匹配数量，算法迭代次数等。输出为两张图的对应匹配点以及基础矩阵f，本征矩阵e或单应矩阵h，并进一步求出两张图的相对姿态完成定位。这三个矩阵分别适用于不同的场景，如e适用于相机参数已知的情况。h适用于对应匹配点存在于同一个场景平面的情况，从而提供定位以有效的输入信息。

进一步地，在本发明的一个实施例中，通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取兴趣区域。

具体地，如图2所示，步骤s2为场景语义分析。具体地，提取图中季节不变的区域，如树干，路灯，建筑，道路等，去除变化的部分，如树叶，草木，周围车辆和行人等。采用深度学习语义分割的方法对二图进行语义分割。提取兴趣区域。原图中非兴趣区域的部分置为空，以降低后续计算量。

本发明实施例可以剔除容易对匹配结果造成错误的图像区域，如树叶等。除了可以提高定位成功率之外，还可以大大降低计算量。这一步将最新的深度学习方法引入传统的视觉几何方法中。

在步骤s102中，分别对外部图像和内部图像提取基于构造虚拟视图的特征。

如图2所示，在本发明的实施例中，步骤s3位基于构造虚拟视图的特征提取，且对于图像i1和i2两张图分别执行。

进一步地，在本发明的一个实施例中，分别对外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。

具体地，本发明实施例的方法包括以下步骤：

步骤s31：均匀扫描一个尺度，俯仰，旋转的参数空间，对于每个参数，生成该视角看原图的虚拟视图。

步骤s32：在所有的虚拟上检测协变特征及其描述子。协变特征点用椭圆代表的仿射变换去矫正附近的图像区域，使其对图像之间的几何变换更加鲁棒。描述子采用rootsift或者方向rootsift等描述子来实现对该点特征的描述。相比传统的sift描述子，rootsift已经被证明在图像检索领域中性能更优。

步骤s33：将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。并基于空间和描述子对其做聚类，去重，并将其描述子平均作为其代表。以避免同一个物理点提取多次的情况。这样便得到了同一张图在各个视角中增强协变特征集合。

在本发明的实施例中，本发明实施例可以基于仿射变换原理，通过构造虚拟视图的方法获得增强协变特征点，这一特征点极大地增强了光照变化差异较大的两个图像间得到有效匹配的可能性。

在步骤s103中，根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合。

具体地，如图2所示，步骤4为基于两图区域化的聚类的增强协变特征描述符，实施特征匹配。具体地，首先建立两图特征库的索引树。对于i1中的每个特征，基于i2的索引树在i2中寻找近邻特征和次近邻特征及其距离。如果最近距离与次近距离的比小于一个阈值，则视为匹配成功。得到i1至i2的成功匹配集合。同样方法计算i2到i1的成功匹配集合。二者求交集得到最终匹配点集合，从而获得两幅图像中的有效对应点。

在步骤s104中，根据匹配点集合得到最优位姿矩阵。

进一步地，在本发明的一个实施例中，根据匹配点集合得到最优位姿矩阵，进一步包括：根据匹配点集合并采用ransac鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到外部图像和内部图像相对位置和姿态的最终输出。

可以理解的是，如图2所示，步骤s5为计算位姿矩阵。基于匹配点集合，采用ransac鲁棒估计框架估计相应的位姿矩阵f、e、h等。并在此期间剔除错误匹配。完成两图相对位置和姿态的最终输出，从而有效估计两图图像的相对位姿和姿态。

综上所述，如图2所示，本发明实施例通过提取季节和光照不变特征，引导室外车辆进行定位。可以在无人驾驶车辆、安防巡检车辆、室外送餐车辆、厂区间和厂区内的无人agv等车辆的定位导航中发挥重要作用。在有全球卫星定位系统(gps)信号条件下，本方法可以作为gps的有效补充，提高定位的成功率和精度。如在gps信号被高大建筑物遮挡的条件下。视觉定位系统可以作为备用的定位方式发挥作用。在gps信号因地面回波等原因造成精度下降时，视觉定位系统可以提高定位精度。此外，视觉定位系统可以在车辆静止的状态下提供预期前进方向，即具有静止定向功能，这是视觉定位系统与gps等纯定位系统相比具有的绝对优势。可以增强车辆的系统综合能力。总之，在无人驾驶产业蓬勃发展的背景下，研发一种廉价而有效的定位定向方法，具有较大的理论和实际价值。

另外，在本发明的一个实施例，本发明实施例还可以基于图像检索的方式，通过查找与查询图像最相似的库图像的gps信息，可以部分实现快速定位的能力，但这种方式的定位精度取决于库图像自身所携带的gps信息的精度，以及库图像的密度，且不能完全克服光照和季节的变化影响。定位精度相对较低，通常用于旅游等对定位精度不高的领域。

根据本发明实施例的视觉定位特征提取和匹配方法，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

其次参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配装置。

图3是本发明实施例的视觉定位特征提取和匹配装置的结构示意图。

如图3所示，该视觉定位特征提取和匹配装置10包括：获取模块100、提取模块200、匹配模块300和优化模块400。

其中，获取模块100用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域。提取模块200用于分别对外部图像和内部图像提取基于构造虚拟视图的特征。匹配模块300用于根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合。优化模块400用于根据匹配点集合得到最优位姿矩阵。本发明实施例的装置10可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：采集模块和处理模块。

其中，采集模块用于采集光照和/或季节不同的外部图像和内部图像。处理模块用于对外部图像和内部图像进行预处理，并设定算法参数，以提供输入信息。

进一步地，在本发明的一个实施例中，获取模块100进一步用于提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取兴趣区域。

进一步地，在本发明的一个实施例中，提取模块200包括：扫描单元、检测单元和投影单元。

其中，扫描单元用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图。检测单元用于在所有的虚拟视图上检测协变特征及其描述子。投影单元用于将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。

进一步地，在本发明的一个实施例中，优化模块400进一步用于根据匹配点集合并采用ransac鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到外部图像和内部图像相对位置和姿态的最终输出。

需要说明的是，前述对视觉定位特征提取和匹配方法实施例的解释说明也适用于该实施例的视觉定位特征提取和匹配装置，此处不再赘述。

根据本发明实施例的视觉定位特征提取和匹配装置，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。