一种基于街景序列图像的视觉定位方法与流程

本发明属于定位，尤其涉及一种基于街景序列图像的视觉定位方法。

背景技术：

1、无人机、无人车等无人平台迅猛发展，在自动驾驶等领域中发挥着越来越大的作用。目前最常用的定位技术是全球导航卫星系统(global navigation statellitesystem,简称gnss)，然而全球导航卫星系统在密集高层建筑附近、极端天气、电磁干扰等情况下，定位信号比较薄弱，容易导致定位误差较大甚至无法进行定位。因此，在自动驾驶等任务场景中，针对全球导航卫星系统受限的情况，研究一种融合视觉信息的街景定位方法具有非常重要的意义。

2、目前，常用的视觉定位方法有两种，一种是即时定位与地图构建(simultaneouslocalization and mapping，简称slam)，该方法是无人平台在移动过程中实时构建地图进行自身定位，但仅适用于局部小范围内的定位场景，例如地下车库等；另一种是以图搜图的定位方法，该定位方法是将无人平台拍摄的图像与已知地理位置的图像数据库进行匹配来进行自身定位，但存在计算和存储代价高、普适性差的问题，难以满足机载嵌入式开发的需求。因此，需要提出一种敏捷高效、准确度高、适合大范围的街景图像定位方法。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于街景序列图像的视觉定位方法，该方法能够在复杂的大范围城市环境中实现准确高效的街景图像定位，对拒止环境下的无人平台定位等实际应用具有重要的意义。

2、为了实现上述目的，本发明采用的技术方案是：

3、一种基于街景序列图像的视觉定位方法，包括以下步骤：

4、步骤1，数据获取：通过无人平台搭载的数据采集设备实时获取城市街景图像，每帧城市街景图像在地理上近似为一个点，对应一个地理坐标；

5、步骤2，字符信息提取：采用基于深度神经网络的光学字符检测识别模型提取每一帧城市街景图像中的商铺名称、道路名称的字符信息；

6、步骤3，字符匹配：将城市街景图像中检测识别出的字符信息与该城市的poi数据进行字符匹配，匹配到的poi数据中的地理坐标构成候选地理坐标集合；

7、步骤4，场景定位：基于密度空间聚类方法对候选地理坐标集合进行聚类；重复步骤1～步骤4，直至聚类结果满足场景定位条件，实现对无人平台所在场景的定位；

8、步骤5，连续坐标定位：继续获取城市街景图像，根据场景定位结果更新poi数据，将当前获取的城市街景图像中提取的字符信息与更新后的poi数据进行匹配，得到当前获取的城市街景图像的地理坐标，并将该地理坐标作为新的场景定位结果；

9、重复步骤5，实现对城市街景图像的连续定位。

10、进一步地，步骤2中，基于深度神经网络的光学字符检测识别模型的构建方式为：

11、步骤01：事先采集大量含有字符信息的城市街景图像；

12、步骤02：对事先采集的城市街景图像进行标注，形成光学字符检测识别数据集；

13、步骤03：基于光学字符检测识别数据集对ppocr-v3深度神经网络进行训练，得到光学字符检测识别模型；

14、步骤2的具体方式为：

15、将无人平台实时获取的城市街景图像输入至光学字符检测识别模型，输出图像中包含的商铺名称、道路名称的字符信息。

16、进一步地，步骤3的具体方式为：

17、步骤301：获取城市街景图像所在城市的poi数据；

18、步骤302：对poi数据进行预处理，包括去除特殊字符、全角转半角以及分词处理；将预处理后的poi数据进行分词处理，并对每一条分词结果进行one-hot编码，得到名称编码向量；

19、步骤303：对城市街景图像中提取的字符信息进行筛选，舍弃字符长度小于2的光学字符，并将当前帧图像中与之前帧图像相似度过高的字符舍弃；然后对筛选后的字符信息做分词处理，并对分词结果进行one-hot编码，得到字符编码向量；

20、步骤304：计算字符编码向量和名称编码向量之间的余弦相似度；

21、步骤305：若相似度大于阈值，则将poi数据分词结果对应的经纬度坐标纳入到候选地理坐标集合中，候选地理坐标集合中允许有重复元素。

22、进一步地，步骤4的具体方式为：

23、步骤401：根据候选地理坐标集合，设置聚类簇最小核心点数和邻域距离，采用dbscn密度空间聚类方法得到聚类结果；对于聚类结果中经纬度相同的点，只保留一个相似度最高的点，其余的舍弃；

24、步骤402：重复步骤1～步骤4，直至聚类结果的某个簇中包含了三个及以上不同经纬度的点，且彼此之间的距离均小于距离阈值，此时，将该簇中最近纳入候选坐标集合的经纬度点作为当前帧图像的定位结果，同时作为无人平台所在的场景坐标。

25、进一步地，步骤5的具体方式为：

26、步骤501：以场景定位结果为中心选取一个圆形区域，选择该范围内的poi数据作为更新后的poi数据；

27、步骤502：将当前获取的城市街景图像输入到光学字符检测识别模型中，提取字符信息；

28、步骤503：计算字符信息与更新后的poi数据中每个名称的相似度；

29、步骤504：若相似度大于阈值，则将相应字符信息所对应的poi数据的经纬度作为当前获取的城市街景图像的地理坐标，并以该地理坐标作为新的场景定位结果，返回步骤501；若步骤502提取的所有字符信息与更新后poi数据中所有名称的相似度均不大于阈值，则返回步骤501，以更大的半径选取圆形区域。

30、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

31、1.本发明方法能够在gnss拒止的大范围城市环境内实现街景图像的定位；

32、2.本发明采用的光学字符检测识别模型具有轻量、高效的特点，满足机载嵌入式开发的需求；

33、3.本发明方法具有普适、方便的特点，只需替换相应的poi数据即可便捷地应用在其他陌生的城市中。

技术特征：

1.一种基于街景序列图像的视觉定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于街景序列图像的视觉定位方法，其特征在于，步骤2中，基于深度神经网络的光学字符检测识别模型的构建方式为：

3.根据权利要求1所述的一种基于街景序列图像的视觉定位方法，其特征在于，步骤3的具体方式为：

4.根据权利要求1所述的一种基于街景序列图像的视觉定位方法，其特征在于，步骤4的具体方式为：

5.根据权利要求1所述的一种基于街景序列图像的视觉定位方法，其特征在于，步骤5的具体方式为：

技术总结
本发明提供的是一种街景序列图像的视觉定位方法，属于定位技术领域。该方法包括：通过无人平台搭载的数据采集设备获取城市街景序列图像；采用基于深度学习的光学字符检测识别技术提取街景图像中的商铺名称、道路名称等字符信息；将街景序列图像中检测识别出的字符与该城市的POI数据进行匹配，得到候选地理坐标集合；采用改进的密度聚类方法剔除候选地理坐标集合中的奇异点，实现对街景序列图像的场景定位，缩小POI数据检索范围；将待定位图像中提取的字符与新的POI数据进行匹配，得到该图像的地理坐标。本发明通过提取街景图像商铺的名称，与该城市的POI数据进行匹配，实现了大范围内街景图像的准确定位，对拒止环境下的无人机平台定位具有重要意义。

技术研发人员：武晓博,耿虎军,刘宇,郭争强,王港,孙方德
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：
技术公布日：2024/1/16