一种结合楼层平面图信息的室内语义定位方法

本发明属于同步定位与建图，具体涉及一种结合楼层平面图信息的室内语义定位方法。

背景技术：

1、室内场景通常具有外部gnss信号弱、地图立体化、复杂化等特点，同时用户在室内的定位精度要求也远高于室外场景，因此无法依靠传统定位技术进行定位导航。同步定位与建图(slam)是一种利用机器人或其他可移动设备在未知环境中进行自主导航的技术。slam技术通过使用传感器(如激光雷达、相机等)来获取环境信息，同时将机器人自身的运动信息融合在一起，从而实现对环境的实时建图和定位。slam技术已经被广泛应用于各种领域，包括无人驾驶汽车、智能家居、工业自动化等。

2、语义slam是一种融合场景语义信息的高级slam算法。传统的slam系统主要依赖于几何信息进行环境建模和定位，而忽略了环境中的语义信息。相比之下，语义slam可以利用先验知识将环境中的物体语义信息加入到slam系统中，通过物体检测、识别和跟踪等技术获取环境中物体的语义信息，并将这些信息与几何信息进行融合，便于机器人更好地理解环境的特征和结构，从而提高环境建模和定位的精度。

3、目前，语义slam已经得到广泛的应用，例如在自动驾驶、智能家居、机器人导航等领域。这种技术的应用可以提升机器人的环境感知和自主导航能力，为未来的智能化生活和工业生产带来更多的可能性。

4、基于语义分割的slam技术具有更好的场景理解、更准确的位置估计、更好的建图和更广泛的应用等优点，已经成为当前slam技术研究和发展的重要方向之一，但也不可避免地存在使用缺陷。语义分割需要大量的计算资源，包括处理和存储大规模的图像数据、进行语义分割和建立三维地图等。这增加了实时性的挑战，尤其是在手机等移动端使用的过程中。由于复杂的场景变化等因素，语义分割的精度受到很大的限制。这可能导致地图的不准确性和slam系统的失败。语义分割需要大量的标注工作，以获得高质量的语义信息。这将增加开发和维护slam系统的成本，并且可能需要专业知识。

5、基于以上原因，语义分割的slam仍然是一个挑战性的问题，探索语义信息与同步定位建图的融合方式成为了目前研究与开发的一个重要趋势。

技术实现思路

1、本发明的目的在于提供一种算力强、鲁棒性高的结合楼层平面图信息的室内语义定位方法，以实现移动端相机位置三维坐标的确定，完成高效的语义同步定位与建图。

2、本发明提供的结合楼层平面图信息的室内语义定位方法，用于精确定位拍摄图像时相机当前位置，同时在楼层平面图中显示定位轨迹结果，具体步骤为：

3、步骤1，输入彩色图像到计算机，利用这些图像调用ocr文本识别算法(hu s,he c,zhang c,et al.efficient scene text recognition model built with paddlepaddleframework；proceedings of the 20217th international conference on big data andinformation analytics(bigdia),f,2021[c].ieee.)，获取图像中的文字区域以及文字内容；同时调用slam算法(高翔，视觉slam14讲：从理论到实践(第二版)[m]，北京，电子工业出版社，2019.8)，得到稀疏点云地图；

4、步骤2，利用步骤1得到的文字区域，计算fast角点和图像金字塔来提取图像所对应区域中的特征子，结合特征子与地图点的映射关系，完成二维文字区域与三维地图点的匹配，调整得到包含语义信息的稀疏点云地图；

5、步骤3，根据语义信息，在地图数据库搜索文字识别结果，获取地点在室内楼层平面图中的位置，实现稀疏点云地图与室内楼层平面图的锚定；

6、步骤4，输入待定位图像序列，利用slam模式下失去追踪情况的重定位功能，将其和关键帧库比对进行重定位，获取相机在稀疏点云地图中的三维坐标轨迹；

7、步骤5，根据步骤3中获得的地图锚定关系，获取关键帧轨迹坐标轴和楼层平面图坐标的变换矩阵，完成关键帧轨迹坐标变换；使用绘图工具，在楼层平面图上绘制重定位图像的定位轨迹结果曲线。

8、进一步地：

9、步骤2中，所述二维文字区域与三维地图点的匹配，是借助二维特征子与三维地图点之间的映射关系，将对应图像区域的语义信息赋予三维地图点；具体包括如下子步骤：

10、步骤2-1，判断每帧图像中的二维特征子与文字识别区域之间的重合关系；

11、步骤2-2，若特征点在文字区域内为对应二维特征子赋予语义信息，实现平面区域匹配；若不是，则不作处理；

12、步骤2-3，根据地图点和关键帧的观测关系，以图像金字塔层数确定的平均观测距离上下限为基准，更新平均观测方向和平均观测距离；

13、步骤2-4，根据地图点的特征描述子定义为所有观测关键帧中描述子的中位数这一属性，该描述子与其他所有描述子的中值距离最小，通过比较地图点的描述子和图片特征点的描述子后得到二维特征子和三维地图点的映射关系，将二维特征子的语义信息赋予三维地图点。

14、步骤3中，所述实现稀疏点云地图与室内楼层平面图的锚定，包括以下子步骤：

15、步骤3-1，根据已有的三维点云地图中的地图点坐标组，利用拟合算法得到坐标变换矩阵，实现三维稀疏点云地图到二维点云地图的投影映射；

16、步骤3-2，利用语义信息中对应地点在室内楼层平面图中的距离信息，得到点云投影映射地图和室内楼层平面图之间的尺度关系；

17、步骤3-3，根据文字识别结果地点与地图坐标轴的指定关系获取二维点云投影映射地图和室内楼层平面图之间坐标轴方向变换；

18、步骤3-4，利用原点信息，结合尺度放缩系数和坐标轴方向信息，确定在稀疏点云地图和室内楼层平面图坐标系中的变换关系，将二维点云投影映射地图锚定在实际地图中；所述文字识别结果搜索得到的地点与三维点云地图中的坐标组之间的匹配，采用区域匹配，使用区域匹配拟合结果参数的平均值，减少点到点匹配的误差值。

19、步骤4中，所述将输入图像与关键帧库比对的重定位，其过程通过词袋进行，对有含有较多共同视觉单词的关键帧进行打分筛选，筛选后得到候选关键帧，逐个比较当前帧和候选关键帧的特征点，当匹配数量大于15个时，作为关键帧的匹配帧,最后对匹配帧的进行位姿估计，得到其和初始帧之间的旋转、平移矩阵，得到匹配帧相机在slam世界坐标系中的详细坐标。

20、步骤5中，所述根据步骤3中获得的地图锚定关系，获取关键帧轨迹坐标轴和楼层平面图坐标的变换矩阵，完成关键帧轨迹坐标变换；具体过程为：根据相机在slam世界坐标系中的三维坐标，进行最小化误差估计，使其能够投影到二维平面上，形成二维轨迹坐标；之后利用步骤3获得的地图方向向量和尺度放缩稀疏，得到slam地图坐标与楼层平面图之间的匹配，将坐标数值转化为带有距离单位的实际坐标；最后根据实际坐标和坐标原点经纬度，将其转化为经纬度坐标，利用相关api显示在楼层平面图上，完成定位结果显示。

21、本发明的特点和优势

22、本发明中，由于使用ocr文本识别技术，检测识别场景图象中的商户招牌，可以实现较低运算成本下的语义信息提取。由于利用二维特征子与三维地图点映射关系，将二维室内平面图语义信息赋予三维地图点，实现了稀疏点云地图与室内楼层平面图的现实锚定。由于优选orb-slam2算法，比对待定位移动端获取的单目图像序列与关键帧库进行重定位，实现了移动端相机位置三维坐标的确定，完成高效的语义同步定位与建图。

23、本发明可以克服融合语义信息的slam技术在复杂场景中运算成本高、场景适应能力差的问题，实现融合室内楼层平面图的移动端低算力、高鲁棒性的语义同步定位与建图。