一种无人工程机械室内实时定位方法、更新方法及装置与流程

本发明涉及一种无人工程机械室内实时定位方法、更新方法及装置，属于工程机械。

背景技术：

1、随着智能化的推广应用，智能无人化工程机械发展迅速，在一些作业环境恶劣的作业场所，无人化机械能够代替人工驾驶进行作业，实现了对操作/调度人员的无风险化。装载机作为一种广泛应用于公路，铁路，港口，矿山的土石方施工机械。它主要用于铲装土壤、砂石、石灰、煤炭等散状物料，也可对矿石、硬土等作轻度铲挖作业。其无人化控制亦成为机械研究的重点。

2、而当装载机在室内作业时，由于室内定位信号质量差，且室内作业环境多变，作业地图复杂，使得传统无人化运行面临巨大难点。为此本发明针对装载机室内作业场景，提出了一种实时定位系统及方法，同时能够实现作业场景地图实时构建。

3、现有技术一，通过无人机空域视角采集构建作业现场全局三维图，依据三维图规划装载机作业最优路线。此外，安装在装载机上的环境感知模块获取地面视角的作业现场图，通过中央处理模块处理识别料堆中物料的种类与三维建模，并以识别结果作为模型输入量实现工作装置的智能控制。通过地空协同方法构建作业场地三维场景。

4、现有技术二，获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿；基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图。

5、现有技术一通过地空协作构建作业场景三维地图，装载机根据三维地图进行无人作业。装载机与无人机之间数据传输量巨大。且机器定位采用gps定位，对于信号质量差，如室内等场景，定位及建图效率低。

6、现有技术二的缺点，当前帧通过与先验地图相匹配，得到其基准位姿，从而对关键帧序列中的其他关键帧进行回环优化，实现目标地图的构建。其并未对采集到的当前帧信息进行进一步处理，如去畸变等；且先验地图本身具有一定的误差，依赖先验地图的优化会引起生成的目标地图与实际存在较高的差别，所得地图可靠性不高。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的缺陷，提供一种无人工程机械室内实时定位方法、更新方法及装置。

2、为解决上述技术问题，本发明提供一种无人工程机械室内实时定位方法，包括：

3、获取基于作业场景中基础结构的激光雷达3d点云信息构建的全局地图，所述基础结构为不随工程机械作业流程而改变的作业场景中的固定结构；

4、采集当前时刻的工程机械的作业环境的视频图像信息和激光雷达3d点云信息，对工程机械的作业环境的激光雷达3d点云信息进行畸变矫正，得到畸变矫正后的激光雷达3d点云信息；

5、对所述视频图像信息和所述畸变矫正后的激光雷达3d点云信息中的视频图像帧与雷达点云帧进行特征提取，得到视频图像特征与雷达点云特征；

6、将视频图像特征与雷达点云特征相融合，得到融合后的当前帧3d点云信息；

7、将融合后的当前帧3d点云信息与全局地图进行特征匹配，得到当前帧在全局地图中对应的地图点及当前位姿。

8、进一步的，在采集当前时刻的工程机械的作业环境的视频图像信息和激光雷达3d点云信息后，

9、通过安装于工程机械的工作装置上的倾角传感器判断工作装置为举升状态，对当前状态下采集的视频图像信息和激光雷达3d点云信息不进行畸变矫正以及特征提取。

10、进一步的，所述对工程机械的作业环境的激光雷达3d点云信息进行畸变矫正，包括：

11、通过安装在工程机械中的imu单元获取工程机械的角速度、速度、加速度信息，imu单元为惯性测量单元；

12、根据工程机械的角速度、速度、加速度信息积分得到工程机械在 t0- t 1时间段内运动的旋转角度和平移距离， t 1为雷达扫描当前帧时刻， t 0为雷达扫描前一帧时刻；

13、利用旋转角度和平移距离对激光雷达在 t 1时刻采集的激光点云数据进行畸变矫正。

14、进一步的，在将融合后的当前帧3d点云信息与全局地图进行特征匹配时，采用就近范围内匹配原则进行特征匹配；

15、所述就近范围内匹配原则进行特征匹配，包括：

16、若当前帧为初始帧时，将初始帧与所述全局地图进行特征匹配；

17、若当前帧不是初始帧，在所述全局地图中选取当前帧的上一帧的地图点为圆心，以预设距离为半径的圆柱形区域内进行特征匹配。

18、进一步的，还包括：

19、融合后的当前帧3d点云信息与全局地图进行特征匹配，得到工程机械当前帧与全局地图的匹配误差，根据匹配误差对imu单元进行误差修正。

20、一种无人工程机械室内全局地图更新方法，包括：

21、根据无人工程机械室内实时定位方法确定当前帧在全局地图中对应的地图点及当前位姿；

22、根据当前帧在全局地图中对应的地图点及当前位姿确定当前帧是否为局部地图的关键帧；若否，则获取下一帧在全局地图中对应的地图点及位姿；若是，则将关键帧与全局地图进行特征匹配，根据特征匹配的结果更新全局地图。

23、进一步的，所述关键帧的判断过程为：

24、根据当前帧与上一关键帧进行对比，确定工程机械的帧间旋转角度 φ或平移距离 d的变化量；

25、若工程机械的帧间旋转角度 φ或平移距离 d的变化量大于预先设定的旋转角度阈值δ φ或平移距离阈值δ d，则当前帧为关键帧；否则，不是关键帧。

26、一种无人工程机械室内全局地图更新装置，包括：

27、获取模块，用于获取基于作业场景中基础结构的激光雷达3d点云信息构建的全局地图，所述基础结构为不随工程机械作业流程而改变的作业场景中的固定结构；

28、采集模块，用于采集当前时刻的工程机械的作业环境的视频图像信息和激光雷达3d点云信息，对工程机械的作业环境的激光雷达3d点云信息进行畸变矫正，得到畸变矫正后的激光雷达3d点云信息；

29、特征提取模块，用于对所述视频图像信息和所述畸变矫正后的激光雷达3d点云信息中的视频图像帧与雷达点云帧进行特征提取，得到视频图像特征与雷达点云特征；

30、融合模块，用于将视频图像特征与雷达点云特征相融合，得到融合后的当前帧3d点云信息；

31、匹配模块，用于将融合后的当前帧3d点云信息与全局地图进行特征匹配，得到当前帧在全局地图中对应的地图点及当前位姿

32、一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述方法。

33、一种计算机设备，包括，

34、一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述方法的指令。

35、本发明所达到的有益效果：

36、在室内作业场景下，不依赖于gps定位，而是依赖于视觉融合以及特征匹配的方式，实现无人装载机室内作业场景下实时精准自定位，进而在室内作业场景下高可靠性的构建地图。