一种机探一体化采煤机器人及其自主导航作业方法

本发明涉及采煤机器人，尤其是涉及一种机探一体化采煤机器人及其自主导航作业方法。

背景技术：

1、从自主移动机器人角度看，采煤机器人同样包含“感知、规划、控制”三方面关键技术，其中自身定位与环境感知是前提，规划和控制均需要基于感知能力实现自主。目前采煤机定位技术已经得到广泛研究，形成了如lasc惯性导航系统等为代表的自动寻北、gis全局定位，捷联惯导、编码器结合全站仪导线点测量的方法实现绝对定位等技术，但仍面临繁琐的初始对准、零速校正、架站设站过程，且全站仪导线点非视距下无法使用，长期应用精度与可靠性降低。

2、另外，在截割规划方面，目前采煤机器人主要基于采前地质探测与建模获得先验模型进行截割规划，包括利用钻探、地震、生产、煤岩层探测等数据构建高精度三维动态地质模型以及利用激光扫描设备、截割轨迹以及顶底煤厚数据对初始煤层三维模型进行修正等，但是这些方法的共同缺陷是只能利用采前构建的“亚米级”地质模型进行截割动作设计与控制，地质模型缺乏有效的动态修正机制。目前采煤机器人的随采感知方法主要基于三维地震监测的触觉感知方法，具体是指在采煤工作面两端巷道预先布置地震传感器和炸药爆炸点，在截割过程中爆炸点激发地震波，地震传感器采集振动信息，管控后台使用“多点测量+插值预测”的方式进行解译，这种方法精度和效率仍难以满足采煤机器人实时截割规划的需求。

技术实现思路

1、本发明的目的是提供一种机探一体化采煤机器人及其自主导航作业方法，实现采煤机器人随采过程中的非接触自主的精确场景与地质建模，并提出面相自主截割的采煤机器人地图构建方法及其控制方案。

2、为实现上述目的，本发明提供了一种机探一体化采煤机器人，包括采煤机本体和远程监控终端，远程监控终端通过井下无线网络与采煤机器人通讯，采煤机器人本体上设置有定位定姿模组、地质场景一体化感知模组、本体运动状态感知模组、决策规划模组和联控模组，所述定位定姿模组和地质场景一体化感知模组共享来自采煤机本体外部传感器数据；

3、定位定姿模组利用安装在采煤机本体外部的激光雷达、相机和安装在采煤机器人内部的imu，基于多传感器融合slam技术实现煤矿井下采煤工作面采煤机器人沿着截割方向的精准定位，同时识别部署于采煤工作面两侧顺槽内的自然语义信标、人工信标，实现对采煤机器人位姿校正，所述多传感器融合slam采取地质-场景联合slam定位策略，同时利用采煤工作面地质特征和场景特征实现定位，提高恶劣环境下定位精度，最终获得在gis系统中的绝对空间地理坐标；

4、地质场景一体化感知模组利用安装在采煤机本体外部的探地雷达、激光雷达、高清相机，通过探地雷达获得采煤工作面内部的地质信息，通过激光雷达、高清相机捕获三维空间信息、物体颜色纹理等采煤作业现场的场景信息，用以构建获得地质点云模型和场景点云模型；

5、本体运动状态感知模组包括采煤机器人主轴编码器、采煤机器人前后滚筒轴编码器、采煤机器人机身与摇臂连接处轴编码器和布置在摇臂的imu。采煤机器人主轴编码器用于实时检测主轴的旋转速度和方向获得采煤机器人牵引速度；采煤机器人前后滚筒轴编码器用于直接检测截割滚筒的速度；采煤机器人机身与摇臂连接处轴编码器用于测量摇臂的摆角和倾斜角度信息，提供绝对的角度信息；摇臂imu可获得摇臂相对角度变化和倾斜角度；摇臂姿态计算时，利用采煤机器人机身与摇臂连接处轴编码器获取初始摇臂角度作为姿态的基准，使用imu的相对角度变化数据和倾斜角度进行实时姿态更新，同时利用编码器数据进行校正以获得准确的摇臂姿态信息。本体运动状态感知模组用于后续决策规划模组根据地质和场景条件调控当前采煤机牵引速度、截割滚筒的速度和摇臂姿态；

6、决策规划模组根据局部代价地图控制采煤机截割滚筒的速度、摇臂姿态和采煤机本体的牵引速度，所述局部代价地图是由在远程监控终端由地质点云模型和场景点云模型经过二维平面投影、占据概率计算等概率栅格化操作后生成的概率栅格化地图构建并可视化的导航地图；

7、联控模组利用采煤机本体的当前位姿信息和在gis系统中已知的液压支架初始位置信息根据全局代价地图联合调控液压支架的下一步位置动作和采煤机轨道在垂直于采煤工作面方向的推进量，所述全局代价地图是由在远程监控终端由地质点云模型和场景点云模型经过二维平面投影、占据概率计算等概率栅格化操作后生成的概率栅格化地图构建并可视化的导航地图。

8、一种机探一体化采煤机器人的自主导航作业方法，包括以下步骤：

9、s1、地质场景先验信息导入：将现有gis+bim系统导入远程监控终端，包括工作面顶板和工作面底板等在地理坐标系下的位置信息以及液压支架在地理坐标系下的初始位置信息；

10、s2、采煤机器人绝对位姿估计：利用定位定姿模组获得采煤机本体在gis中的绝对空间地理坐标；

11、s3、地质场景环境同步感知：利用地质场景一体化感知模组获得采煤工作面内部的地质信息以及采煤作业现场的场景信息并输出到决策规划模组；

12、s4、地质与场景一体化建模：结合惯性传感器、里程计等信息提供的机器人运动状态短期估计，对地质场景一体化感知模组由于采煤机本体运动导致的原始数据畸变进行校正，校准激光雷达和高清相机的时间戳和位置关系，确保激光雷达和高清相机捕获的数据在时间和空间上保持一致，构建异质传感器特征集，利用高清相机图像中的特征与激光雷达点云中的特征进行匹配以实现两种数据的融合，基于融合后的点云和图像数据通过体素网格、八叉树等方法构建作业现场场景点云模型，同时利用探地雷达提供的地质信息构建地质点云模型；

13、s5、采煤机器人规划控制：决策规划模组根据由地质点云模型和场景点云模型经过二维平面投影、占据概率计算等概率栅格化操作后生成的概率栅格化专用导航地图构建的局部代价地图控制采煤机截割滚筒的速度、摇臂姿态以及采煤机本体的牵引速度；联控模组利用采煤机本体的当前位姿信息和在gis系统中已知的液压支架初始位置信息，根据概率栅格化专用导航地图构建的全局代价地图联合调控液压支架的下一步位置动作和采煤机轨道在垂直于采煤工作面方向的推进量。

14、优选的，s2中利用采煤工作面两侧顺槽内自然特征或移动频率较低的设备电机、消防柜等作为自然语义信标，通过激光雷达、高清相机采集自然语义信标的点云、图像数据制作标签，构建自然语义信标数据集，数据集用于训练六自由度位姿估计网络，训练良好的六自由度位姿估计网络可用于分析计算信标坐标系下的采煤机器人位姿。

15、优选的，s2中采煤机器人绝对位姿估计包括以下步骤：

16、s21、定位定姿模组通过时间同步和空间标定，将激光雷达、相机和imu的数据统一到同一时间和坐标系下，以确保数据的一致性，在数据采集阶段，激光雷达持续生成三维点云，相机会同步捕捉图像，imu连续采集采煤机器人的加速度和角速度信息，反应其瞬时运动状态，利用imu预积分因子技术对这些数据在相邻关键帧之间进行积分，得到两帧间累计位姿变化。这些数据经过去噪、滤波和畸变校正等步骤，确保数据的准确性和可靠性，定位定姿模组会提取激光雷达点云中的几何特征和相机图像中的纹理特征，并进行多传感器数据融合，通过特征点的匹配和配准技术实现采煤机器人的相对位姿估计。

17、s22、定位定姿模组通过深度学习方法构建基于学习的探地雷达传感器模型，将非顺序的探地雷达图像对映射到相对机器人运动从而完成利用采煤工作面地质特征实现采煤机器人定位。基于学习的探地雷达传感器模型被训练为根据采煤工作面实况预测两个子图之间的相对位姿变换，即对于训练良好的探地雷达传感器模型，当模型输入为两张探地雷达图像时输出为两张探地雷达图像所对应位置的位姿变换，再通过因子图优化框架与s21中多传感器融合slam的定位结果融合，实现地质-场景联合slam定位。

18、s23、定位定姿模组利用激光雷达、高清相机采集的点云、图像信息，对自然语义信标和人工信标进行实例级语义分割与六自由度位姿估计，获得信标坐标系下的采煤机器人位姿，结合自然语义信标与人工信标在gis中的地理坐标，通过坐标变换求解出采煤机器人在gis中的绝对空间地理坐标。

19、s24、最终定位定姿模组基于因子图优化框架将、激光雷达里程计因子、相机里程计因子、imu预积分因子、探地雷达定位因子、信标定位因子进行融合实现在gis坐标系下的采煤机器人绝对定位。

20、优选的，s3中地质场景环境感知包括以下步骤：

21、s31、通过提前标定或在线估计的方式获得探地雷达多个天线之间的位置姿态外参，基于硬件同步触发实现各个天线每道信号发射的时钟同步；

22、s32、利用定位定姿模组获得的机器人实时位姿数据结合天线外参关系，获得天线每道数据的空间位置，基于时间同步原理获得每个天线通道的b-scan图像上每道数据的精确空间位置信息；

23、s33、在每个测线方向相邻两道数据之间进行线性插值获得每个通道b-scan图像，利用通道之间距离最近道数据进行线性插值，获得垂直测线方向任意截面的扫描数据；

24、s34、基于全波形反演与异常体识别方法，识别每个通道b-scan的煤岩介质与异常体类型，利用含有煤岩介质与异常体类型信息的通道b-scan体数据构建三维地质图像，将三维地质图像转换为离散点云，重建出含介质类型信息的地质三维点云模型，利用点云强度通道表征介质类型；

25、s35、利用高清相机获得的可见光图像和红外相机获得的红外图像，通过深度学习图像识别、目标检测方法获得多源信息融合的煤岩分界面识别结果，对仅根据探地雷达信息基于全波形反演与异常体识别方法得到的地质模型进行介质物性验证与更新，实现多源信息联合反演的地质模型动态修正，确保地质模型精确性，同时利用定位定姿模组的定位信息与高清相机、激光雷达等传感器观测模型求得对应煤岩分界面的空间坐标；

26、s36、利用场景点云模型和地质点云模型分别拟合空气-煤岩介质表面，基于交界区域空间连续性对两类模型的准确性进行交叉验证，利用高精度的场景点云模型的高程模型修正地质点云模型实现动态优化。

27、优选的，s33中地质场景一体化感知模组基于均值滤波法去除气-煤、气-岩、煤-岩分界面的反射杂波，抑制探地雷达空气耦合过程的煤岩探测杂波信号。

28、优选的，s4中地质场景一体化感知模组通过时间滑动窗口进行时间匹配，构建结合异构化多尺度特征的人工合成图像，构建的人工合成图像通过远程监控终端显示。

29、优选的，s4中地质场景一体化感知模组提供的地质和场景点云信息将在远程监控终端参与采煤机器人概率栅格化专用导航地图的构建，具体构建步骤包括：

30、a、构建新型四通道点云数据存储数据格式用于表征地质点云模型，将强度信息重新设计为反应气-煤-岩不同介质类型的数据通道；

31、b、将场景模型中非综采工作面区域和非设备区域构建为自由空间，采煤机轨道和液压支架可以在自由空间内进行合理推进动作。将煤型介质地质模型区域构建为截割自由空间，采煤机截割滚筒可以自由截割，将岩石及地质异常体区域构建为占据空间，采煤机截割滚筒不可以截割操作；

32、c、为采煤机器人本体高层规划即采煤机轨道和液压支架的推移量调节和可视化提供低分辨率粗略地图、为截割部的局部规划即采煤机截割滚筒的速度、摇臂姿态以及采煤机本体的牵引速度调节提供高分辨率精细地图，进而通过代价分配分别为采煤机器人高层规划和局部规划构建全局和局部代价地图。在全局代价地图中，随着采煤作业的进行场景模型不断更新，全局代价地图中由于煤层脱落使采煤机轨道与综采面的距离不断变大，此时需将采煤机轨道和液压支架向垂直于综采工作面方向推进，推进量受采煤机单次截割深度影响。在局部代价地图中把识别到的地质中不宜截割的地质异常体和岩石作为障碍物根据不同的危险等级进行不同半径的膨胀，为机体移动与截割过程的规划设计不同安全等级的代价地图。

33、d、局部代价地图和全局代价地图在远程监控终端生成并可视化，分别将局部代价地图发送到决策规划模组，将全局代价地图发送到联控模组。

34、优选的，s5中决策规划模组包括以下步骤：

35、s51、采煤机器人在截割自由空间，即在煤型介质地区时，采煤机截割滚筒使用预设姿态自由截割；

36、s52、在采煤机器人运行期间，识别到占据空间，降低采煤机器人牵引速度和滚筒截割转速，采煤机器人滚筒沿障碍物的膨胀半径方向降低或调高滚筒摇臂高度，使滚筒可以安全绕过占据空间；

37、s53、安全绕过占据空间后，再次进入截割自由空间，决策规划模组将采煤机滚筒调整回预设姿态自由截割。

38、优选的，s5中联控模组包括以下步骤：

39、s51、在采煤作业过程中，由自身状态感知模组获得的采煤机当前截割滚筒速度和摇臂姿态信息，由定位定姿模组得到采煤机器人在gis中当前时刻空间地理坐标，再结合在gis中已知的液压支架初始空间地理坐标，联控模组控制液压支架前梁护帮在采煤机器人截割滚筒靠近时自动收起，防止采煤机器人滚筒截割作业时损坏液压支架前梁护帮；

40、s52、当采煤机器人逐渐远离，在采煤工作面采煤机器人采后区域，联控模组根据全局代价地图在自由空间内将采煤机轨道向垂直于工作面方向推进，推进量考虑截割深度并和工作面保持一定安全距离，确保采煤机的稳定运行。同时，联控模组控制采后区域液压支架整体向垂直于工作面方向推进并支起前梁护帮，推进量满足采煤机与液压支架之间的安全距离；

41、s53、采煤作业过程中按上述过程循环往复。

42、因此，本发明采用上述的一种机探一体化采煤机器人及其自主导航作业方法，具有以下有益效果：

43、1、利用采煤面地质特征优化多传感器融合slam定位，提高定位精度，实现地质-场景联合slam定位方法，同时结合自然语义信标定位方法，实现采煤机器人从相对位置定位到在gis系统中绝对位置定位的转变。

44、2、利用多传感器实现场景和地质同步自主感知建模，获得随采过程中采煤作业现场场景信息和待开采煤层地质信息。

45、3、基于局部代价地图实现采煤机器人采煤工作面自主导航规划截割。

46、4、基于全局代价地图完成采煤机器人轨道和液压支架的自主导航推进，实现采煤机器人与采煤机器人轨道、液压支架的联合自主调控。

47、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。