一种多激光雷达立体成像人工智能矿石识别方法及装置

本发明涉及光电检测、光电成像和光电测量技术领域，具体涉及一种多激光雷达立体成像人工智能矿石识别方法及装置。

背景技术：

在矿石开采过程中会产生大量的固体杂料、废料，如煤炭开采中会产生大量的矸石废料，混杂在煤中会降低煤炭燃烧质量，且加重污染物的排放，因此识别分选是极为重要的环节。目前主要的分选方式还是人工分选，其对分选效率低下，负荷较大的生产线可能需要4人或以上24小时不间断分选，工作强度高，且现场环境恶劣对人员健康危害大。

目前针对矿石分选的成像识别方法主要有高清相机成像法、红外相机成像法和x射线成像法。

其中高清相机成像法通过相机拍摄传送带上的矿石，对采集到的矿石图像进行一系列处理，提取特征信息，最后由分类算法或神经网络进行识别。

高清相机法和红外相机法由于现场环境恶劣、物体表面粉尘杂质掩盖导致纹理信息丢失，部分矿石的灰度相近，而x射线法设备娇贵且对人体辐射危害很大，使得这些方法的实际应用效果不佳。

单个激光雷达分辨率有限，采集信息密度低，某些特定角度下由于激光反射的原因可能会有数据缺失或出现异常值的现象，且在待测物体表面有水分时，表面形成类似镜面，由于角度原因对激光雷达发射的激光光束全反射，导致部分激光光束无法回到激光雷达接收器，造成采集信息的部分丢失，对识别效果的影响较大。

因此目前主流的矿石识别方法适用性较差，且实时性不好、识别效果差。

技术实现要素：

有鉴于此，本发明提供了一种多激光雷达立体成像人工智能矿石识别方法及装置，其适用性强，且实时性好、识别效果好。

为达到上述目的，本发明的具体方案包括如下步骤：

s1、采用不同安装角度的多激光雷达分别矿石发射激光信号，并分别根据矿石返回的信号得到矿石的3d点云数据信息；激光雷达数量至少2个。

s2、根据对多激光雷达标定所得标定参数对多激光雷达3d点云数据信息进行融合，得到融合后的3d点云数据。

s3、对融合后的3d点云数据进行重建，得到矿石的3d立体图像。

s4、从矿石的3d立体图像中提取关键特征，关键特征包括：3d纹理特征、3d形状特征及回波强度特征。

s5、利用预先训练好的卷积神经网络模型对关键特征进行识别，得到矿石识别结果。

预先训练好的卷积神经网络模型，其训练样本为采用已知类别的矿石，利用s1～s4的步骤提取关键特征，利用训练样本对卷积神经网络模型进行训练得到预先训练好的卷积神经网络模型。

进一步地，激光雷达为二维激光雷达，则将矿石置于匀速运动的传送带上，采用不同安装角度的多激光雷达分别矿石发射激光信号，并分别根据矿石返回的信号得到矿石的3d点云数据信息。

进一步地，激光雷达为三维激光雷达。

进一步地，根据对多激光雷达标定所得标定参数对多激光雷达3d点云数据信息进行融合，得到融合后的3d点云数据，具体为：

标定参数为其中多激光雷达中两两之间的旋转平移矩阵；

利用旋转平移矩阵将多激光雷达3d点云数据信息转移到同一坐标系下，从而得到融合后的3d点云数据。

进一步地，对多激光雷达标定的方法为：采用多激光雷达针对设定的3d标定物发射激光信号，分别采集得到3d标定物的3d点云数据信息，利用3d标定物的3d点云数据信息拟合出3d标定物的棱边直线方程，相同的棱边对应两个激光雷达坐标系得到的两个直线方程，作为约束条件求解两个激光雷达坐标系的旋转平移矩阵，针对多激光雷达中两两之间均得到旋转平移矩阵，即为标定参数。

本发明的另外一个实施例还提供了一种多激光雷达立体成像人工智能矿石识别装置，包括：传送带、激光雷达模块、数据传输模块、多雷达标定模块、同步融合模块、立体成像模块以及信息识别模块。

矿石置于匀速运行的传送带上。

激光雷达模块包括不同安装角度的多激光雷达；多个激光雷达对称设置于传送带上方，多激光雷达的扫描中轴线对传送带成一定夹角；多激光雷达分别用于采集传送带上矿石的3d点云数据信息；激光雷达的数量为2个以上。

多雷达标定模块，用于对多激光雷达进行联合标定，得到标定参数传输至同步融合模块。

数据传输模块，用于将多激光雷达采集到的矿石的3d点云数据信息传输至同步融合模块。

同步融合模块，用于获取多激光雷达采集到的矿石的3d点云数据信息，并利用标定参数进行数据融合，获得融合后的3d点云数据传输至立体成像模块。

立体成像模块，通过对融合后的3d点云数据去除背景传送带再做积分、拟合以及去噪处理，重建矿石的3d立体图像。

信息识别模块，从矿石的3d立体图像中提取3d纹理特征、3d形状特征及回波强度特征，利用卷积神经网络的识别模型进行识别，得到矿石识别结果；识别模型为预先设定并训练好的卷积神经网络模型。

进一步地，多激光雷达的安装高度和角度根据具体传送带宽度调整，使得多激光雷达的扫描重叠部分完全覆盖传送带上矿石。

进一步地，多雷达标定模块，利用3d标定物，3d标定物以不同姿态匀速运动通过多个激光雷达下方，多个激光雷达同时采集，3d标定物为一个尺寸已知的立方体，3d标定物匀速通过激光雷达下方，多激光雷达采集3d标定物的点云数据拟合出3d标定物的棱边直线方程，相同的棱边对应两个激光雷达坐标系中的两个直线方程，，作为约束条件求解两个激光雷达坐标系的旋转平移矩阵，由此得到多激光雷达中两两之间的旋转平移矩阵，即为标定参数。

进一步地，多激光雷达使用光电开关同步控制采集的启动和停止，使得多个激光雷达采集矿石或者3d标定物的3d点云数据时间同步。

有益效果：

1、本发明实施例提供的一种多激光雷达立体成像人工智能矿石识别方法及装置，采用2个以上的激光雷达从不同角度采集信息，可大大增加数据信息量，且当其中一激光雷达由于湿水原因造成数据缺失时，另一角度的激光雷达采集数据可对其进行互补，极大的减小了由于湿水等原因造成的数据缺失现象。基于多激光雷达融合3d点云立体成像获得包含形状信息和回波强度信息的立体图像用于矿石识别。基于包含形状信息和回波强度信息的立体图像的人工智能深度学习卷积神经网络矿石识别分类技术，实时性高且识别效果好。本发明环境适应力强，激光雷达基本不受粉尘的影响，也不需要照明设备，无射线辐射危害。对受灰尘覆盖、灰度相近的矿石具有优秀的识别能力。

2、本发明通过融合不同角度位置的多个激光雷达数据，可获得更加稠密的3d点云。由于两个雷达的数据可以互相补充，对表面湿水的矿石也具有识别能力，也弥补了单激光雷达角分辨率不高获取数据量少的劣势。

3、本发明通过多激光雷达数据的融合，获得更加稠密的3d点云，可以获得高精确度的矿石立体图像，同时还包含了矿石的回波强度数据，可从中提取三维纹理特征、三维形状特征、回波强度特征，运用人工智能深度学习卷积神经网络算法，相较传统识别分类算法，识别准确度高，实时性好，且识别精度能达到毫米级。

附图说明

图1为本发明实施例提供的一种多激光雷达立体成像人工智能矿石识别装置结构组成示意图；

图2为本发明实施例提供的一种多激光雷达立体成像人工智能矿石识别方法流程示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种多激光雷达立体成像人工智能矿石识别方法，其流程如图2所示，包括如下步骤：

s1、采用不同安装角度的多激光雷达分别矿石发射激光信号，并分别根据矿石返回的信号得到矿石的3d点云数据信息；激光雷达数量至少2个；本发明实施例中，若激光雷达为二维激光雷达，则将矿石置于匀速运动的传送带上，采用不同安装角度的多激光雷达分别矿石发射激光信号，并分别根据矿石返回的信号得到矿石的3d点云数据信息。若激光雷达为三维激光雷达，则可以直接采集得到矿石的3d点云数据信息。

s2、根据对多激光雷达标定所得标定参数对多激光雷达3d点云数据信息进行融合，得到融合后的3d点云数据；具体为：

标定参数为其中多激光雷达中两两之间的旋转平移矩阵。

利用旋转平移矩阵将多激光雷达3d点云数据信息转移到同一坐标系下，从而得到融合后的3d点云数据，运用融合算法进行融合，可以得到高分辨率、稠密的3d点云数据。

本发明实施例中，采用手动标定的方式以获得较高的标定精度，由于激光雷达采集的3d点云数据，采用3d标定物对于标定特征的提取更为便利，具体的标定方法为：采用多激光雷达针对设定的3d标定物发射激光信号，分别采集得到3d标定物的3d点云数据信息(若为二维激光雷达则将3d标定物放在传送带上一不同姿态匀速运动通过激光雷达下方；若为三维激光雷达可以直接获得3d标定物的3d点云数据信息)，利用3d标定物的3d点云数据信息拟合出3d标定物的棱边直线方程，相同的棱边对应两个激光雷达坐标系得到的两个直线方程，作为约束条件求解两个激光雷达坐标系的旋转平移矩阵，针对多激光雷达中两两之间均得到旋转平移矩阵，即为标定参数。

s3、对融合后的3d点云数据进行重建，得到矿石的3d立体图像。对3d点云数据剔除传送带背景，然后对每帧数据(激光雷达每秒扫描600次，获得600帧数据)进行去噪、滤波、积分的处理，再通过插值算法进一步提高数据稠密度，形成3d立体图像；

s4、从矿石的3d立体图像中提取关键特征，关键特征包括：3d纹理特征、3d形状特征及回波强度特征；。

s5、利用预先训练好的识别模型对待识别的3d立体图像进行识别，得到矿石识别结果。

预先训练好的卷积神经网络模型，其训练样本为采用已知类别的矿石，利用s1～s4的步骤提取关键特征，利用训练样本对卷积神经网络模型进行训练得到预先训练好的卷积神经网络模型。

如图1所示，本发明另外一个实施例还提供了一种多激光雷达立体成像人工智能矿石识别装置，包括：传送带、激光雷达模块、数据传输模块、多雷达标定模块、同步融合模块、立体成像模块以及信息识别模块；

矿石置于匀速运行的传送带上；

激光雷达模块包括不同安装角度的多激光雷达；多个激光雷达对称设置于传送带上方，多激光雷达的扫描中轴线对传送带成一定夹角；多激光雷达分别用于采集传送带上矿石的3d点云数据信息；激光雷达的数量为2个以上；多激光雷达的安装高度和角度根据具体传送带宽度调整，使得多激光雷达的扫描重叠部分完全覆盖传送带上矿石。本发明中使用的是两个二维激光雷达，利用传送带的匀速运动采集3d点云，也可以使用三维激光雷达替代二维激光雷达直接采集3d点云。本发明实施例中使用的是两个与传送带成一定角度左右安置的激光雷达，还可在正上方添加一个垂直向下的激光雷达，同样采用联合标定，数据融合的方式生成3d立体图像，增加激光雷达个数在标定和融合的原理上没有实质性的差别。

多雷达标定模块，用于对多激光雷达进行联合标定，得到标定参数传输至同步融合模块；标定方法具体为：利用3d标定物，3d标定物以不同姿态匀速运动通过多个激光雷达下方，多个激光雷达同时采集，3d标定物为一个尺寸已知的立方体，3d标定物匀速通过激光雷达下方，多激光雷达采集3d标定物的点云数据拟合出3d标定物的棱边直线方程，相同的棱边对应两个激光雷达坐标系中的两个直线方程，，作为约束条件求解两个激光雷达坐标系的旋转平移矩阵，由此得到多激光雷达中两两之间的旋转平移矩阵，即为标定参数。

数据传输模块，用于将多激光雷达采集到的矿石的3d点云数据信息传输至同步融合模块；

同步融合模块，用于获取多激光雷达采集到的矿石的3d点云数据信息，并利用标定参数进行数据融合，获得融合后的3d点云数据传输至立体成像模块；同步融合模块的前提是在多激光雷达标定模块获得的标定参数，即其中激光雷达两两之间的旋转平移矩阵，利用标定参数可以将不同方向角度安装的激光雷达3d点云绘制在同一坐标系下，本发明中使用光电开关同步控制多个激光雷达的采集启动和停止，即多个激光雷达采集的待融合数据包时间和大小均一致，解决了时间同步的问题，多激光雷达采集的原始点云数据是以极坐标形式储存，先将多个激光雷达3d点云数据由极坐标系转换至直角坐标系形式，此时通过前面标定获得的旋转平移矩阵将多个激光雷达点云数据统一至同一个立体直角坐标系中，获得的融合后的3d点云数据更加稠密，为了降低运算处理的复杂性，并保证运算的实时性，把立体直角坐标系中的空间按0.5mm×0.5mm×0.5mm的立方体进行划分，在每个立方体内可能有多个点云值，对这几个点云值进行加权平均，最终每个立方体最多只由一个值表示，获得最终的融合后的3d点云。

一个激光雷达由于矿石湿水将激光全反射而造成点云数据缺失，可由另一角度的激光雷达数据进行补充，从而减小3d点云数据的空洞。

立体成像模块，通过对融合后的3d点云数据去除背景传送带再做积分、拟合以及去噪处理，重建矿石的3d立体图像；立体成像模块根据融合后的3d点云剃除传送带背景及小块的矿石碎渣，利用滤波算法过滤异常的3d点云值，再利用样条插值算法补充融合后仍存在的点云空洞，使3d点云更加稠密，再逐帧积分还原出矿石的3d立体图像，这种图像区别于普通相机采集的的二维图像，二维图像只包括物体表面的灰度信息，没有距离信息。常见的激光雷达成像实质上是利用距离值数据映射在二维图像中，而这里的立体成像形成的3d立体图像包含真实的三维形状信息且还包含回波强度信息。

信息识别模块，从矿石的3d立体图像中提取3d纹理特征、3d形状特征及回波强度特征，利用卷积神经网络的识别模型进行识别，得到矿石识别结果；识别模型为预先设定并训练好的卷积神经网络模型。

在本发明中，同步融合模块、立体成像模块和信息识别模块均由软件算法实现可以集成在上位机内，见图中⑤，上位机可以为pc计算机，多激光雷达可以作为下位机。

多激光雷达使用光电开关同步控制采集的启动和停止，使得多个激光雷达采集矿石或者3d标定物的3d点云数据时间同步。

本发明中的装置，利用两个安装位置和角度不同的激光雷达对矿石进行识别，识别精度能达到毫米级，能对矿石进行立体成像，两个雷达的数据量弥补了激光雷达角分辨率低，形成的3d点云密度低的缺点，同时还能互相补充由于矿石含水导致的点云数据缺失。多激光雷达立体成像所成像是真正的三维立体图像，包含物体三维形状轮廓和物体回波强度数据。可提取三维纹理特征，区别于相机提取的二维纹理特征。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。