一种基于多传感器融合人员接近报警方法与流程

本发明涉及能源技术，具体涉及一种基于多传感器融合人员接近报警方法。

背景技术：

1、由于无人驾驶汽车领域的研究工作尚在起步阶段，所以有很多技术难题需要解决，例如复杂环境下的感知、目标检测和跟踪、自动驾驶等技术。要实现以上技术，需要传感器能够应对随机多变的环境，因此往往采用多个传感器进行融合的方法，以集合各传感器的优点。各车载传感器实时采集周围的目标信息，将目标信息数字化，运用算法实现目标检测和识别，为后续的智能决策层做基础。

2、在无人驾驶的感知领域中，视觉传感器和毫米波雷达被广泛应用，二者具备成本较低的优点。毫米波雷达具有探测频率高、周期短的特点，所以能够对目标进行快速检测，且毫米波雷达能够穿透灰尘和水雾、探测距离远、角度范围广，能够检测目标的位置和速度信息，环境适应能力强，但是对目标尺寸的识别精准度不高，无法实现准确的分类功能，且无法感知目标的轮廓特征。摄像头能够获得目标的图像信息并对其进行处理，从而对目标进行分类和识别，缺点是环境适应能力较差，无法准确测量距离、角度等信息，且距离信息计算误差很大。所以毫米波雷达融合视觉技术的应用可以使二者进行互补，融合二者的优势。一方面，毫米波雷达的探测精度更高，可以用来矫正摄像头采集的数据，提高其环境适应能力；另一方面，视觉传感器能解决毫米波雷达无法对目标分类和识别的缺陷，该方法对汽车感知有重要的指导作用。

技术实现思路

1、本发明提供一种基于多传感器融合人员接近报警方法，以解决上述背景技术中提出的问题。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、一种基于多传感器融合人员接近报警方法，包括以下步骤：s1：获取各传感器数据并进行预处理。

4、s2：视觉雷达融合：对单目摄像头和毫米波雷达的空间坐标系、时间坐标系进行对准，根据极角匹配视觉检测结果和雷达检测结果。

5、s3：多传感器融合:对s2中融合数据与uwb预处理数据进行融合，根据距离完成目标匹配以实现报警功能。

6、本发明技术方案的进一步改进在于：在s1中对于各传感器数据获取和预处理包含毫米波雷达数据获取和预处理，具体步骤为：获取雷达每周数据查看是否为空目标，rcs值是否介于[-15,-14]，是否在有效探则范围内，若是空目标或介于[-15,-14]或不在有效探则范围内，则删除数据，反之通过连续周期信号滤波，输出雷达有效目标。

7、本发明技术方案的进一步改进在于：在s1中对于各传感器数据获取和预处理包含单目摄像头数据获取和预处理，在单目摄像头基础上采用yolo v8来实现物体的探测和识别功能，将待训练的图像随机划分为若干批次，每个批次包含相同数目的图像，训练并优化网络，直至计算得的总损失达到阈值或者迭代次数得到阈值，停止训练并保存训练好的模型。

8、本发明技术方案的进一步改进在于：在s2视觉雷达融合中，首先对毫米波雷达和单目摄像头进行联合标定，标定方法主要是在毫米波雷达和单目摄像头的重合区域内选取等间隔的标定位置，通过共同校准来完成空间对齐，利用极坐标统一两种传感器的检测数据，利用毫米波雷达roi区域内目标的空间定位信息与图像目标检测方法相结合，完成视觉雷达的数据整合工作。

9、本发明技术方案的进一步改进在于：其中对于视场角和标定点的标定时，首先将毫米波雷达和单目摄像头的纵坐标轴对齐，并将单目摄像头和毫米波雷达检测数据可视化，通过微调毫米波雷达和单目摄像头的相对位置，使得雷达的纵向坐标线和图像画面中央像素重合。

10、本发明技术方案的进一步改进在于：在s3多传感器融合中，完成视觉和雷达的融合后，须对uwb探测的目标数据和雷达视觉融合后的目标数据进行一一匹配。本文提出以距离为依据的融合策略，首先，将uwb预处理后的数据转化至极坐标系下，如下式所示；其次，根据距离将视觉雷达融合数据和uwb数据进行匹配；最后，遍历警戒区域内的目标，若没有uwb信号则发出报警信号。

11、由于采用了上述技术方案，本发明相对现有技术来说，取得的技术进步是：

12、1、本发明提供一种基于多传感器融合人员接近报警方法，其中测量数据相对准确：毫米波雷达具有环境适应能力强和分辨率高的优点，具有非常大的带宽，因此具有很高的可靠性，其较高的频率可以减少干扰，可以避免受到雨雾天气的影响。

13、2、本发明提供一种基于多传感器融合人员接近报警方法，其中检测结果相对更稳定：当被测目标的颜色和环境颜色差异不大时，仅依靠基于视觉的目标检测算法无法连贯地进行目标检测和识别，容易出现漏检现象。毫米波雷达能够弥补摄像头这方面的不足。

14、2、附图说明

15、图1为毫米波雷达输出初始目标数据集合进行滤波筛选流程；

16、图2为本视觉雷达融合策略；

17、图3为时间坐标系的对齐原则示意图；

18、图4为标定时视场角和标定点的俯视图；

19、图5为单目摄像头和毫米波雷达检测数据可视化示意图。

技术特征：

1.一种基于多传感器融合人员接近报警方法，其特征在于：包括以下步骤：s1：获取各传感器数据并进行预处理；

2.根据权利要求1所述的一种基于多传感器融合人员接近报警方法，其特征在于：在s1中对于各传感器数据获取和预处理包含毫米波雷达数据获取和预处理，具体步骤为：获取雷达每周数据查看是否为空目标，rcs值是否介于[-15,-14]，是否在有效探则范围内，若是空目标或介于[-15,-14]或不在有效探则范围内，则删除数据，反之通过连续周期信号滤波，输出雷达有效目标。

3.根据权利要求2所述的一种基于多传感器融合人员接近报警方法，其特征在于：在s1中对于各传感器数据获取和预处理包含单目摄像头数据获取和预处理，在单目摄像头基础上采用yolo v8来实现物体的探测和识别功能，将待训练的图像随机划分为若干批次，每个批次包含相同数目的图像，训练并优化网络，直至计算得的总损失达到阈值或者迭代次数得到阈值，停止训练并保存训练好的模型。

4.根据权利要求1所述的一种基于多传感器融合人员接近报警方法，其特征在于：在s2视觉雷达融合中，首先对毫米波雷达和单目摄像头进行联合标定，标定方法主要是在毫米波雷达和单目摄像头的重合区域内选取等间隔的标定位置，通过共同校准来完成空间对齐，利用极坐标统一两种传感器的检测数据，利用毫米波雷达roi区域内目标的空间定位信息与图像目标检测方法相结合，完成视觉雷达的数据整合工作。

5.根据权利要求4所述的一种基于多传感器融合人员接近报警方法，其特征在于：其中对于视场角和标定点的标定时，首先将毫米波雷达和单目摄像头的纵坐标轴对齐，并将单目摄像头和毫米波雷达检测数据可视化，通过微调毫米波雷达和单目摄像头的相对位置，使得雷达的纵向坐标线和图像画面中央像素重合。

6.根据权利要求3所述的一种基于多传感器融合人员接近报警方法，其特征在于：在s3多传感器融合中，完成视觉和雷达的融合后，须对uwb探测的目标数据和雷达视觉融合后的目标数据进行一一匹配。本文提出以距离为依据的融合策略，首先，将uwb预处理后的数据转化至极坐标系下，如下式所示；其次，根据距离将视觉雷达融合数据和uwb数据进行匹配；最后，遍历警戒区域内的目标，若没有uwb信号则发出报警信号。

技术总结
本发明公开了一种基于多传感器融合人员接近报警方法，涉及能源技术技术领域，包括以下步骤：S1：获取各传感器数据并进行预处理；S2：视觉雷达融合：对单目摄像头和毫米波雷达的空间坐标系、时间坐标系进行对准，根据极角匹配视觉检测结果和雷达检测结果；S3：多传感器融合：对S2中融合数据与UWB预处理数据进行融合，根据距离完成目标匹配以实现报警功能。本发明通过毫米波雷达具有环境适应能力强和分辨率高的优点，具有非常大的带宽，因此具有很高的可靠性，其较高的频率可以减少干扰，可以避免受到雨雾天气的影响。

技术研发人员：刘超华,齐贺鹏,王磊,刘向英,张万永,娄明坤,卫中宽,刘静川,张举,潘蔚初,高航,张磊
受保护的技术使用者：中煤平朔发展集团有限公司
技术研发日：
技术公布日：2024/1/25