多传感器融合的数据处理方法、装置与多传感器融合方法与流程

本发明涉及传感器数据处理，尤其涉及多传感器融合的数据处理方法、装置与多传感器融合方法。

背景技术：

1、传感器是一种从环境中感受、测量指定信息的采集设备，其作用主要是将它采集到的对象信息通过特定的转换过程进行输出。传统方法中通常是由单独一种传感器采集信息，但这样一来采集到的对象信息过于孤立，无法全面、细致地对目标进行描述。因此根据实际场景，多种传感器同时对目标进行信息采集并将采集信息统一处理，就像人体通过眼睛、耳朵等多种器官对外界环境进行感知，这就是多传感器感知。如今，计算机信息应用领域中的技术发展尤为突出，其硬件基础和软件应用都得到了飞速发展，计算机也逐渐成为各类工业进行正常运转的基石，而在信息处理方面，针对多传感器融合技术的探讨研究获得了愈来愈多的关注。计算机的计算能力与速度的大幅度提升，能够同时对各类传感器采集的信息进行统一处理，因此促进了传感器信息融合技术的发展，此项技术综合了各类传感器的特有优势，能够更加准确、形象的描述观测对象，可以为生物科学信息技术、环境环保监测等领域的进步发展提供新的思路。

2、近年来，随着传感器技术的不断发展，多传感器融合数据技术已成为研究热点。对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确，对数据的处理和利用更合理；在多传感器系统中，实现数据融合的关键是使用数据处理算法协调所有传感器，将信息组合形成一个整体，进而获得高质量、有用的测量数据。

3、如授权公告号为cn109655825b的中国专利公开了多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，用多维矩阵结构的形式组合在一起，进而，可有利于对取得的数据做多层面的数据融合与深度学习，其可有利于实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。

4、如申请公开号为cn113514863a的中国专利公开了一种多传感器融合定位方法，包括：车辆的车载系统获取车辆的定位信息和姿态信息；根据定位信息和姿态信息进行动力学解算，得到预测位置信息和预测姿态信息；根据车辆的规划路径信息和预设的高精度地图信息判断车辆前方区域的定位信号等级；当定位信号等级为第一等级时，获取车辆的速度信息；根据定位信息和速度信息修正预测位置信息和预测姿态信息，得到车辆的第一实时定位数据和第一实时姿态数据；当定位信号等级为第二等级时，获取激光点云数据；根据高精度地图信息匹配激光点云数据，得到激光定位数据；根据激光定位数据修正预测位置信息和预测姿态信息，得到车辆的第二实时定位数据和第二实时姿态数据。

5、以上专利均存在本背景技术提出的问题：多传感器包括：视觉传感器、距离传感器和位姿传感器，在进行处理未根据传感器得到的数据进行相应的去噪或滤波处理；在多传感器融合时，未协调所有传感器，不能将信息组合形成一个整体。为了解决这些问题，本技术设计了多传感器融合的数据处理方法、装置与多传感器融合方法。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供了多传感器融合的数据处理方法、装置与多传感器融合方法。

2、为实现上述目的，本发明提供如下技术方案：

3、多传感器融合的数据处理方法，包括：

4、采集多传感器数据，所述多传感器包括：视觉传感器、距离传感器和位姿传感器，其中，所述视觉传感器包括：摄像头和红外传感器，所述距离传感器包括：毫米波雷达和激光雷达，所述位姿传感器包括：惯性测量传感器imu；

5、对视觉传感器生成图像进行畸变校正；

6、对距离传感器生成点云数据进行滤波处理；

7、对位姿传感器生成数据进行去噪处理。

8、进一步地，所述对视觉传感器生成图像进行畸变校正包括以下步骤：

9、设定视觉传感器生成图像中点的初始像素坐标为；

10、基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为；

11、基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为；

12、计算视觉传感器畸变矫正后点的像素坐标，计算公式为：

13、，

14、其中，、、和表示视觉传感器中内参矩阵的参数，和分别表示像素坐标系下在两个方向上以像素为单位的焦距，和分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。

15、进一步地，所述对距离传感器数据进行滤波处理包括以下步骤：

16、计算所有点的强度的均值及标准差，设定强度阈值，将强度低于阈值的点剔除掉，完成初级滤波；

17、查找初级滤波后每一个点的临近点，根据高斯分布模型化距离参数，计算所有初级滤波后的点与临近点的距离的均值与距离的标准差，遍历所有初级滤波后的点，设定高斯分布的指定置信度，如果该点距离的均值大于高斯分布的指定置信度，则将该点剔除掉，完成二次滤波；

18、设置滤波器的搜索半径，在设定半径范围内进行点云搜索，统计其内部的点云数量，设定点云数量阈值，将半径范围内点云数量低于阈值的点剔除掉，完成三次滤波。

19、进一步地，所述对位姿传感器生成数据进行去噪处理包括：

20、对位姿传感器生成数据进行六层小波分解得到六层子序列；

21、对第一层和第二层高频子序列使用小波阈值去噪；

22、对第五层和第六层低频子序列基于神经网络训练去噪；

23、将去噪后的子序列和未去噪的子序列连接起来，得到降噪后的位姿传感器数据。

24、多传感器融合的数据处理装置，包括：

25、视觉传感器，用于基于可见光或者红外线来获取图像信息并量化图像信息；

26、距离传感器，用于基于无线电回波与发射信号进行比较，处理后获得目标信息；

27、位姿传感器，用于基于mems技术来进行获取三维运动姿态信息；

28、处理器，用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理；

29、传输模块，用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。

30、多传感器融合方法，包括：

31、基于时间的距离传感器数据和视觉传感器数据融合；

32、基于距离的毫米波雷达和激光雷达数据融合；

33、基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。

34、进一步地，所述基于时间的距离传感器数据和视觉传感器数据融合包括：距离传感器与视觉传感器采集数据信息均带有时间戳，以距离传感器信号时间戳为基准，设定最大时间阈值，从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻，满足时，将两个时间戳信息匹配。

35、进一步地，所述基于距离的毫米波雷达和激光雷达数据融合包括：

36、将毫米波雷达和激光雷达基于惯性测量传感器imu转换到二维坐标系下，通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器imu的坐标对齐；

37、对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取；

38、在第一类探测距离下，设置激光雷达数据权重为0.8，毫米波雷达数据权重为0.2，进行加权平均融合；

39、在第二类探测距离下，设置激光雷达数据权重为0.5，毫米波雷达数据权重为0.5，进行加权平均融合；

40、在第三类探测距离下，设置激光雷达数据权重为0.2，毫米波雷达数据权重为0.8，进行加权平均融合。

41、进一步地，所述第一类探测距离包括：距离传感器的距离为0至40米；所述第二类探测距离包括：距离传感器的距离为40至100米；所述第三类探测距离包括：距离传感器的距离为100至200米。

42、进一步地，所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括：

43、获取距离传感器的点云数据和视觉传感器内参；

44、将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系；

45、将相机坐标系中的点云数据进行透视投影，得到在归一化平面上的坐标；

46、将透视投影得到的坐标转换为归一化平面坐标，将归一化平面坐标转换为最终的像素坐标；

47、把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵。

48、进一步地，所述多维感知矩阵包括：距离数据、速度数据、加速度数据、方位数据、雷达散射截面rcs数据，亮度数据、灰度数据、rgb数据以及热红外温度数据。

49、与现有技术相比，本发明的有益效果是：

50、1.本发明提出的多传感器融合的数据处理方法，涉及到视觉传感器、距离传感器和位姿传感器，通过采集多传感器数据，可以使得对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确。

51、2.本发明提出的多传感器融合的数据处理方法，通过对视觉传感器生成图像进行畸变校正，对距离传感器生成点云数据进行滤波处理，对位姿传感器生成数据进行去噪处理，使得传感器数据更加请准，更利于特征提取与分析。

52、3.本发明提出的多传感器融合方法，基于毫米波雷达和激光雷达根据距离不同导致的可信度不同，设置了三类探测距离，为毫米波雷达和激光雷达设置不同的权重，能使得对环境感知数据更有效。

53、4.本发明提出的多传感器融合方法，把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵，将信息组合形成一个整体，获得了高质量的测量数据。