一种基于激光雷达及相机融合的仓库物资管控方法与流程

本发明涉及物资管控，具体涉及一种基于激光雷达及相机融合的仓库物资管控方法。

背景技术：

1、目前的仓库监控技术仅仅依赖于监控枪机的画面检测，并根据现场人员判断是否存在物资乱堆放和违规操作的问题。对于仓库管控，人员违规行为、物资物料乱堆放的问题仅依赖于监控摄像头完全不能判断，通过监控枪机对仓库过道或者规定区域进行物资检测不能达到完全准确的效果，甚至可能由于光线等问题出现目标检测假阳性的问题；导致检测结果不精确，甚至定位失败。

2、相比较于相机监控，激光雷达不受外部光照影响，能够在弱光等环境下稳定工作，并能够获得物体的形状大小和深度，但不能够扫描出物体的具体纹理、颜色、类别等信息，缺乏捕捉具体信息的能力。当基于图像目标检测物资出现假阳性、错误检测的问题时，仅仅依赖于相机不能解决是否存在假阳性的问题。

3、在中国专利文献上公开的“一种基于计算机视觉的新能源备品备件仓库智能管理方法”，其公开号为cn114971483a，公开了一种基于计算机视觉的新能源备品备件仓库智能管理方法，该方法包括：获取仓库监控图像，并通过监控图像的矫正拼接得到全局图像；获取全局图像中的人员位置信息，并根据人员位置信息得到人体姿态识别结果；获取根据人员位置信息和人体姿态识别结果得到的备品备件数量值；通过判断备品备件数量值和预设阈值大小以实时预警。但其仅仅根据仓库监控图像来对仓库进行管理，容易出现目标检测中假阳性的问题，导致检测结果不精确。

技术实现思路

1、本发明解决了目前仓库监控采用相机监控导致出现目标检测假阳性的问题，提出一种基于激光雷达及相机融合的仓库物资管控方法，对物资进行是否乱堆放和融合定位的检测；根据融合物资检测关联的结果，得到物资的完整属性从而判断是否存在物资乱堆放问题，大大提升检测的准确性。

2、为了实现上述目的，本发明采用以下技术方案：一种基于激光雷达及相机融合的仓库物资管控方法，包括以下步骤：

3、s1，获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；

4、s2，在图像上划定禁止乱堆放物资区域，经过矩阵转换至设备坐标系下，得到基于设备坐标系的三维电子围栏闭合区域；

5、s3，采用改进后的yolov5检测网络进行目标检测，得到相机检测结果；采用改进后的pointnet检测模型进行点云检测，得到激光雷达初步检测结果；

6、s4，将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；

7、s5，将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；

8、s6，激光雷达和相机联合管控，对物资进行检测判断。

9、本发明中，首先进行坐标系的标定并划定禁止堆放区域，采用激光雷达和相机对仓库物资堆放处进行物资检测得到激光雷达初步检测结果和相机检测结果；通过聚类算法去除点云数据中的噪点数据和背景点云数据得到检测后结果，再将检测结果通过雷达激光与相机之间的外参矩阵投影到相机的像素坐标系下，确定基于相机的物料检测结果中的2d边界框，将2d边界框中的点云与相机检测结果进行关联，保留正确的检测结果，再与原始三维点云数据检测结果机型关联可对物资进行融合定位，获取物资的三维特征信息，并能够可视化在图像中，使得三维物体的展示更加直观。

10、作为优选，所述步骤s1具体为：获取时间同步的激光雷达点云和相机图像，通过标定工具获得相机内参矩阵和激光雷达到相机坐标系的外参矩阵，雷达坐标系和相机坐标系之间通过旋转平移矩阵进行转换，雷达坐标系和像素坐标系之间的转换由相机内部参数和外部参数决定。

11、本发明中，在获取到相应的激光雷达点云和相机图像之后，获取标定参数，并进行坐标系之间的转换。

12、作为优选，所述步骤s2包括以下步骤：

13、s21，定义设备坐标系，计算设备坐标系分别与像素坐标系和雷达坐标系之间的转换矩阵；

14、s22，在图像上手动划定区域，获取所划定区域的像素坐标值，转换至设备坐标系下得到设备坐标系下电子围栏所有坐标信息；

15、s23，激光雷达监测到物资存在后，获取所有基于雷达坐标系的物资坐标值，经矩阵转换至设备坐标系后得到设备坐标系下的物资三维坐标特征信息。

16、本发明中，首先，定义设备坐标系，通过设备坐标系和像素坐标系之间的h矩阵转换得到设备坐标系下的三维特征信息；此外，激光雷达坐标系通过矩阵转换到定义的设备坐标系下，将激光雷达坐标系和像素坐标系统一到设备坐标系下；手动划定区域在图像上获得所划区域的像素坐标值，转换到设备坐标系下得到设备坐标系下电子围栏所有的(x,y,z)坐标，即确定电子围栏在设备坐标系下的位置信息。

17、作为优选，所述改进后的yolov5检测网络包括：

18、将主干网络中的spp网络替换成panet特征金字塔网络；

19、引入cbam注意力机制模块选择聚焦位置，cbam注意力机制模块包括通道注意力机制模块和空间注意力模块。

20、本发明中，将主干网络中的spp网络替换成panet特征金字塔网络，达到轻量化的目的，且具有更少的计算量和参数量，panet是一种特征金字塔网络，能够将不同尺度的特征图进行有效的融合；引入cbam注意力机制模块能够产生更具有分辨性的特征，并使网络获取更多的上下文和空间信息。

21、作为优选，所述改进后的pointnet检测模型包括：

22、pointnet检测模型包括特征提取模块和全连接层，在特征提取模块和全连接层之间引入gat模块处理点云局部特征。

23、本发明中，使用gat模块对pointnet输出的全局特征向量进行进一步的节点信息提取；gat模块利用注意力机制为每个节点分配不同的重要性，提高节点的表示质量。

24、作为优选，所述步骤s4包括以下步骤：

25、s41，根据激光雷达初步检测结果并通过k-means聚类算法对检测到的点云进行聚类形成点云簇，点云簇覆盖物资表面；

26、s42，经过外参矩阵和内参矩阵转换至像素坐标系下，继而投影至基于相机目标检测到的物资边界框中。

27、本发明中，通过聚类算法去除点云数据中的噪点数据和背景点云数据得到检测后结果，再将检测结果通过雷达激光与相机之间的外参矩阵投影到相机的像素坐标系下，确定基于相机的物料检测结果中的2d边界框。

28、作为优选，所述步骤s6包括：

29、s61，当相机检测到物资假阳性时，激光雷达和相机融合判断是否出现错误检测；

30、s62，当相机检测错误检测所划定区域外物资时，与激光雷达联合判断是否存在于设备坐标系下闭合区域内。

31、本发明中，由于基于相机的检测结果可能受到光线、角度的问题干扰，导致出现检测假阳性以及错误检测到物资的问题，针对两种不同的问题，分别采用不同的措施。

32、作为优选，所述s61包括以下步骤：

33、s611，激光雷达和相机采集同时间的点云数据和图像，采用ransac算法提取地面的所有点云数据并转换至设备坐标系下；

34、s612，判断是否有与地面z轴差异超过3cm的点云簇，若是，进入步骤s513，若否，说明目标检测出现假阳性；

35、s613，判断点云簇是否在电子围栏闭合区域内，若是，则进行告警。

36、本发明中，使用步骤s61的方法能够解决目标检测假阳性的问题，且能够大大提升检测准确性。

37、作为优选，所述步骤s62包括以下步骤：

38、s621，激光雷达检测到物资，采用ransac算法提取地面的所有点云数据；

39、s622，判断该物资在设备坐标系下的地面坐标是否在地面闭合区域位置范围内，若是，则进行告警，若否，则相机出现错误检测。

40、本发明中，采用步骤s62的方法能够解决错误检测到区域外物资的问题，并且能够发出报警。

41、作为优选，所述地面闭合区域位置范围为基于设备坐标系的x轴和y轴坐标范围，物资在设备坐标系下的地面坐标为物资关于x轴和y轴的坐标。

42、本发明中，判断物资在设备坐标系下x轴和y轴的坐标是否在地面闭合区域位置范围的x轴和y轴坐标范围之内，即可验证相机是否出现错误检测。

43、本发明具有如下的有益效果：

44、本发明涉及的一种基于激光雷达及相机融合的仓库物资管控方法，对物资进行是否乱堆放和融合定位的检测；根据融合物资检测关联的结果，得到物资的完整属性从而判断是否存在物资乱堆放问题，大大提升检测的准确性。