一种通过点云检测的工业AGV小车障碍检测方法

本发明属于场景文字检测，涉及一种通过点云检测的工业agv小车障碍检测方法，用于agv小车自动寻路及避障，通过激光雷达获取点云数据，多尺度特征提取模块将点云体素化后生成bev，利用2d卷积进行特征提取，最后输出热力图预测目标的定位信息。

背景技术：

1、自动引导运输小车(automated guided vehicle,agv)因能提高搬运效率而大量运用在现代化工厂中，agv小车拥有避障、寻路等功能。在避障领域，一般的基于单目图像2d目标检测因为缺少深度信息而无法在空间中准确定位障碍物。当前的3d目标检测根据数据获取方式进行分类，主要分为双目视觉、毫米波雷达点云和激光雷达点云等。双目视觉方法技术已经成熟，同时技术所需的传感器成本低，但是双目视觉因为图片本身问题存在如光学失真、图片反光、左右视图中内容大小不一致和深度存在误差等问题。毫米波雷达产生的点云稀疏，包含的信息量少，不利于特征提取和深度学习，所以最近的研究将其和视觉或激光雷达进行融合检测。激光雷达的优点在于精度高，产生的点云信息丰富，但是其穿透性差，极易受环境影响，而且传感器大多成本高。激光雷达和视觉的融合也是当下研究的热点。但是不同数据多模态融合方法在数据采集时要保证多个传感器的同步，同时点云包含稀疏、不规则和变换不变性等特点，而图片是紧凑、规则的，两种数据有质的区别，融合难度大。

2、针对3d点云目标检测目前主要分为单阶段检测器和双阶段检测器两类。单阶段检测器在特征提取后直接生成包围框，所以单阶段检测器结构简单且效率高。双阶段检测器通过rpn(region proposal network)生成proposal后还有一个阶段对proposal细化和矫正置信度，使其拥有更高的检测精度。由于单阶段检测器无法像双阶段检测器在第二阶段提取proposal周围的特征信息，在当前的单阶段网络中，大多依靠线性网络直接回归包围框置信度。随着计算机视觉和模式识别的发展，单阶段检测器的性能已经明显提升，在精度上已经逼近双阶段检测器。

技术实现思路

1、本发明的第一个目的是针对现有技术的不足，提供一种通过点云检测的工业agv小车障碍检测方法。

2、本发明提供一种通过点云检测的工业agv小车障碍检测方法，包括以下步骤：

3、步骤(1)、使用雷达获取运行状态下工业agv小车周边点云数据；

4、步骤(2)、利用基于两种点云尺度的工业agv小车避障单阶段检测器tpc-ssd(twopoint cloud scales single-stage detector)对上述点云数据实现小车周边障碍检测；

5、所述基于两种点云尺度的工业agv小车避障单阶段检测器，包括可学习的前景点下采样模块、多抽象尺度特征提取模块、多距离尺度特征聚合模块、检测头；该检测器首先将原始点云通过可学习的前景点下采样模块获得前景点，然后通过多抽象尺度特征提取模块生成特征图，用特征图预测热力图，接着热力图转化成中心点，在多距离尺度特征聚合模块中聚合前景点生成语义特征向量，最后语义特征向量和热力图结合一起预测包围框。

6、1)所述可学习的前景点下采样模块，用于将输入的点云通过多层感知机mlps(multi-layer perceptrons)操作能够提取其语义特征，筛选出具有丰富目标信息的前景点，其包括多个串联的下采样；

7、在每一次下采样中，点云中每一个点利用mlps获得当前点的前景分数，然后根据前景分数选取前k个点作为下一次下采样的输入。

8、每一次下采样采用焦点损失函数来优化：

9、

10、

11、其中：lseg表示焦点损失，n表示前景点数量，pi表示区分前景与背景点的one-hot标签，表示平均前景点概率，表示利用sigmoid函数预测的前景点概率，λ和ω表示超参数；

12、2)多抽象尺度特征提取模块:

13、①将可学习的前景点下采样模块提取到的前景点进行体素化，得到体素空间；

14、②通过体素特征编码层将每个拥有点的体素进行特征编码，得到非空体素特征；

15、③将步骤①体素化后的点沿z轴向进行连接，得到一张较为稠密的鸟瞰图bev(bird's eye view)；

16、④对鸟瞰图bev进行多尺度特征提取，得到bev特征图；具体是：

17、鸟瞰图bev在多抽象尺度特征分离网络中经过3个卷积层，每经过一个卷积层得出一种抽象层次的特征图，然后将第2次卷积得出的中层特征和第3次卷积得出的深层特征进行deconvolution操作，让其维度与浅层特征保持一致，接着第1次卷积得出的浅层特征分别与中层特征和深层特征逐元素相加，最后利用注意力机制将两个相加后特征图进行特征融合；

18、所述特征融合是两个相加后特征图分别用卷积层将通道数压缩到1，然后再进行拼接得到注意力特征图；通过softmax函数将注意力特征图的两个通道归一化，得的两个建立联系的通道；接着将两个建立联系的通道作为权重分别去为对应的原始输入的相加后特征图加权，即做乘法操作；最后将两个加权后的特征图进行逐元素相加，达到自适应融合的目的。

19、⑤根据bev特征图预测热力图；具体是：

20、对于任意尺寸为w*h的bev特征图，生成一个尺寸为w/r*h/r*k的热力图，其中w是图像的高，h是图像的宽，k是检测的类别数，r是高斯圆半径。热力图中元素的取值为0或1，其中若热力图该点为1，则特征图中该点是一个前景点，若为0，则该点在特征图中为背景。

21、所述热力图只保留一个通道，同时保留了一个单通道离地高度图用于中心点的三维定位，以及双通道亚体素定位细化图用于减小中心点的定位误差。

22、3)多距离尺度特征聚合模块：

23、①从多抽象尺度特征提取模块输出的热力图中获取所有中心点，然后标记体素空间中所有包含中心点的体素为中心体素cn，记录至集合h＝{c1,c2,…,cn}。

24、②由于仅有前景点的点云被体素化，所以每个非空体素都只包含前景点的特征信息，非空体素的坐标表示为p＝{p1,p2,…,pl}，其特征表示为考虑到体素排列的规则性，体素ci,cj间的距离用曼哈顿距离来表示：

25、即d(ci,cj)＝|ax-bx|+|ay-by|+|az-bz|             式(3)

26、其中ci＝(ax，ay，az)，cj＝(bx，by，bz)，ax，ay，az表示体素在xyz轴的坐标。

27、查询中心体素ci∈h的邻域中r个曼哈顿距离内的所有非空体素，并将它们列入非空体素特征集合中：

28、

29、其中表示非空体素中心和中心体素中心的逆距离，它和pj-ci一同构成了该体素局部空间结构，pj-ci表示非空体素相对中心体素的坐标.d(·)表示曼哈顿距离。

30、③由于前景点的特征向量中仅包含全局坐标值，所以给特征向量添加前景点与中心点的逆距离来扩充局部信息，以保证前景点包含尽可能多的空间特征。将集合中的非空体素与中心体素ci的曼哈顿距离的不同进行分类，被分为m组，表示为：第k组类别中的所有非空体素与中心体素的曼哈顿距离为：

31、

32、其中表示第k组中某个非空体素的坐标。

33、对进行聚合得到单尺度特征向量集合：

34、

35、其中r(·)表示随机下采样函数。pointnetk(·)表示加载了第k组权重的网络。

36、④对中心体素ci邻域中m组单尺度特征向量依次拼接得到多尺度语义特征：所有中心体素的多尺度语义特征集合表示为它保留了不同距离尺度下的空间结构，从而为每个目标提供精确的空间结构信息。

37、4)检测头接收多距离尺度特征聚合模块输出的多尺度语义特征，对其预测出每个目标的包围框尺寸、方向角以及置信度。

38、本发明的第二个目的是提供工业agv小车避障检测系统，包括：

39、固态面阵机关雷达模块，获取工业agv小车周围的点云信息；

40、障碍检测模块，利用训练好的基于两种点云尺度的工业agv小车避障单阶段检测器tpc-ssd预测小车周围点云信息中的障碍位置。

41、本发明的第三个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

42、本发明的第四个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

43、本发明的有益效果如下：

44、本发明在检测器中引入可学习的前景点下采样模块，能够实现更有效地保留前景点；本发明采用多抽象尺度特征提取模块能从bev特征图中提取到结构复杂的目标特征信息，得到的特征图对于目标信息有更强的表现力；本发明使用的多距离尺度特征聚合模块能有效地获取前景点结构信息，从而获得准确的包围框。

45、在实际工厂环境下，本发明提出的新型单阶段检测器tpc-ssd对周围障碍的检测在实时性和精确度方面都优于其他的检测器，解决实际工业场景中agv小车避障检测，并达到了可观的精确度。