基于全局关系感知的4D毫米波雷达目标检测方法及装置

本技术涉及自动驾驶，尤其是涉及基于全局关系感知的4d毫米波雷达目标检测方法及装置。

背景技术：

1、为了解决使用4d毫米波雷达时检测能力不足的问题，考虑使用深度学习方法直接处理点云数据。但是，毫米波雷达点云是四维数据，且其存在着稀疏性和噪声问题，传统的三维目标检测方法很难保证目标检测的精度。目前常用的方法是将点云数据划分为多个体素，从每个体素内提取信息，但是这种方法没有关注全局特征信息，降低了远距离信息捕获的效率，失去了部分目标检测精度。

技术实现思路

1、有鉴于此，本技术提供了基于全局关系感知的4d毫米波雷达目标检测方法及装置，以解决上述技术问题。

2、第一方面，本技术实施例提供一种基于全局关系感知的4d毫米波雷达目标检测方法，包括：

3、获取自车上4d毫米波雷达采集的点云数据；

4、对所述点云数据进行支柱特征编码，得到各体素的特征图；

5、利用全局关系感知网络对所有体素的特征图进行处理，得到具有全局关系的特征图，将具有全局信息的特征图还原为增强后的点云数据；

6、利用检测头对所述增强后的点云数据进行处理，得到3d目标检测结果。

7、在一种可能的实现中，对所述点云数据进行支柱特征编码，得到各体素的特征图，包括：

8、利用点云中各点的发散角对各点的坐标进行修正，得到修正后的点云数据；

9、对修正后的点云数据进行支柱方式特征编码，得到各体素的第一张量(d,p,n)；其中p为体素的数量，n是所述体素存储的点的最大数量，d是所述体素内的各点的属性；

10、对各体素的第一张量(d,p,n)进行卷积操作，生成第二张量(c,p,n)，其中，c为通道数；对通道数c进行最大池化的操作，得到第三张量(c,p)；

11、将第三张量(c,p)中的p转化为(w,h)，得到大小为(c,w,h)的特征图，其中，w为特征图的宽，h为特征图的高。

12、在一种可能的实现中，利用点云中各点的发散角对各点的坐标进行修正，得到修正后的点云数据；包括：

13、计算点云数据中各点的发散角，判断所有点的发散角是否符合正态分布；若为是，使用所有点的发散角的平均值θd表示所有点的发散角：

14、

15、否则，使用平均值θd作为高斯正态分布统计模型中的中值来表示所有点的发散角；

16、对点云数据中各点的x坐标值和z坐标值进行修正:

17、

18、其中，θi,xi和zi为第i个点的原始的发散角，x坐标和z坐标，xi,t和zi,t为调整后的第i个点的x坐标和z坐标。

19、在一种可能的实现中，所述全局关系感知网络包括：最大池化层、三个并行的通道交叉变换器、注意力权重模块和融合模块；三个并行的通道交叉变换器包括：第一通道交叉变换器、第二通道交叉变换器和第三通道交叉变换器；

20、利用全局关系感知网络对所有体素的特征图进行处理，得到具有全局信息的特征图，包括：

21、利用最大池化层对各体素的特征图进行处理，得到大小为w×h的原始特征图；

22、利用第一通道交叉变换器对大小为w×h的原始特征图进行处理，得到大小为w×1的第一注意特征图；

23、利用第二通道交叉变换器对大小为w×h的原始特征图的转置进行处理，得到大小为1×w的第二注意特征图；

24、利用第三通道交叉变换器对大小为w×h的原始特征图进行处理，得到大小为w×1的第三注意特征图；

25、利用注意力权重模块对第一注意特征图和第二注意特征图进行融合，得到大小为w×w的注意力权重特征图；

26、利用融合模块对第三注意特征图和注意力权重特征图进行融合，得到具有全局信息的特征图。

27、在一种可能的实现中，第一通道交叉变换器包括：自注意力机制操作单元、残差单元、全连接层和平均池化层；

28、利用第一通道交叉变换器对大小为w×h的原始特征图进行处理，得到大小为w×1的第一注意特征图；包括：

29、利用自注意力机制操作单元对w×h的原始特征图进行处理，得到具有全局上下文信息的特征：查询向量q、键向量k和值向量v；

30、利用残差单元对具有全局上下文信息的特征和大小为w×h的原始特征图进行残差连接，得到大小为w×h的第一中间特征图；

31、利用全连接层对w×h的第一中间特征图和原始特征图进行处理，得到大小为w×h的第二中间特征图；

32、利用平均池化层对大小为w×h的第二中间特征图进行处理，得到大小为w×1的第一注意特征图。

33、在一种可能的实现中，注意力权重模块包括：第一乘法单元和归一化单元；

34、利用注意力权重模块对第一注意特征图和第二注意特征图进行融合，得到注意力权重特征图，包括：

35、利用第一乘法单元对第一注意特征图和第二注意特征图进行点乘运算，得到大小为w×w的第三中间特征图；

36、利用归一化单元对大小为w×w的第三中间特征图进行处理，得到大小为w×w注意力权重特征图。

37、在一种可能的实现中，所述融合模块包括并行的第一分支和第二分支以及加法单元；所述第一分支包括：第二乘法单元和减法单元，所述第二分支包括：处理单元和第三乘法单元；

38、利用融合模块对第三注意特征图和注意力权重特征图进行融合，得到具有全局信息的特征图；包括：

39、利用第二乘法单元对第三注意特征图和注意力权重特征图进行点乘运算，得到大小为w×1的第四中间特征图；

40、利用减法单元对大小为w×1的第四中间特征图和第一注意力特征图进行处理，得到大小为w×1的第五中间特征图；

41、利用处理单元对大小为w×1的第三注意力特征图和大小为w×w的第三中间特征图的任意一行及其转置进行处理，得到大小为w×w的第六中间特征图；

42、利用第三乘法单元对大小为w×w的第六中间特征图和大小为w×1的第一注意力特征图和进行乘法运算，得到大小为w×1的第七中间特征图；

43、利用加法单元对大小为w×1的第五中间特征图和大小为w×1的第七中间特征图进行加法处理，得到大小为w×1的具有全局信息的特征图。

44、第二方面，本技术实施例提供一种基于全局关系感知的4d毫米波雷达目标检测装置，包括：

45、获取单元，用于获取自车上4d毫米波雷达采集的点云数据；

46、编码单元，用于对所述点云数据进行支柱特征编码，得到各体素的特征图；

47、处理单元，用于利用全局关系感知网络对所有体素的特征图进行处理，得到具有全局信息的特征图，将具有全局信息的特征图还原为增强后的点云数据；

48、检测单元，用于利用检测头对所述增强后的点云数据进行处理，得到3d目标检测结果。

49、第三方面，本技术实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例的方法。

50、第四方面，本技术实施例一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现本技术实施例的方法。

51、本技术提高了点云数据的3d目标检测的准确性和精度，尤其是对行人、骑行的人等小目标的检测效果提升显著。