遮挡目标检测方法及相关设备

1.本说明书涉及目标识别领域，更具体地说，本发明涉及一种遮挡目标检测方法及相关设备。


背景技术：

2.无人驾驶技术能自动规划安全合理的行驶路线，避免交通拥堵并有效降低交通事故发生概率，然而无人驾驶本身是一个极具挑战性的任务，环境的复杂多变使得目标难以被准确定位从而影响驾驶安全性，因此，研究精准检测和感知周围环境中的具体目标信息的目标检测方法对保障无人驾驶的安全性至关重要。
3.传统的二维目标检测方法使用rgb图像作为输入数据，而rgb图像容易受到光照、气候等环境因素的影响，且二维图像缺乏三维的深度信息，导致难以准确定位目标的三维空间位置。与二维图像相比，由激光雷达等设备采集到的三维点云数据蕴含了复杂环境中的高精度深度信息，能更准确地对目标进行定位，且检测性能不受环境因素的影响，因此，基于点云数据的三维目标检测方法被广泛应用于无人驾驶领域。
4.但是由于实际场景中的目标之间存在遮挡的情况，使得点云采集设备难以获取遮挡目标的完整的形状点云数据，导致这类遮挡目标缺乏足够的形状特征信息，难以被检测，从而影响无人驾驶系统在复杂环境中的检测性能。因此，研究复杂场景中遮挡目标的检测方法对于提升无人驾驶系统感知复杂环境中目标信息的能力具有十分重要的意义。


技术实现要素：

5.在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
6.为了提升遮挡目标的识别精度，第一方面，本发明提出一种遮挡目标检测方法，上述方法包括：
7.获取训练样本集，输入至遮挡目标检测网络中，通过上述遮挡目标检测网络中的点云多尺度特征提取子网络获取上述训练样本集中的候选数据，其中，上述候选数据包括候选框、稀疏点云数据和稀疏点云特征；
8.基于上述稀疏点云数据利用上述遮挡目标检测网络中的编码器和解码器进行迭代运算得到遮挡区域形状特征，根据上述遮挡区域形状特征进行上述遮挡目标检测网络中的形状点云重构操作得到遮挡目标整体形状点云数据；
9.根据上述遮挡目标整体形状点云数据、已知区域点集和上述稀疏点云特征利用上述遮挡目标检测网络中的通道注意力融合操作获取聚合特征，其中，上述已知区域点集是基于上述稀疏点云数据随机采样得到的；
10.基于上述聚合特征和上述已知区域点集利用上述遮挡目标检测网络中的多尺度transformer模型进行特征细化迭代计算获取遮挡目标全局特征；
11.基于上述遮挡目标全局特征进行上述遮挡目标检测网络中的置信度计算操作和位置回归操作，获取上述训练样本集中的遮挡目标的置信度分数和回归偏移量，基于上述置信度分数和上述回归偏移量利用损失函数约束更新上述遮挡目标检测网络的参数，学习生成遮挡目标检测模型；
12.采用上述遮挡目标检测模型对待检测样本集进行检测，得到遮挡目标检测框和遮挡目标类别信息，完成遮挡目标检测。
13.可选的，上述迭代运算包括第一迭代运算和第二迭代运算；
14.上述基于上述稀疏点云数据利用上述遮挡目标检测网络中的编码器和解码器进行迭代运算得到遮挡区域形状特征，根据上述遮挡区域形状特征进行上述遮挡目标检测网络中的形状点云重构操作得到遮挡目标整体形状点云数据，包括：
15.根据上述稀疏点云数据进行上述遮挡目标检测网络中的图嵌入操作获取图嵌入局部结构特征，基于上述图嵌入局部结构特征，利用上述编码器进行上述第一迭代运算得到编码器输出结构特征，对上述编码器输出结构特征进行上述遮挡目标检测网络中的投影映射操作，以获取遮挡区域中心点序列和遮挡区域中心点结构特征；
16.对上述遮挡区域中心点序列和上述遮挡区域中心点结构特征执行上述遮挡目标检测网络中的第一嵌入操作得到遮挡区域初始局部形状特征；
17.根据上述遮挡区域初始局部形状特征和上述编码器输出结构特征，利用上述解码器进行上述第二迭代运算和维度变换操作，以获取上述遮挡区域形状特征，利用上述遮挡区域形状特征、上述遮挡区域中心点序列和上述稀疏点云数据进行上述形状点云重构操作，获取上述遮挡目标整体形状点云数据。
18.可选的，上述图嵌入操作包括第一迭代最远点采样操作、图卷积操作及第二嵌入操作，上述投影映射操作包括全局池化操作和第一多层感知器；
19.上述根据上述稀疏点云数据进行上述遮挡目标检测网络中的图嵌入操作获取图嵌入局部结构特征，基于上述图嵌入局部结构特征，利用上述编码器进行上述第一迭代运算得到编码器输出结构特征，对上述编码器输出结构特征进行上述遮挡目标检测网络中的投影映射操作，以获取遮挡区域中心点序列和遮挡区域中心点结构特征，包括：
20.对上述稀疏点云数据进行上述第一迭代最远点采样操作和上述图卷积操作获取已知区域中心点序列和已知区域拓扑特征；
21.将上述已知区域中心点序列和上述已知区域拓扑特征执行上述第二嵌入操作以获取上述图嵌入局部结构特征；
22.基于上述图嵌入局部结构特征，利用上述编码器进行上述第一迭代运算以获取上述编码器输出结构特征，其中，上述第一迭代运算是基于特征自编码操作和第一前馈网络进行编码的；
23.根据上述编码器输出结构特征利用上述全局池化操作提取全局信息；
24.基于上述全局信息利用上述第一多层感知器获取上述遮挡区域中心点序列和上述遮挡区域中心点结构特征。
25.可选的，上述形状点云重构操作包括第一拼接操作，第二多层感知器和第二拼接操作；
26.上述根据上述遮挡区域初始局部形状特征和上述编码器输出结构特征，利用上述
解码器进行上述第二迭代运算和维度变换操作，以获取上述遮挡区域形状特征，利用上述遮挡区域形状特征、上述遮挡区域中心点序列和上述稀疏点云数据进行上述形状点云重构操作，获取上述遮挡目标整体形状点云数据，包括：
27.将上述遮挡区域初始局部形状特征作为上述解码器的首层输入形状特征，并结合上述编码器输出结构特征进行上述第二迭代运算以获取解码器输出形状特征，其中，上述第二迭代运算是基于特征自解码操作、特征交叉解码操作和第二前馈网络进行解码操作；
28.对上述解码器输出形状特征利用第三多层感知器进行上述维度变换操作以得到上述遮挡区域形状特征；
29.基于上述遮挡区域中心点序列和上述遮挡区域形状特征进行上述第一拼接操作得到第一拼接特征；
30.对上述第一拼接特征使用上述第二多层感知器进行空间映射以获取遮挡区域点云数据；
31.将上述遮挡区域点云数据和上述稀疏点云数据进行上述第二拼接操作以获取上述遮挡目标整体形状点云数据。
32.可选的，上述根据上述遮挡目标整体形状点云数据、已知区域点集和上述稀疏点云特征利用上述遮挡目标检测网络中的通道注意力融合操作获取聚合特征，包括：
33.在上述已知区域点集中点的邻域半径范围内采用第四多层感知器聚集上述遮挡目标整体形状点云数据，得到遮挡目标整体形状特征；
34.根据上述已知区域点集中点的索引号在上述稀疏点云特征中采样得到已知特征，利用卷积网络更新上述已知特征得到已知区域位置特征；
35.根据上述遮挡目标整体形状特征和上述已知区域位置特征采用第三拼接操作获得初始混合特征；
36.基于上述初始混合特征进行逐点池化操作获取到通道注意力特征；
37.对上述通道注意力特征进行第一线性投影操作和归一化操作，获得通道注意力图，将上述通道注意力图和上述已知区域位置特征相乘后进行第二线性投影操作得到上述聚合特征。
38.可选的，上述特征细化迭代计算包括第二迭代最远点采样操作、聚合操作、自注意力操作、第一交叉注意力操作、第三线性投影操作、第二交叉注意力操作和第三前馈网络；
39.上述基于上述聚合特征和上述已知区域点集利用上述遮挡目标检测网络中的多尺度transformer模型进行特征细化迭代计算获取遮挡目标全局特征，包括：
40.将上述聚合特征和上述已知区域点集分别作为上述多尺度transformer模型的首层输入特征和首层输入点集，基于上述多尺度transformer模型的首层输入点集进行上述第二迭代最远点采样操作获取首层中心点集合，其中，上述首层中心点集合为首层输出点集；
41.基于上述首层中心点集合采用上述聚合操作分别聚合上述多尺度transformer模型的首层输入特征得到首层第一尺度特征和首层第二尺度特征，对上述首层第一尺度特征进行上述自注意力操作以获取首层第一尺度自注意力特征，基于上述首层第一尺度自注意力特征和上述首层第二尺度特征进行上述第一交叉注意力操作获得首层第一分辨率特征；
42.对于上述首层输入特征，进行上述第三线性投影操作得到首层第二分辨率特征，
基于上述首层第一分辨率特征和上述首层第二分辨率特征进行上述第二交叉注意力操作并通过上述第三前馈网络更新得到首层输出特征，完成上述特征细化迭代计算的第一次细化计算；
43.基于上述首层输出特征和上述首层输出点集通过上述多尺度transformer模型的剩余各层继续进行上述特征细化迭代计算的目标次数细化计算，得到上述多尺度transformer模型的最后一层输出点集和最后一层输出特征以生成上述遮挡目标全局特征，其中，上述多尺度transformer模型的剩余各层不包括上述多尺度transformer模型的首层。
44.可选的，上述基于上述遮挡目标全局特征进行上述遮挡目标检测网络中的置信度计算操作和位置回归操作，获取上述训练样本集中的遮挡目标的置信度分数和回归偏移量，基于上述置信度分数和上述回归偏移量利用损失函数约束更新上述遮挡目标检测网络的参数，学习生成遮挡目标检测模型，包括：
45.基于上述遮挡目标全局特征使用第一全连接神经网络进行上述置信度计算操作，生成上述训练样本集中的遮挡目标的置信度分数以判别上述遮挡目标的类别值；
46.基于上述遮挡目标全局特征使用第二全连接神经网络进行上述位置回归操作生成上述遮挡目标对应的候选框的回归偏移量，将上述候选框的长、宽、高、角度参数及中心点坐标与上述训练样本集中的真实目标框的长、宽、高、角度参数及中心点坐标之间的差值作为回归目标；
47.基于上述遮挡目标的类别值与上述训练样本集中的真实目标类别标签计算交叉熵分类损失，并基于上述遮挡目标对应的候选框的回归偏移量与上述回归目标计算位置回归损失，基于上述交叉熵分类损失与上述位置回归损失之和约束更新上述遮挡目标检测网络的参数，生成上述遮挡目标检测模型。
48.第二方面，本技术还提出一种遮挡目标检测装置，包括：
49.提取单元，用于获取训练样本集，输入至遮挡目标检测网络中，通过上述遮挡目标检测网络中的点云多尺度特征提取子网络获取上述训练样本集中的候选数据，其中，上述候选数据包括候选框、稀疏点云数据和稀疏点云特征；
50.编码解码单元，用于基于上述稀疏点云数据利用上述遮挡目标检测网络中的编码器和解码器进行迭代运算得到遮挡区域形状特征，根据上述遮挡区域形状特征进行上述遮挡目标检测网络中的形状点云重构操作得到遮挡目标整体形状点云数据；
51.融合单元，用于根据上述遮挡目标整体形状点云数据、已知区域点集和上述稀疏点云特征利用上述遮挡目标检测网络中的通道注意力融合操作获取聚合特征，其中，上述已知区域点集是基于上述稀疏点云数据随机采样得到的；
52.获取单元，用于基于上述聚合特征和上述已知区域点集利用上述遮挡目标检测网络中的多尺度transformer模型进行特征细化迭代计算获取遮挡目标全局特征；
53.生成单元，用于基于上述遮挡目标全局特征进行上述遮挡目标检测网络中的置信度计算操作和位置回归操作，获取上述训练样本集中的遮挡目标的置信度分数和回归偏移量，基于上述置信度分数和上述回归偏移量利用损失函数约束更新上述遮挡目标检测网络的参数，学习生成遮挡目标检测模型；
54.检测单元，用于采用上述遮挡目标检测模型对待检测样本集进行检测，得到遮挡
目标检测框和遮挡目标类别信息，完成遮挡目标检测。
55.第三方面，一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的遮挡目标检测方法的步骤。
56.第四方面，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的遮挡目标检测方法。
57.综上，本技术提出了一种遮挡目标检测方法，通过将训练样本集输入至遮挡目标检测网络中，利用点云多尺度特征提取子网络获取场景点云中的候选数据，并通过编码器和解码器进行迭代运算补全重构候选框中稀疏点云数据的整体形状以增强遮挡目标的形状特征，基于通道注意力融合操作来聚合由补全重构操作获取到的遮挡目标整体形状特征和补全前候选框中蕴含遮挡目标位置信息的已知区域位置特征，以获取充分融合了遮挡目标的空间几何位置信息的聚合特征，并基于改进的多尺度transformer模型进行特征细化迭代计算以充分细化聚合特征，增强关键点信息，生成遮挡目标全局特征，最后基于遮挡目标全局特征进行置信度计算和位置回归操作得到置信度分数和回归偏移量，并与训练样本集中的真实标签数据利用损失函数计算损失值以约束调整遮挡目标检测网络的参数，学习得到遮挡目标检测模型以对待检测样本集进行检测，生成遮挡目标检测框和遮挡目标类别信息，完成遮挡目标检测。该遮挡目标检测方法中的补全重构操作基于编码器解码器架构有效提取稀疏点云数据的结构信息，重构出遮挡目标整体形状点云数据，以生成遮挡目标整体形状特征，增强遮挡目标的形状信息。该检测方法中的通道注意力融合操作能充分融合来自不同模式的具有不同语义信息的形状特征与位置特征，生成遮挡目标的空间几何信息增强的聚合特征。该检测方法中的多尺度transformer模型通过对不同尺度特征进行注意力交互计算有效捕捉蕴含了丰富的空间几何信息的聚合特征的多层次语义相关性，细化增强遮挡目标的关键点特征。该遮挡目标检测方法通过结合补全重构操作、通道注意力融合操作及多尺度transformer模型可重构遮挡目标的形状特征，细化遮挡目标关键点信息，有效提升遮挡目标的检测性能。
58.本发明的遮挡目标检测方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
59.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
60.图1为本技术实施例提供的一种遮挡目标检测方法流程示意图；
61.图2为本技术实施例提供的一种三维目标候选数据生成流程示意图；
62.图3为本技术实施例提供的一种遮挡目标检测模型的补全重构操作的结构示意图；
63.图4为本技术实施例提供的一种遮挡目标检测方法结构示意图；
64.图5为本技术实施例提供的一种遮挡目标检测方法与基准方法的检测准确率对比示意图；
65.图6为本技术实施例提供的一种采用本方法的检测效果示意图；
66.图7为本技术实施例提供的一种遮挡目标检测装置；
67.图8为本技术实施例提供的一种遮挡目标检测电子设备结构示意图。
具体实施方式
68.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
69.请参阅图1，为本技术实施例中一种遮挡目标检测方法流程示意图，方法包括：
70.s110、获取训练样本集，输入至遮挡目标检测网络中，通过上述遮挡目标检测网络中的点云多尺度特征提取子网络获取上述训练样本集中的候选数据，其中，上述候选数据包括候选框、稀疏点云数据和稀疏点云特征；
71.示例性的，将由训练样本集中预先采集到的点云数据变换为固定大小为m
×dp
的场景点云ps输入至遮挡目标检测网络中，首先通过遮挡目标检测网络中的点云多尺度特征提取子网络提取得到大小为m
×
d0的场景点云特征es，基于场景点云ps中的前景点和场景点云特征es，由区域建议生成网络(rpn)生成前景点对应的初始候选框集合，并使用非极大值抑制方法(nms)去除冗余的初始候选框以得到剩余的zc个初始候选框，根据zc个初始候选框的参数在场景点云ps中查找出对应的zc个点云目标，并在zc个点云目标中挑选出点的数量稀少且遮挡标签为3的遮挡严重的初始候选框中的h个点云目标，由于h个遮挡标签为3且点数稀少的点云目标特征稀少，缺乏空间几何信息，导致对应的h个初始候选框的位置参数不准确，因此h个初始候选框中的点云目标数据为实际遮挡目标的部分数据，由h个遮挡标签为3且点数稀少的点云目标对应的初始候选框构成大小为h
×
db的候选框b，候选框b对应的点云数据构成大小为h
×
m1×dp
的稀疏点云数据pr，基于候选框b和稀疏点云数据pr在场景点云特征es中裁剪出候选框中的稀疏点云特征er，er的大小为h
×
m1×
d0，其中，m1为pr、er中点的数量，m为场景点云ps和场景点云特征es中点的数量，d
p
为pr、ps中点的维度，d0为es、er的特征维度，h、db为候选框b的维度，zc，m，d
p
，d0，h，db，m1均为正整数。例如：将训练样本集中大小为16384
×
3的场景点云ps输入至遮挡目标检测网络中，首先通过遮挡目标检测网络中的点云多尺度特征提取子网络提取得到大小为16384
×
128的场景点云特征es，基于场景点云特征es由区域建议生成网络(rpn)生成初始候选框集合，并在初始候选框集合中使用nms方法挑选出64个初始候选框，并根据64个初始候选框的参数在场景点云ps中查找到64个点云目标，并挑选出点的个数在100至2048之间且遮挡标签为3的遮挡严重的13个点云目标，对于点的数量不足2048的点云目标，采用补零操作，使其点的数量固定为2048，由此得到大小为13
×
2048
×
3的稀疏点云数据pr及大小为13
×
7的候选框b，基于候选框b在场景点云特征es
中裁剪出大小为13
×
2048
×
128的稀疏点云特征er。
72.s120、基于上述稀疏点云数据利用上述遮挡目标检测网络中的编码器和解码器进行迭代运算得到遮挡区域形状特征，根据上述遮挡区域形状特征进行上述遮挡目标检测网络中的形状点云重构操作得到遮挡目标整体形状点云数据；
73.示例性的，根据步骤s110获取到的候选框中的稀疏点云数据pr利用遮挡目标检测网络中的编码器和遮挡目标检测网络中的解码器进行迭代运算生成大小为h
×
m2×
d2的遮挡区域形状特征eu，基于遮挡区域形状特征eu进行遮挡目标检测网络中的形状点云重构操作生成大小为h
×
m3×dp
的遮挡目标整体形状点云数据pc，其中，m2为eu中点的数量，d2为eu的特征维度，m3为pc中点的数量，d
p
为pc中点的维度，m2，d2，m3，d
p
均为正整数。
74.s130、根据上述遮挡目标整体形状点云数据、已知区域点集和上述稀疏点云特征利用上述遮挡目标检测网络中的通道注意力融合操作获取聚合特征，其中，上述已知区域点集是基于上述稀疏点云数据随机采样得到的；
75.示例性的，对于由步骤s110获取到的候选框中的稀疏点云数据pr随机采样得到大小为h
×
m4×dp
的已知区域点集p
roi
，并基于已知区域点集p
roi
、由步骤s110获取到的稀疏点云特征er和由步骤s120获取到的遮挡目标整体形状点云数据pc执行遮挡目标检测网络中的通道注意力融合操作，得到大小为h
×
m4×
d0的聚合特征e
t
，其中，m4为p
roi
，e
t
中点的数量，d
p
为p
roi
中点的维度，d0为e
t
的特征维度，m4，d
p
，d0均为正整数。
76.s140、基于上述聚合特征和上述已知区域点集利用上述遮挡目标检测网络中的多尺度transformer模型进行特征细化迭代计算获取遮挡目标全局特征；
77.示例性的，基于由步骤s130获取到的聚合特征e
t
和已知区域点集p
roi
，使用多尺度transformer模型进行特征细化迭代计算，得到大小为h
×
m6×
d6的遮挡目标全局特征g，其中，m6为遮挡目标全局特征g中点的数量，d6为遮挡目标全局特征g的特征维度，m6，d6均为正整数。
78.s150、基于上述遮挡目标全局特征进行上述遮挡目标检测网络中的置信度计算操作和位置回归操作，获取上述训练样本集中的遮挡目标的置信度分数和回归偏移量，基于上述置信度分数和上述回归偏移量利用损失函数约束更新上述遮挡目标检测网络的参数，学习生成遮挡目标检测模型；
79.示例性的，基于由步骤s140获取到的遮挡目标全局特征g，分别进行遮挡目标检测网络中的置信度计算操作和遮挡目标检测网络中的位置回归操作，获取训练样本集中的遮挡目标的大小为h
×
d7的置信度分数score和大小为h
×
db的回归偏移量res，基于置信度分数score和回归偏移量res利用损失函数计算损失以约束更新由步骤s110中的点云多尺度特征提取子网络和rpn、步骤s120中的编码器、解码器和形状点云重构操作、步骤s130中的通道注意力融合操作、步骤s140中的多尺度transformer模型及步骤s150中的置信度计算操作和位置回归操作构成的遮挡目标检测网络的参数，学习得到遮挡目标检测模型，其中，d7为score的维度，db为res的维度，d7，db均为正整数。
80.s160、采用上述遮挡目标检测模型对待检测样本集进行检测，得到遮挡目标检测框和遮挡目标类别信息，完成遮挡目标检测。
81.示例性的，获取待检测样本集，使用由步骤s150生成的遮挡目标检测模型对待检测样本集中的场景点云进行检测，即首先由步骤s110对场景点云进行初步检测得到待检测
样本集中的候选数据，随后基于初步检测得到的候选数据执行步骤s120以重构待检测样本集中的遮挡目标的形状信息，然后执行步骤s130以基于通道注意力机制将待检测样本集中的遮挡目标的形状信息与位置信息进行融合得到已知区域点集和具有丰富的空间几何信息的聚合特征，并基于待检测样本集中的已知区域点集和遮挡目标的聚合特征执行步骤s140以细化待检测样本集中的遮挡目标的空间几何信息，生成z个遮挡目标对应的遮挡目标全局特征，最后基于遮挡目标全局特征执行步骤s150中的置信度计算和位置回归操作生成待检测样本集中的z个遮挡目标对应的遮挡目标类别信息和大小为z
×
db的遮挡目标检测框，完成遮挡目标检测，其中，z，db为遮挡目标检测框的维度，z，db均为正整数。例如：基于由步骤s150获取到的遮挡目标检测模型对待检测样本集中的场景点云进行检测，即通过顺序执行步骤s110、步骤s120、步骤s130、步骤s140和步骤s150中的置信度计算操作和位置回归操作，得到待检测样本集中的遮挡目标的置信度分数和回归偏移量，基于置信度分数判断出待检测样本集中的大小为11
×
1的遮挡目标类别信息为“车辆”、“行人”或“自行车”，基于回归偏移量与由执行步骤s110获取到的候选框的参数生成待检测样本集中的大小为11
×
7的遮挡目标检测框，以待检测样本集中某个遮挡目标为例，经过遮挡目标检测模型进行检测，生成长为4.16米，宽为1.56米，高为1.42米，中心点位于(4.58米，1.41米，33.13米)，角度为72.80度的遮挡目标检测框，得到遮挡目标类别信息为“车辆”，完成遮挡目标检测。
82.综上，本技术提出了一种遮挡目标检测方法，通过将训练样本集输入至遮挡目标检测网络中，首先利用点云多尺度特征提取子网络获取场景点云中的候选数据，然后通过编码器和解码器进行迭代运算补全重构候选框中稀疏点云数据的整体形状以增强遮挡目标的形状特征，并基于通道注意力融合操作来聚合由补全重构操作获取到的遮挡目标整体形状特征和补全前候选框中蕴含遮挡目标位置信息的已知区域位置特征，以获取充分融合了遮挡目标的空间几何位置信息的聚合特征，并基于改进的多尺度transformer模型进行特征细化迭代计算以充分细化聚合特征，增强关键点信息，生成遮挡目标全局特征，最后基于遮挡目标全局特征进行置信度计算和位置回归操作得到置信度分数和回归偏移量，并与训练样本集中的真实标签数据利用损失函数计算损失值以约束调整遮挡目标检测网络的参数，学习得到遮挡目标检测模型以对待检测样本集进行检测，生成遮挡目标检测框和遮挡目标类别信息，完成遮挡目标检测。该遮挡目标检测方法中的补全重构操作基于编码器解码器架构有效提取稀疏点云数据的结构信息，重构出遮挡目标整体形状点云数据，以生成遮挡目标整体形状特征，增强遮挡目标的形状信息。该检测方法中的通道注意力融合操作能充分融合来自不同模式的具有不同语义信息的形状特征与位置特征，生成遮挡目标的空间几何信息增强的聚合特征。该检测方法中的多尺度transformer模型通过对不同尺度特征进行注意力交互计算有效捕捉蕴含了丰富的空间几何信息的聚合特征的多层次语义相关性，细化增强遮挡目标的关键点特征。该遮挡目标检测方法通过结合补全重构操作、通道注意力融合操作及多尺度transformer模型可重构遮挡目标的形状特征，细化遮挡目标关键点信息，有效提升遮挡目标的检测性能。
83.在一些实施方式中，上述迭代运算包括第一迭代运算和第二迭代运算；
84.步骤s120具体可以包括：
85.s1201、根据上述稀疏点云数据进行上述遮挡目标检测网络中的图嵌入操作获取图嵌入局部结构特征，基于上述图嵌入局部结构特征，利用上述编码器进行上述第一迭代
运算得到编码器输出结构特征，对上述编码器输出结构特征进行上述遮挡目标检测网络中的投影映射操作，以获取遮挡区域中心点序列和遮挡区域中心点结构特征；
86.示例性的，基于步骤s110获取到的候选框中的稀疏点云数据pr使用遮挡目标检测网络中的图嵌入操作得到大小为h
×
m2×
d1的图嵌入局部结构特征eq，并将eq作为遮挡目标检测网络中的编码器的首层输入结构特征进行第一迭代计算，得到大小为h
×
m2×
d1的编码器输出结构特征e
enc
，基于编码器输出结构特征e
enc
，使用遮挡目标检测网络中的投影映射操作，得到大小为h
×
m2×dp
的遮挡区域中心点序列pu和大小为h
×
m2×
d2的遮挡区域中心点结构特征e
cen
，其中，m2为eq，e
enc
，pu，e
cen
中点的数量，d1为eq，e
enc
的特征维度，d
p
为pu中点的维度，d2为e
cen
的特征维度，m2，d1，d
p
，d2均为正整数。
87.在一些实施方式中，上述图嵌入操作包括第一迭代最远点采样操作、图卷积操作及第二嵌入操作，上述投影映射操作包括全局池化操作和第一多层感知器；步骤s1201具体可以包括：
88.s12011、对上述稀疏点云数据进行上述第一迭代最远点采样操作和上述图卷积操作获取已知区域中心点序列和已知区域拓扑特征；
89.s12012、将上述已知区域中心点序列和上述已知区域拓扑特征执行上述第二嵌入操作以获取上述图嵌入局部结构特征；
90.s12013、基于上述图嵌入局部结构特征，利用上述编码器进行上述第一迭代运算以获取上述编码器输出结构特征，其中，上述第一迭代运算是基于特征自编码操作和第一前馈网络进行编码的；
91.s12014、根据上述编码器输出结构特征利用上述全局池化操作提取全局信息；
92.s12015、基于上述全局信息利用上述第一多层感知器获取上述遮挡区域中心点序列和上述遮挡区域中心点结构特征。
93.示例性的，在遮挡目标检测网络中，对于步骤s110获取到的候选框中的稀疏点云数据pr进行第一迭代最远点采样操作，得到大小为h
×
m2×dp
的已知区域中心点序列kc，并基于kc和pr进行图卷积操作得到大小为h
×
m2×
d1的已知区域拓扑特征ef，并执行第二嵌入操作将已知区域中心点序列kc嵌入至已知区域拓扑特征ef中，得到图嵌入局部结构特征eq，其中，m2为kc，ef中点的数量，d
p
为kc中点的维度，d1为ef的特征维度，m2，d
p
，d1均为正整数。
94.将图嵌入局部结构特征eq作为编码器的首层输入结构特征s
(1)
，即s
(1)
大小为h
×
m2×
d1，s
(1)
由l层编码器通过第一迭代运算进行迭代更新与细化，第一迭代运算包括l次如式(1)所示的计算，编码器的第r层的大小为h
×
m2×
d1的输入结构特征s
(r)
通过基于自注意力机制实现的特征自编码操作和第一前馈网络进行第r次如式(1)所示的计算，得到编码器的第r层的大小为h
×
m2×
d1的输出结构特征s
(r+1)
，其中，m2为s
(1)
、s
(r)
、s
(r+1)
中点的数量，d1为s
(1)
、s
(r)
、s
(r+1)
中点的特征维度，l，r，m2，d1均为正整数：
95.s
(r+1)
＝ψ1(sat(s
(r)
)),r＝1,...,l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
96.其中，ψ1为第一前馈网络，sat表示进行特征自编码计算的特征自编码操作，δ为由softmax函数实现的归一化操作，表示矩阵转置操作，为s
(r)
的投影矩阵，大小均为h
×
m2×
m2，d的值为
其中，m2为的维度，m2，d，d1均为正整数。
97.编码器的第r层的输出结构特征s
(r+1)
作为编码器的第r+1层的输入结构特征被继续迭代更新，直至编码器的第l层。
98.编码器的首层输入结构特征s
(1)
基于l层编码器进行第一迭代运算，获取到编码器输出结构特征e
enc
；
99.基于编码器输出结构特征e
enc
，采用全局池化操作提取全局信息，并使用第一多层感知器分别将上述全局信息重塑为遮挡区域中心点序列pu和遮挡区域中心点结构特征e
cen
；
100.例如：在遮挡目标检测网络中，对步骤s110获取到的大小为13
×
2048
×
3的候选框中的稀疏点云数据pr进行第一迭代最远点采样操作，得到大小为13
×
1024
×
3的已知区域中心点序列kc，并基于kc和pr进行图卷积操作得到大小为13
×
1024
×
768的已知区域拓扑特征ef，并基于kc和ef执行第二嵌入操作，得到大小为13
×
1024
×
768的图嵌入局部结构特征eq，将eq输入至三层编码器中作为编码器的首层输入结构特征s
(1)
，经过编码器的第一层进行第一次如式(1)所示的计算得到编码器的第一层的输出结构特征s
(2)
，即s
(1)
首先通过编码器的第一层的特征自编码操作得到大小为13
×
1024
×
768的自编码特征，然后该自编码特征由第一前馈网络进行更新得到编码器的第一层的大小为13
×
1024
×
768的输出结构特征s
(2)
，s
(2)
作为编码器的第二层的输入结构特征，进行第二次如式(1)所示的计算，得到编码器的第二层的大小为13
×
1024
×
768的输出结构特征s
(3)
，s
(3)
作为编码器的第三层的输入结构特征，进行第三次如式(1)所示的计算，得到编码器的第三层的大小为13
×
1024
×
768的输出结构特征s
(4)
，s
(4)
作为编码器输出结构特征e
enc
经过全局池化操作提取全局信息，并使用第一多层感知器分别将上述全局信息重塑为大小为13
×
1024
×
3的遮挡区域中心点序列pu和大小为13
×
1024
×
1024的遮挡区域中心点结构特征e
cen
。
101.s1202、对上述遮挡区域中心点序列和上述遮挡区域中心点结构特征执行上述遮挡目标检测网络中的第一嵌入操作得到遮挡区域初始局部形状特征；
102.示例性的，由步骤s1201获取到的遮挡区域中心点序列pu和遮挡区域中心点结构特征e
cen
，使用遮挡目标检测网络中的第一嵌入操作得到大小为h
×
m2×
d1的遮挡区域初始局部形状特征e
loc
，即首先使用对应的神经网络将遮挡区域中心点序列pu的特征维度映射变换为遮挡区域中心点结构特征e
cen
的特征维度，得到遮挡区域中心点特征，随后在通道维度上拼接遮挡区域中心点特征与遮挡区域中心点结构特征e
cen
，并经过卷积层得到遮挡区域初始局部形状特征e
loc
，其中，m2为遮挡区域初始局部形状特征e
loc
中点的数量，d1为e
loc
的特征维度，m2，d1均为正整数。例如：执行遮挡目标检测网络中的第一嵌入操作将步骤s1201获取到的大小为13
×
1024
×
3的遮挡区域中心点序列pu嵌入至大小为13
×
1024
×
1024的遮挡区域中心点结构特征e
cen
中，得到大小为13
×
1024
×
768的遮挡区域初始局部形状特征e
loc
。
103.s1203、根据上述遮挡区域初始局部形状特征和上述编码器输出结构特征，利用上述解码器进行上述第二迭代运算和维度变换操作，以获取上述遮挡区域形状特征，利用上述遮挡区域形状特征、上述遮挡区域中心点序列和上述稀疏点云数据进行上述形状点云重构操作，获取上述遮挡目标整体形状点云数据。
104.示例性的，将由步骤s1202获取到的遮挡区域初始局部形状特征e
loc
和由步骤s1201获取到的编码器输出结构特征e
enc
输入至遮挡目标检测网络中的解码器进行第二迭代运算和维度变换操作，得到遮挡区域形状特征eu，并对遮挡区域形状特征eu，遮挡区域中心点序列pu，稀疏点云数据pr执行遮挡目标检测网络中的形状点云重构操作，得到遮挡目标整体形状点云数据pc。
105.在一些实施方式中，上述形状点云重构操作包括第一拼接操作，第二多层感知器和第二拼接操作；步骤s1203具体可以包括步骤s12031-步骤s12035：
106.s12031、将上述遮挡区域初始局部形状特征作为上述解码器的首层输入形状特征，并结合上述编码器输出结构特征进行上述第二迭代运算以获取解码器输出形状特征，其中，上述第二迭代运算是基于特征自解码操作、特征交叉解码操作和第二前馈网络进行解码操作；
107.s12032、对上述解码器输出形状特征利用第三多层感知器进行上述维度变换操作以得到上述遮挡区域形状特征；
108.s12033、基于上述遮挡区域中心点序列和上述遮挡区域形状特征进行上述第一拼接操作得到第一拼接特征；
109.s12034、对上述第一拼接特征使用上述第二多层感知器进行空间映射以获取遮挡区域点云数据；
110.s12035、将上述遮挡区域点云数据和上述稀疏点云数据进行上述第二拼接操作以获取上述遮挡目标整体形状点云数据。
111.示例性的，将由步骤s1202中获取到的遮挡区域初始局部形状特征e
loc
输入至遮挡目标检测网络中的解码器中作为解码器的首层输入形状特征u
(1)
，结合由步骤s1201获取到的编码器输出结构特征e
enc
，由l层解码器通过第二迭代运算进行迭代更新和细化，第二迭代运算包括l次如式(2)所示的计算，解码器的第r层的大小为h
×
m2×
d1的输入形状特征u
(r)
经过第r次如式(2)所示的计算，得到解码器的第r层的大小为h
×
m2×
d1的输出形状特征u
(r+1)
，其中，m2为u
(r)
、u
(r+1)
中点的数量，d1为u
(r)
、u
(r+1)
的特征维度，l，r，m2，d1均为正整数；
112.u
(r+1)
＝ψ2(crt(sat2(u
(r)
),e
enc
)),r＝1,...,l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
113.其中，sat2表示进行特征自解码计算的特征自解码操作，大小均为h
×
m2×
m2的为u
(r)
的投影矩阵，crt表示特征交叉解码操作，大小为h
×
m2×
m2的为sat2(u
(r)
)的投影矩阵，大小均为h
×
m2×
m2的为e
enc
的投影矩阵，ψ2为第二前馈网络，m2为为的维度，m2为正整数。
114.解码器的首层输入形状特征u
(1)
基于l层解码器进行第二迭代运算，获取到大小为h
×
m2×
d1的解码器输出形状特征e
dec
，其中，m2为e
dec
中点的数量，d1为e
dec
的特征维度，m2，d1均为正整数。
115.对解码器输出形状特征e
dec
使用由第三多层感知器实现的维度变换操作，得到遮
挡区域形状特征eu。
116.使用第一拼接操作在通道维度上拼接由步骤s1201获得的遮挡区域中心点序列pu与遮挡区域形状特征eu，得到大小为h
×
m2×
d3的第一拼接特征，并使用第二多层感知器对第一拼接特征进行空间映射，得到大小为h
×
m1×dp
的遮挡区域点云数据p
occ
，再使用第二拼接操作在通道维度上拼接遮挡区域点云数据p
occ
与由步骤s110获取到的稀疏点云数据pr，得到遮挡目标整体形状点云数据pc，其中，m2为第一拼接特征中点的数量，d3为第一拼接特征的特征维度，m1为遮挡区域点云数据p
occ
中点的数量，d
p
为p
occ
中点的维度，m1，m2，d3，d
p
均为正整数。
117.例如：将由步骤s1202中获取到的大小为13
×
1024
×
768的遮挡区域初始局部形状特征e
loc
输入至三层解码器中作为首层输入形状特征u
(1)
，在解码器的首层中进行第一次如式(2)所示的计算，即首先基于u
(1)
进行特征自解码操作得到大小为13
×
1024
×
768的自解码特征，然后基于自解码特征与由步骤s1201获取到的大小为13
×
1024
×
768的编码器输出结构特征e
enc
进行特征交叉解码操作得到大小为13
×
1024
×
768的交叉解码特征，最后通过对应的第二前馈网络更新交叉解码特征，得到解码器的第一层的大小为13
×
1024
×
768的输出形状特征u
(2)
；接着，将u
(2)
作为解码器的第二层的输入形状特征进行第二次如式(2)所示的计算得到解码器的第二层的大小为13
×
1024
×
768的输出形状特征u
(3)
，u
(3)
作为解码器的第三层的输入形状特征，由解码器的第三层进行第三次如式(2)所示的计算得到解码器的第三层的输出形状特征，即大小为13
×
1024
×
768的解码器输出形状特征e
dec
，随后对解码器输出形状特征e
dec
使用由第三多层感知器实现的维度变换操作，获取到大小为13
×
1024
×
1024的遮挡区域形状特征eu，并使用第一拼接操作拼接遮挡区域形状特征eu与由步骤s1201获得的遮挡区域中心点序列pu，得到大小为13
×
1024
×
1027的第一拼接特征，上述第一拼接特征被送入至第二多层感知器中进行空间映射，得到大小为13
×
2048
×
3的遮挡区域点云数据p
occ
，并执行第二拼接操作拼接遮挡区域点云数据p
occ
与由步骤s110获取到的大小为13
×
2048
×
3的稀疏点云数据pr，得到大小为13
×
4096
×
3的遮挡目标整体形状点云数据pc。
118.在一些实施方式中，步骤s130具体包括：
119.s1301、在上述已知区域点集中点的邻域半径范围内采用第四多层感知器聚集上述遮挡目标整体形状点云数据，得到遮挡目标整体形状特征；
120.s1302、根据上述已知区域点集中点的索引号在上述稀疏点云特征中采样得到已知特征，利用卷积网络更新上述已知特征得到已知区域位置特征；
121.s1303、根据上述遮挡目标整体形状特征和上述已知区域位置特征采用第三拼接操作获得初始混合特征；
122.s1304、基于上述初始混合特征进行逐点池化操作获取到通道注意力特征；
123.s1305、对上述通道注意力特征进行第一线性投影操作和归一化操作，获得通道注意力图，将上述通道注意力图和上述已知区域位置特征相乘后进行第二线性投影操作得到上述聚合特征。
124.示例性的，对于由步骤s120获取到的遮挡目标整体形状点云数据pc，以已知区域点集p
roi
中各点为中心，在给定的邻域半径的范围内搜索遮挡目标整体形状点云数据pc，得到邻域点集，并采用第四多层感知器在已知区域点集p
roi
中各点上分别聚集邻域点集，得到
大小为h
×
m4×
d0的遮挡目标整体形状特征e
all
，并由已知区域点集p
roi
中各点的索引号在由步骤s110获取到的稀疏点云特征er中采样得到已知特征，利用卷积网络更新已知特征得到大小为h
×
m4×
d0的已知区域位置特征e
roi
，其中，m4为e
all
，e
roi
中点的数量，d0为e
all
，e
roi
的特征维度，m4，d0均为正整数。
125.对于遮挡目标整体形状特征e
all
和已知区域位置特征e
roi
，执行第三拼接操作在特征维度上拼接e
all
和e
roi
，得到大小为h
×
m4×
d4的初始混合特征e
cat
，基于初始混合特征e
cat
在特征维度上执行逐点池化操作，得到大小为h
×
m6×
d4的通道注意力特征e
max
，并对e
max
执行由第一线性神经网络实现的第一线性投影操作和由softmax函数实现的归一化操作，得到大小为h
×
m6×
d0的通道注意力图e
map
，并对e
map
与e
roi
相乘得到的乘积进行由第二线性神经网络实现的第二线性投影操作，得到聚合特征e
t
，其中，m4为初始混合特征e
cat
中点的数量，d4为初始混合特征e
cat
、通道注意力特征e
max
的特征维度，m6为通道注意力特征e
max
、通道注意力图e
map
中点的数量，d0为通道注意力图e
map
的特征维度，m4，d4，m6，d0均为正整数。
126.例如：对于由步骤s110获取到的候选框中的稀疏点云数据pr，随机采样512个点得到大小为13
×
512
×
3的已知区域点集p
roi
，以已知区域点集p
roi
中各点为中心，在0.2米的邻域半径范围内搜索由步骤s120获取到的遮挡目标整体形状点云数据pc，得到邻域点集，并采用第四多层感知器在已知区域点集p
roi
中各点上分别聚集邻域点集，得到13
×
512
×
128的遮挡目标整体形状特征e
all
，并由已知区域点集p
roi
中各点的索引号在由步骤s110获取到的稀疏点云特征er中采样得到已知特征，利用卷积网络更新已知特征得到大小为13
×
512
×
128的已知区域位置特征e
roi
；
127.在遮挡目标整体形状特征e
all
和已知区域位置特征e
roi
的特征维度上执行第三拼接操作，得到大小为13
×
512
×
256的初始混合特征e
cat
，在e
cat
的特征维度上执行逐点池化操作，得到大小为13
×1×
256的通道注意力特征e
max
，并对e
max
执行由第一线性神经网络实现的第一线性投影操作和由softmax函数实现的归一化操作，得到大小为13
×1×
128的通道注意力图e
map
，将e
map
与e
roi
相乘后进行由第二线性神经网络实现的第二线性投影操作，得到大小为13
×
512
×
128的聚合特征e
t
。
128.在一些实施方式中，上述特征细化迭代计算包括第二迭代最远点采样操作、聚合操作、自注意力操作、第一交叉注意力操作、第三线性投影操作、第二交叉注意力操作和第三前馈网络；上述步骤s140具体可以包括s1401-s1404：
129.s1401、将上述聚合特征和上述已知区域点集分别作为上述多尺度transformer模型的首层输入特征和首层输入点集，基于上述多尺度transformer模型的首层输入点集进行上述第二迭代最远点采样操作获取首层中心点集合，其中，上述首层中心点集合为首层输出点集；
130.s1402、基于上述首层中心点集合采用上述聚合操作分别聚合上述多尺度transformer模型的首层输入特征得到首层第一尺度特征和首层第二尺度特征，对上述首层第一尺度特征进行上述自注意力操作以获取首层第一尺度自注意力特征，基于上述首层第一尺度自注意力特征和上述首层第二尺度特征进行上述第一交叉注意力操作获得首层第一分辨率特征；
131.s1403、对于上述首层输入特征，进行上述第三线性投影操作得到首层第二分辨率特征，基于上述首层第一分辨率特征和上述首层第二分辨率特征进行上述第二交叉注意力
操作并通过上述第三前馈网络更新得到首层输出特征，完成上述特征细化迭代计算的第一次细化计算；
132.s1404、基于上述首层输出特征和上述首层输出点集通过上述多尺度transformer模型的剩余各层继续进行上述特征细化迭代计算的目标次数细化计算，得到上述多尺度transformer模型的最后一层输出点集和最后一层输出特征以生成上述遮挡目标全局特征，其中，上述多尺度transformer模型的剩余各层不包括上述多尺度transformer模型的首层。
133.示例性的，将由步骤s130获取到的聚合特征e
t
和已知区域点集p
roi
分别作为遮挡目标检测网络中的多尺度transformer模型的首层输入特征t
(1)
和首层输入点集x
(1)
，输入至j层多尺度transformer模型进行特征细化迭代计算，其中特征细化迭代计算包括j次细化计算，其中，j为正整数，以特征细化迭代计算中的第n次细化计算为例：
134.对于多尺度transformer模型的第n层的大小为的输入特征t
(n)
和大小为的输入点集x
(n)
，首先采用第二迭代最远点采样操作在x
(n)
中采样个点，构成多尺度transformer模型的第n层的大小为的中心点集合x
(n+1)
，即x
(n+1)
为第n层多尺度transformer模型的输出点集，其中，为输入特征t
(n)
和输入点集x
(n)
中点的数量，为x
(n+1)
中点的数量，为输入特征t
(n)
的特征维度，d
p
为x
(n)
、x
(n+1)
中点的维度，n，中点的维度，n，d
p
均为正整数；
135.对于多尺度transformer模型的第n层的中心点集合x
(n+1)
，查找输入点集x
(n)
中在中心点集合x
(n+1)
的第一半径范围内的a1个点，构成第一邻域半径点集，并使用第一聚合操作聚合由第一邻域半径点集中点的索引对应的输入特征t
(n)
，得到多尺度transformer模型的第n层的大小为的第一尺度特征t
1(n+1)
，同时，查找输入点集x
(n)
中在中心点集合x
(n+1)
的第二半径范围内的a2个点，构成第二邻域半径点集，并使用第二聚合操作聚合第二邻域半径点集对应的输入特征t
(n)
，得到多尺度transformer模型的第n层的大小为的第二尺度特征t
2(n+1)
，其中为t
1(n+1)
、t
2(n+1)
中点的数量，为t
1(n+1)
、t
2(n+1)
的维度，a1，a2，均为正整数；
136.基于多尺度transformer模型的第n层的第一尺度特征t
1(n+1)
，进行如式(3)所示的自注意力操作，得到大小为的第一尺度自注意力特征t
s(n+1)
：
[0137][0138]
其中，v
1(n)
为t
1(n+1)
的投影矩阵，大小均为d
1(n)
的值为为v
1(n)
的维度，d
1(n)
，均为正整数。
[0139]
基于多尺度transformer模型的第n层的第一尺度自注意力特征t
s(n+1)
和第二尺度特征t
2(n+1)
进行如式(4)所示的第一交叉注意力操作，得到多尺度transformer模型的第n层的大小为的第一分辨率特征t
q(n+1)
，其中，均为正整数：
[0140][0141]
其中，是t
s(n+1)
的投影矩阵，是t
2(n+1)
的投影矩阵，的投影矩阵，的大小均为为的维度，为正整数；
[0142]
基于多尺度transformer模型的第n层的输入特征t
(n)
，执行由线性神经网络实现的第三线性投影操作，得到大小为的第二分辨率特征t
k(n+1)
，对于多尺度transformer模型的第n层的第二分辨率特征t
k(n+1)
和第一分辨率特征t
q(n+1)
，执行第二交叉注意力操作得到交叉特征，利用第三前馈网络对交叉特征进行更新，得到多尺度transformer模型的第n层的输出特征t
(n+1)
，t
(n+1)
的大小为其中，为t
k(n+1)
中点的数量，为t
(n+1)
中点的数量，为t
(n+1)
，t
k(n+1)
的特征维度，均为正整数，第二交叉注意力操作和第三前馈网络的计算过程如(5)所示：
[0143]
t
(n-1)
＝ψ3(crost(t
q(n+1)
，t
k(n+1)
))，n＝1，
…
，j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0144]
其中，crost表示第二交叉注意力操作，大小为的是的投影矩阵，v
3(n)
是t
k(n+1
)的投影矩阵，v
3(n)
的大小均为ψ3为第三前馈网络，其中，为的维度，为v
3(n)
的维度，均为正整数。
[0145]
多尺度transformer模型的第n层的输入点集x
(n)
和输入特征t
(n)
经过上述特征细化迭代计算中的第n次细化计算后得到输出点集x
(n+1)
和输出特征t
(n+1)
，x
(n+1)
和t
(n+1)
被送入至多尺度transformer模型的第n+1层中继续进行循环迭代。
[0146]
多尺度transformer模型的首层输入点集x
(1)
和首层输入特征t
(1)
经过j层多尺度transformer模型进行特征细化迭代计算，得到多尺度transformer模型的大小为的最后一层输出点集x
(j+1)
和大小为的最后一层输出特征t
(j+1)
，将x
(j+1)
融入至t
(j+1)
中得到遮挡目标全局特征g，其中，表示x
(j+1)
、t
(j+1)
中点的数量，表示t
(j+1)
的特征维度、d
p
表示x
(j+1)
中点的维度，d
p
均为正整数。
[0147]
例如：将由步骤s130获取到的大小为13
×
512
×
128的聚合特征e
t
和大小为13
×
512
×
3的已知区域点集p
roi
输入至遮挡目标检测网络中的三层多尺度transformer模型中，分别作为多尺度transformer模型的首层输入特征t
(1)
和首层输入点集x
(1)
进行特征细化迭代计算，在多尺度transformer模型的第一层中，首先使用第二迭代最远点采样操作在输入点集x
(1)
中采样得到大小为13
×
128
×
3的中心点集合x
(2)
，并分别在0.2米的第一半径和0.4米的第二半径范围内查找8个点和16个点得到第一邻域半径点集和第二邻域半径点集，并聚集第一邻域半径点集和第二邻域半径点集对应的输入特征，得到大小为13
×
128
×
256的第一尺度特征t
1(2)
和大小为13
×
128
×
256的第二尺度特征t
2(2)
基于第一尺度特征t
1(2)
进行自注意力操作得到大小为13
×
128
×
256的第一尺度自注意力特征t
s(2)
，并对于第一尺度自
注意力特征t
s(2)
和第二尺度特征t
2(2)
进行第一交叉注意力操作得到大小为13
×
128
×
256的第一分辨率特征t
q(2)
，并对多尺度transformer模型的大小为13
×
512
×
128的首层输入特征t
(1)
，执行由线性神经网络实现的第三线性投影操作，得到大小为13
×
512
×
256的第二分辨率特征t
k(2)
基于第一分辨率特征t
q(2)
和第二分辨率特征t
k(2)
执行第二交叉注意力操作，其中，由大小为13
×
128
×
128的投影矩阵与第一分辨率特征t
q(2)
相乘得到大小为13
×
128
×
256的query向量，由大小为13
×
512
×
512的投影矩阵v
3(1)
分别与第二分辨率特征t
k(2)
相乘获得大小均为13
×
512
×
256的key向量和value向量，上述query向量、key向量和value向量相乘得到大小为13
×
128
×
256的交叉特征，上述交叉特征经过第三前馈网络更新得到大小为13
×
128
×
256的多尺度transformer模型的首层输出特征t
(2)
，多尺度transformer模型的第一层的中心点集合x
(2)
作为首层输出点集x
(2)
，将首层输出点集x
(2)
和首层输出特征t
(2)
送入至多尺度transformer模型的第二层进行特征细化迭代计算中的第二次细化计算，得到多尺度transformer模型的第二层的大小为13
×
32
×
3的输出点集x
(3)
和大小为13
×
32
×
256的输出特征t
(3)
，将x
(3)
和t
(3)
输入至多尺度transformer模型的第三层继续进行特征细化迭代计算中的第三次细化计算，得到多尺度transformer模型的第三层的大小为13
×1×
3的输出点集x
(4)
和大小为13
×1×
512的输出特征t
(4)
，将x
(4)
融入至t
(4)
中得到大小为13
×1×
512的遮挡目标全局特征g。
[0148]
在一些实施方式中，上述步骤s150包括步骤s1501至步骤s1503：
[0149]
s1501、基于上述遮挡目标全局特征使用第一全连接神经网络进行上述置信度计算操作，生成上述训练样本集中的遮挡目标的置信度分数以判别上述遮挡目标的类别值；
[0150]
s1502、基于上述遮挡目标全局特征使用第二全连接神经网络进行上述位置回归操作生成上述遮挡目标对应的候选框的回归偏移量，将上述候选框的长、宽、高、角度参数及中心点坐标与上述训练样本集中的真实目标框的长、宽、高、角度参数及中心点坐标之间的差值作为回归目标；
[0151]
s1503、基于上述遮挡目标的类别值与上述训练样本集中的真实目标类别标签计算交叉熵分类损失，并基于上述遮挡目标对应的候选框的回归偏移量与上述回归目标计算位置回归损失，基于上述交叉熵分类损失与上述位置回归损失之和约束更新上述遮挡目标检测网络的参数，生成上述遮挡目标检测模型。
[0152]
示例性的，基于由步骤s140获取到的遮挡目标全局特征g使用第一全连接神经网络进行置信度计算操作，得到大小为h
×
d7的置信度分数score，根据置信度分数score生成训练样本集中遮挡目标的类别值，根据该类别值与训练样本集中的遮挡目标对应的真实目标类别标签计算交叉熵损失，得到训练样本集的交叉熵分类损失，并基于遮挡目标全局特征g使用第二全连接神经网络进行位置回归操作生成候选框的大小为h
×
db的回归偏移量res，并将候选框与训练样本集中遮挡目标对应的真实目标框之间的大小为h
×
db的参数残差target作为回归目标，根据遮挡目标的回归偏移量res与回归目标target使用平滑l1损失函数计算位置回归损失，基于交叉熵分类损失与位置回归损失之和反向约束遮挡目标检测网络，并调整遮挡目标检测网络的参数，生成遮挡目标检测模型，完成遮挡目标检测网络的训练过程，其中，h、d7、db为res、score、target的维度，h、d7、db均为正整数。
[0153]
在一些实施方式中，如图4所示，本技术提出的遮挡目标检测方法中的遮挡目标检
测模型结构分为五部分：候选数据生成模块、基于编码器-解码器结构的遮挡目标补全重构操作、通道注意力融合操作、特征细化模块和遮挡目标检测结果生成模块，其中，候选数据生成模块如图2所示，基于编码器-解码器结构的遮挡目标补全重构操作的结构图如图3所示。为采用本技术的遮挡目标检测方法得到检测结果，使用3d标准数据集kitti对本发明方法中构建的遮挡目标检测网络进行训练得到遮挡目标检测模型，并使用3d标准数据集kitti对遮挡目标检测模型进行测试评估，以验证本技术的遮挡目标检测方法的有效性和实用性。kitti数据集提供了7481个训练样本和7518个测试样本，在本技术的遮挡目标检测方法实施过程中，将7481个训练样本划分出3712个样本构成训练样本集，3769个样本构成待检测样本集，根据场景样本的遮挡程度及遮挡目标占比，将待检测样本集划分为不同的遮挡级别，其中，遮挡级别最高的样本构成严重遮挡级别样本集，其场景中存在大量遮挡目标，剩余的样本构成普通遮挡级别样本集。
[0154]
图5给出了本发明方法与4种基准方法在待检测样本集中的两种遮挡级别样本上的检测准确率的对比结果。由图5可知，在待检测样本集中的严重遮挡级别样本上本发明方法能达到优异的检测性能且检测准确率明显高于其他4种基准方法，证明了本方法对于检测遮挡目标的有效性，同时，对于待检测样本集中普通遮挡级别样本场景，本方法也能取得显著的检测性能，且检测准确率明显高于其他基准方法，表明本方法可有效提升整体场景目标检测性能，证明了本方法的实用性。
[0155]
图6为在kitti数据集的待检测样本集上评估本技术的遮挡目标检测方法得到的检测效果示意图，对图6中的第一幅图中的场景点云执行如图4所示的本发明方法构建的遮挡目标检测模型，有效检测到场景中的11个遮挡目标的检测框及类别信息“车辆”。对于图6的其他三组图中的场景点云，执行如图4所示的本发明方法构建的遮挡目标检测模型均可准确检测得到场景中各遮挡目标对应的目标检测框和类别信息，表明本发明方法在不同的遮挡严重的场景下均能有效检测出遮挡目标，证明了本技术提出的基于重构遮挡目标形状特征并有效增强细化遮挡目标的空间几何信息的遮挡目标检测方法能够有效提升遮挡目标的检测性能。当然，这里采用的kitti数据集仅为举例，实际中还可以通过其他公开数据集或者用户自身准备的点云数据进行训练和评估。
[0156]
综上所述，本发明提供的遮挡目标检测方法有较高的理论价值，对于具有大量遮挡目标的不同类型的复杂场景样本，本方法均能有效检测定位复杂场景中的遮挡目标，取得优异的检测性能，检测精度明显高于其他方法，且该方法已通过软件实现，工程应用价值大。
[0157]
请参阅图7，本发明还提出一种遮挡目标检测装置，包括：
[0158]
提取单元21，用于获取训练样本集，输入至遮挡目标检测网络中，通过上述遮挡目标检测网络中的点云多尺度特征提取子网络获取上述训练样本集中的候选数据，其中，上述候选数据包括候选框、稀疏点云数据和稀疏点云特征；
[0159]
编码解码单元22，用于基于上述稀疏点云数据利用上述遮挡目标检测网络中的编码器和解码器进行迭代运算得到遮挡区域形状特征，根据上述遮挡区域形状特征进行上述遮挡目标检测网络中的形状点云重构操作得到遮挡目标整体形状点云数据；
[0160]
融合单元23，用于根据上述遮挡目标整体形状点云数据、已知区域点集和上述稀疏点云特征利用上述遮挡目标检测网络中的通道注意力融合操作获取聚合特征，其中，上
述已知区域点集是基于上述稀疏点云数据随机采样得到的；
[0161]
获取单元24，用于基于上述聚合特征和上述已知区域点集利用上述遮挡目标检测网络中的多尺度transformer模型进行特征细化迭代计算获取遮挡目标全局特征；
[0162]
生成单元25，用于基于上述遮挡目标全局特征进行上述遮挡目标检测网络中的置信度计算操作和位置回归操作，获取上述训练样本集中的遮挡目标的置信度分数和回归偏移量，基于上述置信度分数和上述回归偏移量利用损失函数约束更新上述遮挡目标检测网络的参数，学习生成遮挡目标检测模型；
[0163]
检测单元26，用于采用上述遮挡目标检测模型对待检测样本集进行检测，得到遮挡目标检测框和遮挡目标类别信息，完成遮挡目标检测。
[0164]
如图8所示，本技术实施例还提供一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器上运行的计算机程序311，处理器320执行计算机程序311时实现上述遮挡目标检测的任一方法的步骤。
[0165]
由于本实施例所介绍的电子设备为实施本技术实施例中一种遮挡目标检测装置所采用的设备，故而基于本技术实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本技术实施例中的方法不再详细介绍，只要本领域所属技术人员实施本技术实施例中的方法所采用的设备，都属于本技术所欲保护的范围。
[0166]
在具体实施过程中，该计算机程序311被处理器执行时可以实现图1对应的实施例中任一实施方式。
[0167]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0168]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0169]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0170]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0171]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0172]
本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的遮挡目标检测方法的流程。
[0173]
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0174]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0175]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0176]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0177]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0178]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0179]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者
替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。