基于毫米波雷达的人体点云解析方法

本发明属于雷达点云识别处理，具体的说是涉及一种基于毫米波雷达的人体点云解析方法。

背景技术：

1、人体点云解析源自点云任务中的点云分割，点云分割任务将场景内的点云分成不同的部分或类别，以识别和区分不同的物体、表面或特征。在人体的点云解析任务中，将从人体身上捕获的雷达点云作为输入，识别出与点云中的每个点对应的身体部位。即点云中的每个点属于哪一部分身体部位。带有语义标签的点云将被生成为最终输出。事实上，各种计算机视觉任务已经证实，在循环中加入语义信息可以显著提高姿态估计、活动识别和人员识别的准确性。对于毫米波雷达来说，这种优势更为突出，因为这种低成本射频传感器产生的点云本质上比视觉传感器产生的图像质量要低。charles r.qi等人为从对象分类、部件分割到场景语义解析的应用程序提供了统一的体系结构pointnet(pointnet:deeplearning on point sets for 3d classification and segmentation)，在只是用全连接层的情况下达到了当时最优的性能。随后提出的pointnet++针对pointnet中只是简单使用最大池化聚合信息，缺乏提取局部特征的能力的问题进行了改进。通过逐级增大扫描尺度，得到不同尺度下的局部特征。同样，为了提取局部特征，meng-hao guo等人在编码层中引入了transformer结构，从而得到更加细粒度局部特征(pct:point cloud transformer)。而xu ma等人认为详细的局部几何信息可能不是点云分析的关键，因此引入了一个纯粹的残差mlp网络pointmlp(rethinking network design and local geometry in pointcloud:a simple residual mlp framework)，其并没有使用复杂的局部特征提取器，但依旧具有良好的性能，并且有着更加优秀的推理速度。guocheng qia则重新审视了pointnet++的结构，并将其与后续的pointnet版本pointmlp和point transformer做了比较。结果发现，虽然pointnet++的准确性已经被后续的版本在很大程度超越，但这种性能提升在很大一部分是由于更先进的数据增强和优化技术以及更大的模型造成的，而在架构创新方面，后续版本其实并没有很明显的改进。因此在使用更先进的优化技术同时，现有技术引入了反向剩余瓶颈设计和可分离的mlp，以实现高效和有效的模型扩展，并提出pointnext模型(pointnext:revisiting pointnet++with improved training and scalingstrategies)。

2、然而，这类有关点云分割的任务通常是在激光雷达上进行的，激光雷达拥有更稠密的点云，因此能够很好地分割不同物体。而对于点云更为稀疏的毫米波雷达，却很少有相关的发明。毫米波雷达稀疏的点云通常无法完整反应物体的轮廓，而只能描绘出物体的一部分；同时，由于多径效应和人体镜面反射所产生的噪音点在稀疏点云下对模型的影响会变得更大，从而影响模型的鲁棒性。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种基于毫米波雷达的人体点云解析方法，通过多层感知机将毫米波雷达采集的人体点云数据抽取为更高级的特征；利用采样和分组算法将特征分组，并进一步提取更为精确的局部特征信息，以便让模型关注更细粒的特征；最后送入神经网络中进行训练，训练完毕后可以实现对人体点云的解析并提升解析精度；利用所提出的神经网络提升下游任务如姿态估计、人员识别和步态识别等的性能。

2、为了达到上述目的，本发明是通过以下技术方案实现的：

3、本发明是一种基于毫米波雷达的人体点云解析方法，所述人体点云解析方法通过神经网络实现，具体的，人体点云解析方法具体包括以下步骤：

4、步骤1、雷达点云数据处理与标签生成：采集原始数据，使用深度相机采集人体的骨骼关键点数据，使用雷达获取人体点云数据，通过时间戳进行同步，随后使用同步的骨骼关键点数据；

5、步骤2、使用神经网络的主干多层感知机层对雷达获取的人体点云数据经过全局特征提取，随后通过神经网络的采样层和分组层进行质心点采样和分组得到局部点；

6、步骤3、将步骤3分组后得到的局部点送入神经网络中，利用抽象卷积层提取与局部点相关的局部特征；

7、步骤4、使用神经网络中对称的解码层对步骤3得到的局部特征进行解码操作，全局特征以及每一层的局部特征都对应一个解码器操作，并且进行残差连接防止模型的过拟合，最终得到预测的每个点属于人体对应的哪一部分骨骼关键点。

8、本发明的进一步改进在于：所述神经网络具体包括编码器和解码器，编码器和解码器使用残差连接，所述编码器包括采样层、分组层、抽象卷积层和反向残差块，所述采样层包括一个最远距离采样的采样操作，以获得采样集作为分组操作的质心点，所述分组层包括一个使用k近邻算法进行分组的分组操作，将人体点云数据以采样机为中心分割为若干组，所述抽象卷积层输入数据为人体点云数据的坐标信息和局部点相关的局部特征，局部点相关的局部特征使用一次二维卷积并配合批量归一化，得到维度为[b,64,n,k]的局部点相关的局部特征，并使用一次最大池化，提取过后的局部点相关的局部特征和人体点云数据的坐标信息流向反向残差块，所述反向残差块使用一次二维卷积并配合批量归一化，得到维度为[b,64,n,k]的特征向量，随后通过先进行一次取最大值操作实现可分离的多层感知机，将局部点相关的局部特征和维度简化为[b,64,n]减少计算量，再通过两层mlp进行特征提取，其中第一层将通道数扩大为原来的4倍，第二层将通道数还原，这样的倒瓶颈设计能够丰富特征提取。输出数据在流向下一层编码器的同时使用残差连接作为对称解码器的输入。

9、本发明的进一步改进在于：所述步骤2具体包括如下步骤：

10、步骤2.1、对雷达获取的人体点云数据进行全局特征提取，将雷达获取的人体点云数据通过主干多层感知机层将人体点云数据的坐标信息映射到比三维空间高的维度，并提取得到反应人体全局信息的全局特征数据；以便进一步学习。

11、步骤2.2、对每一帧的人体点云进行下采样，在采样层中得到n/4个分布均匀的质心点以便后续进行分组；

12、步骤2.3、通过神经网路的分组层，以人体点云集合和质心点集合作为输入，以质心为中心，根据质心选择周围k个人体点云数据中的点进行分组。

13、本发明的进一步改进在于：在步骤2.3中，设当前人体点云集合{x1,x2,x3,…,xn}，以质心为中心，根据质心选择周围k个人体点云数据中的点进行分组，具体包括如下步骤：

14、步骤2.3.1、计算人体点云中每个点距离点云质心的距离，选择距离质心最远的人体点云数据中的点，纳入采样集中；

15、步骤2.3.2、依次计算每个人体点云数据中的点与采样集中点之间的欧氏距离，选择距离最大的人体点云数据中的点xi作为下一个采样点；

16、步骤2.3.3、重复步骤2.3.2n/4次，当采样集{xl…,xm}中有大于等于一个质心点时，对于人体点云数据中的点x，依次计算对于每个质心的距离{di,…,dm}，选择最小的距离dminx记录，最终选择距离最大的人体点云数据中的点点xi作为下一个采样点。

17、本发明的进一步改进在于：步骤2.3中，分组具体为：使用k近邻算法，对于质心点xi，依次选择k个距离质心点xi最近的相邻点作为一组，学习相邻点之间的局部特征。

18、本发明的进一步改进在于：所述步骤3将局部点送入神经网络进行局部特征提取，具体包括如下步骤：

19、步骤3.1、所述抽象卷积层使用三次二维卷积以及批量归一化操作对传入的质心坐标以及分组点进行局部特征提取；

20、步骤3.2、将提取的局部特征传入反向残差块中，反向残差块使用一次分组操作和三次二维卷积操作；丰富特征维度，并缓解梯度消失的问题。步骤3.3、利用第一层mlp将通道数扩大为原来的4倍，第二层mlp将通道数还原的倒瓶颈设计将第一层mlp的输出通道扩大4倍；丰富特征提取。

21、步骤3.4、使用残差连接编码器和解码器，解码器最终预测人体每个雷达点所属的关节类别。

22、本发明的进一步改进在于：步骤4中，使用神经网络中对称的解码层对步骤3得到的局部特征进行解码操作，具体包括以下步骤：

23、步骤4.1、使用解码块进行局部点相关的局部特征解码；

24、步骤4.2、更新权重、偏置参数的参数信息，同时输出损失函数；

25、步骤4.3、网络训练完毕保存训练模型，根据测试样例对神经网络进行测试，验证神经网络的有效性和精度。

26、本发明的进一步改进在于：所述步骤1具体包括如下步骤：

27、步骤1.1、使用深度相机采集人体的骨骼关键点信息，使用雷达获取人体点云信息；

28、步骤1.2、人体的骨骼关键点信息与人体点云信息通过采集时的时间戳进行同步；

29、步骤1.3、对人体点云信息数据进行填充和排序；

30、步骤1.4、计算人体点云信息数据中的点距离对应的骨骼关键点间的距离；

31、步骤1.5、选择距离人体点云信息数据中的点最近的骨骼关键点类别作为该人体点云信息数据点的类别标签，若最近距离大于设定阈值，则将该人体点云信息数据点与人体的骨骼关键点无关，被分类为无效点。

32、本发明的进一步改进在于：在步骤1.1中，雷达获取的人体点云信息包括三维空间的x、y、z坐标、速度、信噪比和时间戳。

33、10.根据权利要求8所述的基于毫米波雷达的人体点云解析方法，其特征在于：步骤1.3中，步骤1.3中对人体点云信息数据进行填充是指：每一帧人体点云信息数据包含64个关键点，对稀疏的帧，计算现有人体点云信息数据中的点的质心，将质心作为填充点，使每一帧均包含64个关键点。

34、本发明的进一步改进在于：步骤1.3中对人体点云信息数据进行排序具体为：将输入的人体点云信息按照规则进行排序，按照x、y、z坐标升序进行排序，即首先根据人体点云信息数据里面的点的x坐标升序进行排序，对具有相同x坐标的人体点云信息数据里面的点按照y坐标的升序进行排序，以此类推。

35、本发明的有益效果是：

36、本发明中通过轻量型网络降低了计算开销，提高了运算效率。

37、本发明基于毫米波雷达设计，提出了k近邻采样、分离mlp和残差连接等一系列方法解决稀疏点云难以训练和识别的问题。

38、本发明成功将点云分类任务应用在人体解析，并证明其对下游视觉任务的有效性。

39、本发明在较少训练轮次的情况下可大幅提高人体解析的精度。