基于头戴式毫米波雷达的第一人称姿态估计方法及系统

本发明属于无线感知，主要涉及了一种基于头戴式毫米波雷达的第一人称姿态估计方法及系统。

背景技术：

1、人体姿态估计旨在重建三维身体动作，在许多应用领域中起着重要作用，如运动分析、人机交互、增强现实(ar)、虚拟现实(vr)和医疗康复。传统的人体姿态是通过安装在场景周围的运动捕捉设备(如摄像头)或大量穿戴在身体上的惯性测量单元(imu)来捕捉的。然而，固定的运动捕捉设备基础设施受限于有限的感知范围，限制了人体运动的空间，因此无法满足涉及大范围移动的日常活动。另一方面，佩戴在身体上的imu需要繁琐的设置和复杂的校准操作，给用户带来不便，并且阻碍了正常活动和社交互动。

2、近年来，头戴设备(如vr眼镜和智能头盔)的普及启发了一种第一人称姿态估计的新方向。具体来说，它通过由用户佩戴的单个头戴设备来估计姿势，为用户提供了移动性和便利性。例如，apple vision pro配备了多个摄像头，用于替代传统的手柄。然而，基于视觉的方法对光照条件、烟雾、灰尘以及人体外观非常敏感，并经常引起隐私方面的问题。

3、新兴的集成毫米波雷达具有低成本和小型化(约10厘米)，因此很容易嵌入到头戴设备(如ar头盔)中。此外，最近的应用展示了雷达在提供各种人体感知能力方面的潜力，同时对恶劣的光照或天气具有鲁棒性，保护隐私，对用户不具侵入性。基于雷达的第一人称姿态估计可以实现广泛的应用，如沉浸式虚拟现实、运动辅助分析、用于急救人员的ar视觉增强以及用于驾驶员的安全行为检测。

4、尽管雷达在各种人体感知任务中取得了最近的成功，但第一人称视角对姿势估计提出了两个独特的挑战。首先，头戴设备是非静止的，因此雷达信号不仅包含姿势的变化，还包括由头部运动引起的随机设备移动。现有最先进的姿态估计方法无法捕捉稳定的时空特征，导致关节定位误差显著(最大可达16厘米)。其次，由于自上而下的视角，雷达信号在下半身受到镜面反射和上肢自遮挡的严重影响，导致雷达仅能感知到极少量的下肢运动，因此准确的估计下半身具有一定的挑战性。

技术实现思路

1、本发明正是针对现有技术中姿态估计方法误差较大且下半身信息缺失的问题，提供一种基于头戴式毫米波雷达的第一人称姿态估计方法及系统，首先进行基于头部运动特征的雷达轨迹追踪，通过与雷达集成的imu中获得雷达的运动数据，将运动数据送入神经网络学习后，获得雷达的相对6d轨迹；再将毫米波点云从雷达坐标系全部转换为h坐标系，解耦雷达运动的影响，通过神经网络学习上半身准确的关节位置；最后利用上半身和下半身之间的关联，通过神经网络分别对上半身骨架和下半身点云进行特征提取，并进行特征融合，学习人体运动先验，从而得到人体下半身准确的关节位置，最终完成全身的人体姿态估计。本方法利用人体运动先验成实现人体下半身的姿态估计，克服了下半身信息缺失的挑战，实现了在各种环境下进行稳健的人体姿态估计并避免隐私泄露，更加的精准安全。

2、为了实现上述目的，本发明采取的技术方案是：基于头戴式毫米波雷达的第一人称姿态估计方法，包括如下步骤:

3、s1，基于头部运动特征的雷达轨迹追踪：通过与雷达集成的imu中获得雷达的运动数据，将运动数据送入神经网络学习后，获得雷达相对于h点的6d轨迹；所述h点为人体锁骨的中间位置；

4、s2，基于雷达运动解耦的上半身姿态估计：将毫米波点云从雷达坐标系全部转换为h坐标系，解耦雷达运动的影响，通过神经网络学习上半身准确的关节位置；

5、s3，基于人体运动先验的下半身姿态估计：利用上半身和下半身之间的关联，通过神经网络分别对上半身骨架和下半身点云进行特征提取，并进行特征融合，学习人体运动先验，从而得到人体下半身准确的关节位置。

6、作为本发明的一种改进，所述步骤s1具体包括：

7、s11：利用和雷达集成的imu测量得到雷达的运动数据,其中第t帧包括3维加速度αt、3维角速度ωt作为输入，经过一个(6，512)的全连接层(fc)将其映射为512维的特征向量；

8、s12：在20帧特征序列上使用双向两层的长短期记忆神经网络(lstm)提取微小运动特征，输出特征维度为1024维；

9、s13:经过大小为(1024，1)的自注意力机制层(self-attention)聚合每个时间步的特征，得到该20帧序列的特征表示；

10、s14:多个聚合后的特征输入同样参数的lstm提取剧烈运动特征，输出特征维度同样为1024维；

11、s15:通过一个(1024，9)的全连接层将特征映射到雷达相对于h点的运动轨迹，即六维向量表示的朝向和三维向量表示的位置h点表示人体锁骨中间位置；

12、s16：使用如下损失函数计算预测出的朝向和位置误差，计算梯度并进行反向传播，更新网络参数直至网络收敛：

13、

14、其中α,β为权重系数，rt为真实的雷达朝向，pt为雷达真实的位置，t1为点云帧序列长度。

15、作为本发明的一种改进，所述步骤s2具体包括：

16、s21：基于步骤s1得到的雷达相对朝向r和位置p，将毫米波雷达反射人体得到的点云坐标转换到h坐标系，其中每个点由六维向量表示，包括xyz三维坐标、距离r、速度v以及强度s；

17、s22：将点云输入到共享参数的多层感知机(shared-mlp)中进行特征提取，其大小为(6，16，32，64)，每一层之后使用批归一化(bn)和relu激活函数；

18、s23：使用(64，1)的自注意力机制自适应学习每个点的权重，对不同点的特征进行聚合，得到帧级的高维特征表示；

19、s24：帧级的特征表示输入三层双向的lstm中提取时间序列特征，输出特征为128维；

20、s25：大小为(128，64，42)的多层感知机(mlp)将时间序列特征映射到上半身关节相对于其父关节的旋转角度rji，其中i＝1,2,…,14，rji用六维向量表示；

21、s26：将六维旋转表示使用schmidt正交化转换为旋转矩阵表示，应用人体正向运动学(forwardkinematics)从关节旋转矩阵得到人体上半身关节位置用三维向量表示其xyz三维坐标；

22、s27：使用如下损失函数计算预测出的关节位置误差，计算梯度并进行反向传播，更新参数直至网络收敛；

23、

24、其中为真实的上半身关节位置。

25、作为本发明的另一种改进，所述上半身关节包括左右手腕、左右手肘、左右肩膀、左右锁骨、头部、颈部、胸部、肚脐、骨盆及左右髋关节，其中颈部作为根关节。

26、作为本发明的另一种改进，所述步骤s3具体包括：

27、s31:将步骤s2得到的人体上半身关节位置送入三层大小分别为(32，64，128)的图卷积神经网络(gcn)进行特征提取，得到上半身姿态特征h；

28、s32:将毫米波点云以骨盆关节点的x轴坐标为界限进行裁剪，得到下半身点云，不足64的进行补零，送入大小为(6，32，64，128)的共享参数的多层感知机得到下半身点云特征z；

29、s33：将点云特征z和骨架特征h使用尺寸为(128，128)的互注意力机制及残差连接进行特征融合；

30、s34：使用(128，1)的自注意力机制聚合为帧级特征；

31、s35：将帧级特征送入三层双向lstm中提取时间序列特征；

32、s36：使用大小为(128，64，36)的多层感知机将时间序列特征映射到六个下半身关节旋转角度，同样用六维向量表示；

33、s37：将六维旋转表示使用schmidt正交化转换为旋转矩阵表示，应用正向运动学得到下半身关节位置

34、s38：使用如下损失函数计算预测出的关节位置误差，计算梯度并进行反向传播，更新参数直至网络收敛；

35、

36、其中为真实的下半身关节位置。

37、作为本发明的又一种改进，所述下半身关节包括左右脚、左右脚腕，左右膝盖和左右髋关节，其中左右髋为两个根关节位置。

38、作为本发明的又一种改进，所述步骤s26和步骤s37中正向运动学计算如下：

39、

40、其中jparent(i)表示在骨架结构中ji的父节点，和分别表示ji和jparent(i)的初始位置。

41、为了实现上述目的，本发明还采取的技术方案是：基于头戴式毫米波雷达的第一人称姿态估计系统，至少包括雷达轨迹追踪模块、上半身姿态估计模块和下半身姿态估计模块，

42、所述雷达轨迹追踪模块：利用与雷达集成的imu，基于头部运动特征的雷达轨迹追踪网络，训练得到准确的雷达相对6d轨迹，所述雷达轨迹追踪网络通过不同时间尺度的lstm及时间步上的自注意力融合机制来捕获人体头部运动规律；

43、所述上半身姿态估计模块：基于雷达姿态解耦的上半身姿态估计网络，训练得到上半身姿态；所述模块的输入为转换到h坐标系的毫米波点云，通过pointnet中共享参数的mlp对不同的点提取语义特征，随后通过自注意力机制聚合出帧级特征，并用lstm捕捉不同帧之间点云的联系，最后通过mlp和正向运动学模块将隐藏层特征映射为人体上半身姿态；

44、所述下半身姿态估计模块：基于人体运动先验，上半身姿态和下半身点云被融合以估计下半身姿态，从而完成全身的人体姿态估计。

45、作为本发明的另一种改进，所述下半身姿态估计模块的输入上半身姿态模块所输出的上半身姿态，及通过骨盆点裁剪的下半身点云；分别采用对应的特征提取网络提取特征后，对稀疏点云在上半身姿态的语义上下文中进行特征融合，得到更准确的下半身特征，再通过聚合和时序特征提取，将隐藏层特征映射为人体下半身姿态，和上半身姿态拼接后得到全身的人体姿态。

46、与现有技术相比，本发明具有的有益效果：

47、(1)本发明所提出的基于头戴式毫米波雷达的第一人称姿态估计方法能够实现各种环境下，活动范围不限且稳健的人体姿态估计，相比于传统的摄像头依赖光照、暴露隐私、易受恶劣天气影响的限制，本发明方法仅使用低成本的雷达和imu设备，不依赖光照并且无视烟雾粉尘等恶劣条件，更加易于实现，也避免了隐私问题。

48、(2)本发明所提出的步骤s1基于头部运动特征的雷达轨迹追踪方法，避免了imu位置测量的漂移问题，得到准确的6d雷达轨迹。

49、(3)本发明所提出的步骤s3基于人体运动先验的下半身姿态估计，能够在下半身信息缺乏的情况下实现准确的下半身姿态估计效果，结果更加精准。