基于运动重建的跌倒检测的仿真IMU训练数据生成方法、跌倒检测方法及装置

本发明涉及跌倒检测领域，尤其是涉及一种基于运动重建的跌倒检测的仿真imu训练数据生成方法、跌倒检测方法及装置。

背景技术：

1、跌倒检测技术的研究变得至关重要，旨在通过实时监测个体的运动来预测和防止跌倒事件。跌倒检测领域存在多种现有方法。从传感器的角度来看，这些方法可以大致分为两类：基于摄像头的方法和基于可穿戴惯性测量单元(imu)的方法。利用imu传感器的跌倒检测系统的早期实现采用了简单的基于阈值的检测算法，而机器学习技术在增强跌倒运动识别方面的可行性已经得到广泛认可。可穿戴设备，特别是那些包含imu的设备，与机器学习方法相结合，在跌倒检测中发挥着关键作用。

2、将可穿戴imu与机器学习相结合进行跌倒检测需要大量imu数据，包括跌倒和非跌倒活动。然而，获取跌倒检测数据的成本很高，且跌倒检测领域现有的imu数据集存在数据量有限和实验范式不一致等问题。真实数据集的获取涉及昂贵的实验和复杂的数据收集过程，从而加大了研究的成本和难度。同时，不同实验中动作协议的设计和imu传感器的放置位置存在多样性，导致了不同研究之间的数据集差异。集成不同研究的数据集可能降低数据集质量，使得数据的统一性和一致性难以得到保证。

3、为了解决数据局限性，现有技术主要包括以下方法：

4、a)数据增强技术：采用旋转、随机噪声等技术来增强有限的与跌倒相关的imu数据集。然而，传统的数据增强方法对跌倒数据集的补充相对有限，并且无法通过后期数据处理来模拟出不同位置或者不同动作的imu数据。因此该方法尽管在一定程度上能缓解机器学习模型训练所需数据较少的问题，却无法满足对数据多样性的需求。

5、b)迁移学习方法：在规模较小的跌倒检测数据集上微调预训练的复杂模型以执行跌倒检测任务。该方法需要一个在大规模数据集上预训练好的复杂模型，由于跌倒检测数据集的数据量少且难以统一，用于预训练的数据集往往是易于获取的图像数据集。然而，由于图像数据与imu数据之间存在的显著差异，该方法在理论上缺乏足够的可解释性并且其效果也未被普遍认可，因此并没有得到广泛使用。

6、c)利用生物力学仿真工具来合成人体运动数据。在跌倒检测领域，现有的仿真方法所合成的人体运动数据非常有限，例如仅能产生人体质心的垂直加速度。而实际跌倒检测需要的是人体运动时身体各部位的imu数据，因此该方法尚未得到充分开发和利用。

7、综上所述，尽管跌倒检测技术取得了一些进展，但仍然存在数据有限性和实验复杂性等挑战，而现有的解决方法尚不能满足对多样化的imu数据的需求。为了克服这些问题，需要一种创新的方法来合成大量高质量且多样化的imu数据，以简化跌倒检测实验并提高跌倒检测模型的性能。这将为跌倒检测领域带来重要的突破，从而更好地满足社会对于跌倒事故防范的迫切需求。

技术实现思路

1、本发明的目的就是为了提供一种基于运动重建的跌倒检测的仿真imu训练数据生成方法、跌倒检测方法及装置。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于运动重建的跌倒检测的仿真imu训练数据生成方法，包括：

4、步骤s1：获取多摄像头系统录制的受试者的运动视频片段，并对视频片段进行跌倒状态标注；

5、步骤s2：分别对各运动视频片段的每一帧进行关键点提取，得到各人体关键点的二维坐标；

6、步骤s3：基于同一时刻由各摄像头拍摄的视频帧的关键点提取结果，进行合成，得到各关键点的三维坐标；

7、步骤s4：根据运动视频片段的动作类型依次判断各关节是否存在先验角度，并基于存在先验角度的关节生成先验角度值序列；

8、步骤s5：调节仿真骨骼模型中各关节的角度，得到各关键点的仿真坐标，以各关键点的仿真坐标和三维坐标的误差最小，以及各关节仿真角度和先验角度的误差最小为优化目标，得到仿真骨骼模型中各关节的模拟角度，并将对应于所述关节的模拟角度的仿真骨骼模型作为当前时刻的姿态识别结果；

9、步骤s6：根据运动视频片段各时刻的姿态识别结果，计算各测量部位的三轴加速度和速度，连同对应的跌倒状态标注结果，作为对应于该运动视频片段的仿真imu训练数据。

10、所述步骤s2中对于单各视频帧的关键点提取过程具体包括：

11、步骤s21：输入该视频帧至关键点提取网络，得到由关键点提取网络提供的初始关键点提取结果；

12、步骤s22：剔除初始关键点提取结果中的五官部分的关键点，得到最终的各人体关键点的二维坐标。

13、所述初始关键点提取结果共包括25个关键点。

14、所述步骤s5中的优化目标的数学表达式为：

15、

16、其中：q为仿真骨骼模型中各关节的角度序列，markers为由步骤s2得到的关键点的数量，i为关键点的序号，wi为第i个关键点的权重，为第i个关键点的三维坐标，xi(q)为第i个关键点的仿真坐标，||·||2为欧氏距离，j为存在先验角度的关节的序号，wj为第j个存在先验角度的关节的权重，为第j个存在先验角度的关节先验角度值，qj为第j个存在先验角度的关节的角度。

17、所述步骤s6具体包括：

18、步骤s61：根据由运动视频片段初始时刻的姿态识别结果，得到人体骨架模型的初始姿态和平移位置；

19、步骤s62：在人体骨架模型配置多个测量部位，其中，所述测量部位根据imu传感器设置位置确定；

20、步骤s63：基于运动视频片段各时刻对应的人体骨架模型的姿态和平移位置，结合前一时刻对应的人体骨架模型的姿态和平移位置，分别得到各时刻各测量部位的三轴加速度和速度；

21、步骤s64：基于运动视频片段各时刻的各测量部位的三轴加速度和速度得到对应于该运动视频片段的imu数据序列，并将得到的imu数据序列，连同应的跌倒状态标注结果，作为对应于该运动视频片段的仿真imu训练数据。

22、所述人体骨架模型为多连杆系统。

23、所述多摄像头系统中的各摄像头的角度不同。

24、一种基于运动重建的跌倒检测的仿真imu训练数据生成装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如上述的方法。

25、一种跌倒检测方法，包括：

26、利用如上述的方法生成的仿真imu训练数据对跌倒检测模型进行训练；

27、利用训练好的跌倒检测模型进行跌倒检测。

28、一种跌倒检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如上述的方法。

29、与现有技术相比，本发明具有以下有益效果：

30、1、基于仿真并通过结合视觉的3d运动重建和生物力学仿真，实现了跨模态数据生成，从视频到惯性测量单元，从而有效地解决了传统imu数据集受限和实验范式不一致的问题，为跌倒检测领域提供了更为真实和多样的数据，并为复用现有跌倒检测研究的视频数据集提供了可能性。

31、2、提供了一种低成本的数据生成途径，合成的仿真imu训练数据的生成不再依赖于昂贵的实际跌倒训练数据，而是通过模拟多种跌倒和非跌倒运动，实现了更加全面和多样化的数据集。

32、3、通过生成人体骨架模型，可以在任意位置设置测量部位，更加灵活，不受制于传感器的安装限制，能够在一次仿真中生成感兴趣部位的的仿真imu训练数据及其组合，从而有助于提高跌倒检测模型的性能和适用性。

33、4、有效减少实验复杂性和成本，可以显著减少获取昂贵的跌倒训练数据的需求，优化传感器位置和组合的挑战，从而降低了实验的复杂性和成本，合成的仿真imu训练数据遵循人体运动的前向动力学，具备坚实的理论基础，同时尽可能地利用了仿真方法的潜力，实现了自定义仿真imu位置，从而能够获取各个部位上不同位姿的的仿真imu训练数据，合成数据的质量和多样性为机器学习算法提供了更丰富的信息，提高了模型的准确性和鲁棒性。