一种基于Mediapipe骨骼点的实时摔倒检测方法和系统

本发明涉及一种检测技术，特别涉及一种基于mediapipe骨骼点的实时摔倒检测方法和系统。

背景技术：

1、根据相关数据，截止到2022年底，我国的老年人数量规模已经有2.1亿，面临较大的人口老龄化压力。近些年来，针对独居老人所提供的智能家居服务，已经形成了一个热门的研究领域。摔倒是65岁及以上人群受伤的主要原因，并且摔倒引起的危害也是最大的，因此能够及时检测老年人的摔倒行为，并及时向医院发出警报是非常有必要的。

2、受室内复杂环境和传统视觉算法的性能限制，老年人室内摔倒并不能得到高效的解决方法。由于计算机硬件的快速提升，各类深度学习算法层出不穷，目前大多数实时摔倒检测系统都是基于目标检测算法检测出人体框架，再通过框架的高宽比例来进行判断是否摔倒，但该方法并未考虑人体的身高、胖瘦等因素，不具备良好的鲁棒性和准确性，还有部分实时摔倒检测系统模型复杂、参数过多、难以部署。

技术实现思路

1、针对室内实时摔倒检测问题，提出了一种基于mediapipe骨骼点的实时摔倒检测方法和系统，基于实时检测骨骼点的mediapipe训练姿态识别模型，通过训练好的姿态识别模型对室内老人是否摔倒进行判断，并通过对应手环进行摔倒预警。

2、本发明的技术方案为：一种基于mediapipe骨骼点的实时摔倒检测方法，摄像头获取实时视频数据，mediapipe模型对视频数据每帧进行人体姿态的实时检测，以此获得带有人体骨骼点信息的帧图，将mediapipe处理后的帧图送入svm训练好的摔倒识别模型利用骨骼点之间的位置信息检测是否有人摔倒，并在连续三帧检测有人摔倒后通过绑定的手戴设备进行预警。

3、一种实时摔倒检测方法中摔倒识别模型训练方法，包括如下步骤：

4、1)数据采集及处理：从摄像头和部分公开数据集中获取相关视频数据，这些数据从不同角度进行拍摄，包含了人体在不同时间点进行多种摔倒的图像帧。从收集到的视频中，剪辑出包含摔倒动作和非摔倒动作的片段。确保每个片段的长度适中，以便模型训练和评估，并对姿态估计的关键点数据进行预处理，包括归一化、去除噪声、数据增强等操作，以提高模型的鲁棒性，获得人体姿态数据集；

5、2)骨骼点检测：使用基于卷积神经网络的mediapipe深度学习模型，对处理好的数据集中的每个视频帧进行人体姿态估计和人体骨骼点检测。这些骨骼点包括了人体的关键部位，如头部、肩膀、手臂、腿部等；

6、3)骨骼点数据标注及训练：对得到的骨骼点数据进行标注，标注摔倒姿态和正常姿态。将标注好的骨骼点信息和标注信息分成数据集和测试集。数据集送入支持向量机(svm)进行训练，来寻找到可以将摔倒姿态和正常姿态的数据样本进行有效分隔的超平面，同时最大化分类器与最近数据点之间的距离，使得分类器能够在新数据上获得最好的泛化性能和较高的准确率。训练后的模型使用测试集进行效果验证；

7、进一步，所述损失函数包含两个部分：mediapipe中预测人体骨骼点的损失、svm中对正常姿态和摔倒姿态的分类损失。mediapipe人体姿态估计任务中，模型的目标是预测图象中的人体的关键骨骼点，如头部、肩膀、手肘、手腕等的坐标。为了训练模型，需要定义损失函数来度量预测的关键点坐标与真实标签之间的误差。mse损失函数可以表示为：

8、

9、其中，n是样本数量，k是关键点的数量，yij是第i个样本中第j个关键点的真实坐标，是模型的预测值。损失函数的目标是最小化预测坐标与真实坐标之间的欧式距离；svm中使用hinge损失函数，合页损失函数对于正确分类的样本会接近零，而对于误分类的样本，它会增加，且误分类的程度与样本距离超平面的距离有关，如下公式所示：

10、hinge loss＝max(0,1-yi·f(xi))

11、yi是样本xi的真实标签(+1或-1)，f(xi)是超平面的决策函数。

12、一种用于所述实时摔倒检测方法中的mediapipe实时检测，调节检测时的最小置信度阈值，控制模型对检测到的目标的可信程度，将置信度低于阈值的舍弃，只有置信度高于阈值的检测结果才会被认为是有效的。

13、一种基于生物识别技术的身份信息建档系统，其特征在于，通过人脸和步态对身份信息进行建档，涉及生物识别技术，用于身份验证和识别。

14、一种基于mediapipe骨骼点的实时摔倒检测系统，包括图像采集处理模块和警报通知模块，所述图像采集模块包括树莓派和树莓派摄像头模块；所述报警通知模块为具有紧急呼叫功能的手环；树莓派固定在室内一定高度的角落，树莓派摄像头模块可以拍摄到室内的绝大多数场景，并通过树莓派处理视频帧来判断人体姿态，若检测到摔倒则推送预警通知到手环，在规定时间内未取消该预警则进行紧急呼叫。

15、本发明的有益效果在于：本发明一种基于mediapipe骨骼点的实时摔倒检测方法和系统，能够实时检测人体姿态动作，更加快速、准确的进行摔倒识别，及时发现摔倒风险，从而使用户的生命安全得到更好的保障。特别对于老年人或需要特殊关注的人群，可以提供额外的保护和安全警示；一旦检测到摔倒事件，系统能够通过手环发出紧急呼叫，以便及时启动救援措施。这将在紧急情况下提供更快速的救援响应，减少伤害风险。

技术特征：

1.一种基于mediapipe骨骼点的实时摔倒检测方法，其特征在于，摄像头获取实时视频数据，mediapipe模型对视频数据每帧进行人体姿态的实时追踪识别检测，以此获得带有人体骨骼点信息的帧图，将mediapipe处理后的帧图送入svm训练好的摔倒识别模型利用骨骼点之间的位置信息检测识别是否有人摔倒，并在连续三帧检测有人摔倒后通过绑定的手戴设备进行预警。

2.根据权利要求1所述的方法，其特征在于，所述摔倒识别模型的训练方法包括如下步骤：

3.根据权利要求2所述的方法，其特征在于，所述损失函数包含两个部分：mediapipe中预测人体骨骼点的损失、svm中对正常姿态和摔倒姿态的分类损失；mediapipe人体姿态估计任务中，模型的目标是预测图象中的人体的关键骨骼点，如头部、肩膀、手肘、手腕等的坐标；为了训练模型，需要定义损失函数来度量预测的关键点坐标与真实标签之间的误差；mse损失函数可以表示为：

4.根据权利要求2所述的方法，其特征在于，mediapipe实时检测，调节检测时的最小置信度阈值，控制模型对检测到的目标的可信程度，将置信度低于阈值的舍弃，只有置信度高于阈值的检测结果才会被认为是有效的。

5.根据权利要求2所述的方法，其特征在于，基于生物识别技术的身份信息建档系统，通过人脸和步态对身份信息进行建档，涉及生物识别技术，用于身份识别和验证。

6.一种基于mediapipe骨骼点的实时摔倒检测系统，其特征在于，包括图像采集处理模块和警报通知模块，所述图像采集模块包括树莓派和树莓派摄像头模块；所述报警通知模块为具有紧急呼叫功能的手环；树莓派固定在室内一定高度的角落，树莓派摄像头模块可以拍摄到室内的绝大多数场景，并通过树莓派处理视频帧来判断人体姿态，若检测到摔倒则推送预警通知到手环，在规定时间内未取消该预警则进行紧急呼叫。

技术总结
本发明涉及一种基于Mediapipe骨骼点的实时摔倒检测方法和系统，利用Mediapipe技术，实时监测人体姿态和动作，识别摔倒事件。该系统包含骨骼点检测、摔倒识别以及身份建档三个模块。骨骼点检测模块提取人体的骨骼点信息；摔倒识别模块通过机器学习和动作分析技术，实时监测人体姿态；身份建档模块通过人脸识别和步态识别对相应人员建立身份档案以便与手环配对。在摔倒识别阶段，一旦识别到摔倒事件，系统将及时通过摔倒人员的手环进行紧急呼叫。本发明的优点在于，基于Mediapipe骨骼点的实时摔倒检测方法和系统能够高效准确地监测和识别摔倒事件。该系统具有广泛的应用前景，可用于医疗保健、老年人护理、体育训练等领域，提供及时的安全警示和紧急救援响应。

技术研发人员：杨国银,武星
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/1/16