一种基于特征融合的居家老人摔倒监测系统及方法

本发明涉及摔倒监测，具体为一种基于特征融合的居家老人摔倒监测系统及方法。

背景技术：

1、居家老人摔倒是指老人在家庭环境中，由于各种内外部因素（如身体健康状况、家居环境、意外事件等），在站立、走动或处于其他姿势时，失去平衡并跌倒至地面或其他较低的表面；摔倒可能导致不同程度的伤害，包括瘀伤、骨折、头部外伤等，甚至可能危及生命。

2、摔倒的原因通常与老人的生理变化（如肌肉力量下降、协调性减弱、视力下降等）、心理因素（如恐惧、焦虑）以及居家环境的安全性（如地面湿滑、障碍物等）相关；一方面，现有技术的摔倒监测通常依赖穿戴式设备，如智能手环、腰带等，这些设备需要用户主动佩戴，对于行动不便的老人或病患，佩戴这些设备不够实际，并且可能会导致佩戴不便或不适，影响用户的生活质量；另一方面，传统的摔倒监测通常安装监控相机收集视频数据，利用图像识别算法分析人物的姿态和运动轨迹，当检测到人从站立状态突然跌倒或失去平衡时，即可触发报警；虽然在某一场景下都能达到一定的识别效果，但是单一的特征很难完全表征摔倒这一动作的丰富信息，在复杂场景下的识别率还有待提高；例如：老人在厨房、浴室活动，若只依赖于加速度传感器，不同的动作（如快速蹲下收垃圾、跪下）可能也会被误认为摔倒；例如：如果老人在摔倒过程中使用拐杖支撑身体，拐杖可能会误导传感器判断摔倒的动作，导致误报或者漏报，影响系统的识别精度。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于特征融合的居家老人摔倒监测系统及方法，解决了背景技术中提出的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、第一方面，本技术提供了一种基于特征融合的居家老人摔倒监测方法，所述方法包括：

6、获取居家老人的目标数据，包括个人参数、视频参数、环境参数、拐杖参数以及振动参数；

7、采用ssim技术获取视频参数的关键帧图像，利用图像识别方法提取关键帧图像的肢体运动特征，结合个人参数，获得第一步态；基于第一步态，触发判定分析机制，判断拐杖是否存在使用记录，若不存在使用记录，则构建初始训练模型；

8、反之，对环境参数和拐杖参数深度分析，获得环境评估系数和拐杖评估系数，计算对第一步态的平衡影响比例，对应生成高风险、中风险或低风险信号；

9、二次提取肢体运动特征，以识别异常关键点，判定摔倒行为，获得第一摔倒系数；基于中或高风险信号，判定摔倒姿态，并执行调整修正策略，计算第二摔倒系数。

10、进一步地，在计算第二摔倒系数的过程中，还包括：

11、基于初始训练模型添加若干个空白连接层，以第一摔倒系数、第二摔倒系数对应的数据集训练空白连接层，提取数据集的峰值、均值、标准差以及均方根，并结合第一摔倒系数、第二摔倒系数作为分类特征进行积分，获得融合特征，并由连接层向前调整全连接层，获得摔倒识别模型。

12、进一步地，获得第一步态的步骤，包括：

13、图像识别：基于改进后的openpose网络对关键帧图像进行姿态估计，并引入coordconv感知图像的空间位置信息，替换vgg-16为efficientnet，获得人体关键点的2d位置信息，并映射至3d位置空间，标注关键点的活动度和角度，且记为肢体运动特征；

14、级联处理：将肢体运动特征输入至预设的人体动力学模型中，输出速度微分值和步频，将速度微分值、步频以及肢体运动特征进行级联，以生成第一步态。

15、进一步地，所述环境参数包括地面凸起度、温度、湿度以及照度，所述拐杖参数包括受力均匀度、螺丝松动率、强度，对环境参数和拐杖参数深度分析的步骤，包括：

16、提取数据库中环境参数的设定参数区间，得到设定的温度区间、湿度区间以及照度区间，设定公式计算环境评估系数en：

17、；

18、式中，bulge表示地面凸起度、tem表示温度、hum表示湿度、lur表示照度，[tems，]表示设定的温度区间，[hums，]表示设定的湿度区间，[lurs，]表示设定的照度区间，β1、β2均表示权重修正系数，g1、g2以及g3分别预设的温度、湿度以及照度偏移比例的权值，且g1+g2+g3=1；

19、设定公式计算拐杖评估系数cru：

20、；

21、式中，uof表示受力均匀度，slr表示螺丝松动率，str表示强度，α1、α2以及α3均表示权重修正系数，且α1+α2+α3=1。

22、进一步地，所述第一步态包括正常行走、快速行走以及静止站立，则计算对第一步态的平衡影响比例的步骤，包括：

23、静止站立时：调取环境评估系数和拐杖评估系数，设定公式获得平衡影响比例pro：

24、；

25、式中，μ1和μ2均为权重修正系数，且μ1和μ2均大于0；

26、正常行走时：调取环境评估系数和拐杖评估系数，结合获取的体脂百分比和鞋码长度，设定公式输出平衡影响比例pro：

27、；

28、式中，wei表示体脂百分比，jz表示体脂百分比的临界值，len表示鞋码长度，[lens，]表示设定的鞋码区间，、、、均为权重修正系数，且、、、均大于0；

29、快速行走时：调取环境评估系数和拐杖评估系数，结合步频和速度微分值，设定公式输出平衡影响比例pro：

30、；

31、式中，cad表示步频，ved表示速度微分值，表示常数，、、、均为权重修正系数，且、、、均大于0。

32、进一步地，将平衡影响比例和设定的第一比例区间、第二比例区间以及第三比例区间对比分析：

33、当平衡影响比例处于第一比例区间，生成高风险信号；

34、当平衡影响比例处于第二比例区间，生成中风险信号；

35、当平衡影响比例处于第三比例区间，生成低风险信号；

36、其中，且第一比例区间大于第二比例区间大于第三比例区间。

37、进一步地，若响应低风险信号：

38、一次判定：以任一关键点为圆心画圆，并外接立方体，得到位置对比区域的若干边界点，计算位置对比区域与标准位置对比区域的交并比；

39、当交并比小于第一阈值，不做任何处理；

40、反之，判定有摔倒行为并生成摔倒信号，且在摔倒后的第一时刻，判断关键点所围成的矩形框高度是否大于摔倒时刻下矩形框高度的第一倍数，若大于，则剔除摔倒信号；

41、反之，提取关键点在初始帧到截止帧的关键点坐标及关键坐标变化，获取关键点的下降速率和下降方向，并以竖直轴线为基线，获得下降方向与基线的夹角，设定公式计算第一摔倒系数fall1；

42、若响应中或高风险信号：

43、二次判定：经一次判定后，计算关键点在下降过程相对于坐标轴的旋转角度，将旋转角度分别与设定的标准角度区间对比分析，判定摔倒姿态类型；提取与摔倒姿态相关联的关键点，并偏转分析，以执行对应的调整修正策略，获得第二摔倒系数；其中，摔倒姿态包括：侧面摔倒、朝地前摔以及仰面后摔。

44、进一步地，执行调整修正策略的步骤，包括：

45、侧面摔倒：计算腰部、臀部、膝盖以及脚踝对应关键点经偏转分析获得的差值，设定公式获得第二摔倒系数fall2：；

46、式中，reg1表示调控修正系数，且reg1＞0，dif1表示腰部、臀部、膝盖以及脚踝对应关键点经偏转分析获得的差值；

47、朝地前摔：获取朝地前摔下的楼板类型，基于楼板类型调取振动参数，包括刚度系数、阻尼系数以及自然振动频率，以计算振动因子，并结合头部、肩部对应关键点经偏转分析获得的差值，设定公式获得第二摔倒系数fall2：

48、；

49、式中，vib表示振动因子，reg2、均表示调控修正系数，且reg2、均大于0，dif2表示头部、肩部对应关键点经偏转分析获得的差值；

50、仰面后摔：基于关键帧图像提取出面部表情特征，使用svm识别情感标签，并赋予相应的权重和分数，结合面部表情的持续时间，获得表情因子，并结合头部、肩部对应关键点经偏转分析获得的差值，设定公式获得第二摔倒系数fall2：

51、；

52、式中，exf表示表情因子，reg3、均为调控修正系数，且reg3、均大于0。

53、第二方面，本技术提供了一种基于特征融合的居家老人摔倒监测系统，所述系统包括：

54、数据采集模块，采集居家老人的目标数据，包括个人参数、视频参数、环境参数、拐杖参数以及振动参数；其中，个人参数至少包括体脂百分比和鞋码长度；

55、数据处理模块，采用ssim技术获取视频参数的关键帧图像，利用图像识别方法提取关键帧图像的肢体运动特征，结合个人参数，获得第一步态；基于第一步态，触发判定分析机制，判断拐杖是否存在使用记录，若不存在使用记录，则基于目标数据构建出初始训练模型；反之，对环境参数和拐杖参数深度分析，获得环境评估系数和拐杖评估系数，计算对第一步态的平衡影响比例，对应生成高风险、中风险或低风险信号；

56、调整修正模块，二次提取肢体运动特征，以识别异常关键点，判定摔倒行为，获得第一摔倒系数；结合中或高风险信号，判定摔倒姿态，并执行调整修正策略，计算第二摔倒系数；

57、模型优化模块，基于初始训练模型添加若干个空白连接层，以第一摔倒系数、第二摔倒系数对应的数据集训练空白连接层，提取数据集的峰值、均值、标准差以及均方根，并结合第一摔倒系数、第二摔倒系数作为分类特征进行积分，获得融合特征，并由连接层向前调整全连接层。

58、（三）有益效果

59、本发明提供了一种基于特征融合的居家老人摔倒监测系统及方法，具备以下有益效果：

60、1、本发明通过图像识别并结合多种网络结构，包括改进后的openpose网络、coordconv以及替换vgg-16为efficientnet，保证获取检测结果的合理性和有效性，以获得居家老人的第一步态，便于后续分析，针对正常行走、快速行走以及静止站立的三种步态，针对性地基于显著特征计算平衡影响比例，计算居家老人摔倒的风险，有效地提高了不同步态下摔倒可能性分析的准确性和可靠性，便于后续进行摔倒程度分析工作的有效性；

61、2、本发明基于不同风险信号下对不同摔倒姿态通过偏转分析，提取与摔倒姿态相关联的关键点，并计算关键点变化位置相对于坐标轴的偏转角度，以实时监测人体姿势的变化；还对仰面后摔、朝地前摔以及仰面后摔的三种摔倒姿态进行单独建模，计算生成第二摔倒系数，理解不同摔倒姿态的特征，为后续模型训练提供分析基础；

62、3、本发明通过以拐杖是否有使用记录为前提，建立初始训练模型，并基于初始训练模型添加若干个空白连接层，将初始训练模型作为起点，对初始训练模型的特征进行调整，通过在新连接层上进行有针对性的训练，显著减少从头开始训练模型所需的时间和计算资源；提取数据集的峰值，均值、标准差、均方根、第一摔倒系数、第二摔倒系数，并将其作为分类特征进行积分，以增强输入特征，提高模型的泛化能力。