基于深度神经网络的人体跌倒检测方法、装置和电子设备与流程

1.本技术实施例涉及人工智能领域，具体涉及一种基于深度神经网络的人体跌倒检测方法及系统。


背景技术：

2.跌倒已成为老年群体日益严重的问题，因为跌倒造成老年人伤亡事件呈逐年上升趋势，已成为全球范围内的社会问题，根据世界卫生组织的统计，每年约有646000名老年人因跌倒而死亡，并且约有28
‑
35％的65岁以上的老年人出现跌倒情况。因此，具有高准确度的人体跌倒检测方法及系统迫切需要被提出并投入使用。目前的人体跌倒检测方法及系统主要可分为两类：基于传感器设备的方法和基于计算机视觉的方法。基于传感器的方法主要通过使用加速度计来测量运动加速度，速度和角度等来判断是否发生跌倒，但这类方法要求老年人一直携带传感器设备，在成本和方便程度等方面不具有优势。基于计算机视觉的方法可以基于常见的室内监控摄像头获取视频数据进行跌倒检测，不会对被检测者造成影响，也更易于部署。但复杂多样的环境场景会对检测带来挑战。近年来深度学习方法发展迅速，深度神经网络等方法在多个计算机视觉问题上实现规模化运用，因此，将深度学习方法应用于人体跌倒检测应用场景，以解决上述社会问题。


技术实现要素：

3.本技术实施例目的在于克服上述问题或者至少部分地解决或缓减上述问题，本技术提供的技术方案解决目前使用连续视频数据导致的对网络带宽和计算量要求导致的成本偏高而不能实际使用的问题。
4.第一方面，本技术实施例提供了一种基于深度神经网络的人体跌倒检测方法，包括：
5.设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
6.对多人所述人体关键点的坐标进行预处理和标注；
7.将经过预处理和标注的多人所述人体关键点坐标输入第二深度神经网络进行训练；
8.通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
9.根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
10.与现有技术相比，本发明实施例通过使用一种全新的基于深度神经网络的人体跌倒检测方法，首先将大量多人人体不同动作姿态单帧图片数据输入一种深度神经网络，获取多人人体关键点坐标，并对多人人体关键点的坐标进行预处理和标注，再将经过预处理和标注的人体关键点的坐标输入另一个深度神经网络，对该深度神经网络进行训练，直至
该深度神经网络精度达到预设精度，由于用于深度神经网络训练的多人人体动作姿态图片采用单帧图片，大大减少了模型预测对网络带宽和计算量的要求，很大程度上解决了目前使用连续视频数据导致的对网络带宽和计算量要求大导致的成本偏高而不能实际使用的问题。
11.第二方面，本技术实施例还提供了一种基于深度神经网络的人体跌倒检测装置，包括：
12.坐标获取模块，用于设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
13.坐标处理模块，用于对多人所述人体关键点坐标进行预处理和标注；
14.模型训练模块，用于将经过预处理和标注的多人所述人体关键点的坐标输入第二深度神经网络进行训练；
15.概率计算模块，用于通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
16.姿态判断模块，用于当计算预测到人体动作姿态的类别为跌倒，且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
17.与现有技术相比，本发明实施例提供的一种基于深度神经网络的人体跌倒检测装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不在赘述。
18.第三方面，本技术实施例还提供了一种电子设备，包括：
19.多个存储器，分别用于存储计算机软件；
20.多个处理器，分别执行计算机软件，以实现第一方面任一一项所述的服务模块的功能和操作。
21.与现有技术相比，本发明实施例提供的一种电子设备的有益效果与第一方面提供的技术方案的有益效果相同，在此不在赘述。
附图说明
22.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
23.图1为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测系统结构示意图；
24.图2为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测方法流程示意图；
25.图3为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测方法具体流程示意图；
26.图4为本发明一实施例的人体关键点坐标示意图；
27.图5为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测装置的结构示意图；
28.图6为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
30.图1示出了可以应用本技术提供的基于深度神经网络的人体跌倒检测系统的示例性架构图。
31.如图1所示，系统架构可以包括人机交互终端11、12、13，云计算平台或边缘计算设备或边缘计算设备14和摄像头组15，云计算平台或边缘计算设备 14与人机交互终端11、12、13和摄像头组15之间通过internet(因特网)通信，云计算平台或边缘计算设备14用以部署第一深度神经网络和第二深度神经网络，且为第一深度神经网络获取人体关键点坐标、训练第二深度神经网络及通过训练的第二深度神经网络计算待检测人体动作姿态类别的概率提供算力运行平台。
32.人机交互终端11、12、13用于接收各类消息如报警消息等。人机交互终端 11、12、13可以安装有各种客户端应用，例如网页浏览器、移动app、微信客户端及小程序等，人机交互终端11、12、13是安装应用软件的硬件设备，可以是具有显示屏且支持与云计算平台或边缘计算设备14通信的各种电子设备，包括但不限于个人计算机、笔记本电脑或智能手机等，在此不做具体限定。
33.摄像头组15可以是安装部署在待检测人体16实际活动环境比如房屋中的一个或多个可以接入internet摄像头，这些摄像头用来采集目标检测对象的动作姿态，摄像头组15将采集到的人体动作姿态图片数据通过internet输入至到云计算平台或边缘计算设备14上部署的第一深度神经网络，获取多人人体关键点坐标，然后对多人人体关键点坐标进行预处理和标注，将经过预处理和标注的多人人体关键点坐标输入第二深度神经网络进行训练；通过训练的所述第二深度神经网络计算待检测人体动作姿态类别的概率；根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒，此时可以通过云计算平台或边缘计算设备14和人机交互终端11、12、13之间的internet通信传送报警信息到人机交互终端11、12、13。
34.应该理解，图1中的人机交互终端11、12、13、云计算平台或边缘计算设备14和摄像头组15的数目仅仅是示意性的，可以根据实际需要安装部署所需要的人机交互终端11、12、13、云计算平台或边缘计算设备14和摄像头组15。
35.继续参考图2，示出了根据本技术提供的基于深度神经网络的人体跌倒检测方法的的流程示意图，包括以下步骤：
36.步骤s21，设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标。
37.需要说明的是，本技术实施例设定待预测的动作姿态类别为9类动作姿态，分别为
站立，蹲下，弯腰，坐姿(椅子)，坐姿(地面)，趴下，躺下，侧倒和爬行，也可以根据需要调整分类类别，按照人体动作姿态分类类别分别拍摄视频获得大量图片数据，输入第一深度神经网络。
38.本发明实施例第一深度神经网络选用openpose网络模型，openpose网络模型是本领域技术人员熟知的，在此不在赘述，上述人体不同动作姿态大量图片数据输入openpose网络后，首先经过openpose网络多层处理，经openpose网络的输出层激活处理，得到多人人体关键点坐标。
39.步骤s22，对多人所述人体关键点的坐标进行预处理和标注。
40.需要说明的是，本技术实施例中，如图4所示，选择人体25个关键点，其中头部0、15、16、17、18共五个点位置很接近，计算其坐标平均值，合并为一个人体关键点，所以本技术实施例共计21个人体关键点。对于其中每一个人体关键点的坐标的预处理包括对多人所述人体关键点的坐标进行过滤处理和/或归一化处理和/或缺失补全处理和/或畸变矫正处理。
41.对多人人体关键点坐标进行过滤处理是根据预先设定的21个人体关键点，根据人体动作姿态分类检测的需要，根据重要性赋予这21个点不同的分值，将 openpose网络成功识别的人体关键点重要性的分值相加，当小于设定的阈值，则忽略去该人体关键点坐标。
42.对多人人体关键点坐标进行归一化处理是将每一个人体关键点移至预设坐标原点附近并将每一关键点的坐标变换到
‑
1和1之间。
43.对多人人体关键点坐标进行缺失补全处理是指将openpose识别失败的人体关键点坐标按照就近补全规则，用距离最近且识别成功的关键点的坐标代替。
44.对多人人体关键点坐标进行畸变矫正处理处理是估计由于图像畸变产生的消失点坐标，连接所述消失点和图像中心点形成连线；确定所述连接所述消失点和图像中心点形成连线和图像垂直平分线之间的夹角角度；对所述多人人体关键点坐标进行坐标变换，取得新的所述多人人体关键点坐标。
45.步骤s23，将经过预处理和标注的多人所述人体关键点的坐标输入第二深度神经网络进行训练。
46.需要说明的是，本技术实施例中，所述第二深度神经网络部署于云计算平台或边缘计算设备，经过同样部署于云计算平台或边缘计算设备的第一深度神经网络即在本实施例中选用的openpose网络输出并经过预处理和标注的数据在第二深度神经网络进行训练后，在实际使用场景用来计算人体姿态类别出现的概率，预测判别跌倒是否发生。
47.在本实施例中，第二深度神经网络采用多层感知机(multilayerperceptron
‑‑‑
mlp)模型。mlp模型有一个输入层、一个输出层和多个隐藏层，这些隐藏层具有不同数量的隐藏神经元，每个神经元可以表示为h
i
＝α(∑ w
i
x
i
+b
i
)。每个隐藏层的神经元具有相同的激活函数，在mlp中，下层的所有神经元都连接到其相邻的上层的所有神经元，因mlp也被称为全连接网络。
48.在本实施例中，mlp模型使用梯度下降算法进行训练，在输出层，定义一个误差函数或目标函数，当输入经openpose网络输出的多人人体关键点坐标，并经过预处理和标注的多人人体关键点坐标，训练mlp模型，所述隐藏层和输出层的相关权重参数如α、w
i
、b
i
等持续迭代更新，直至误差函数或目标函数达到阈值，mlp模型训练完成。
49.步骤s24，通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率。
50.需要说明的是，在本发明实施例中，经过步骤s24已经对确定人体姿态类别的第二深度神经网络完成训练，所以可以通过第二深度神经网络计算待检测人体动作姿态类别出现的概率，预测判别跌倒的发生。首先通过第一深度神经网络获取人体动作姿态的人体关键点坐标，并输入完成训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率，预测判别跌倒是否发生。
51.步骤s25，根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
52.在本技术实施例中，检测目标区域安装有摄像头，将实时拍摄到的人体动作姿态图片先输入至openpose网络，获取到人体关键点坐标，将人体关键点坐标输入到完成训练的mlp模型计算人体动作姿态类别出现的概率，本实施例将“侧倒”、“趴下”、“躺下”三种姿态中至少其中一种类别出现概率最大判别为一次跌倒，当输入连续3帧图像数据，经姿态概率计算并判别为跌倒，则确定所述待检测人体动作姿态的类别为跌倒。由部署运行于云计算平台或边缘计算设备的动作姿态分类mlp通过internet发送报警信息到人机交互终端。
53.继续参考图3，示出了根据本技术提供的基于深度神经网络的人体跌倒检测方法的的具体流程示意图，包括第二深度神经网络部署s300和部署实际应用过程s301，其中：
54.第二深度神经网络训练过程s300包括：
55.步骤s31输入图片数据到第一深度神经网络，
56.步骤s32，第一深度神经网络输出多人人体关键点坐标；
57.步骤s36，对获取的多人人体关键点坐标进行预处理和标注；
58.步骤s33，将关键点坐标输入第二深度神经网络进行训练。
59.当第二深度神经网络训练达到预设精度，部署于实际使用场景用于人体跌倒检测，部署实际应用过程s301，包括：
60.步骤s31，将实际检测场景摄像头采集的多人人体姿态图片数据输入第一深度神经网络；
61.步骤s32，第一深度神经网络输出多人人体关键点坐标；
62.步骤s33，第一深度神经网络输出多人人体关键点坐标并输入第二深度神经网络；
63.步骤s34，计算预先设定的人体姿态类别的概率；
64.步骤s35，根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒，则触发报警。
65.继续参考图5，示出了本技术实施例提供了一种基于深度神经网络的人体跌倒检测装置，包括坐标获取模块51，坐标处理模块52，模型训练模块53，姿态判别模块54；
66.坐标获取模块51，用于设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
67.坐标处理模块52，用于对多人所述人体关键点的坐标进行预处理和标注；
68.模型训练模块53，用于将经过预处理和标注的多人所述人体关键点的坐标输入第
二深度神经网络进行训练；
69.概率计算模块54，用于通过训练的所述第二深度神经网络计算待检测人体动作姿态出现的概率；
70.姿态判别模块55，用于根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
71.与现有技术相比，本技术实施例提供的一种基于深度神经网络的人体跌倒检测系统的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
72.继续参考图6，本技术实施例还提供了一种电子设备，包括
73.多个存储器，分别用于存储计算机软件；
74.多个处理器，分别执行计算机软件，以实现上述任一一技术方案所述的服务模块的功能和操作。
75.具体该电子设备可以包括处理装置(例如中央处理器、图形处理器等)61，其可以根据存储在只读存储器(rom)62中的程序或者从存储装置68加载到随机访问存储器(ram)63中的程序而执行各种适当的动作和处理。在ram 63 中，还存储有电子设备操作所需的各种程序和数据。处理装置61、rom62以及 ram63通过总线64彼此相连。输入/输出(i/o)接口65也连接至总线64。
76.通常，以下装置可以连接至i/o接口65：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置66；包括例如液晶显示器(lcd，liquid crystal display)、扬声器、振动器等的输出装置67；包括例如磁带、硬盘等的存储装置68；以及通信装置69。通信装置69可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
77.在本技术的实施例中，各个模块或系统可以是由计算机软件指令形成的处理器，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列 (fieldprogrammable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
78.与现有技术相比，本技术实施例提供的一种电子设备的有益效果与上述任一项技术方案的有益效果相同，在此不再赘述。
79.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。