一种基于机器视觉的摔倒检测方法和系统

1.本发明涉及摔倒检测技术领域，更具体地，涉及一种基于机器视觉的摔倒检测方法和系统。


背景技术：

2.摔倒是生活中难以避免的意外情况，且摔倒产生的后果难以预料，若摔倒后身旁有人救助，则通常不至于造成严重后果，但对于独居人士，尤其是独居老人或身体状态不佳、有潜伏疾病的人，一方面由于体格较弱，更容易摔倒，另一方面在摔倒后会面临比健康人摔倒更大的伤害，在身旁无人的情况下，容易出现不可挽回的严重后果。现代社会也使独居情况更加普遍，因此，避免独居人士摔倒后无人救助是亟待解决的问题。
3.公开号为cn112819855a，公开日：2021
‑
05
‑
18，提出的基于养老院的人员摔倒检测方法、设备及介质，通过使用矩形框对当前时刻图像中的待检测老人进行标定，实现摔倒检测，但该检测方法只能检测摔倒情况，对摔倒后是否受伤无法检测，误报会对人力物力造成浪费。


技术实现要素：

4.本发明为克服上述现有技术存在的缺陷，提供一种自动摔倒检测，并能够判断摔倒后异常情况的摔倒检测方法。
5.为解决上述技术问题，本发明的技术方案如下：
6.一种基于机器视觉的摔倒检测方法，包括步骤；
7.s1：获取实时的监控视频数据；
8.s2：对实时监控视频数据进行数据增强处理，得到视频中每一帧图像对应的图像张量信息；
9.s3：对图像张量信息中的人体关键骨骼点进行提取，并将提取到的骨骼点转化为一组骨骼点坐标；
10.s4：获取n张连续图像帧的骨骼点坐标，根据连续图像帧的相邻帧之间骨骼点坐标的位置关系，识别图像中人体的姿态，进而判断图像中的人是否出现异常情况，所述异常情况是指摔倒且有异常行为；
11.s5：若判断为异常情况，则将报警信息发送到预设报警对象。
12.本技术方案中，对摄像头采集的图像中人的姿态自动化进行识别，无繁琐操作使用方便，并且识别过程不涉及将监控录像上传到服务器或监控人员处，整个摔倒检测过程可以直接部署在本地，没有隐私泄露风险，在判断为摔倒情况后还需确认出现异常行为，防止对未发生紧急情况进行误报，使每一次救援都是针对真正需要帮助的情况，节约了人力物力，提高救援人员的成就感和积极性。
13.进一步地，步骤s2所述数据增强处理具体包括步骤：
14.s21：直方图均衡化处理，以增强图像对比度；
15.s22：灰度值归一化处理，使得图像灰度值区间从[0,255]映射为[
‑
1,1]；
[0016]
s23：对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸；
[0017]
上述技术方案中，所述直方图均衡化处理用于将图像直方图进行均衡化，使得图像的灰度级能够覆盖更宽的灰度范围以增强图像的对比度，进而提高后续模型检测的精度，减少随机因素带来的干扰；所述灰度值归一化用于构建映射使得灰度值区间从[0,255]映射为[
‑
1,1]，以减少后续人体姿态估计单元的处理难度，降低模型的学习难度，为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中均值μ＝128，σ＝255；所述预设尺寸为192x192。
[0018]
进一步地，步骤s3提取所述骨骼点包括步骤：
[0019]
s31：将数据增强后的图像输入基于热图的生成式模型；
[0020]
s32：通过模型的特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道rgb图像张量信息中提取出关于人体高级特征信息张量；
[0021]
s33：通过模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0022]
进一步地，步骤s3还包括骨骼点数据库数据处理步骤，具体为：骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行flatten处理后得到骨骼点一维向量，在又有新的一帧视频图像的骨骼点坐标提取完毕后，删除位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。
[0023]
上述技术方案中，骨骼点数据库采用了先进先出队列作为存储结构，可以简化数据库程序。
[0024]
进一步地，步骤s4所述识别人体的肢体动作包括步骤：
[0025]
s41：将所述骨骼点数据库数据处理步骤中flatten处理后得到的所述骨骼点一维向量输入随机森林模型；
[0026]
s42：随机森林模型中的100个学习器各自判断画面中的人是否摔倒，并且每个学习器对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票；
[0027]
s43：记录投票结果，然后返回执行步骤s1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给步骤s5。
[0028]
一种基于机器视觉的摔倒检测系统，包括：摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元；并且所述摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元依次连接；
[0029]
摄像头采集实时监控画面，并将监控画面传输给图像预处理单元，图像预处理单元对监控画面图像进行数据增强，将数据增强后的图像传输给骨骼点提取单元，骨骼点提取单元提取图像中的骨骼点坐标，将骨骼点坐标数据传输给骨骼点数据库，骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行flatten处理后得到骨骼点一维向
量，骨骼点数据库将所述骨骼点一维向量发送给姿态识别单元，姿态识别单元识别姿态是否出现异常情况，若识别结果是摔倒且出现异常行为则为异常情况。
[0030]
进一步地，所述图像预处理单元包括：直方图均衡化模块、灰度值归一化模块、尺寸调整模块，所述直方图均衡化模块、灰度值归一化模块、尺寸调整模块依次连接，直方图均衡化模块首先对输入图像进行直方图均衡化处理，然后直方图均衡化模块将处理后的图像传输到灰度值归一化模块，灰度值归一化模块对图像进行灰度值归一化处理，然后灰度值归一化模块将处理后的图像传输到尺寸调整模块，尺寸调整模块对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸。
[0031]
上述技术方案中，所述直方图均衡化处理用于将图像直方图进行均衡化，使得图像的灰度级能够覆盖更宽的灰度范围以增强图像的对比度，进而提高后续模型检测的精度，减少随机因素带来的干扰；所述灰度值归一化用于构建映射使得灰度值区间从[0,255]映射为[
‑
1,1]，以减少后续人体姿态估计单元的处理难度，降低模型的学习难度，为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中均值μ＝128，σ＝255。
[0032]
进一步地，所述骨骼点提取单元为基于热图的生成式模型，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述模型包括：特征提取模块和解码器，所述特征提取模块具有编码器结构，模型接收图像预处理单元输出的图像，由特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道rgb图像张量信息中提取出关于人体高级特征信息张量，然后模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0033]
进一步地，所述骨骼点数据库传入新的骨骼点坐标时，删除骨骼点数据库中位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。
[0034]
进一步地，还包括报警单元，所述姿态识别单元为随机森林模型，所述随机森林模型中包括100个学习器，每个学习器各自判断画面中的人是否摔倒，并且对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票，记录投票结果，然后返回执行步骤s1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给报警单元。
[0035]
与现有技术相比，本发明技术方案的有益效果是：对摄像头采集的图像中人的姿态自动化进行识别，无繁琐操作使用方便，并且识别过程不涉及将监控录像上传到服务器或监控人员处，整个摔倒检测过程可以直接部署在本地，没有隐私泄露风险，在判断为摔倒情况后还需确认出现异常行为，防止对未发生紧急情况进行误报，使每一次救援都是针对真正需要帮助的情况，节约了人力物力，提高救援人员的成就感和积极性。
附图说明
[0036]
图1为摔倒检测方法流程图；
[0037]
图2为摔倒检测系统架构图；
具体实施方式
[0038]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0039]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0040]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0041]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0042]
实施例1
[0043]
本实施例的基于机器视觉的摔倒检测方法流程图如图1所示，包括步骤：
[0044]
s1：获取实时的监控视频数据；
[0045]
s2：对实时监控视频数据进行数据增强处理，得到视频中每一帧图像对应的图像张量信息；所述数据增强处理具体包括：
[0046]
s21：直方图均衡化处理，以增强图像对比度；
[0047]
上述技术方案中，所述直方图均衡化处理用于将图像直方图进行均衡化，使得图像的灰度级能够覆盖更宽的灰度范围以增强图像的对比度，进而提高后续模型检测的精度，减少随机因素带来的干扰；
[0048]
s22：灰度值归一化处理，使得图像灰度值区间从[0,255]映射为[
‑
1,1]；
[0049]
本实施例中，所述灰度值归一化用于构建映射为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中均值μ＝128，σ＝255；灰度值归一化处理可以减少后续人体姿态估计单元的处理难度，降低模型的学习难度。
[0050]
s23：对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸；
[0051]
本实施例中，所述预设尺寸为192x192；
[0052]
s3：对图像张量信息中的人体关键骨骼点进行提取，并将提取到的骨骼点转化为一组骨骼点坐标；具体包括：
[0053]
s31：将数据增强后的图像输入基于热图的生成式模型；
[0054]
s32：通过模型的特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道rgb图像张量信息中提取出关于人体高级特征信息张量；
[0055]
s33：通过模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0056]
本实施例中，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述人体高级特征信息张量的尺寸为12x12、通道数为512、进行了十六倍下采样，所述通道数量m为17，所述关键骨骼点热图的尺寸为48x48、进行了四倍上采样，所述的17通道关键骨骼点热图为人体姿态估计单元的输出，其中每一个热图对应了一个关键
骨骼点，该热图的坐标近似对应了原始图像的坐标，任一位置的热力值对应了该关键骨骼点位于此位置所具有的置信度，具有最大的热值坐标即为原始图像中对应的关键骨骼点。
[0057]
还包括骨骼点数据库数据处理步骤，具体为：骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行flatten处理后得到骨骼点一维向量，在又有新的一帧视频图像的骨骼点坐标提取完毕后，删除位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。当系统关闭时，该骨骼点数据库中队列将被清空，以防止造成误判。
[0058]
s4：获取n张连续图像帧的骨骼点坐标，根据连续图像帧的相邻帧之间骨骼点坐标的位置关系，识别图像中人体的姿态，进而判断图像中的人是否出现异常情况，所述异常情况是指摔倒且有异常行为；具体包括：
[0059]
s41：将所述骨骼点数据库数据处理步骤中flatten处理后得到的所述骨骼点一维向量输入随机森林模型；
[0060]
s42：随机森林模型中的100个学习器各自判断画面中的人是否摔倒，并且每个学习器对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票；
[0061]
s43：记录投票结果，然后返回执行步骤s1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给步骤s5。
[0062]
s5：若判断为发生异常情况，则将报警信息发送到预设报警对象。
[0063]
本实施例中，所述预设报警对象包括：社区医疗机构、社区管理机构、社区居委会；监控对象的直系亲属、近邻亲戚中的一种或几种。
[0064]
实施例2
[0065]
本实施例的基于机器视觉的摔倒检测系统如图2所示，包括：摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元；并且所述摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元依次连接；
[0066]
摄像头采集实时监控画面，并将监控画面传输给图像预处理单元，图像预处理单元对监控画面图像进行数据增强，将数据增强后的图像传输给骨骼点提取单元，骨骼点提取单元提取图像中的骨骼点坐标，将骨骼点坐标数据传输给骨骼点数据库，骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行flatten处理后得到骨骼点一维向量，骨骼点数据库将所述骨骼点一维向量发送给姿态识别单元，姿态识别单元识别姿态是否出现异常情况，若识别结果是摔倒且出现异常行为则为异常情况。
[0067]
所述图像预处理单元包括：直方图均衡化模块、灰度值归一化模块、尺寸调整模块，所述直方图均衡化模块、灰度值归一化模块、尺寸调整模块依次连接，直方图均衡化模块首先对输入图像进行直方图均衡化处理，然后直方图均衡化模块将处理后的图像传输到灰度值归一化模块，灰度值归一化模块对图像进行灰度值归一化处理，然后灰度值归一化模块将处理后的图像传输到尺寸调整模块，尺寸调整模块对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸。
[0068]
本实施例中，所述灰度值归一化模块用于构建映射为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中
均值μ＝128，σ＝255；所述预设尺寸为192x192。
[0069]
所述骨骼点提取单元为基于热图的生成式模型，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述模型包括：特征提取模块和解码器，所述特征提取模块具有编码器结构，模型接收图像预处理单元输出的图像，由特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道rgb图像张量信息中提取出关于人体高级特征信息张量，然后模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0070]
本实施例中，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述人体高级特征信息张量的尺寸为12x12、通道数为512、进行了十六倍下采样，所述通道数量m为17，所述关键骨骼点热图的尺寸为48x48、进行了四倍上采样，所述的17通道关键骨骼点热图为人体姿态估计单元的输出，其中每一个热图对应了一个关键骨骼点，该热图的坐标近似对应了原始图像的坐标，任一位置的热力值对应了该关键骨骼点位于此位置所具有的置信度，具有最大的热值坐标即为原始图像中对应的关键骨骼点。
[0071]
所述骨骼点数据库传入新的骨骼点坐标时，删除骨骼点数据库中位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。
[0072]
所述姿态识别单元为随机森林模型，所述随机森林模型中包括100个学习器，每个学习器各自判断画面中的人是否摔倒，并且对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票，记录投票结果，然后返回执行步骤s1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况。
[0073]
本实施例中，所述预设报警对象包括：社区医疗机构、社区管理机构、社区居委会；监控对象的直系亲属、近邻亲戚中的一种或几种。
[0074]
实施例3
[0075]
本实施例的基于机器视觉的摔倒检测系统如图2所示，包括：摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元、报警单元；并且所述摄像头、图像预处理单元、骨骼点提取单元、骨骼点数据库、姿态识别单元、报警单元依次连接；
[0076]
摄像头采集实时监控画面，并将监控画面传输给图像预处理单元，图像预处理单元对监控画面图像进行数据增强，将数据增强后的图像传输给骨骼点提取单元，骨骼点提取单元提取图像中的骨骼点坐标，将骨骼点坐标数据传输给骨骼点数据库，骨骼点数据库保存有最新的n帧图像的骨骼点坐标队列，对骨骼点坐标队列进行整合，得到一个形如nxmx2的骨骼点序列张量，然后对骨骼点序列张量进行flatten处理后得到骨骼点一维向量，骨骼点数据库将所述骨骼点一维向量发送给姿态识别单元，姿态识别单元识别姿态是否出现异常情况，若识别结果是摔倒且出现异常行为则为异常情况，将异常情况发送到报警单元，报警单元向预设报警对象发送报警信号。
[0077]
所述图像预处理单元包括：直方图均衡化模块、灰度值归一化模块、尺寸调整模块，所述直方图均衡化模块、灰度值归一化模块、尺寸调整模块依次连接，直方图均衡化模块首先对输入图像进行直方图均衡化处理，然后直方图均衡化模块将处理后的图像传输到灰度值归一化模块，灰度值归一化模块对图像进行灰度值归一化处理，然后灰度值归一化
模块将处理后的图像传输到尺寸调整模块，尺寸调整模块对图像进行图像尺寸填充调整，使用零填充策略将图像填充为正方形的长宽比例，并从原尺寸放缩为统一的预设尺寸。
[0078]
本实施例中，所述灰度值归一化模块用于构建映射为避免在灰度值归一化中启发式超参数对不同环境的影响，所述映射使用了一种不具启发性的超参数，其中均值μ＝128，σ＝255；所述预设尺寸为192x192。
[0079]
所述骨骼点提取单元为基于热图的生成式模型，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述模型包括：特征提取模块和解码器，所述特征提取模块具有编码器结构，模型接收图像预处理单元输出的图像，由特征提取模块循环执行四次的3x3卷积、批量归一化、最大池化处理，从3通道rgb图像张量信息中提取出关于人体高级特征信息张量，然后模型的解码器循环执行两次的反卷积、3x3卷积、批量归一化处理，将所述高级特征信息张量转换为m通道关键骨骼点热图，其中每一个热图对应了一个人体关键骨骼点。
[0080]
本实施例中，所述基于热图的生成式模型是一款基于全卷积的热图回归型姿态估计深度神经网络，所述人体高级特征信息张量的尺寸为12x12、通道数为512、进行了十六倍下采样，所述通道数量m为17，所述关键骨骼点热图的尺寸为48x48、进行了四倍上采样，所述的17通道关键骨骼点热图为人体姿态估计单元的输出，其中每一个热图对应了一个关键骨骼点，该热图的坐标近似对应了原始图像的坐标，任一位置的热力值对应了该关键骨骼点位于此位置所具有的置信度，具有最大的热值坐标即为原始图像中对应的关键骨骼点。
[0081]
所述骨骼点数据库传入新的骨骼点坐标时，删除骨骼点数据库中位于所述骨骼点坐标队列头的m个人体关键骨骼点坐标，并将新一帧的m个人体关键骨骼点坐标数据塞入骨骼点坐标队列尾中。
[0082]
所述姿态识别单元为随机森林模型，所述随机森林模型中包括100个学习器，每个学习器各自判断画面中的人是否摔倒，并且对识别结果进行投票，若判断为摔倒且出现异常行为时投赞成票，否则投反对票，记录投票结果，然后返回执行步骤s1，若连续三次投票结果的赞成票超过50票，则认为发生异常情况，并将发生异常情况的判断结果传输给报警单元。所述报警单元在接收到异常情况时，将报警信息发送到预设报警对象。
[0083]
本实施例中，所述预设报警对象包括：社区医疗机构、社区管理机构、社区居委会；监控对象的直系亲属、近邻亲戚中的一种或几种。
[0084]
本实施例还包括系统基础模块，所述的系统基础模块用于保证系统正常工作，包括：逻辑处理单元、电源模块和散热模块。所述逻辑处理单元用于为系统提供逻辑控制，与系统内其余所有模块或单元相连；所述电源模块用于为系统各模块或单元提供正常工作所需电流，与系统内其余所有模块或单元相连；所述散热模块用于稳定系统温度，与系统内其余所有模块或单元相连；
[0085]
本实施例还包括综合数据库，所述的综合数据库除上述骨骼点数据库外，还包括结果数据库与视频流数据库。所述结果数据库用于保存最近时期内或异常情况下的姿态识别单元检测结果；所述视频流数据库用于保存最近时期内或异常情况下摄像头拍摄的视频流数据。所述综合数据库的结果数据库与视频流数据库的输入接口与所述姿态识别单元连接，综合数据库的输出接口与报警单元连接，通过姿态识别单元将视频流数据和姿态识别单元检测结果数据输入到综合数据库的结果数据库与视频流数据库，综合数据库将报警信
息发送到报警对象，本实施例中所述报警信息包括：异常情况判断结果、异常情况发生时的视频数据。
[0086]
本发明对摄像头采集的图像中人的姿态自动化进行识别，无繁琐操作使用方便，并且识别过程不涉及将监控录像上传到服务器或监控人员处，整个摔倒检测过程可以直接部署在本地，没有隐私泄露风险，在判断为摔倒情况后还需确认出现异常行为，防止对未发生紧急情况进行误报，使每一次救援都是针对真正需要帮助的情况，节约了人力物力，提高救援人员的成就感和积极性。
[0087]
相同或相似的标号对应相同或相似的部件。
[0088]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0089]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。