本发明涉及跌倒检测，具体涉及一种基于计算机视觉的摔倒检测系统及检测方法和移动电子设备。
背景技术：
1、目前，我国的养老研究有居家养老、社区养老和机构养老三种模式。其中，超过99％的老年人在居家和社区养老，仅有不到1％的老年人在机构养老，老年人随着年龄的增加，衰老症状和退行性病变会逐步加快加深，生理机能逐渐衰退，认知能力也随之下降，在居家和社区环境下，容易出现独居老年人跌倒的安全隐患。
2、如何对老年人、病人、特殊场所的人群进行自动摔倒监测是亟待解决的问题。目前，在跌倒监测领域中，基于可穿戴设备、基于环境传感器、检测雷达等主流监测方法面临着设备复杂、成本较高等问题。其中，基于计算机视觉技术的摔倒检测方法一般可分为动态和静态两种检测方法，基于人工智能算法，动态方法对某个视频片段进行检测，静态方法对某张图片进行检测。
3、动态方法以视频帧形式按时间顺序迭代运行神经网络算法处理，该方法要求高速摄像头硬件记录视频帧，数据处理量较大，所采用算法要求设备进行适配，带来较高的边缘端设备部署成本，基于网络传输数据至云服务器处理，也会面临较大传输带宽压力。
4、静态方法以二维图像数据运行算法处理，该方法受限于神经网络模型规模和训练数据，难以适应复杂多样的家庭场景，容易造成漏识别和误识别情况。
技术实现思路
1、为了克服现有技术中存在的缺点和不足，本发明的目的在于提供一种基于计算机视觉的摔倒检测系统，该摔倒检测系统配备毫米波雷达模块和视觉模块，基于边缘设备端和服务端协作运行毫米波雷达位置检测算法、基础图像识别算法和多模态微调大模型识别算法，实现基于静态图片的跌倒事件检测。
2、本发明的目的通过下述技术方案实现：一种基于计算机视觉的摔倒检测系统，其特征在于：包括毫米波雷达模块、视觉模块、处理器和储存模块；
3、所述毫米波雷达模块，通过系统对场景反馈的毫米波雷达数据进行相关的聚类算法运算，得到场景内毫米波反馈信号强度超过阈值的有效数据对象，基于进一步的几何关系算法计算，得到模块检测有效范围内对象的位置和高度信息；
4、所述视觉模块，当毫米波雷达模块检测得到跌倒事件，基于目标检测算法和关键点检测算法，系统驱动摄像头移动拍摄场景图片并连同对应检测信息上传至算法应用的储存模块；
5、所述处理器，接收检测信息和图像数据，对图像数据进行基于多模态微调大模型识别算法处理，根据提示词从输出结果中获取关键有效内容，当输出内容符合所定义相关条件，则判定多模态大模型识别算法检测得到跌倒事件。
6、优选的，执行所述多模态微调大模型识别算法时包括如下步骤：
7、s1、输入图像数据img、文本词prompt、均值矩阵mean、标准差矩阵std；
8、s2、执行imgi＝imgi-mean；其中，i＝(1，n)；
9、s3、执行imgi＝imgi÷std；
10、s4、适配多模态微调大模型推理；
11、s5、event＝vl func(imgi，prompt)
12、s6、ifevent＝＝true then
13、s7、如果事件正确，则输出；
14、s8、否则输出其他，并继续执行，直到结束。
15、优选的，所述多模态微调大模型识别算法检测得到跌倒事件时，对图像数据进行语义分割算法处理，得到图像场景内特定类别物体的分割区域数据矩阵，记录为地面区域、人体、床、沙发、椅子、电视区域，并对图像数据进行物体检测算法记录为人体、床、沙发、椅子、电视检测框信息，并对上述上信息用于进行过滤处理。
16、优选的，所述过滤处理包括检测框重叠判断、检测框和分割矩阵区域重叠判断、分割矩阵区域重叠判断、基于检测和分割的跌倒事件判断。
17、优选的，进行检测框重叠判断时，遍历人体检测框和电视检测框，计算人体检测框和电视检测框的交集，计算交集占电视检测框面积或人体检测框面积的最大占比，当占比符合所设定的阈值，则忽略当前人体检测框的跌倒事件。
18、优选的，所述毫米波雷达模块、视觉模块与本地服务器或云端服务器通信连接，所述处理器和储存模块是本地服务器或云端服务器的一部分。
19、优选的，所述摄像头为rgb摄像头、rgbd摄像头、ir摄像头。
20、本发明还提供了一种基于计算机视觉的摔倒检测方法，所述摔倒检测方法采用上述基于计算机视觉的摔倒检测系统对摔倒进行检测。
21、本发明还提供了一种移动电子设备，所述移动电子设备包括处理器、储存模块及存储在储存模块上并可在处理器上运行的计算机程序。
22、本发明的有益效果在于：
23、(1)动态方式实现摔倒检测一般对视频段进行算法处理且通常需要一定时长视频片段，以720x480分辨率的三通道图像和每秒15帧抽帧视频段计算，基于h264视频编码方式传输每个视频段至少消耗1502kb流量，消耗较多流量。本发明基于静态方法和云边协运算方式进行摔倒检测，以720x480分辨率的三通道图像计算，单次检测最多消耗150kb流量，可大幅度降低网络传输带宽压力和减少网络通信资费。
24、(2)动态方式实现摔倒检测需拍摄高帧率视频，再对视频段进行抽帧和视频编码处理，这要求配备性能优良的摄像头和相应的视频编解码硬件，提高设备生产成本；同时，该方案要求在边缘设备部署视频检测算法，这对算法运行设备和设备系统资源占用有较高要求，会大幅提高设备生产成本。本发明基于静态图片实现检测，可降低对摄像头的性能要求，而且避免进行视频编解码操作，进一步降低设备硬件成本和系统资源占用；设备端仅需运行常规图像检测算法，可适配多种计算硬件，避免配备特定计算单元的设备成本和相关算法适配的研发投入。
25、(3)精度和性能平衡，动态方式实现摔倒检测需根据触发条件截取事件可能发生区间视频片段，再整合为矩阵数据进行算法处理，以720x480分辨率的三通道图像和每秒3帧的10秒视频段计算，每次检测需处理约30mb的数据量。基于该方案，受多样化的触发条件影响，可能导致多次视频截取和算法处理，为应用功能带来繁复的运算，占用系统运行资源，降低系统实时性。基于本发明方案，每一次满足触发条件，以720x480分辨率的三通道图像计算，每次检测最多仅需处理1mb的数据量，减少系统运行资源占用，提高系统整体功能的实时性和稳定性。同时，基于本方案可处理所有触发条件的实时图像数据，在边缘设备端的基础图像识别算法和服务端的高精度大模型识别算法结合下，对触发情况全盖检测，实现精度与性能的平衡。
1.一种基于计算机视觉的摔倒检测系统，其特征在于：包括毫米波雷达模块、视觉模块、处理器和储存模块；
2.根据权利要求1所述的一种基于计算机视觉的摔倒检测系统，其特征在于：执行所述多模态微调大模型识别算法时包括如下步骤：
3.根据权利要求2所述的一种基于计算机视觉的摔倒检测系统，其特征在于：所述多模态微调大模型识别算法检测得到跌倒事件时，对图像数据进行语义分割算法处理，得到图像场景内特定类别物体的分割区域数据矩阵，记录为地面区域、人体、床、沙发、椅子、电视区域，并对图像数据进行物体检测算法记录为人体、床、沙发、椅子、电视检测框信息，并对上述上信息用于进行过滤处理。
4.根据权利要求3所述的一种基于计算机视觉的摔倒检测系统，其特征在于：所述过滤处理包括检测框重叠判断、检测框和分割矩阵区域重叠判断、分割矩阵区域重叠判断、基于检测和分割的跌倒事件判断。
5.根据权利要求5所述的一种基于计算机视觉的摔倒检测系统，其特征在于：进行检测框重叠判断时，遍历人体检测框和电视检测框，计算人体检测框和电视检测框的交集，计算交集占电视检测框面积或人体检测框面积的最大占比，当占比符合所设定的阈值，则忽略当前人体检测框的跌倒事件。
6.根据权利要求1所述的一种基于计算机视觉的摔倒检测系统，其特征在于：所述毫米波雷达模块、视觉模块与本地服务器或云端服务器通信连接，所述处理器和储存模块是本地服务器或云端服务器的一部分。
7.根据权利要求1所述的一种基于计算机视觉的摔倒检测系统，其特征在于：所述摄像头为rgb摄像头、rgbd摄像头、ir摄像头。
8.一种基于计算机视觉的摔倒检测方法，其特征在于：所述摔倒检测方法采用权利要求1-7任一项所述的摔倒检测系统对摔倒进行检测。
9.一种移动电子设备，其特征在于：所述移动电子设备包括处理器、储存模块及存储在储存模块上并可在处理器上运行的计算机程序。