基于AI视觉的游泳防溺水识别方法与流程

基于ai视觉的游泳防溺水识别方法
技术领域
1.本发明涉及防止游泳时发生溺水的技术领域，具体涉及基于ai视觉的游泳防溺水识别方法。


背景技术：

2.每年随着夏季的到来，很多人都会选择游泳的方式来躲避炎炎夏日，伴随着游泳的是溺水事故频频发生，尤其是暑假学校放假，中小学生去游泳发生溺水事故现象比较突出。游泳场所虽说都配备了安全员，通过这种靠人工监测来防止溺水，该方法对安全员的要求高，且因为游泳区域的人多，需配备大量的安全员。同时，目前市场有也有部分用于防溺水的器材，其使用效果不尽人意，只能起到部分协助安全员的工作而已。因此需要一种安全可靠，且智能化程度高，方便快捷的防溺水的方法。


技术实现要素：

3.有鉴于此，有必要提供一种安全可靠，智能化的，方便快捷的基于ai视觉的游泳防溺水识别方法。
4.基于ai视觉的游泳防溺水识别方法，包括外设组件和ai智能平台，所述外设组件设有智能相机、专用滤镜、警示灯、扩音喇叭、路由器、深度学习主机、监控屏幕，所述ai智能平台设有ai智能云平台，ai智能平台安装于深度学习主机、ai智能云平台上，所述ai智能云平台基于阿里云服务器上搭建，所述深度学习主机通过网络连接ai智能云平台，实现信息数据的互联互通；所述ai智能平台设有视频流实时采集模块、ai视频分析模块、行为逻辑判定模块、联动预警模块，所述视频流实时采集模块连接，且控制智能相机，实时获取智能相机拍摄的画面，所述ai视频分析模块设有目标检测、多目标跟踪，所述ai视觉分析模块采用神经网络模型，该神经网络模型设有基本组件和基本模块，所述基本组件包括input、backbone、neck、prediction，所述基本模块包括focus、conv、c3、spp、upsample、detect，所述多目标跟踪是基于linght
‑
reid算法训练后的图像表征模型，对目标进行跟踪及识别，所述多目标跟踪设有跟踪器，跟踪器设有卡尔曼滤波器；所述行为逻辑判定模块采用3d卷积网络结构，所述3d卷积网络结构包括卷积层、池化层、全连接层、softmax输出层，所述卷积层设有8个，池化层设有5个，全连接层设有2个，softmax输出层设有1个。
5.所述基于ai视觉的游泳防溺水识别方法步骤如下：s1：视频流实时采集模块通过智能相机对游泳场地进行实时视频图像的采集；s2：ai视频分析模块对来自视频流实时采集模块的视频图像数据进行分析，完成对视频图像数据中目标检测和目标跟踪，并给每一目标建立id，且将目标特征信息建档保存，目标再次进入游泳场地时，可直接调阅原始信息及无需重新建立id；s3：行为逻辑判定模块在s1、s2步骤已完成的基础上，对目标在游泳场地内所进行的行为进行动作识别与判定；s4：行为逻辑判定模块判定目标当前存在溺水风险，则发出告警信息，行为逻辑判
定模块判定目标当前没有溺水风险，则将继续重复s1、s2、s3所述的步骤；s5：联动预警模块接受到来自行为逻辑判定模块的告警信息，将告警信息发至警示灯、扩音喇叭、监控屏幕，告知安全人员及时前往处置。
6.进一步地，所述目标检测通过视频流实时采集模块获取来自智能相机的图片，以及来自互联网网络、本地收集的素材图片，目标检测对上述图片进行数据清洗后选出有效图片；神经网络模型对数据清洗后选出的有效图片进行mosaic数据增强、自适应锚框计算、自适应图片缩放等随机算法数据扩展；图片经过神经网络模型的算法数据扩展后，神经网络模型采用半监督学习算法进行训练，该半监督学习算法在v100 gpu上训练330个epoch；神经网络模型经过半监督学习算法训练后，对神经网络模型进行测试，其在自制测试集上map_0.5 0.9970 map_0.95 0.8591 precision 0.9983 recall 0.9967，如下图：神经网络模型经过训练后的结果显示，第一训练后目标检测率为50%，经过多次训练后，目标检测率提升为95%，后续的检测过程中，目标检测率稳定保持在95%以上。
7.进一步地，所述多目标跟踪的流程如下：来自智能相机的第一帧画面进来时，对该画面目标进行数据检测，以检测到的目标初始化为基准，创建和注册该目标的跟踪器及标注id；后面每一帧画面进来时，先经过神经网络模型的卡尔曼滤波器处理，所述卡尔曼滤波器对后面每帧画面与前面每帧box生产的状态预测和协方差预测；基于神经网络模型的卡尔曼滤波器处理后，求跟踪器所有目标状态预测与本帧检测的box的iou，所述求跟踪器所有目标状态预测与本帧检测的box的iou，是通过匈牙利指派算法得到iou的唯一匹配，采用重识别模型推理得到当前帧box的512维特征，计算当前帧与前一帧画面特征的距离，再去掉匹配值小于iou threshold的匹配对；完成上述算法计算后，用本帧中匹配到的目标检测box去更新跟踪器，同时计算卡尔曼增益、状态更新，以及协方差更新，并且将状态更新输出，作为本帧的跟踪box；倘若在本帧中没有匹配到目标的，需重新初始化跟踪器，并重复多目标跟踪的流程步骤，直至目标离开为止。
8.进一步地，所述跟踪器、卡尔曼滤波器结合历史跟踪记录，通过调节历史box与本帧box之间的残差，经过调节优化后获得匹配及跟踪id。
9.进一步地，所述行为逻辑判定模块从连续16帧数据中提取空间和时间特征进行动作识别，将游泳者的行为划分为游泳、踩水、扶岸练习、潜水、溺水。
10.相对现有技术，本发明的有益效果为，本发明实现了不用在游泳者身上增加设备的情况下，实现安全游泳，杜绝溺水危险的发生；本发明的ai视觉分选模块和行为逻辑判定模块实现对智能研判是否有溺水风险；本发明设有外设组件安装方便，均可直接安装在现场，通过线缆连接ai智能平台。
附图说明
11.为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
12.图1是本发明实施例的基于ai视觉的游泳防溺水识别方法结构示意图。
13.图2是本发明实施例的ai视频分析模块结构示意图。
14.图3是本发明实施例的行为逻辑判定模块结构示意图。
15.图标：11
‑
外设组件；12
‑
ai智能平台；13
‑
智能相机；14
‑
专用滤镜；15
‑
警示灯；16
‑
扩音喇叭；17
‑
路由器；18
‑
深度学习主机；19
‑
监控屏幕；20
‑
ai智能云平台；21
‑
视频流实时采集模块；22
‑
ai视频分析模块；23
‑
行为逻辑判定模块；24
‑
联动预警模块；25
‑
目标检测；26
‑
多目标跟踪；27
‑
基本组件；28
‑
基本模块；29
‑
input；30
‑
backbone；31
‑
neck；32
‑
prediction；33
‑
focus；34
‑
conv；35
‑
c3；36
‑
spp；37
‑
upsample；38
‑
detect；39
‑
跟踪器；40
‑
卡尔曼滤波器；41
‑
3d卷积网络结构；42
‑
卷积层；43
‑
池化层；44
‑
全连接层；45
‑
softmax输出层；46
‑
神经网络模型。
具体实施方式
16.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
17.在本发明的描述中，需要理解的是，术语“上”、“下”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
18.此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
19.在本发明中，除非另有明确的规定和限定，术语“设置”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
20.以下将结合具体实施例和附图对本发明进行详细说明。
21.请参阅图1、图2和图3，示出本发明的实施例，基于ai视觉的游泳防溺水识别方法10，包括外设组件11和ai智能平台12，所述外设组件11设有智能相机13、专用滤镜14、警示
灯15、扩音喇叭16、路由器17、深度学习主机18、监控屏幕19，所述ai智能平台12设有ai智能云平台20，ai智能平台12安装于深度学习主机18、ai智能云平台20上，所述ai智能云平台20基于阿里云服务器上搭建，所述深度学习主机18通过网络连接ai智能云平台20，实现信息数据的互联互通；所述ai智能平台12设有视频流实时采集模块21、ai视频分析模块22、行为逻辑判定模块23、联动预警模块24，所述视频流实时采集模块21连接，且控制智能相机13，实时获取智能相机13拍摄的画面，所述ai视频分析模块21设有目标检测25、多目标跟踪26，所述ai视觉分析模块21采用神经网络模型46，该神经网络模型46设有基本组件27和基本模块28，所述基本组件27包括input29、backbone30、neck31、prediction32，所述基本模块28包括focus33、conv34、c3 35、spp36、upsample37、detect38，所述多目标跟踪26是基于linght
‑
reid算法训练后的图像表征模型，对目标进行跟踪及识别，所述多目标跟踪26设有跟踪器39，跟踪器39设有卡尔曼滤波器40；所述行为逻辑判定模块23采用3d卷积网络结构41，所述3d卷积网络结构41包括卷积层42、池化层43、全连接层44、softmax输出层45，所述卷积层42设有8个，池化层43设有5个，全连接层44设有2个，softmax输出层45设有1个。
22.所述基于ai视觉的游泳防溺水识别方法10步骤如下：s1：视频流实时采集模块21通过智能相机13对游泳场地进行实时视频图像的采集；s2：ai视频分析模块22对来自视频流实时采集模块21的视频图像数据进行分析，完成对视频图像数据中目标检测25和目标跟踪，并给每一目标建立id，且将目标特征信息建档保存，目标再次进入游泳场地时，可直接调阅原始信息及无需重新建立id；s3：行为逻辑判定模块23在s1、s2步骤已完成的基础上，对目标在游泳场地内所进行的行为进行动作识别与判定；s4：行为逻辑判定模块23判定目标当前存在溺水风险，则发出告警信息，行为逻辑判定模块23判定目标当前没有溺水风险，则将继续重复s1、s2、s3所述的步骤；s5：联动预警模块24接受到来自行为逻辑判定模块23的告警信息，将告警信息发至警示灯15、扩音喇叭16、监控屏幕19，告知安全人员及时前往处置。
23.进一步地，作为本实施例的优选，所述目标检测25通过视频流实时采集模块21获取来自智能相机13的图片，以及来自互联网网络、本地收集的素材图片，目标检测25对上述图片进行数据清洗后选出有效图片；神经网络模型对数据清洗后选出的有效图片进行mosaic数据增强、自适应锚框计算、自适应图片缩放等随机算法数据扩展；图片经过神经网络模型的算法数据扩展后，神经网络模型采用半监督学习算法进行训练，该半监督学习算法在v100 gpu上训练330个epoch；神经网络模型经过半监督学习算法训练后，对神经网络模型进行测试，其在自制测试集上map_0.5 0.9970 map_0.95 0.8591 precision 0.9983 recall 0.9967，如下图：神经网络模型经过训练后的结果显示，第一训练后目标检测率为50%，经过多次训
练后，目标检测率提升为95%，后续的检测过程中，目标检测率稳定保持在95%以上。
24.进一步地，作为本实施例的优选，所述多目标跟踪的流程如下：来自智能相机13的第一帧画面进来时，对该画面目标进行数据检测，以检测到的目标初始化为基准，创建和注册该目标的跟踪器39及标注id；后面每一帧画面进来时，先经过神经网络模型的卡尔曼滤波器40处理，所述卡尔曼滤波器40对后面每帧画面与前面每帧box生产的状态预测和协方差预测；基于神经网络模型的卡尔曼滤波器40处理后，求该跟踪器39所有目标状态预测与本帧检测的box的iou，所述求的跟踪器39所有目标状态预测与本帧检测的box的iou，是通过匈牙利指派算法得到iou的唯一匹配，采用重识别模型推理得到当前帧box的512维特征，计算当前帧与前一帧画面特征的距离，再去掉匹配值小于iou threshold的匹配对；完成上述算法计算后，用本帧中匹配到的目标检测box去更新跟踪器39，同时计算卡尔曼增益、状态更新，以及协方差更新，并且将状态更新输出，作为本帧的跟踪box；倘若在本帧中没有匹配到目标的，需重新初始化跟踪器，并重复多目标跟踪的流程步骤，直至目标离开为止。
25.进一步地，作为本实施例的优选，所述跟踪器39、卡尔曼滤波器40结合历史跟踪记录，通过调节历史box与本帧box之间的残差，经过调节优化后获得匹配及跟踪id。
26.进一步地，作为本实施例的优选，所述行为逻辑判定模块23从连续16帧数据中提取空间和时间特征进行动作识别，将游泳者的行为划分为游泳、踩水、扶岸练习、潜水、溺水。
27.进一步地，作为本实施例的优选，所述基于ai视觉的游泳防溺水识别方法10设有绿色、黄色、红色的安全系数标识，绿色为安全，黄色为存在安全隐患，需现场人为指导纠正或制止，红色为危险，现场需马上采取安全保护措施。
28.进一步地，作为本实施例的优选，所述基于ai视觉的游泳防溺水识别方法10将游泳场地内目标划分成年老目标、年幼目标、体弱目标、一般目标，所述年老目标、年幼目标、体弱目标作为重点关注，在行为逻辑判定模块23中年老目标、年幼目标、体弱目标的位于第一等级，当年老目标、年幼目标、体弱目标出现行为异常，口鼻处于水平面下30s后，其目标id出现红色标识，直接跳过黄色标识。
29.进一步地，作为本实施例的优选，所述基于ai视觉的游泳防溺水识别方法10将实时获取游泳场地的气温，且将气温划分为三个阶段对应三个安全等级，所述气温分别为17.9度、大于29度、大于35度，对应的安全等级绿色、橙色、红色，当气温为17.9度时，本发明处于一般运行状态，安全等级为绿色，当气温大于29度时，本发明处于预警运行状态，安全等级为橙色，现场游泳者中的年老目标、年幼目标、体弱目标重点关注，且目标游泳时有轻微异常时，可及时劝退或上岸休息恢复体力，当气温大于35度时，本发明处于警告运行状态，安全等级为红色，对于还在现场的年老目标、年幼目标、体弱目标要进行劝退或强制休息；气温越高对于游泳者的体力流失就越严重，故此对于年老目标、年幼目标、体弱目标的溺水系数高，同时，游泳场地气温与水中的温度存在差异，而年老目标、年幼目标、体弱目标的从气温高的环境进入温度低的环境，发生溺水的系数在增加，会出现手脚抽筋、麻痹、无力的状况。
30.工作原理：视频流实时采集模块通过智能相机采集视频图片信息，ai视频分析模
块经过半监督学习算法训练后，实现对目标的检测、跟踪，行为逻辑判定模块对目标的行为进行研判，目标存在有溺水风险的，联动预警模块发出指令，预警信息出现在警示灯、扩音喇叭、监控屏幕。
31.需要说明的是，本发明并不局限于上述实施方式，根据本发明的创造精神，本领域技术人员还可以做出其他变化，这些依据本发明的创造精神所做的变化，都应包含在本发明所要求保护的范围之内。