一种基于AI的精准应急救援方法及装置与流程

本发明涉及救援，具体涉及一种基于ai的精准应急救援方法及装置。

背景技术：

1、洪灾是由于江、河、湖、库水位猛涨，堤坝漫溢或溃决，水流入境而造成的灾害。 洪灾除对农业造成重大灾害外，还会造成工业甚至生命财产的损失，是威胁人类生存的十大自然灾害之一。发生洪灾时，人员往往来不急撤离，从而被困。而针对被困人员，现有技术中常常依靠人工搜索进行救援，但是人工搜索的效率往往较低，导致错过营救处于危险环境中的被困人员的最佳时机。

技术实现思路

1、本发明的目的在于提供一种基于ai的精准应急救援方法及装置，解决了现有技术中依靠人工搜索救援存在的效率较低的问题。

2、本发明通过下述技术方案实现：

3、一方面，本发明提供一种基于ai的精准应急救援方法，包括：

4、确定搜救范围以及搜救范围内的搜救路线，并控制搜救无人机按照搜救路线在搜救范围内进行救援搜索；

5、在救援搜索的过程中，通过服务器或者远程控制端实时接收搜救无人机的视频流，并采用预先部署的ai检测模型检测搜救范围内的被困目标，所述被困目标表示被困人员或被困车辆；

6、当扫描到被困目标时，以搜救无人机所在的定位信息为基础，为被困目标在电子地图上生成待救援标志；

7、针对每个被困目标，采集被困目标对应的环境信息以及以被困目标为中心的图像信息，并根据图像信息确定第一安全度以及根据环境信息确定第二安全度；

8、将第一安全度与第二安全度进行加权求和，确定被困目标的最终安全度，并根据最终安全度，为电子地图上的待救援标志赋予不同的颜色进行区分；

9、将携带待救援标志的电子地图同步至云端或者救援人员对应的终端设备上，以使救援人员确定救援顺序，实现应急精准救援。

10、在一种可能的实施方式中，确定搜救范围以及搜救范围内的搜救路线，并控制搜救无人机按照搜救路线在搜救范围内进行救援搜索，包括：

11、获取救援人员对应的终端设备所传输的搜救范围确定指令，根据搜救范围确定指令在电子地图上确定搜救范围，所述搜救范围为一个或者多个；

12、针对每个搜救范围，按照无人机的搜索宽度，将搜救范围划分为多个列，得到多个子搜救范围；

13、以每个子搜救范围的中心线为基础，确定中心线两端点的位置信息，并根据两端点的位置信息确定中心线的中心位置信息；

14、获取用于管理搜救无人机的飞控地面站中存储的搜救无人机的数量以及位置信息；

15、从所有中心线的中心位置信息中确定与搜救无人机数量相同的聚类中心，并将每个中心位置信息归类于聚类中心中；

16、对聚类中心进行更新，直至聚类中心不再变化，得到多个聚类，每个聚类用于表征一个搜救无人机的搜救区域，每个搜救区域包括至少一个子搜救范围；

17、将多个搜救无人机的位置信息按远近顺序排列，并将多个搜救区域随机排列，组成染色体，得到位置信息按顺序排列的搜救无人机对应的搜救区域；相同序号的搜救无人机的位置信息与搜救区域为对应关系；

18、随机产生m条染色体，并确定每条染色体的对应的适应度，所述适应度用于表征各搜救无人机到其对应的搜救区域之间的最短距离之和；

19、根据每条染色体对应的适应度，确定最佳适应度，并判断是否n次迭代中最佳适应度不再变化，若是，则确定最佳适应度对应的染色体为搜救无人机的匹配关系，否则对染色体执行交叉以及变异操作，产生新的染色体，将新的染色体与原有的染色体中适应度值最大的m条染色体保留，并进行下一次迭代，直至n次迭代中最佳适应度不再变化，并确定最佳适应度对应的染色体为搜救无人机的匹配关系；

20、根据搜救无人机的匹配关系，控制搜救无人机按照搜救路线在搜救范围内进行救援搜索。

21、在一种可能的实施方式中，所述针对搜救无人机实时视频流智能分析而预先部署的ai检测模型为yolo智能检测模型。

22、在一种可能的实施方式中，所述ai检测模型部署于搜救无人机之前，还包括：

23、初始化ai检测模型的模型参数；

24、获取训练样本图像以及期望输出图像，所述期望输出图像用于表征包括真值标签的训练样本图像，所述真值标签用于表征人工标定的实际框；

25、将训练样本图像输入ai检测模型中，获取实际输出图像，并根据期望输出图像以及实际输出图像，获取ai检测模型对应的损失函数值；

26、判断损失函数值是否小于预先设定的阈值，若是，则将当前的模型参数作为ai检测模型的最终参数，否则对ai检测模型的模型参数进行更新，并进入下一次训练，直至损失函数值小于预先设定的阈值，获取ai检测模型的最终参数。

27、在一种可能的实施方式中，所述损失函数值通过损失函数获取，且所述损失函数为：

28、

29、其中，表示损失函数，表示定位损失所占权重，s表示特征图的网格数，b表示特征图中每个网格的预测框数量，表示定位损失；表示第一系数，表示第二系数；针对在特征图中第 i个网格的第 j个预测框，当该预测框与期望输出图像中对应的实际框之间的iou值大于给定阈值时，iou值最大的预测框作为正样本，其对应的第一系数为1，第二系数为0，其他预测框对应的第一系数以及第二系数均为0；当所有的预测框与期望输出图像中对应的实际框之间的iou值小于给定阈值时，则所有预测框对应的第一系数以及第二系数均为0；表示预测框对应的预测置信度，表示实际框对应的实际置信度，表示第一惩罚系数，表示第二惩罚系数，classes表示类别集合，表示特征图中第 i个网格的第 j个预测框输出的属于类别 c的概率，表示真实属于类别c的概率。

30、在一种可能的实施方式中，在救援搜索的过程中，通过服务器或者远程控制端实时接收搜救无人机的视频流，并采用预先部署的ai检测模型检测搜救范围内的被困目标，包括：

31、在救援搜索的过程中，以所述搜救无人机的搜救路线为基础，控制搜救无人机按照预设的速度进行搜救扫描，以采集搜救范围的视频流；

32、通过服务器或者远程控制端实时接收搜救无人机的视频流，并采用预先部署的ai检测模型对视频流中的视频帧进行实时检测，确定视频帧中的被困目标。

33、在一种可能的实施方式中，针对每个被困目标，采集被困目标对应的环境信息以及以被困目标为中心的图像信息，并根据图像信息确定第一安全度以及根据环境信息确定第二安全度，包括：

34、针对每个被困目标，采集被困目标所处地点的前x时段内的累计降雨量以及未来x时段的预计降雨量，得到被困目标对应的环境信息；

35、判断累计降雨量加上预计降雨量之和是否超过设定安全阈值，若是，则被困目标处于不安全的环境中，否则被困目标处于安全的环境中，并确定第二安全度；累计降雨量加上预计降雨量之和与第二安全度呈线性相关，即累计降雨量加上预计降雨量之和越靠近安全阈值，则第二安全度越低；

36、采集以被困目标为中心的图像信息，并确定图像信息中洪水区域以及危险物；

37、判断洪水区域以及危险物与被困目标之间的距离是否小于设定的距离阈值，若是，则被困目标处于不安全的环境中，否则被困目标处于安全的环境中，并确定第一安全度；洪水区域以及危险物的预测框与被困目标之间的距离与第一安全度呈线性相关，即洪水区域以及危险物的预测框与被困目标之间的距离越靠近距离阈值，则第一安全度越低；

38、其中，当累计降雨量加上预计降雨量之和超过安全阈值或者洪水区域以及危险物的预测框与被困目标之间的距离小于距离阈值时，第一安全度以及第二安全度均直接置0。

39、在一种可能的实施方式中，判断洪水区域以及危险物与被困目标之间的距离是否小于设定的距离阈值，包括：

40、确定坐标原点为搜救无人机上摄像机轴线垂直与地面相交的点，确定z轴为摄像机的镜头中心点与坐标原点的连线，确定x轴为平行于摄像机视屏界面底边并与原点相交的直线，确定与x轴以及z轴垂直的直线作为y轴，得到坐标系；所述搜救无人机的摄像头垂直于地面拍摄；

41、根据建立的坐标系，确定洪水区域以及危险物与被困目标之间的距离，从而判断洪水区域以及危险物与被困目标之间的距离与距离阈值之间的大小关系。

42、在一种可能的实施方式中，将第一安全度与第二安全度进行加权求和，确定被困目标的最终安全度，并根据最终安全度，为电子地图上的待救援标志赋予不同的颜色进行区分，包括：

43、根据预设的第一安全度对应的第一权重以及第二安全度对应的第二权重，将第一安全度与第二安全度进行加权求和，确定被困目标的最终安全度；

44、获取预设的安全度范围以及每个安全度范围对应的颜色，确定被困目标的最终安全度所在安全度范围，从而确定最终安全度对应的颜色；

45、根据最终安全度对应的颜色，为电子地图上的待救援标志赋予不同的颜色进行区分。

46、另一方面，本发明提供一种基于ai的精准应急救援装置，包括：搜救计划定制模块、ai搜救模块、救援信息生成模块、安全度确定模块、救援信息强化模块以及救援信息传输模块；

47、所述搜救计划定制模块用于，确定搜救范围以及搜救范围内的搜救路线，并控制搜救无人机按照搜救路线在搜救范围内进行救援搜索；

48、所述ai搜救模块用于，在救援搜索的过程中，通过服务器或者远程控制端实时接收搜救无人机的视频流，并采用预先部署的ai检测模型检测搜救范围内的被困目标，所述被困目标表示被困人员或被困车辆；

49、所述救援信息生成模块用于，当扫描到被困目标时，以搜救无人机所在的定位信息为基础，为被困目标在电子地图上生成待救援标志；

50、所述安全度确定模块用于，针对每个被困目标，采集被困目标对应的环境信息以及以被困目标为中心的图像信息，并根据图像信息确定第一安全度以及根据环境信息确定第二安全度；

51、所述救援信息强化模块用于，将第一安全度与第二安全度进行加权求和，确定被困目标的最终安全度，并根据最终安全度，为电子地图上的待救援标志赋予不同的颜色进行区分；

52、所述救援信息传输模块用于，将携带待救援标志的电子地图同步至云端或者救援人员对应的终端设备上，以使救援人员确定救援顺序，实现应急精准救援。

53、本发明提供的一种基于ai的精准应急救援方法及装置，通过预先部署的ai检测模型进行快速搜索，从而能快速定位位于搜救区域内的被困目标，并且针对每个被困目标采集其环境信息以及图像信息，从而确定被困目标对应的安全度，并根据安全度对救援信息进行标志以及区分，最终实现灾害场景中被困目标的受灾情况，实现ai精准救援。