基于亿级像素视频的海滩安全预警方法、装置和系统与流程

本技术涉及计算摄像，特别是涉及一种基于亿级像素视频的海滩安全预警方法、装置和亿级像素计算成像系统。

背景技术：

1、为了克服单个摄像设备无法兼顾大视野范围和高清晰度的问题，出现了基于阵列摄像机的亿级像素计算成像系统，其通过包含多个镜头的阵列摄像机采集多路局部视频，进而采用相关算法对各路局部视频进行拼接融合等计算处理，可得到亿像素级甚至十亿像素级的超高清融合视频，可应用于具有大场景超高清视频需求的技术领域，如安防领域的视频监控、工业互联网、元宇宙和虚拟现实技术领域等。

2、目前，亿级像素计算成像系统已应用于海滩、海岸的安全监控，工作人员可以根据亿级像素视频监控海滩上各游客的风险行为，若发现游客进入危险海域，则发出安全警报并通知安全员采取安保措施，以保护游客的生命财产安全。然而，当需监控的海滩区域较大或游客较多时，工作人员难以做到全面、实时的安全监控，无法及时进行安全预警。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于亿级像素视频的海滩安全预警方法、装置和亿级像素计算成像系统，能够保障海滩安全预警的准确性和及时性。

2、第一方面，本技术提供了一种基于亿级像素视频的海滩安全预警方法。所述方法包括：

3、获取针对海滩安全监控区域拍摄的亿级像素视频图像；

4、采用预训练的实例分割模型识别所述亿级像素视频图像中的海洋区域，得到所述海洋区域的若干初始轮廓顶点的图像坐标，并采用预训练的目标检测模型识别所述亿级像素视频图像中的目标对象，得到所述目标对象的图像坐标；

5、从所述若干初始轮廓顶点中筛选出目标轮廓顶点，其中，所述目标轮廓顶点构成的目标区域的轮廓线与所述初始轮廓顶点构成的初始区域的轮廓线满足预设相似条件；

6、基于所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，判断所述目标对象是否处于危险区域，并在所述目标对象处于危险区域的情况下进行安全预警。

7、在其中一个实施例中，所述从所述若干初始轮廓顶点中筛选出目标轮廓顶点，包括：

8、从所述若干初始轮廓顶点中选择两个顶点，分别作为初始的第一端点和第二端点；

9、计算所述第一端点至所述第二端点之间的其它各顶点与所述第一端点和所述第二端点的连线的距离，并确定出距离最大值；

10、若所述距离最大值大于距离阈值，则将所述距离最大值对应的顶点作为所述第一端点对应的新的第二端点、以及所述第二端点对应的新的第一端点，并针对每一对第一端点和第二端点，返回执行计算所述第一端点至所述第二端点之间的其它各顶点与所述第一端点和所述第二端点的连线的距离步骤；

11、若所述距离最大值不大于距离阈值，则去除所述第一端点至所述第二端点之间的其它各顶点，并将所述第一端点和所述第二端点确定为目标轮廓顶点。

12、在其中一个实施例中，所述方法还包括：

13、根据各所述初始轮廓顶点构成的初始区域的轮廓线周长l和预设的比例系数σ，按照如下公式计算距离阈值dth：

14、dth＝σ·l。

15、在其中一个实施例中，所述方法还包括：

16、针对每一对第一端点和第二端点，确定与所述第一端点和第二端点的位置信息匹配的距离系数λ，其中，距离系数λ的大小，与所述第一端点和第二端点的连线相对摄像机的空间距离的大小负相关；

17、根据各所述初始轮廓顶点构成的初始区域的轮廓线周长l、预设的比例系数σ和所述匹配的距离系数λ，按照如下公式计算距离阈值dth：

18、dth＝λ·σ·l。

19、在其中一个实施例中，所述确定与所述第一端点和第二端点的位置信息匹配的距离系数λ，包括：

20、根据所述第一端点和第二端点的图像坐标，确定所述第一端点和第二端点的连线中间点相对所述亿级像素视频图像下边界的距离；

21、将所述亿级像素视频图像的高度与所述连线中间点相对所述亿级像素视频图像下边界的距离的比值，确定为与所述第一端点和第二端点的位置信息匹配的距离系数λ。

22、在其中一个实施例中，所述确定与所述第一端点和第二端点的位置信息匹配的距离系数λ，包括：

23、根据所述第一端点和第二端点的地理位置确定所述第一端点和所述第二端点分别相对摄像机的第一空间距离和第二空间距离，并将所述第一空间距离和所述第二空间距离的平均值确定为所述第一端点和第二端点的连线相对摄像机的空间距离；

24、从各所述初始轮廓顶点相对摄像机的空间距离中确定出空间距离最小值；

25、将所述空间距离最小值与所述第一端点和第二端点的连线相对摄像机的空间距离的比值，确定为与所述第一端点和第二端点的位置信息匹配的距离系数λ。

26、在其中一个实施例中，所述基于所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，判断所述目标对象是否处于危险区域，包括：

27、根据所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，计算所述目标对象的检测框与所述目标轮廓顶点构成的目标区域的相交面积；

28、根据所述相交面积的大小判断所述目标对象是否处于危险区域。

29、在其中一个实施例中，所述基于所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，判断所述目标对象是否处于危险区域，包括：

30、根据所述目标轮廓顶点的图像坐标确定所述目标轮廓顶点构成的目标区域；

31、判断所述目标对象的检测框下边界中心点是否位于所述目标区域内；

32、若所述检测框下边界中心点位于所述目标区域内，则判断所述目标对象处于危险区域。

33、在其中一个实施例中，所述从所述若干初始轮廓顶点中选择两个顶点，分别作为初始的第一端点和第二端点，包括：

34、根据所述初始轮廓顶点的图像坐标，计算所述初始轮廓顶点中任意两个相邻顶点的间距；

35、将所述间距满足预设条件的两个相邻顶点，分别作为初始的第一端点和第二端点。

36、在其中一个实施例中，所述将所述间距满足预设条件的两个相邻顶点，分别作为初始的第一端点和第二端点，包括：

37、将所述间距最大的两个相邻顶点，分别作为初始的第一端点和第二端点。

38、在其中一个实施例中，所述将所述间距满足预设条件的两个相邻顶点，分别作为初始的第一端点和第二端点，包括：

39、将所述间距最小的两个相邻顶点，分别作为初始的第一端点和第二端点；

40、所述将所述第一端点和所述第二端点确定为目标轮廓顶点，包括：

41、将除所述初始的第一端点和第二端点之外的其它第一端点和第二端点确定为目标轮廓点；

42、将所述初始的第一端点和第二端点的连线中间点，确定为目标轮廓顶点。

43、第二方面，本技术还提供了一种基于亿级像素视频的海滩安全预警装置。

44、所述装置包括：

45、获取模块，用于获取针对海滩安全监控区域拍摄的亿级像素视频图像；

46、第一识别模块，用于采用预训练的实例分割模型识别所述亿级像素视频图像中的海洋区域，得到所述海洋区域的若干初始轮廓顶点的图像坐标；

47、第二识别模块，用于采用预训练的目标检测模型识别所述亿级像素视频图像中的目标对象，得到所述目标对象的图像坐标；

48、筛选模块，用于从所述若干初始轮廓顶点中筛选出目标轮廓顶点，其中，所述目标轮廓顶点构成的目标区域的轮廓线与所述初始轮廓顶点构成的初始区域的轮廓线满足预设相似条件；

49、判断模块，用于基于所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，判断所述目标对象是否处于危险区域，并在所述目标对象处于危险区域的情况下进行安全预警。

50、第三方面，本技术还提供了一种亿级像素计算成像系统。所述系统包括阵列摄像机和服务器；

51、所述阵列摄像机用于通过多个局部相机针对海滩安全监控区域拍摄多路局部视频；

52、所述服务器用于将所述多路局部视频进行拼接融合处理，得到亿级像素视频；

53、所述服务器还用于采用预训练的实例分割模型识别亿级像素视频图像中的海洋区域，得到所述海洋区域的若干初始轮廓顶点的图像坐标，并采用预训练的目标检测模型识别所述亿级像素视频图像中的目标对象，得到所述目标对象的图像坐标；从所述若干初始轮廓顶点中筛选出目标轮廓顶点，其中，所述目标轮廓顶点构成的目标区域的轮廓线与所述初始轮廓顶点构成的初始区域的轮廓线满足预设相似条件；基于所述目标对象的图像坐标和所述目标轮廓顶点的图像坐标，判断所述目标对象是否处于危险区域，并在所述目标对象处于危险区域的情况下生成安全预警信息。

54、上述基于亿级像素视频的海滩安全预警方法、装置和亿级像素计算成像系统，通过实例分割模型识别亿级像素视频图像中的海洋区域，输出海洋区域的若干初始轮廓顶点的图像坐标，采用目标检测模型识别监控目标，并进一步对初始轮廓顶点进行抽稀，得到目标轮廓顶点，然后根据监控目标是否位于目标轮廓顶点构成的目标区域内判断目标对象是否处于危险区域，及时进行安全预警。其中，目标轮廓顶点构成的目标区域的轮廓线与初始轮廓顶点构成的初始区域的轮廓线满足相似条件，可以保障预测出的危险区域的准确性的同时，减少用于传输和计算的数据量，提高安全预警效率。因此，本方案能够提高海滩安全预警的准确性和及时性。