一种安全监控视频目标检测方法及相关装置与流程

本申请涉及目标检测，尤其涉及一种安全监控视频目标检测方法及相关装置。

背景技术：

1、随着视频监控技术的飞速发展，基于视频检测监控场景的目标位置和种类成为主流。安全监控视频中通常会同时出现多个目标，但是由于视角远近不同或者目标本身大小不一，导致画面中的多个目标具有不同尺度，及时准确检测其位置和种类对维护他人生命财产安全及社会稳定有积极意义。

2、然而传统视频监控技术的智能化水平较低，主要依靠人工辨别来检测监控视频中可能同时出现的多个大小不一的目标。因为监控中心通常配备多个监控大屏，值班人员往往会顾此失彼。此外，长时间值班难免会因为疲劳产生疏忽，极易遗漏画面中的小尺寸目标，可能给监控场所带来重大损失。

3、时值人工智能技术赋能传统产业的热潮之下，各种场景都需要用于检测多尺度目标的位置和种类的智能检测系统。采用视频分析技术智能检测监控视频中的多尺度目标是高效解决目标检测的有效途径之一。虽然多尺度目标训练策略和多尺度目标测试策略有助于提升网络精度以及尺度不变性，但是前者的训练时间成本过高，后者不适用于实时检测的安全监控场景。

技术实现思路

1、本申请提供了一种安全监控视频目标检测方法及相关装置，用于解决现有技术对实时性视频进行小尺寸目标进行检测的可靠性较低的技术问题。

2、有鉴于此，本申请第一方面提供了一种安全监控视频目标检测方法，所述方法包括：

3、通过基于resnet-101的faster-rcnn网络作为目标检测的基础模型，对从安全监控终端获取的视频帧图像进行分类和定位；

4、对视频帧图像的不同类别的目标分别计算尺度与召回率的关系，并基于尺度大小与召回率的相关性表示检测算法对尺度的敏感度，从而设计faster-rcnn网络综合尺度不变性指标；

5、基于inception网络，设计底层特征增强的尺度不变性策略，并基于fpn网络自顶向下的特征融合过程为基础，设计尺度特征均衡的尺度不变性策略，从而返回所述视频帧图像中所有目标的位置和种类。

6、可选地，所述通过基于resnet-101的faster-rcnn网络作为目标检测的基础模型，对从安全监控终端获取的视频帧图像进行分类和定位，具体包括：

7、通过结构简化后的特征提取网络resnet-101从所述视频帧图像中获取特征图；

8、通过区域候选网络判断所有预设anchor内是否有目标并生成可能是前景的候选框；

9、由兴趣域池化层收集所述候选框的坐标，并根据所述坐标从所述特征图中获取候选框特征图；

10、由全连接层利用所述候选框特征图判断检测框内目标的类别，通过边界框回归获得检测框的精确位置。

11、可选地，所述对视频帧图像的不同类别的目标分别计算尺度与召回率关系，并基于尺度大小与召回率的相关性表示检测算法对尺度的敏感度，从而设计faster-rcnn网络综合尺度不变性指标，具体包括：

12、对视频帧图像不同类别的目标分别计算尺度与召回率关系；统计不同类别间目标尺度与平均召回率之间的相关系数；将所有类别对应的相关系数取平均值，得到faster-rcnn网络综合尺度不变性指标。

13、可选地，所述基于inception网络，设计底层特征增强的尺度不变性策略，并基于fpn网络自顶向下的特征融合过程为基础，设计尺度特征均衡的尺度不变性策略，具体包括：

14、在inception网络的基础上，增加卷积核的尺寸，去除最大池化层；根据卷积核的尺寸大小对卷积核进行替换，并设计共享卷积核用于减少计算量；

15、以原始特征金字塔网络(fpn)自顶向下的特征融合过程为基础，赋予不同层不同的权重，从而融合不同层的特征。

16、本申请第二方面提供一种安全监控视频目标检测系统，所述系统包括：

17、分类和定位单元，用于通过基于resnet-101的faster-rcnn网络作为目标检测的基础模型，对从安全监控终端获取的视频帧图像进行分类和定位；

18、第一设计单元，用于对视频帧图像的不同类别的目标分别计算尺度与召回率的关系，并基于尺度大小与召回率的相关性表示检测算法对尺度的敏感度，从而设计faster-rcnn网络综合尺度不变性指标；

19、第二设计单元，用于基于inception网络，设计底层特征增强的尺度不变性策略，并基于fpn网络自顶向下的特征融合过程为基础，设计尺度特征均衡的尺度不变性策略，从而返回所述视频帧图像中所有目标的位置和种类。

20、可选地，所述分类和定位单元，具体用于：

21、通过结构简化后的特征提取网络resnet-101从所述视频帧图像中获取特征图；

22、通过区域候选网络判断所有预设anchor内是否有目标并生成可能是前景的候选框；

23、由兴趣域池化层收集所述候选框的坐标，并根据所述坐标从所述特征图中获取候选框特征图；

24、由全连接层利用所述候选框特征图判断检测框内目标的类别，通过边界框回归获得检测框的精确位置。

25、可选地，所述第一设计单元，具体用于：

26、对视频帧图像不同类别的目标分别计算尺度与召回率关系；统计不同类别间目标尺度与平均召回率之间的相关系数；将所有类别对应的相关系数取平均值，得到faster-rcnn网络综合尺度不变性指标。

27、可选地，所述第二设计单元，具体用于：

28、在inception网络的基础上，增加卷积核的尺寸，去除最大池化层；根据卷积核的尺寸大小对卷积核进行替换，并设计共享卷积核用于减少计算量；

29、以原始特征金字塔网络(fpn)自顶向下的特征融合过程为基础，赋予不同层不同的权重，从而融合不同层的特征。

30、本申请第三方面提供一种安全监控视频目标检测设备，所述设备包括处理器以及存储器：

31、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

32、所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的安全监控视频目标检测方法的步骤。

33、本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的安全监控视频目标检测方法。

34、从以上技术方案可以看出，本申请具有以下优点：

35、本申请提供了一种安全监控视频目标检测方法，提出了融合分类与定位的多目标检测方法，智能检测监控视频中的多类和多个目标，可以降低依靠人工检测时易出现的漏警现象，提高监控系统的智能化水平；在分类与定位之前检测可能包含目标的前景区域，可以减少复杂环境对目标识别的干扰，从而降低虚警率；设计基于低层特征增强和尺度特征均衡的尺度不变性策略，可以降低智能检测时对小尺度目标的漏警现象，提高智能监控的安全性。

技术特征：

1.一种安全监控视频目标检测方法，其特征在于，包括：

2.根据权利要求1所述的安全监控视频目标检测方法，其特征在于，所述通过基于resnet-101的faster-rcnn网络作为目标检测的基础模型，对从安全监控终端获取的视频帧图像进行分类和定位，具体包括：

3.根据权利要求1所述的安全监控视频目标检测方法，其特征在于，所述对视频帧图像的不同类别的目标分别计算尺度与召回率关系，并基于尺度大小与召回率的相关性表示检测算法对尺度的敏感度，从而设计faster-rcnn网络综合尺度不变性指标，具体包括：

4.根据权利要求1所述的安全监控视频目标检测方法，其特征在于，所述基于inception网络，设计底层特征增强的尺度不变性策略，并基于fpn网络自顶向下的特征融合过程为基础，设计尺度特征均衡的尺度不变性策略，具体包括：

5.一种安全监控视频目标检测系统，其特征在于，包括：

6.根据权利要求5所述的安全监控视频目标检测系统，其特征在于，所述分类和定位单元，具体用于：

7.根据权利要求5所述的安全监控视频目标检测系统，其特征在于，所述第一设计单元，具体用于：

8.根据权利要求5所述的安全监控视频目标检测系统，其特征在于，所述第二设计单元，具体用于：

9.一种安全监控视频目标检测设备，其特征在于，所述设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的安全监控视频目标检测方法。

技术总结
本申请公开了一种安全监控视频目标检测方法及相关装置，首先，采用基于ResNet‑101的Faster‑RCNN网络，实现多目标的定位与分类；然后，设计网络尺度不变性指标，有效验证模型对多尺度目标的检测精度；引入精度高且速度快的特征金字塔网络(FPN)，并对其Conv2层和Conv3层分别采用低层特征增强与尺度特征均衡两种策略来提高对远处目标和小尺度目标的检测能力。本申请通过基于ResNet‑101的Faster‑RCNN网络检测和分类监控视频中的多个目标，再通过改进网络结构，在满足实时性要求的前提下，实现对更小尺寸目标的可靠检测。该方法的虚警率和漏警率低，可广泛应用于智能视频监控系统。

技术研发人员：徐达艺,陈学台,欧郁强,黄观荣,王奕,林荣秋,李宇峰,胡彬
受保护的技术使用者：广东电网有限责任公司
技术研发日：
技术公布日：2024/1/13