视频分析方法及系统与流程

本技术涉及图像处理，具体涉及一种视频分析方法及系统。

背景技术：

1、对目标对象的行为识别有助于辅助监控。例如，在工厂与仓库等场景中，通常需要监控工人的在特定的工作时间及工作区域是否存在违规操作，以降低低生产安全风险。

2、现有技术中，公开号为cn115019400a的中国专利申请公开了一种违规行为检测方法及装置，具体公开了以下方案：捕捉目标对象；获取所述目标对象的第一图像和多个第二图像；基于所述第一图像，识别出所述目标对象所处的环境；基于所述环境，获取与所述环境参数对应的检测模型；基于多个所述第二图像，对所述目标对象的行为进行识别，以得到所述目标对象的姿态特征；将所述姿态特征输入到检测模型中进行检测，以判断所述目标对象的行为是否违规。本技术旨在解决现有技术中行为是否违规准确率不足的技术问题。

3、上述方案主要是通过静态图像识别目标对象的姿态特征，进而判断是否存在违规行为，难以适用于复杂的动态场景中。

技术实现思路

1、本技术的至少一个实施例提供了一种视频分析方法及系统，用以实现复杂动态场景下的合规作业检测，提高生产安全性。

2、根据本技术的一个方面，至少一个实施例提供了一种视频分析方法，包括：

3、获取摄像头采集的图像；

4、对所述图像进行要素检测，得到每帧图像中存在的要素，其中，所述要素包括区域要素、主体要素和判定要素；所述区域要素至少包括作业区，所述作业区是需要进行合规作业检测的区域；所述主体要素为目标对象；所述判定要素是判断作业是否合规的要素，所述判定要素包括合规状态和违规状态；

5、在检测到所述作业区和主体要素的情况下，对所述主体要素进行跟踪，并在所述主体要素进入所述作业区后，根据多帧图像中的判定要素，确定所述主体要素的作业是否合规。

6、可选的，所述区域要素还包括准备区，所述准备区为从工作区外进入工作区的区域；

7、对所述图像进行要素检测，包括：

8、在所述工作区和准备区均为预先设置的固定区域时，根据预先设置的固定区域，确定所述图像中的工作区和准备区；

9、在所述工作区和准备区均为非固定区域时，通过图像语义分割技术对区域要素进行图像分割，确定所述图像中的工作区和准备区。

10、可选的，上述方法还包括：

11、根据对所述主体要素进行跟踪获得的跟踪轨迹，在所述主体要素经由准备区进入作业区，且在所述作业区内的时长大于预设的时长门限时，执行所述根据多帧图像中的判定要素，确定所述主体要素的作业是否合规的步骤。

12、可选的，对所述图像进行要素检测，还包括：

13、通过目标对象识别技术，对所述图像进行主体要素的检测，确定所述图像是否存在主体要素，以及，在所述图像中存在主体要素时，进一步根据判定要素对应的目标物品，通过物品识别技术对所述图像进行所述目标物品的检测，得到所述图像对应的判定要素。

14、可选的，根据多帧图像中的判定要素，确定所述主体要素的作业是否合规，包括：

15、针对每个判定要素，获取由所述多帧图像中的每帧图像对应的判定要素组成的队列；根据所述队列中的合规状态判定要素的比例是否大于预设的第一阈值，确定所述判定要素是否满足作业要求；

16、在任一判定要素不满足作业要求时，确定所述主体要素作业不合规；

17、在所有判定要素均满足作业要求时，确定所述主体要素作业合规。

18、可选的，所述摄像头有多个；

19、根据多帧图像中的判定要素，确定所述主体要素的作业是否合规，包括：·

20、针对每个判定要素，按照以下步骤确定所述判定要素是否满足作业要求：针对每个摄像头，获取由该摄像头采集的多帧图像中的每帧图像对应的判定要素组成的队列；根据所述队列中的合规状态判定要素的比例是否大于预设的第一阈值，确定该摄像头对应的判断结果，所述判断结果为满足作业要求或不满足作业要求；根据所述多个摄像头对应的判断结果中占比较大的判断结果，确定所述判定要素是否满足作业要求；

21、在任一判定要素不满足作业要求时，确定所述主体要素作业不合规；

22、在所有判定要素均满足作业要求时，确定所述主体要素作业合规。

23、可选的，在通过物品识别技术，对所述图像进行所述目标物品的检测时，进一步获取所述图像对应的判定要素的置信度；

24、若所述多个摄像头对应的判断结果中，满足作业要求的判断结果与不满足作业要求的判断结果的占比相同，所述方法还包括：

25、针对判断结果为满足作业要求的摄像头，计算该摄像头采集的所述多帧图像对应的判定要素中合规状态的置信度的平均值，得到该摄像头对应的第一平均置信度；对所有判断结果为满足作业要求的摄像头对应的第一平均置信度求和，得到第一分值；

26、针对判断结果为不满足作业要求的摄像头，计算该摄像头采集的所述多帧图像对应的判定要素中违规状态的置信度的平均值，得到该摄像头对应的第二平均置信度；对所有判断结果为不满足作业要求的摄像头对应的第二平均置信度求和，得到第二分值；

27、在所述第一分值大于第二分值时，确定所述判定要素满足作业要求；

28、在所述第一分值不大于第二分值时，确定所述判定要素不满足作业要求。

29、可选的，上述方法还包括：

30、在任一判定要素不满足作业要求时，产生所述任一要素不满足作业要求和/或所述主体要素作业不合规的告警。

31、根据本技术的另一方面，至少一个实施例提供了一种视频分析系统，包括：

32、图像获取模块，用于获取摄像头采集的图像；

33、要素检测模块，用于对所述图像进行要素检测，得到每帧图像中存在的要素，其中，所述要素包括区域要素、主体要素和判定要素；所述区域要素至少包括作业区，所述作业区是需要进行合规作业检测的区域；所述主体要素为目标对象；所述判定要素是判断作业是否合规的要素，所述判定要素包括合规状态和违规状态；

34、合规判断模块，用于在检测到所述作业区和主体要素的情况下，对所述主体要素进行跟踪，并在所述主体要素进入所述作业区后，根据多帧图像中的判定要素，确定所述主体要素的作业是否合规。

35、可选的，所述区域要素还包括准备区，所述准备区为从工作区外进入工作区的区域；所述要素检测模块，还用于：

36、在所述工作区和准备区均为预先设置的固定区域时，根据预先设置的固定区域，确定所述图像中的工作区和准备区；

37、在所述工作区和准备区均为非固定区域时，通过图像语义分割技术对区域要素进行图像分割，确定所述图像中的工作区和准备区。

38、可选的，上述系统中，所述合规判断模块，还用于根据对所述主体要素进行跟踪获得的跟踪轨迹，在所述主体要素经由准备区进入作业区，且在所述作业区内的时长大于预设的时长门限时，执行所述根据多帧图像中的判定要素，确定所述主体要素的作业是否合规的步骤。

39、可选的，所述要素检测模块，还用于通过目标对象识别技术，对所述图像进行主体要素的检测，确定所述图像是否存在主体要素，以及，在所述图像中存在主体要素时，进一步根据判定要素对应的目标物品，通过物品识别技术对所述图像进行所述目标物品的检测，得到所述图像对应的判定要素。

40、可选的，所述合规判断模块，还用于：

41、针对每个判定要素，获取由所述多帧图像中的每帧图像对应的判定要素组成的队列；根据所述队列中的合规状态判定要素的比例是否大于预设的第一阈值，确定所述判定要素是否满足作业要求；

42、在任一判定要素不满足作业要求时，确定所述主体要素作业不合规；

43、在所有判定要素均满足作业要求时，确定所述主体要素作业合规。

44、可选的，所述摄像头有多个；

45、所述合规判断模块，还用于：

46、针对每个判定要素，按照以下步骤确定所述判定要素是否满足作业要求：针对每个摄像头，获取由该摄像头采集的多帧图像中的每帧图像对应的判定要素组成的队列；根据所述队列中的合规状态判定要素的比例是否大于预设的第一阈值，确定该摄像头对应的判断结果，所述判断结果为满足作业要求或不满足作业要求；根据所述多个摄像头对应的判断结果中占比较大的判断结果，确定所述判定要素是否满足作业要求；

47、在任一判定要素不满足作业要求时，确定所述主体要素作业不合规；

48、在所有判定要素均满足作业要求时，确定所述主体要素作业合规。

49、可选的，所述要素检测模块，还用于在通过物品识别技术，对所述图像进行所述目标物品的检测时，进一步获取所述图像对应的判定要素的置信度；

50、所述合规判断模块，还用于在所述多个摄像头对应的判断结果中，满足作业要求的判断结果与不满足作业要求的判断结果的占比相同时：

51、针对判断结果为满足作业要求的摄像头，计算该摄像头采集的所述多帧图像对应的判定要素中合规状态的置信度的平均值，得到该摄像头对应的第一平均置信度；对所有判断结果为满足作业要求的摄像头对应的第一平均置信度求和，得到第一分值；

52、针对判断结果为不满足作业要求的摄像头，计算该摄像头采集的所述多帧图像对应的判定要素中违规状态的置信度的平均值，得到该摄像头对应的第二平均置信度；对所有判断结果为不满足作业要求的摄像头对应的第二平均置信度求和，得到第二分值；

53、在所述第一分值大于第二分值时，确定所述判定要素满足作业要求；

54、在所述第一分值不大于第二分值时，确定所述判定要素不满足作业要求。

55、可选的，上述系统还包括：

56、告警模块，用于在所述主体要素未穿戴任一目标物品时，产生所述主体要素未穿戴所述任一目标物品和/或所述主体要素作业不合规的告警。

57、根据本技术的另一方面，至少一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如上所述的方法的步骤。

58、与现有技术相比，本技术实施例提供的视频分析方法及系统，能够实现复杂动态场景下的合规作业检测，提高生产作业的安全性。另外，本技术实施例还通过基于时空逻辑判断方法，以及，基于多个摄像头采集的图像进行违规判断，能够提高判断结果的可靠性。