一种目标工作状态的识别方法及装置与流程

本技术涉及目标追踪，尤其是涉及一种目标工作状态的识别方法及装置。

背景技术：

1、目标检测技术是指依靠于设置的摄像装置对目标检测对象在一定时间区间内所存在的行为进行检测。通过在摄像装置采集到的拍摄图像的基础上标注检测框，记录每个检测框在拍摄图像中的坐标信息，通过判断检测框在特定时间内的移动状态，确定目标检测对象的工作状态。

2、目前，通常是采取单人单摄像装置的方式对目标检测对象进行检测与跟踪；若拍摄图像中出现了多人的情况时，则无法准确地从拍摄图像中区分出目标检测对象，进而，导致无法准确地对目标检测对象的工作状态进行判断，使得目标检测对象容易在工作中出现睡岗等异常工作状态，导致目标检测对象的工作效率下降。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种目标工作状态的识别方法及装置，可以利用采集到的视频流数据，准确地标注出需要进行追踪的多个目标检测对象，并根据每个目标检测对象在每帧视频图像中的实际运动状态，实现每个目标检测对象的工作状态的准确判断及目标检测对象的跟踪，进而，可以间接地提高目标检测对象的工作效率。

2、本技术实施例提供了一种目标工作状态的识别方法，所述识别方法包括：

3、对采集到的视频流数据进行分帧处理，获得多帧视频图像；

4、逐一标注所述多帧视频图像，针对处于标注阶段的当前帧视频图像，利用目标检测模型，对所述当前帧视频图像进行推理标注，在所述当前帧视频图像中标注出多个目标检测对象；

5、针对于每个目标检测对象，利用该目标检测对象在所述当前帧视频图像中所表征出的位置状态数据，匹配出检测到该目标检测对象的多帧历史帧视频图像；

6、利用卡尔曼滤波模型，通过分析该目标检测对象在所述多帧历史帧视频图像中的历史运动状态，预测出该目标检测对象在当前帧视频图像中的预测运动状态；

7、通过确定该目标检测对象在所述当前帧视频图像中的卡尔曼增益系数，更新该目标检测对象的预测运动状态，跟踪确定该目标检测对象在当前帧视频图像中的实际运动状态；

8、基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内是否存在异常工作状态。

9、在一种可能的实施方式中，所述针对处于标注阶段的当前帧视频图像，利用目标检测模型，对所述当前帧视频图像进行推理标注，在所述当前帧视频图像中标注出多个目标检测对象，包括：

10、针对于当前帧视频图像，利用所述目标检测模型，在所述当前帧视频图像中标注出每个目标检测对象对应的多个候选检测框；

11、针对于每个目标检测对象，采用非极大抑制算法，滤除该目标检测对象对应的多个候选检测框中的冗余检测框，确定用于标注该目标检测对象的目标检测框；

12、直至完成每个目标检测对象的冗余检测框的滤除为止，通过每个目标检测对象的目标检测框，在所述当前帧视频图像中标注出多个目标检测对象。

13、在一种可能的实施方式中，所述针对于当前帧视频图像，利用所述目标检测模型，在所述当前帧视频图像中标注出每个目标检测对象对应的多个候选检测框，包括：

14、针对于当前帧视频图像，利用所述目标检测模型，对所述当前帧视频图像中的检测对象进行标注，在所述当前帧视频图像中标注出多个候选检测框；

15、按照每个候选检测框所标注的目标检测对象，对所述多个候选检测框进行分类处理，确定出每个目标检测对象对应的、单独的多个候选检测框。

16、在一种可能的实施方式中，所述针对于每个目标检测对象，利用该目标检测对象在所述当前帧视频图像中所表征出的位置状态数据，匹配出检测到该目标检测对象的多帧历史帧视频图像，包括：

17、针对于每个目标检测对象，通过预训练的特征学习模型，提取出该目标检测对象在当前帧视频图像中所表征出的位置状态数据；

18、通过确定该目标检测对象的位置状态数据与历史帧视频图像中对应的目标检测对象的位置状态数据之间的误差协方差矩阵，匹配出存在该目标检测对象的多帧历史帧视频图像。

19、在一种可能的实施方式中，所述利用卡尔曼滤波模型，通过分析该目标检测对象在所述多帧历史帧视频图像中的历史运动状态，预测出该目标检测对象在当前帧视频图像中的预测运动状态，包括：

20、借助于为该目标检测对象所分配的对象标识，在所述多帧历史帧视频图像关联该目标检测对象，确定该目标检测对象在每帧历史帧视频图像中的历史运动速度和历史运动轨迹；

21、利用卡尔曼滤波模型，基于该目标检测对象在每帧历史帧视频图像中的历史运动速度和历史运动轨迹，预测出该目标检测对象在当前帧视频图像中的预测运动状态。

22、在一种可能的实施方式中，在跟踪确定该目标检测对象在当前帧视频图像中的实际运动状态之后，所述识别方法还包括：

23、在当前帧视频图像中，跟踪确定用于标注该目标检测对象的目标检测框的框运动状态，并利用为该目标检测对象所分配的对象标识关联所述目标检测框；其中，所述框运动状态包括框位置和框轨迹。

24、在一种可能的实施方式中，通过以下步骤确定该目标检测对象在所述当前帧视频图像中的卡尔曼增益系数：

25、确定在所述当前帧视频图像中用于标注该目标检测对象的目标检测框的测量矩阵、预测状态协方差以及测量噪声协方差矩阵；

26、基于所述测量矩阵、所述预测状态协方差以及所述测量噪声协方差矩阵，确定所述目标检测框在所述当前帧视频图像中所产生的卡尔曼增益系数。

27、在一种可能的实施方式中，所述识别方法还包括：

28、基于所述卡尔曼增益系数和所述测量矩阵，更新所述预测状态协方差。

29、在一种可能的实施方式中，所述基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内是否存在异常工作状态，包括：

30、基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内的位置偏移量；

31、若所述位置偏移量小于偏移量阈值的持续时间大于所述特定时间范围，确定该目标检测对象在特定时间范围内处于异常工作状态；

32、否则，确定该目标检测对象在特定时间范围内处于正常工作状态。

33、在一种可能的实施方式中，所述识别方法还包括：

34、拼接利用目标检测框标注出目标检测对象的每帧视频图像，得到标注视频数据。

35、本技术实施例还提供了一种目标工作状态的识别装置，所述识别装置包括：

36、分帧模块，用于对采集到的视频流数据进行分帧处理，获得多帧视频图像；

37、对象标注模块，用于针对于当前帧视频图像，利用目标检测模型，对所述当前帧视频图像进行推理标注，在所述当前帧视频图像中标注出多个目标检测对象；

38、图像匹配模块，用于针对于每个目标检测对象，利用该目标检测对象在所述当前帧视频图像中所表征出的位置状态数据，匹配出检测到该目标检测对象的多帧历史帧视频图像；

39、运行状态估计模块，用于利用卡尔曼滤波模型，通过分析该目标检测对象在所述多帧历史帧视频图像中的历史运动状态，预测出该目标检测对象在当前帧视频图像中的预测运动状态；

40、运行状态调整模块，用于通过确定该目标检测对象在所述当前帧视频图像中的卡尔曼增益系数，更新该目标检测对象的预测运动状态，跟踪确定该目标检测对象在当前帧视频图像中的实际运动状态；

41、工作状态诊断模块，用于基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内是否存在异常工作状态。

42、在一种可能的实施方式中，所述对象标注模块在用于逐一标注所述多帧视频图像，针对处于标注阶段的当前帧视频图像，利用目标检测模型，对所述当前帧视频图像进行推理标注，在所述当前帧视频图像中标注出多个目标检测对象时，所述对象标注模块用于：

43、针对于当前帧视频图像，利用所述目标检测模型，在所述当前帧视频图像中标注出每个目标检测对象对应的多个候选检测框；

44、针对于每个目标检测对象，采用非极大抑制算法，滤除该目标检测对象对应的多个候选检测框中的冗余检测框，确定用于标注该目标检测对象的目标检测框；

45、直至完成每个目标检测对象的冗余检测框的滤除为止，通过每个目标检测对象的目标检测框，在所述当前帧视频图像中标注出多个目标检测对象。

46、在一种可能的实施方式中，所述对象标注模块在用于针对于当前帧视频图像，利用所述目标检测模型，在所述当前帧视频图像中标注出每个目标检测对象对应的多个候选检测框时，所述对象标注模块用于：

47、针对于当前帧视频图像，利用所述目标检测模型，对所述当前帧视频图像中的检测对象进行标注，在所述当前帧视频图像中标注出多个候选检测框；

48、按照每个候选检测框所标注的目标检测对象，对所述多个候选检测框进行分类处理，确定出每个目标检测对象对应的、单独的多个候选检测框。

49、在一种可能的实施方式中，所述图像匹配模块在用于针对于每个目标检测对象，利用该目标检测对象在所述当前帧视频图像中所表征出的位置状态数据，匹配出检测到该目标检测对象的多帧历史帧视频图像时，所述图像匹配模块用于：

50、针对于每个目标检测对象，通过预训练的特征学习模型，提取出该目标检测对象在当前帧视频图像中所表征出的位置状态数据；

51、通过确定该目标检测对象的位置状态数据与历史帧视频图像中对应的目标检测对象的位置状态数据之间的误差协方差矩阵，匹配出存在该目标检测对象的多帧历史帧视频图像。

52、在一种可能的实施方式中，所述运行状态估计模块在用于利用卡尔曼滤波模型，通过分析该目标检测对象在所述多帧历史帧视频图像中的历史运动状态，预测出该目标检测对象在当前帧视频图像中的预测运动状态时，所述运行状态估计模块用于：

53、借助于为该目标检测对象所分配的对象标识，在所述多帧历史帧视频图像关联该目标检测对象，确定该目标检测对象在每帧历史帧视频图像中的历史运动速度和历史运动轨迹；

54、利用卡尔曼滤波模型，基于该目标检测对象在每帧历史帧视频图像中的历史运动速度和历史运动轨迹，预测出该目标检测对象在当前帧视频图像中的预测运动状态。

55、在一种可能的实施方式中，在跟踪确定该目标检测对象在当前帧视频图像中的实际运动状态之后，所述识别装置还包括关联模块，所述关联模块用于：

56、在当前帧视频图像中，跟踪确定用于标注该目标检测对象的目标检测框的框运动状态，并利用为该目标检测对象所分配的对象标识关联所述目标检测框；其中，所述框运动状态包括框位置和框轨迹。

57、在一种可能的实施方式中，所述识别装置还包括系数计算模块，所述系数计算模块用于通过以下步骤确定该目标检测对象在所述当前帧视频图像中的卡尔曼增益系数：

58、确定在所述当前帧视频图像中用于标注该目标检测对象的目标检测框的测量矩阵、预测状态协方差以及测量噪声协方差矩阵；

59、基于所述测量矩阵、所述预测状态协方差以及所述测量噪声协方差矩阵，确定所述目标检测框在所述当前帧视频图像中所产生的卡尔曼增益系数。

60、在一种可能的实施方式中，所述识别装置还包括方差调整模块，所述方差调整模块用于：

61、基于所述卡尔曼增益系数和所述测量矩阵，更新所述预测状态协方差。

62、在一种可能的实施方式中，所述工作状态诊断模块在用于基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内是否存在异常工作状态时，所述工作状态诊断模块用于：

63、基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内的位置偏移量；

64、若所述位置偏移量小于偏移量阈值的持续时间大于所述特定时间范围，确定该目标检测对象在特定时间范围内处于异常工作状态；

65、否则，确定该目标检测对象在特定时间范围内处于正常工作状态。

66、在一种可能的实施方式中，所述识别装置还包括图像拼接模块，所述图像拼接模块用于：

67、拼接利用目标检测框标注出目标检测对象的每帧视频图像，得到标注视频数据。

68、本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的目标工作状态的识别方法的步骤。

69、本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的目标工作状态的识别方法的步骤。

70、本技术实施例提供的目标工作状态的识别方法及装置，对采集到的视频流数据进行分帧处理，获得多帧视频图像；逐一标注多帧视频图像，针对处于标注阶段的当前帧视频图像，利用目标检测模型，对当前帧视频图像进行推理标注，在当前帧视频图像中标注出多个目标检测对象；针对于每个目标检测对象，利用该目标检测对象在当前帧视频图像中所表征出的位置状态数据，匹配出检测到该目标检测对象的多帧历史帧视频图像；利用卡尔曼滤波模型，通过分析该目标检测对象在多帧历史帧视频图像中的历史运动状态，预测出该目标检测对象在当前帧视频图像中的预测运动状态；通过确定该目标检测对象在当前帧视频图像中的卡尔曼增益系数，更新该目标检测对象的预测运动状态，确定该目标检测对象在当前帧视频图像中的实际运动状态；基于该目标检测对象在每帧视频图像中的实际运动状态，确定该目标检测对象在特定时间范围内是否存在异常工作状态。这样，可以利用采集到的视频流数据，准确地标注出需要进行追踪的多个目标检测对象，并根据每个目标检测对象在每帧视频图像中的实际运动状态，实现每个目标检测对象的工作状态的准确判断及目标检测对象的跟踪，进而，可以间接地提高目标检测对象的工作效率。

71、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。