目标行为检测方法、装置、电子设备及存储介质与流程

本公开涉及计算机视觉，具体涉及一种目标行为检测方法、装置、电子设备及存储介质。

背景技术：

1、在计算机视觉技术领域，目标行为(例如，异常行为)检测是指计算机通过一段时间内的图片序列，对目标对象的动作和行为变化情况进行分析，以确定目标对象是否发生目标行为。

2、相关技术中，目标行为检测的准确性不佳。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本公开的目的在于提出一种目标行为检测方法、装置、电子设备和存储介质，能够有效地提升目标行为检测的准确性，从而有效地提升目标行为检测效果。

3、为达到上述目的，本公开第一方面实施例提出的目标行为检测方法，方法包括：

4、从待处理视频中确定待处理图像集合；

5、从待处理图像集合中的每张待处理图像中分别提取得到第一图像特征；

6、从第一图像特征中确定第一通道特征和第二通道特征，其中，第二通道特征的通道数量大于第一通道特征的通道数量；

7、对第一通道特征进行处理，以获取与待处理图像对应的第二图像特征，其中，第二图像特征用于描述待处理图像的空间信息和时序信息；

8、根据第二图像特征和第二通道特征，确定目标行为检测结果。

9、在本公开的一些实施例中，对第一通道特征进行处理，以获取与待处理图像对应的第二图像特征，包括：

10、将第一通道特征映射至低维向量空间中，以确定与第一通道特征对应的第一向量表示；

11、获取与待处理图像集合对应的位置编码特征；

12、根据位置编码特征和第一向量表示，获取与待处理图像对应的第二图像特征。

13、在本公开的一些实施例中，根据位置编码特征和第一向量表示，获取与待处理图像集合对应的第二图像特征，包括：

14、对位置编码特征和第一向量表示进行求和处理，以得到第三图像特征；

15、对第三图像特征进行线性变换处理，并对线性变换处理处理所得的线性变换结果进行非线性变换处理，以得到第四图像特征；

16、对第四图像特征进行处理，以得到第二图像特征。

17、在本公开的一些实施例中，对第四图像特征进行处理，以得到第二图像特征，包括：

18、将第四图像特征输入至双流注意力网络中，以获取双流注意力网络输出的第二图像特征。

19、在本公开的一些实施例中，根据第二图像特征和第二通道特征，确定目标行为检测结果，包括：

20、对第二图像特征进行卷积映射处理，并对卷积映射处理所得的处理结果进行线性插值处理，以得到第五图像特征；

21、对第五图像特征和第一通道特征进行求和处理，以得到第六图像特征；

22、对第六图像特征和第二通道特征进行拼接处理，以得到第七图像特征；

23、根据第七图像特征，确定目标行为检测结果。

24、在本公开的一些实施例中，根据第七图像特征，确定目标行为检测结果，包括：

25、对第七图像特征进行平均池化处理，以得到第八图像特征；

26、将第八图像特征输入至全连接层中，以获取全连接层输出的第九图像特征；

27、根据第九图像特征，确定目标行为检测结果。

28、在本公开的一些实施例中，根据第九图像特征，确定目标行为检测结果，包括：

29、基于分类激活函数对第九图像特征进行处理，以获取目标行为检测结果。

30、在本公开的一些实施例中，从待处理视频中确定待处理图像集合，包括：

31、获取待处理视频，其中，待处理视频包括：第一视频帧；

32、如果第一视频帧中目标对象的动作类型为预设类型，则从待处理视频中提取预设数量的第二视频帧，其中，第二视频帧是第一视频帧的下一视频帧；

33、从预设数量的第二视频帧中，确定目标对象的动作类型为预设类型的视频帧数量；

34、如果视频帧数量大于数量阈值，则从每张第二视频帧中分别截取与目标对象对应的局部图像；

35、将局部图像作为待处理图像，其中，预设数量个待处理图像组成待处理图像集合。

36、为达到上述目的，本公开第二方面实施例提出的目标行为检测装置，装置包括：

37、第一确定模块，用于从待处理视频中确定待处理图像集合；

38、提取模块，用于从待处理图像集合中的每张待处理图像中分别提取得到第一图像特征；

39、第二确定模块，用于从第一图像特征中确定第一通道特征和第二通道特征，其中，第二通道特征的通道数量大于第一通道特征的通道数量；

40、处理模块，用于对第一通道特征进行处理，以获取与待处理图像对应的第二图像特征，其中，第二图像特征用于描述待处理图像的空间信息和时序信息；

41、第三确定模块，用于根据第二图像特征和第二通道特征，确定目标行为检测结果。

42、在本公开的一些实施例中，处理模块，还用于：

43、将第一通道特征映射至低维向量空间中，以确定与第一通道特征对应的第一向量表示；

44、获取与待处理图像集合对应的位置编码特征；

45、根据位置编码特征和第一向量表示，获取与待处理图像对应的第二图像特征。

46、在本公开的一些实施例中，处理模块，还用于：

47、对位置编码特征和第一向量表示进行求和处理，以得到第三图像特征；

48、对第三图像特征进行线性变换处理，并对线性变换处理处理所得的线性变换结果进行非线性变换处理，以得到第四图像特征；

49、对第四图像特征进行处理，以得到第二图像特征。

50、在本公开的一些实施例中，处理模块，还用于：

51、将第四图像特征输入至双流注意力网络中，以获取双流注意力网络输出的第二图像特征。

52、在本公开的一些实施例中，第三确定模块，还用于：

53、对第二图像特征进行卷积映射处理，并对卷积映射处理所得的处理结果进行线性插值处理，以得到第五图像特征；

54、对第五图像特征和第一通道特征进行求和处理，以得到第六图像特征；

55、对第六图像特征和第二通道特征进行拼接处理，以得到第七图像特征；

56、根据第七图像特征，确定目标行为检测结果。

57、在本公开的一些实施例中，第三确定模块，还用于：

58、对第七图像特征进行平均池化处理，以得到第八图像特征；

59、将第八图像特征输入至全连接层中，以获取全连接层输出的第九图像特征；

60、根据第九图像特征，确定目标行为检测结果。

61、在本公开的一些实施例中，第三确定模块，还用于：

62、基于分类激活函数对第九图像特征进行处理，以获取目标行为检测结果。

63、在本公开的一些实施例中，第一确定模块，还用于：

64、获取待处理视频，其中，待处理视频包括：第一视频帧；

65、如果第一视频帧中目标对象的动作类型为预设类型，则从待处理视频中提取预设数量的第二视频帧，其中，第二视频帧是第一视频帧的下一视频帧；

66、从预设数量的第二视频帧中，确定目标对象的动作类型为预设类型的视频帧数量；

67、如果视频帧数量大于数量阈值，则从每张第二视频帧中分别截取与目标对象对应的局部图像；

68、将局部图像作为待处理图像，其中，预设数量个待处理图像组成待处理图像集合。

69、本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本公开第一方面实施例提出的目标行为检测方法。

70、本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的目标行为检测方法。

71、本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的目标行为检测方法。

72、本公开提供的目标行为检测方法、装置、电子设备和存储介质，至少存在以下有益效果：从待处理视频中确定待处理图像集合，从待处理图像集合中的每张待处理图像中分别提取得到第一图像特征，再从第一图像特征中确定第一通道特征和第二通道特征，其中，第二通道特征的通道数量大于第一通道特征的通道数量，再对第一通道特征进行处理，以获取与待处理图像对应的第二图像特征，其中，第二图像特征用于描述待处理图像的空间信息和时序信息，以及根据第二图像特征和第二通道特征，确定目标行为检测结果，由此，能够有效地提升目标行为检测的准确性，从而有效地提升目标行为检测效果。

73、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。