动态目标检测方法、电子设备及存储介质与流程

1.本申请涉及图像处理领域，特别是涉及一种动态目标检测方法、电子设备及存储介质。


背景技术：

2.动态目标检测被广泛应用于监控领域。在监控领域中，需要利用动态目标检测用于检测视频帧中是否存在动态目标，若视频帧中存在动态目标，则认为该视频帧异常，需要报警处理，以便相关人员及时响应。
3.现有的动态目标检测技术主要包括光流法、帧差法和背景差分法等等。现有的动态目标检测技术的基本原理是对视频帧序列中的相邻两视频帧相减，以发现视频帧序列中发生变化的视频帧，或通过将当前视频帧与背景模型相减，以提取当前视频帧中的运动目标等。
4.但是，现有的动态目标检测方法实时性不够高，导致相关人员无法及时响应，造成不良后果。


技术实现要素：

5.本申请提供一种动态目标检测方法、电子设备及存储介质，能够解决现有的图像下采样方法适用度不高的问题。
6.为解决上述技术问题，本申请采用的一个技术方案是：提供一种动态目标检测方法。该方法包括：获取当前视频帧；获取当前视频帧的预设数量个预测信息，其中，当前视频帧的预设数量个预测信息，分别是利用神经网络基于当前视频帧的预设数量个在先视频帧的信息预测得到的，神经网络是利用训练视频帧训练得到的，训练视频帧中不存在动态目标；基于当前视频帧的信息与预测信息之间的差异，确定当前视频帧中是否存在动态目标。
7.为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
8.为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
9.通过上述方式，由于利用不存在动态目标的训练视频帧训练得到的神经网络，对不存在动态目标的视频帧的预测准确度高于对存在动态目标的视频帧的预测准确度，且预测是基于无动态目标的条件进行的，当动态目标出现时，该时刻视频帧的信息与预测信息之间必然产生较大差异，故本申请基于当前视频帧的信息与利用神经网络得到的当前视频帧的预测信息之间的差异，能够确定当前视频帧中是否存在动态目标。
10.并且，相较于直接利用神经网络对当前视频帧进行判断的方式(此方式需要大量的带标签的视频帧，但无法覆盖所有类型的动态目标，且网络模型复杂，训练困难，网络前向传播耗时长，影响检测实时性，此外，同一监控场景中，面临引入新标签导致神经网络参
数需要更新的问题)，本申请仅需要利用神经网络获取当前视频帧的预测信息，从而根据当前视频帧的信息与预测信息之间的差异来确定当前视频帧中是否存在动态目标的方式，能够降低神经网络直接前向传播进行动态目标判断与检测引起的延时，提高动态目标检测的实时性。
附图说明
11.图1是本申请动态目标检测系统一结构示意图；
12.图2是本申请动态目标检测系统另一结构示意图；
13.图3是本申请动态目标检测方法第一实施例的流程示意图；
14.图4是本申请动态目标检测方法第二实施例的流程示意图；
15.图5是图4中s22的具体流程示意图；
16.图6是本申请动态目标检测方法第三实施例的流程示意图；
17.图7是图6中s32的具体流程示意图；
18.图8是本申请动态目标检测方法第四实施例的流程示意图；
19.图9是本申请电子设备一实施例的结构示意图；
20.图10是本申请存储介质一实施例的结构示意图。
具体实施方式
21.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
22.本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
23.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
24.在介绍本申请提供的动态目标检测方法之前，先对该方法的应用场景进行说明。本申请提供的动态目标检测方法可以依赖动态目标检测系统来实现。
25.参阅图1，在一应用场景中，动态目标检测系统可以包括传感器和检测设备，检测设备具有检测能力。传感器布设于检测区域，传感器可以采集检测区域的视频帧，并通过通信系统将视频帧发送至检测设备，以使检测设备检测视频帧中是否存在动态目标。在检测结果为存在动态目标的情况下，检测设备可以指示各联动项报警。
26.参阅图2，在另一应用场景中，动态目标检测系统可以包括传感器、云端服务器和检测设备，检测设备自身不具有检测能力。传感器布设于检测区域，传感器可以采集检测区域的视频帧，并通过通信系统将视频帧分别发送至云端服务器和检测设备。检测设备可以
实时显示和存储视频帧，云端服务器可以检测视频帧中是否存在动态目标，若存在动态目标，则云端服务器可以通过通信系统发送报警信号及视频帧至检测设备，以使检测设备指示各联动项报警。
27.上述应用场景中所涉及的传感器类型取决于需要采集的视频帧信息的类型，具体说明请参见本申请后文的描述。
28.需要说明的是，上述应用场景仅为举例，并不意味着对本申请应用场景的限定。
29.图3是本申请动态目标检测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施例可以包括：
30.s11：获取当前视频帧。
31.本申请中提及的视频帧可以通过传感器获取得到。其中，视频帧可以包括相机传感器获取到的图像(yuv、ycbcr等格式)像素数据、时间戳等信息，或者，视频帧除了可以包括上述信息之外，还可以包括相机传感器所在环境的亮度信息，该亮度信息可以用于反映检测区域的光照强度，相机传感器所在环境的亮度信息可以通过光照传感器获取得到。s12：获取当前视频帧的预设数量个预测信息。
32.其中，当前视频帧的预设数量个预测信息分别是利用神经网络基于当前视频帧的预设数量个在先视频帧的信息预测得到的，神经网络是利用训练视频帧训练得到的，训练视频帧中不存在动态目标。
33.本申请所指视频帧的信息可以包括视频帧的亮度信息(即图像像素数据中的亮度分量y)。或者，本申请所指视频帧的信息可以包括视频帧的亮度信息和照度信息。其中，视频帧的照度信息可以为视频帧所属检测区域的照度信息，即前面提及的相机传感器所在环境的亮度信息。
34.对当前视频帧x(n)进行预测得到n个预测信息的方式进行说明。在获取到视频帧x(0)时，对视频帧x(0)的信息进行向后n帧的预测，得到视频帧x(0)的n个在后视频(x(1)～x(n))的预测信息(x(0，1)～x(0，n))；在获取到视频帧x(1)时，对视频帧x(1)的信息进行向后n帧的预测，得到视频帧x(1)的n个在后视频(x(2)～x(n+1))的预测信息(x(1，2)～x(1，n+1))；
……
；依次类推，在获取到视频帧x(n-1)时，对在视频帧x(n-1)的信息进行向后n帧的预测，得到视频帧x(n-1)的n个在后视频(x(n)～x(2n-1))的预测信息(x(n-1，n)～x(n-1，2n-1))。
35.其中，x(0，n)为基于x(0)得到的x(n)的预测信息，x(1，n)为基于x(1)得到的x(n)的预测信息，x(n-1，n)为基于x(n-1)得到的x(n)的预测信息。从而当前视频帧x(n)的预测信息序列为{x(0，n)，x(1，n)，
…
，x(n-1，n)}。
36.本申请使用的神经网络可以为sae-lstm，也可以为其他能够实现对当前视频帧预测的神经网络。对神经网络训练的详细说明请参见后面的实施例。
37.s13：基于当前视频帧的信息与预测信息之间的差异，确定当前视频帧中是否存在动态目标。
38.可以理解的是，由于神经网络是基于不存在动态目标的训练视频帧训练得到的，因此神经网络获取到的存在动态目标的视频帧的预测信息的准确度低于不存在动态目标的视频帧的预测信息的准确度，且预测是基于无动态目标的条件进行的，当动态目标出现时，该时刻视频帧的信息与预测信息之间必然产生较大差异。从而可以基于当前视频帧的
信息与预测信息之间的差异来确定当前视频帧中是否存在动态目标。
39.在一具体实施方式中，可以基于当前视频帧的信息与预测信息之间差异的大小来确定当前视频帧中是否存在动态目标。例如，可以设定一预设阈值，若当前视频帧的信息与预测信息之间差异的大小超过该预设阈值，则确定当前视频帧中存在动态目标；否则确定当前视频帧中不存在动态目标。其中，当前视频帧的信息与预测信息之间差异的大小具体可以体现为当前视频帧的信息与预测信息之间的欧式距离(预测误差平方和)的大小、绝对距离(预测误差绝对值之和)的大小等。
40.为了提高确定结果的准确度，在另一具体实施方式中，可以基于当前视频帧的信息与各预测信息之间的差异分布情况来确定当前视频帧中是否存在动态目标。例如，已知不存在动态目标时，视频帧的信息与预测信息之间的差异分布情况(基准分布情况)，可以基于当前视频帧的信息与各预测信息之间的差异分布情况与基准分布情况的区别来确定当前视频帧中是否存在动态目标。
41.其中，该基准分布情况可以代表不存在动态目标时视频帧的信息与利用神经网络得到的视频帧的预测信息之间的差异分布情况。其可以是训练视频帧的信息与利用神经网络最后一次迭代训练过程获取到的训练视频帧预测信息之间的差异分布情况。也可以是通过其他方式设定的。
42.通过本实施例的实施，由于利用不存在动态目标的训练视频帧训练得到的神经网络，对不存在动态目标的视频帧的预测准确度高于对存在动态目标的视频帧的预测准确度，且预测是基于无动态目标的条件进行的，当动态目标出现时，该时刻视频帧与该时刻在先视频帧之间必然产生较大差异，故本申请能够基于当前视频帧的信息与利用神经网络得到的当前视频帧的预测信息之间的差异，能够确定当前视频帧中是否存在动态目标。
43.并且，相较于直接利用神经网络对当前视频帧进行判断的方式(此方式需要大量的带标签的视频帧，但无法覆盖所有类型的动态目标，且网络模型复杂，训练困难，网络前向传播耗时长，影响检测实时性，此外，同一监控场景中，面临引入新标签导致神经网络参数需要更新的问题)，本申请仅需要利用神经网络获取当前视频帧的预测信息，从而根据当前视频帧的信息与预测信息之间的差异来确定当前视频帧中是否存在动态目标的方式，能够降低神经网络直接前向传播进行动态目标判断与检测引起的延时，提高动态目标检测的实时性。此外，上述实施例中，获取到当前视频帧之后，还利用神经网络基于当前视频帧的信息对当前视频帧的预设数量个在后视频帧的进行预测，得到当前视频帧的预设数量个在后视频帧的预测信息，以便后续使用。
44.图4是本申请动态目标检测方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例中，当前视频帧的信息包括亮度信息和照度信息，当前视频帧的预测信息包括预测亮度信息和预测照度信息，训练视频帧中不存在异常照度信息。其中s21是对上述s12的进一步扩展，s22是对上述s13的进一步扩展。如图4所示，本实施例可以包括：
45.s21：获取当前视频帧的预设数量个预测亮度信息和预设数量个预测照度信息。
46.其中，当前视频帧的预设数量个预测亮度信息分别是利用神经网络基于当前视频帧的预设数量个在先视频帧的亮度信息预测得到的，当前视频帧的预设数量个预测照度信息分别是利用神经网络基于当前视频帧的预设数量个在先视频帧的照度信息预测得到的。
47.本步骤中获取当前视频帧的预测亮度信息和预测照度信息的方式请参见前面实施例中获取当前视频帧的信息的详细说明，在此不再重复。
48.s22：基于当前视频帧的亮度信息与预测亮度信息之间的差异、当前视频帧的照度信息与预测照度信息之间的差异，确定当前视频帧中是否存在动态目标。由前面提到的，可以基于差异大小或者差异分布情况来确定当前视频帧中是否存在动态目标。下面以基于差异分布情况来确定当前视频帧中是否存在动态目标对s22进行具体说明。参阅图5，s22可以包括以下子步骤:
49.s221：获取当前视频帧的亮度信息与预测亮度信息之间的预设数量个第一预测误差值，获取当前视频帧的照度信息与预测照度信息之间的预设数量个第二预测误差值。
50.举例说明，预设数量为5，当前视频帧x(5)的亮度信息为x(5a)、预测亮度信息序列为{x(50a)，x(51a)，x(52a)，x(53a)，x(54a)}，则当前视频帧x(5)的第一预测误差值序列为{|x(5a)-x(50a)|，|x(5a)-x(51a)|，|x(5a)-x(52a)|，|x(5a)-x(53a)|，|x(5a)-x(54a)|}。
51.当前视频帧x(5)的照度信息为x(5b)、预测照度信息序列为{x(50b)，x(51b)，x(52b)，x(53b)，x(54b)}，则当前视频帧x(5)的第二预测误差值序列为{|x(5b)-x(50b)|，|x(5b)-x(51b)|，|x(5b)-x(52b)|，|x(5b)-x(53b)|，|x(5b)-x(54b)|}。
52.每个第一预测误差值可以用于表示当前视频帧的亮度信息与对应预测亮度信息之前的差异，每个第二预测误差值可以用于表示当前视频帧的照度信息与对应预测照度信息之间的差异。
53.s222：基于第一预测误差值的分布情况和第二预测误差值的分布情况，确定当前视频帧中是否存在动态目标。
54.本申请所指分布情况为概率分布，例如高斯分布等等。
55.本步骤详细描述请参见后面的实施例，在此不再重复。
56.通过本实施例的实施，由于用于训练神经网络的训练视频帧中不存在异常照度信息，故训练得到的神经网络对不存在异常照度信息的视频帧的预测准确度高于对存在异常照度信息的视频帧的预测准确度，且对照度信息的预测是基于无异常照度信息的条件进行的，当异常照度信息出现时，该时刻视频帧与该时刻在先视频帧之间必然产生较大差异。故本申请基于当前视频帧的照度信息与预测照度信息之间的差异，能够确定当前视频帧中是否存在异常照度信息，也即能够确定照度信息是否会对通过亮度信息来确定当前视频帧中是否存在动态目标的过程产生干扰。因此，本申请中结合当前视频帧的亮度信息与预测亮度信息之间的差异、当前视频帧的照度信息与预测照度信息之间的差异共同确定当前视频帧中是否存在动态目标，能够使得确定结果更加准确。
57.图6是本申请动态目标检测方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。本实施例是对s222的进一步扩展。如图6所示，本实施例可以包括：
58.s31：将第一预测误差值的分布情况和第一基准分布情况进行比较，得到第一差异分数，将第二预测误差值的分布情况与第二基准分布情况进行比较，得到第二差异分数。
59.第一基准分布情况可以代表不存在动态目标时第一预测误差值的分布情况，第二基准分布情况可以代表不存在动态目标时第二预测误差值的分布情况。
60.参考前面提及的基准分布情况的获取方式可知，第一基准分布情况可以为训练视
频帧的亮度信息与利用神经网络最后一次迭代训练过程获取到的训练视频帧的预测亮度信息之间的差异分布情况，第二基准分布情况可以为训练视频帧的照度信息与利用神经网络最后一次迭代训练过程获取到的训练视频帧的预测照度信息之间的差异分布情况。
61.可以利用第一差异算法将第一预测误差值的分布情况与第一基准分布情况进行比较，得到第一差异分数，利用第一差异算法将第二预测误差值的分布情况与第二基准分布情况进行比较，得到第二差异分数。
62.和/或，可以利用第二差异算法将第一预测误差值的分布情况与第一基准分布情况进行比较，得到第一差异分数，利用第二差异算法将第二预测误差值的分布情况与第二基准分布情况进行比较，得到第二差异分数。
63.其中，第一差异算法的精度高于第二差异算法的精度。可以理解的是，相对于精度低的算法，精度高的算法需要耗费的时间较长，从而检测速度较慢。
64.可选地，第一差异算法为广义对数似然比(gllr)检验和累积算法，第二差异算法为相对熵(kl散度)检验。
65.s32：基于第一差异分数与第二差异分数之间的差异，确定当前视频帧中是否存在动态目标。
66.可以理解的是，基于第一差异分数与第二差异分数之间的差异，确定当前视频帧中是否存在动态目标。也即使用照度信息得到的第二差异分数对使用亮度信息得到的第一差异分数进行补偿，减小由于光照变化引起的确定结果的误差。
67.参阅图7，s32可以包括以下子步骤：
68.s321：获取第一差异分数与第二差异分数的差值。
69.s322：将差值与预设阈值进行比较，得到比较结果。
70.例如，第一差异算法为广义对数似然比检验和累积算法，第二差异算法为相对熵检验。第一差异算法对应的预设阈值可以根据实际需要自行设定，第二差异算法对应的预设阈值取值范围为第一差异算法对应的预设阈值的γ倍，γ取值[0,1)。
[0071]
s323：基于比较结果确定当前视频帧中是否存在动态目标。
[0072]
下面以一个例子的形式对本实施例进行说明。
[0073]
利用广义对数似然比检验和累积算法执行s31，得到第一比较结果。利用相对熵检验执行s31，得到第二比较结果。
[0074]
获取到第二比较结果的速度快于获取到第一比较结果的速度，第一比较结果的精度高于第二比较结果。在先得到第二比较结果为存在动态目标的情况下，与检测设备关联的蜂鸣器低频报警；在后得到第一比较结果为存在动态目标的情况下，与检测设备关联的蜂鸣器高频报警。其中，在蜂鸣器低频报警的情况下，代表报警等级较低，相关人员可自行选择是否作出响应。在蜂鸣器高频报警的情况下，代表报警等级较高，需要相关人员及时作出响应。
[0075]
通过本实施例的实施，本申请在确定当前视频帧中是否存在动态目标时，考虑了光照变化对当前视频帧的亮度信息的影响，能够提高确定结果的准确度。
[0076]
下面对本申请神经网络的训练过程进行说明。图8是本申请动态目标检测方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。如图8所示，本实施例可以包括：
[0077]
s41：获取训练视频帧。
[0078]
训练视频帧可以是传感器新采集到的视频帧，也可以是历史采集到的视频帧。
[0079]
可以理解的是，在前面实施例视频帧的信息包括亮度信息的情况下，训练神经网络所使用的训练视频帧中不存在动态目标；在前面实施例视频帧的信息包括亮度信息和照度信息的情况下，训练神经网络所使用的训练视频帧中不存在动态目标，且不存在异常照度信息。本实施例是以后者为例对训练神经网络的过程进行说明。
[0080]
由于传感器获取到的视频帧中可能存在动态目标和/或可能存在异常照度信息，因此可以将采集到的视频帧进行去噪、归一化等预处理，以选出其中不存在动态目标且不存在异常照度信息的视频帧作为训练视频帧。
[0081]
s42：利用神经网络基于训练视频帧的预设数量个在先训练视频帧的亮度信息获取训练视频帧的预设数量个预测亮度信息，利用神经网络基于训练视频帧的预设数量个在先训练视频帧的照度信息获取训练视频帧的预设数量个预测照度信息。
[0082]
本实施例的详细说明请参考前面的实施例，在此不再重复。
[0083]
s43：基于训练视频帧的亮度信息与预测亮度信息之间的差异、训练视频帧的照度信息与预测照度信息之间的差异，调整神经网络的参数。
[0084]
例如，可以利用预测误差值的平方和与稀疏惩罚一起构造损失函数进行神经网络参数更新，直到损失函数值小于预设损失值或者迭代次数达到预设迭代次数。
[0085]
此外，还可以以训练视频帧的信息与利用神经网络最后一次迭代训练过程得到的训练视频帧的预测信息之间的差异分布情况，作为后续使用过程中不存在动态目标时视频帧对应的基准分布情况。
[0086]
图9是本申请电子设备一实施例的结构示意图。如图9所示，该电子设备包括处理器51、与处理器51耦接的存储器52。
[0087]
其中，存储器52存储有用于实现上述任一实施例的方法的程序指令；处理器51用于执行存储器52存储的程序指令以实现上述方法实施例的步骤。其中，处理器51还可以称为cpu(central processing unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0088]
图10是本申请存储介质一实施例的结构示意图。如图10所示，本申请实施例的计算机可读存储介质60存储有程序指令61，该程序指令61被执行时实现本申请上述实施例提供的方法。其中，该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0089]
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以
结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0090]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。