基于视频监控的有害动物检测方法、装置和电子装置与流程

1.本申请涉及智能监控领域，特别是涉及一种基于视频监控的有害动物检测方法、装置和电子装置。


背景技术：

2.随着经济的快速发展，人民消费水平的提高，越来越多的人倾向于去饭店或者点外卖来解决一日三餐。然而，很多外表光鲜亮丽的饭店，其后厨却成为了藏污纳垢之所。隐匿在厨房的有害动物目标严重会对着厨房的卫生安全造成很大的威胁，例如老鼠、蟑螂等。这些有害动物目标身上携带的细菌和病毒会对食客的身体健康产生不良的影响。
3.相关技术中，通过人工监测厨房中的有害动物目标，来改善厨房的卫生安全问题。然而，由于老鼠蟑螂等有害动物目标的体积较小，行动迅速，且多出行于夜间，因此，通过人工监测厨房中的有害动物目标是十分困难的。
4.目前，针对相关技术中，无法有效监测室内环境中的有害动物目标的问题，尚未提出有效的解决方案。


技术实现要素：

5.本申请实施例提供了一种基于视频监控的有害动物检测方法、装置和电子装置，以至少解决相关技术中无法有效监测室内环境中的有害动物目标的问题。
6.第一方面，本申请实施例提供了一种基于视频监控的有害动物检测方法，包括：
7.获取视频流；所述视频流包括多帧视频图像；
8.根据预先构建的运动物体检测模型，对多帧所述视频图像进行检测，得到第一预选目标集合；所述第一预选目标集合包括动检大目标、动检小目标和其他动检目标；
9.根据预先构建的目标检测模型，对多帧所述视频图像进行检测，得到第二预选目标集合，所述第二预选目标集合包括大物体目标和小物体目标；
10.根据所述第一预选目标集合和所述第二预选目标集合，确定所述视频流中的有害动物目标。
11.在其中一些实施例中，所述根据预先构建的运动物体检测模型，对多帧所述视频图像进行检测，得到第一预选目标集合包括：
12.根据所述运动物体检测模型，对多帧所述视频图像进行检测，得到所述视频图像中多个运动物体的轮廓信息以及每一所述运动物体对应图像子区域的坐标信息；
13.根据每一所述运动物体对应图像子区域的坐标信息，计算每一所述运动物体对应图像子区域的像素面积；
14.根据预设的像素面积阈值范围和每一所述运动物体对应图像子区域的像素面积，得到所述第一预选目标集合；所述像素面积阈值范围包括最大像素面积阈值和最小像素面积阈值；所述动检大目标表示对应图像子区域的像素面积大于所述最大像素面积阈值的运动物体；所述动检小目标表示对应图像子区域的像素面积小于最小像素面积阈值的运动物
体；所述其他动检目标表示对应图像子区域的像素面积在所述像素面积阈值区间内的运动物体。
15.在其中一些实施例中，所述根据所述第一预选目标集合和所述第二预选目标集合，确定所述视频流中的有害动物目标包括：
16.将所述第一预选目标集合和所述第二预选目标集合相结合，得到第一汇总目标集合；
17.根据所述大物体目标和交并比算法，将符合预设过滤条件的其他动检目标从所述第一汇总目标集合中滤除，得到第二汇总目标集合；
18.对所述第二汇总目标集合中的动检大目标、动检小目标和大物体目标进行剔除处理，得到最终汇总目标集合，并将所述最终汇总目标集合中的所有目标作为所述视频流中的有害动物目标。
19.在其中一些实施例中，所述根据所述大物体目标和交并比算法，将符合预设过滤条件的其他动检目标从所述第一汇总目标集合中滤除包括：
20.针对每一帧视频图像，计算每一所述其他动检目标所在图像子区域与每一所述大物体目标所在图像子区域的第一交并比；
21.将所述第一交并比与第一预设交并比阈值进行比较；
22.若所述第一交并比大于或者等于所述第一预设交并比阈值，则将所述第一交并比对应的其他动检目标从所述第一汇总目标集合中滤除。
23.在其中一些实施例中，在所述根据所述第一预选目标集合和所述第二预选目标集合，确定所述视频流中的有害动物目标之后，所述方法还包括：
24.根据训练好的深度学习分类模型，对所述视频流中的有害动物目标进行分类处理，得到分类处理后的有害动物目标集合；所述有害动物目标集合包括多种有害动物目标；其中，所述深度学习分类模型至少包括老鼠和蟑螂中的至少之一。
25.在其中一些实施例中，在所述根据训练好的深度学习分类模型，对所述视频流中的有害动物目标进行分类处理，得到分类处理后的有害动物目标集合之后，所述方法还包括：
26.针对所述有害动物目标进行目标跟踪处理，得到每一所述有害动物目标对应的id的轨迹信息；
27.统计每一种有害动物目标的出现帧数；
28.若所述有害动物目标的出现帧数大于预设帧数阈值，则根据所述有害动物目标对应的id的轨迹信息，确定所述有害动物目标的密集活动区域，并输出告警信息，所述告警信息包括所述有害动物目标的密集活动区域以及对应的id的轨迹信息。
29.在其中一些实施例中，所述方法还包括：
30.根据所述有害动物目标对应的id的轨迹信息，计算所述有害动物目标的高度和平均轨迹变化速率；
31.获取每一种有害动物对应的预设高度阈值范围和预设平均轨迹变化速率阈值范围；
32.根据预设高度阈值范围、预设平均轨迹变化速率阈值范围以及所述有害动物目标的高度和平均轨迹变化速率，确定所述有害动物目标的种类。
33.第二方面，本申请实施例提供了一种基于视频监控的有害动物检测装置，包括：
34.数据获取模块，用于获取视频流；所述视频流包括多帧视频图像；
35.动态检测模块，用于根据预先构建的运动物体检测模型，对多帧所述视频图像进行检测，得到第一预选目标集合；所述第一预选目标集合包括动检大目标、动检小目标和其他动检目标；
36.目标检测模块，用于根据预先构建的目标检测模型，对多帧所述视频图像进行检测，得到第二预选目标集合，所述第二预选目标集合包括大物体目标和小物体目标；
37.目标确定模块，用于根据所述第一预选目标集合和所述第二预选目标集合，确定所述视频流中的有害动物目标。
38.第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于视频监控的有害动物检测方法。
39.第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于视频监控的有害动物检测方法。
40.相比于相关技术，本申请实施例提供的基于视频监控的有害动物检测方法、装置和电子装置，通过获取视频流；视频流包括多帧视频图像；根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标；根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标；根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标，解决了相关技术中，无法有效监测室内环境中的有害动物目标的问题。
41.本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
42.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
43.图1为本申请实施例的基于视频监控的有害动物检测方法的流程图；
44.图2为本申请实施例中根据运动物体检测模型，对多帧视频图像进行检测的流程图；
45.图3为本申请实施例中根据目标检测模型，对多帧视频图像进行检测的流程图；
46.图4为本申请实施例中根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标的流程图；
47.图5为本申请实施例中将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除的流程图；
48.图6为本申请实施例中对视频流中的有害动物目标进行跟踪的流程图；
49.图7为本申请实施例中确定视频流中有害动物目标的种类的流程图；
50.图8为本申请优选实施例的基于视频监控的有害动物检测方法的流程图；
51.图9为本申请实施例的基于视频监控的有害动物检测方法的终端的硬件结构框
图；
52.图10为本申请实施例的基于视频监控的有害动物检测装置的结构框图。
具体实施方式
53.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
54.在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
55.除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
56.本申请所描述的各种技术，可以但不仅限于应用于各种室内外有害动物监控系统、平台以及设备。
57.以厨房场景为例对本申请实施例进行说明，图1为本申请实施例的基于视频监控的有害动物检测方法的流程图，如图1所示，该流程包括如下步骤：
58.步骤s110，获取视频流；视频流包括多帧视频图像。
59.可以从监控设备中获取厨房场景的视频流，该视频流包括多帧厨房的视频图像。
60.需要说明的是，考虑到蟑螂、老鼠等有害动物昼伏夜出的习性，获取到的视频流应当包含多帧夜间厨房的视频图像。
61.步骤s120，根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标。
62.具体地，针对每一帧视频图像，通过预先构建的运动物体检测模型，将该视频图像的所有像素划分为背景与运动前景两类，并对视频图像的背景像素进行删除，从而得到该
视频图像的运动前景像素的集合，即第一预选目标集合。
63.需要说明的是，动检大目标表示尺寸过大的动检目标，例如，在白天场景下在厨房走动的厨房工作人员。动检小目标表示尺寸过小的动检目标，例如，闪烁的光斑。其他动检目标表示符合预设有害动物尺寸条件的动检目标，预设有害动物尺寸条件是根据有害动物尺寸大小的经验知识设置的。
64.步骤s130，根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标。
65.可以采用基于深度学习的多尺度目标检测算法构建目标检测模型，也可以采用其他目标检测算法构建目标检测模型，本实施例不作限制。
66.步骤s140，根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标。
67.通过上述步骤s110至步骤s140，获取视频流；视频流包括多帧视频图像；根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标；根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标；根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标。本申请通过结合运动物体检测和目标检测两种检测方法对视频流中的有害动物目标进行检测，从而避免了有害动物目标静止时动检漏检的情况，提高了有害动物目标的检出率，解决了相关技术中，无法有效监测室内环境中的有害动物目标的问题。
68.进一步地，大物体目标的类型包括室内工作人员。小物体目标的类型至少包括蟑螂和老鼠中的至少之一。
69.在其中一些实施例中，图2为本申请实施例中根据运动物体检测模型，对多帧视频图像进行检测的流程图，如图2所示，该流程包括如下步骤：
70.步骤s210，根据运动物体检测模型，对多帧视频图像进行检测，得到视频图像中多个运动物体的轮廓信息以及每一运动物体对应图像子区域的坐标信息。
71.其中，运动物体对应的图像子区域可以是该运动物体轮廓外接的最小矩形框，也可以是其他形状以及尺寸的图像子区域，只要能够囊括该运动物体在视频图像中的所有像素点即可。
72.步骤s220，根据每一运动物体对应图像子区域的坐标信息，计算每一运动物体对应图像子区域的像素面积。
73.步骤s230，根据预设的像素面积阈值范围和每一运动物体对应图像子区域的像素面积，得到第一预选目标集合；像素面积阈值范围包括最大像素面积阈值和最小像素面积阈值；动检大目标表示对应图像子区域的像素面积大于最大像素面积阈值的运动物体；动检小目标表示对应图像子区域的像素面积小于最小像素面积阈值的运动物体；其他动检目标表示对应图像子区域的像素面积在像素面积阈值区间内的运动物体。
74.其中，像素面积阈值区间是根据有害动物体积大小的经验数据设置的，用于对检测到的动检目标进行分类。
75.具体地，根据像素面积阈值范围和每一运动物体对应图像子区域的像素面积，对步骤s210中的多个运动物体进行分类，得到由多个不同尺寸大小的动检目标构成的第一预
选目标集合。
76.通过上述步骤s210至步骤s230，根据运动物体检测模型，对多帧视频图像进行检测，得到视频图像中多个运动物体的轮廓信息以及每一运动物体对应图像子区域的坐标信息；根据每一运动物体对应图像子区域的坐标信息，计算每一运动物体对应图像子区域的像素面积；根据预设的像素面积阈值范围和每一运动物体对应图像子区域的像素面积，对从视频图像中检测出的多个运动物体进行分类，得到第一预选目标集合，以便于后续从第一预选目标集合中筛选出有害动物目标，从而可以避免有害动物目标误检的情况，提高了视频图像中的有害动物目标检测的准确度。
77.在其中一些实施例中，图3为本申请实施例中根据目标检测模型，对多帧视频图像进行检测的流程图，如图3所示，该流程包括如下步骤：
78.步骤s310，构建初始目标检测模型。
79.步骤s320，获取训练样本数据；训练样本数据包括多张训练样本图像。
80.步骤s330，确定初始目标检测模型的基本比例设置；基本比例设置包括有害动物以及人的长宽高比例数据。
81.步骤s340，在初始目标检测模型中，设置针对小目标的第一网络深度特征图和针对大目标的第二网络深度特征图。
82.其中，第一网络深度特征图表示网络深度较浅的特征图。第二网络深度特征图表示网络深度较深的特征图。
83.需要说明的是，针对小目标采用网络深度较浅的特征图可以丰富细节，从而提高视频流中小物体目标检测的准确度。针对大目标采用网络深度较深的特征图可以增强拟合，从而提高视频流中大物体目标检测的准确度。
84.步骤s350，根据训练样本数据进行训练，得到训练好的目标检测模型。
85.通过上述步骤s310至步骤s350，构建初始目标检测模型；获取训练样本数据；训练样本数据包括多张训练样本图像；确定初始目标检测模型的基本比例设置；基本比例设置包括有害动物以及人的长宽高比例数据；在初始目标检测模型中，设置针对小目标的第一网络深度特征图和针对大目标的第二网络深度特征图；根据训练样本数据进行训练，得到训练好的目标检测模型。本实施例通过设置针对小目标的第一网络深度特征图和针对大目标的第二网络深度特征图，可以降低目标检测的误检率，提高大物体目标检测和小物体目标检测的准确度，从而提高视频流中有害动物目标检测结果的可靠性。
86.在其中一些实施例中，在一次训练中，根据所述训练样本对所述初始目标检测模型进行训练，得到本次训练对应的训练结果；根据所述训练结果，计算本次训练对应的置信度；将所述置信度与预设置信度阈值进行比较；若所述置信度大于所述预设置信度阈值，则将本次训练对应的目标检测模型作为训练好的目标检测模型。
87.在其中一些实施例中，图4为本申请实施例中根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标的流程图，如图4所示，该流程包括如下步骤：
88.步骤s410，将第一预选目标集合和第二预选目标集合相结合，得到第一汇总目标集合。
89.其中，第一汇总目标集合包括动检大目标、动检小目标、其他动检目标、大物体目标和小物体目标。
90.步骤s420，根据大物体目标和交并比算法，将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除，得到第二汇总目标集合。
91.其中，预设过滤条件为：在同一帧视频图像中，若其他动检目标与大物体目标在同一图像子区域内，则将该其他动检目标从第一汇总目标集合中滤除。
92.需要说明的是，在同一帧视频图像中，若其他动检目标与某一大物体目标在同一图像子区域内，则可以确定该其他动检目标与这一大物体目标属于同一检测目标，从而需要将该其他动检目标进行滤除。
93.例如，在运动物体检测过程中，检测到厨房工作人员的手指处于运动状态，并且该厨房工作人员的手指所在图像子区域的像素面积在像素面积阈值区间，则确定该厨房工作人员的手指为其他动检目标。同时，在目标检测过程中，检测到该厨房工作人员，并将该厨房工作人员作为大物体目标。因此，需要将该厨房工作人员的手指对应的其他动检目标从第一汇总目标集合中滤除，以消除白天场景下人体动检结果对于有害动物目标检测的干扰。
94.步骤s430，对第二汇总目标集合中的动检大目标、动检小目标和大物体目标进行剔除处理，得到最终汇总目标集合，并将最终汇总目标集合中的所有目标作为视频流中的有害动物目标。
95.其中，最终汇总目标集合包括滤除处理后剩余的其他动检目标和小物体目标。
96.通过上述步骤s410至步骤s430，将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除，以消除白天场景下人体动检结果对于有害动物目标检测的干扰，以及对第二汇总目标集合中的动检大目标、动检小目标和大物体目标进行剔除处理，以消除厨房工作人员对于有害动物目标检测的干扰，从而进一步提高有害动物目标检测的准确度。
97.在其中一些实施例中，图5为本申请实施例中将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除的流程图，如图5所示，该流程包括如下步骤：
98.步骤s510，针对每一帧视频图像，计算每一其他动检目标所在图像子区域与每一大物体目标所在图像子区域的第一交并比。
99.步骤s520，将第一交并比与第一预设交并比阈值进行比较。
100.步骤s530，若第一交并比大于或者等于第一预设交并比阈值，则将第一交并比对应的其他动检目标从第一汇总目标集合中滤除。
101.通过上述步骤s510至步骤s530，通过计算每一大物体目标所在图像子区域的第一交并比，并将该第一交并比与第一预设交并比阈值进行比较，从而可以快速有效地确定出与大物体目标所在图像子区域重合的其他动检目标，并进行滤除。
102.在其中一些实施例中，根据训练好的深度学习分类模型，对视频流中的有害动物目标进行分类处理，得到分类处理后的有害动物目标集合；有害动物目标集合包括多种有害动物目标。
103.进一步地，将预先获取的多种有害动物的第一图像数据作为正样本，以及将预先获取的应用场景的第二图像数据作为负样本；构建初始深度学习分类模型；根据正样本和负样本，对初始深度学习分类模型进行训练，得到训练好的深度学习分类模型。
104.上述实施例，通过根据多种有害动物的的正样本和应用场景的负样本，对初始深度学习分类模型进行训练，得到训练好的深度学习分类模型；根据训练好的深度学习分类
模型，对检测出的有害动物目标进行更加细致的分类，从而可以有效降低老鼠、蟑螂等小目标的误检率，以便于提高后续告警的准确率。
105.在其中一些实施例中，图6为本申请实施例中对视频流中的有害动物目标进行跟踪的流程图，如图6所示，该流程包括如下步骤：
106.步骤s610，针对所述有害动物目标进行目标跟踪处理，得到每一所述有害动物目标对应的id的轨迹信息。
107.步骤s620，统计每一种有害动物目标的出现帧数。
108.步骤s630，若有害动物目标的出现帧数大于预设帧数阈值，则根据有害动物目标对应的id的轨迹信息，确定有害动物目标的密集活动区域，并输出告警信息，告警信息包括有害动物目标的密集活动区域以及对应的id的轨迹信息。
109.通过上述步骤s610至步骤s630，针对所述有害动物目标进行目标跟踪处理，得到每一所述有害动物目标对应的id的轨迹信息；统计每一种有害动物目标的出现帧数；若有害动物目标的出现帧数大于预设帧数阈值，则根据有害动物目标对应的id的轨迹信息，确定有害动物目标的密集活动区域，并输出告警信息，从而便于厨房工作人员针对有害动物目标的密集活动区域进行重点防控，提高厨房的卫生安全。
110.在其中一些实施例中，针对每一种有害动物目标，提取有害动物目标在每一帧视频图像中所在图像子区域的深度特征信息；计算有害动物目标在相邻两帧视频图像中所在图像子区域的第二交并比；若第二交并比大于或者等于第二交并比阈值，且有害动物目标在相邻两帧视频图像对应的深度特征信息相匹配，则在相邻两帧视频图像中标记有害动物目标的id，以对有害动物目标进行跟踪，得到有害动物目标对应的id的轨迹信息。
111.其中，深度特征信息包括边缘、颜色、轮廓等特征信息构成的特征矩阵。
112.需要说明的是，若第二交并比大于或者等于第二交并比阈值，且有害动物目标在相邻两帧视频图像对应的深度特征信息相匹配，则确定相邻两帧视频图像中的有害动物目标为同一有害动物目标，可以判定该有害动物目标可被跟踪，从而进一步在相邻两帧视频图像中标记有害动物目标的id，以对有害动物目标进行跟踪。
113.上述实施例，通过针对每一种有害动物目标，提取有害动物目标在每一帧视频图像中所在图像子区域的深度特征信息，计算有害动物目标在相邻两帧视频图像中所在图像子区域的第二交并比；将有害动物目标在相邻两帧视频图像对应的深度特征信息相匹配，以及将第二交并比与第二交并比阈值进行比较，从而可以快速准确地判断出在相邻两帧视频图像中的有害动物目标是否为同一个，实现对有害动物目标的有效跟踪。
114.在其中一些实施例中，图7为本申请实施例中确定视频流中有害动物目标的种类的流程图，如图7所示，该流程包括如下步骤：
115.步骤s710，根据有害动物目标对应的id的轨迹信息，计算有害动物目标的高度和平均轨迹变化速率。
116.具体地，可以结合不同id的轨迹信息以及双目相机输出的高度信息，确定有害动物目标的高度。
117.步骤s720，获取每一种有害动物对应的预设高度阈值范围和预设平均轨迹变化速率阈值范围。
118.步骤s730，根据预设高度阈值范围、预设平均轨迹变化速率阈值范围以及有害动
物目标的高度和平均轨迹变化速率，确定有害动物目标的种类。
119.需要说明的是，首先，在厨房场景中，有害动物的活动范围大部分在地面，或者上下攀爬，因此其高度会保持在一个很低的高度范围，或者有稳定的上升，下降再保持一定高度。其次，在厨房场景中，老鼠、蟑螂等有害动物的运动敏捷快速，活动范围大，其轨迹坐标在一定时间内不断快速变化，因此可以根据有害动物目标的高度和平均轨迹变化速率进一步确定出有害动物目标的种类，并排除前后帧空间位置变化过大的异常目标，如闪现的光影；排除一直保持静止的误检目标。
120.另外，还可以根据有害动物目标的高度和平均轨迹变化速率，确定出有害动物目标的具体类型。例如，老鼠的体型相对蟑螂更大，运动速度更快，在一定运动时间中，老鼠的平均轨迹变化速率更快。因此，可以将有害动物目标的高度和平均轨迹变化速率作为细化有害动物内的分类的辅助信息。
121.上述步骤s710至步骤s730，通过根据有害动物目标对应的id的轨迹信息，计算有害动物目标的高度和平均轨迹变化速率，并根据预设高度阈值范围、预设平均轨迹变化速率阈值范围以及有害动物目标的高度和平均轨迹变化速率，排除有害动物目标闪现以及长时间处于静止状态时的误检，进一步提高有害动物目标检测的准确度；以及，将有害动物目标的高度和平均轨迹变化速率作为细化有害动物内的分类的辅助信息，从而更加准确的确定出有害动物目标的种类，以便于针对不同种类的有害动物目标采取相应的防控措施，进一步提高厨房的卫生安全。
122.下面通过优选实施例对本申请实施例进行描述和说明。
123.图8为本申请优选实施例的基于视频监控的有害动物检测方法的流程图，该基于视频监控的有害动物检测方法包括如下步骤：
124.步骤s810，获取视频流；视频流包括多帧视频图像。
125.步骤s820，根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标。
126.步骤s830，根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标；目标检测模型包括针对小目标的第一网络深度特征图和针对大目标的第二网络深度特征图。
127.步骤s840，将第一预选目标集合和第二预选目标集合相结合，得到第一汇总目标集合；根据大物体目标和交并比算法，将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除，得到第二汇总目标集合。
128.步骤s850，对第二汇总目标集合中的动检大目标、动检小目标和大物体目标进行剔除处理，得到最终汇总目标集合，并将最终汇总目标集合中的所有目标作为视频流中的有害动物目标。
129.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，结合图1，步骤s120和步骤s130的执行顺序可以互换，即可以先执行步骤s120，然后执行步骤s130；也可以先执行步骤s130，然后执行步骤s120。
130.本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以
运行在终端上为例，图9为本申请实施例的基于视频监控的有害动物检测方法的终端的硬件结构框图。如图9所示，终端可以包括一个或多个(图9中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
131.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的基于视频监控的有害动物检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
132.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
133.本实施例还提供了一种基于视频监控的有害动物检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
134.图10为本申请实施例的基于视频监控的有害动物检测装置的结构框图，如图10所示，基于视频监控的有害动物检测装置包括：
135.数据获取模块1010，用于获取视频流；视频流包括多帧视频图像。
136.动态检测模块1020，用于根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标。
137.目标检测模块1030，用于根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标。
138.目标确定模块1040，用于根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标。
139.在其中一些实施例中，动态检测模块1020包括动态检测单元、面积计算单元、阈值获取单元和目标确定单元，其中：
140.动态检测单元，用于根据运动物体检测模型，对多帧视频图像进行检测，得到视频图像中多个运动物体的轮廓信息以及每一运动物体对应图像子区域的坐标信息。
141.面积计算单元，用于根据每一运动物体对应图像子区域的坐标信息，计算每一运动物体对应图像子区域的像素面积。
142.目标确定单元，用于根据预设的像素面积阈值范围和每一所述运动物体对应图像子区域的像素面积，得到所述第一预选目标集合；所述像素面积阈值范围包括最大像素面积阈值和最小像素面积阈值；所述动检大目标表示对应图像子区域的像素面积大于所述最大像素面积阈值的运动物体；所述动检小目标表示对应图像子区域的像素面积小于最小像素面积阈值的运动物体；所述其他动检目标表示对应图像子区域的像素面积在所述像素面积阈值区间内的运动物体。
143.在其中一些实施例中，目标确定模块1040包括目标结合单元、滤除处理单元和目标确定单元，其中：
144.目标结合单元，用于将第一预选目标集合和第二预选目标集合相结合，得到第一汇总目标集合。
145.滤除处理单元，用于根据大物体目标和交并比算法，将符合预设过滤条件的其他动检目标从第一汇总目标集合中滤除，得到第二汇总目标集合。
146.目标确定单元，用于对第二汇总目标集合中的动检大目标、动检小目标和大物体目标进行剔除处理，得到最终汇总目标集合，并将最终汇总目标集合中的所有目标作为视频流中的有害动物目标。
147.在其中一些实施例中，滤除处理单元包括计算子单元、比较子单元和滤除子单元，其中：
148.计算子单元，用于针对每一帧视频图像，计算每一其他动检目标所在图像子区域与每一大物体目标所在图像子区域的第一交并比。
149.比较子单元，用于将第一交并比与第一预设交并比阈值进行比较。
150.滤除子单元，用于若第一交并比大于或者等于第一预设交并比阈值，则将第一交并比对应的其他动检目标从第一汇总目标集合中滤除。
151.在其中一些实施例中，基于视频监控的有害动物检测装置还包括目标分类模块，用于根据训练好的深度学习分类模型，对所述视频流中的有害动物目标进行分类处理，得到分类处理后的有害动物目标集合；所述有害动物目标集合包括多种有害动物目标；其中，所述深度学习分类模型至少包括老鼠和蟑螂中的至少之一。
152.在其中一些实施例中，基于视频监控的有害动物检测装置还包括告警输出模块，告警输出模块包括目标跟踪单元、出现帧数统计单元和告警输出单元，其中：
153.目标跟踪单元，用于针对所述有害动物目标进行目标跟踪处理，得到每一所述有害动物目标对应的id的轨迹信息。
154.帧数统计单元，用于统计每一种有害动物目标的出现帧数。
155.告警输出单元，用于若有害动物目标的出现帧数大于预设帧数阈值，则根据有害动物目标对应的id的轨迹信息，确定有害动物目标的密集活动区域，并输出告警信息，告警信息包括有害动物目标的密集活动区域以及对应的id的轨迹信息。
156.在其中一些实施例中，目标分类模块还包括数据计算单元、阈值获取单元以及种类确定单元，其中：
157.数据计算单元，用于根据有害动物目标对应的id的轨迹信息，计算有害动物目标的高度和平均轨迹变化速率。
158.阈值获取单元，用于获取每一种有害动物对应的预设高度阈值范围和预设平均轨
迹变化速率阈值范围。
159.种类确定单元，用于根据预设高度阈值范围、预设平均轨迹变化速率阈值范围以及有害动物目标的高度和平均轨迹变化速率，确定有害动物目标的种类。
160.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
161.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
162.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
163.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
164.s1，获取视频流；视频流包括多帧视频图像。
165.s2，根据预先构建的运动物体检测模型，对多帧视频图像进行检测，得到第一预选目标集合；第一预选目标集合包括动检大目标、动检小目标和其他动检目标。
166.s3，根据预先构建的目标检测模型，对多帧视频图像进行检测，得到第二预选目标集合，第二预选目标集合包括大物体目标和小物体目标。
167.s4，根据第一预选目标集合和第二预选目标集合，确定视频流中的有害动物目标。
168.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
169.另外，结合上述实施例中的基于视频监控的有害动物检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于视频监控的有害动物检测方法。
170.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
171.以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。