视频检索方法、电子装置和存储介质与流程

1.本申请涉及视频监控技术领域，特别是涉及一种视频检索方法、电子装置和存储介质。


背景技术：

2.监控系统通常包括：多个网络摄像机和网络硬盘录像机。每个ipc拍摄的录像文件对应一个视频通道，一个视频通道可以称之为一路视频。nvr具有存储和回放录像文件的能力。
3.随着图像分析算法的成熟、芯片计算能力的提升，视频智能分析在视频监控领域中的应用越来越广泛，监控领域的智能分析按照算法运行的位置，可以分为前端智能和后端智能两大类。其中，前端智能主要在网络摄像机上运行，后端智能主要在智能服务器、智能nvr等设备上运行。
4.随着信息技术的发展以及智慧城市的建设，一方面，视频监控向数字化、高清化发展：另一方面，视频监控的数量和范围也在快速扩展：同时，摄像头的互联已经成为发展趋势。例如公共视频，已经从一个城市内的互联，发展到一个省的互联，逐步到一个国家的互联。
5.视频监控将成为世界上最大的数据生成器之一，每时每刻都在产生大量的数据。用户常常需要在录制的监控视频中查找特定的目标人物，由于监控视频数据量巨大，靠人工搜寻人力投入非常巨大，且效率低下，检索的及时性不足，因此，如何寻找一种高效的检索方法是一项十分重要而迫切的工作。
6.相关技术中的视频检索方法往往由于智能分析能力的限制，互联网dvr/nvr无法保证所有通道只能支持智能算法，或不能同时支持多种智能算法，这使得很多场景下的实际录像中本身是没有智能分析结果信息的，因此，视频检索需要在大量的没有包含智能分析结果信息的录像中去检索一些信息，例如在录像中找到某人的行动轨迹或者某辆车的运动轨迹，这使得视频检索的效率和速度较低，同时人力投入较高。
7.目前针对相关技术中视频检索的效率低的问题，尚未提出有效的解决方案。


技术实现要素：

8.本申请实施例提供了一种视频检索方法、电子装置和存储介质，以至少解决相关技术中视频检索的效率低的问题。
9.第一方面，本申请实施例提供了一种视频检索方法，包括：获取视频帧序列，其中，所述视频帧序列包括按照时间戳排列的多个视频帧画面；检测所述视频帧画面是否包含动检信息，并在所述视频帧画面包含动检信息的情况下，检测所述视频帧序列的所述视频帧画面中预设目标类型的目标，得到检测目标以及所述检测目标所在的视频帧画面的时间戳；获取预设目标的特征信息和所述检测目标的特征信息，并对所述检测目标与所述预设目标进行特征匹配；确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结
果。
10.在其中一些实施例中，在确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果之后，所述方法还包括：根据特征匹配成功的检测目标所在的视频帧画面的时间戳，从所述视频帧序列中提取目标视频帧画面，并根据所述目标视频帧画面生成目标视频文件。
11.在其中一些实施例中，检测所述视频帧画面是否包含动检信息包括：在所述视频帧画面中框定感兴趣区域，对所述感兴趣区域进行运动检测；在所述感兴趣区域内存在动检信息的情况下，确定所述视频帧画面包含动检信息。
12.在其中一些实施例中，在检测所述视频帧画面是否包含动检信息之后，所述方法还包括：在所述视频帧画面不包含动检信息的情况下，丢弃所述视频帧画面。
13.在其中一些实施例中，在所述视频帧画面包含动检信息的情况下，检测所述视频帧序列的所述视频帧画面中预设目标类型的目标包括：从所述视频帧序列中间隔预设帧数抽取一帧包含动检信息的所述视频帧画面，并检测所述视频帧序列的所述视频帧画面中预设目标类型的目标。
14.在其中一些实施例中，所述检测目标包括车辆；获取预设目标的特征信息和所述检测目标的特征信息，并对所述检测目标与所述预设目标进行特征匹配包括：在所述检测目标为车辆的情况下，获取所述预设目标的特征信息，其中，所述预设目标包括预设车牌，所述预设目标的特征信息包括预设车牌特征信息；根据所述检测目标的特征信息以及所述预设车牌特征信息，对所述检测目标与所述预设车牌进行车牌匹配。
15.在其中一些实施例中，所述检测目标包括人脸；获取预设目标的特征信息和所述检测目标的特征信息，并对所述检测目标与所述预设目标进行特征匹配包括：在所述检测目标为人脸的情况下，获取所述预设目标的特征信息，其中，所述预设目标包括预设人脸，所述预设目标的特征信息包括预设人脸特征信息；根据所述检测目标的特征信息以及所述预设人脸特征信息，对所述检测目标与所述预设人脸进行人脸匹配。
16.在其中一些实施例中，获取视频帧序列包括：对视频文件按照预设倍数进行解码操作，得到所述视频帧序列。
17.第二方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的视频检索方法。
18.第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的视频检索方法。
19.相比于相关技术，本申请实施例提供的视频检索方法、电子装置和存储介质，通过获取视频帧序列，并在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标，得到检测目标以及检测目标所在的视频帧画面的时间戳；获取预设目标的特征信息和检测目标的特征信息，并对检测目标与预设目标进行特征匹配；确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果，解决了相关技术中视频检索的效率低的问题，实现了提高视频检索效率的技术效果。
20.本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
21.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
22.图1是根据本申请实施例的视频检索方法的流程图；
23.图2是根据本申请实施例的框定感兴趣区域的示意图；
24.图3是根据本申请优选实施例的视频检索方法的流程图；
25.图4是根据本申请实施例的视频检索装置的结构框图；
26.图5是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
27.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
28.在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
29.除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
30.本实施例提供了一种视频检索方法，图1是根据本申请实施例的视频检索方法的流程图，如图1所示，该流程包括如下步骤：
31.步骤s101，获取视频帧序列，其中，视频帧序列包括按照时间戳排列的多个视频帧画面。
32.步骤s102，检测视频帧画面是否包含动检信息，并在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标，得到检测目标以及检测目
标所在的视频帧画面的时间戳。
33.步骤s103，获取预设目标的特征信息和检测目标的特征信息，并对检测目标与预设目标进行特征匹配。
34.步骤s104，确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果。
35.在本实施例中，获取视频帧序列可以包括：对视频文件按照预设倍数进行解码操作，得到视频帧序列，该预设倍数可以为1x、2x、4x、8x，通过按照预设倍数对视频文件进行解码操作，并得到视频帧序列，可以使得后续对视频帧序列进行的运动检测以及运动目标跟踪更为精确。
36.检测目标可以包括人脸、车辆，预设目标可以包括预设人脸、预设车牌，预设目标的特征信息可以包括：预设人脸特征信息、预设车牌特征信息，本实施例提供的视频检索方法可以根据用户输入的预设目标以及预设目标的特征信息，在视频帧序列中进行检索并得到目标视频文件。例如，在用户需要在视频帧序列中获取目标人物的行动轨迹的情况下，可以输入预设人脸特征信息，并只在检测目标为人脸的视频帧画面中进行检索，对于检测目标不为人脸的视频帧画面中无需进行人脸匹配，有效过滤掉干扰数据或无用数据，提高在录像中检索的速度。
37.在其中一些实施例中，步骤s103包括如下步骤：
38.步骤1，在检测目标为车辆的情况下，获取预设目标的特征信息，其中，预设目标包括预设车牌，预设目标的特征信息包括预设车牌特征信息；根据检测目标的特征信息以及预设车牌特征信息，对检测目标与预设车牌进行车牌匹配。
39.步骤2，在检测目标为人脸的情况下，获取预设目标的特征信息，其中，预设目标包括预设人脸，预设目标的特征信息包括预设人脸特征信息；根据检测目标的特征信息以及预设人脸特征信息，对检测目标与预设人脸进行人脸匹配。
40.在本实施例中，可以通过od算法对视频帧画面中的检测目标进行运动目标跟踪，并根据用户需要，获取用户输入的预设目标以及预设目标的特征信息，根据检测目标的目标类型，进行人脸匹配或者车牌匹配，加快视频检索的速度，解决了相关技术中视频检索的效率低的问题，实现了提高视频检索效率的技术效果。
41.在其中一些实施例中，检测视频帧画面是否包含动检信息包括如下步骤：
42.步骤1，在视频帧画面中框定感兴趣区域，对感兴趣区域进行运动检测。
43.步骤2，在感兴趣区域内存在动检信息的情况下，确定视频帧画面包含动检信息。
44.图2是根据本申请实施例的框定感兴趣区域的示意图，如图2所示，在本实施例中，可以将视频帧画面划分为多个块，并框定感兴趣区域，将感兴趣区域作为宏块，用户可以手动框定感兴趣区域，在框定得到感兴趣区域后，对感兴趣区域进行运动检测，并在感兴趣区域内存在动检信息的情况下，确定视频帧画面包含动检信息，不包含动检信息的视频帧画面则不处理并丢弃不包含动检信息的视频帧画面，过滤干扰数据以及无用数据，加快检索速度。
45.在其中一些实施例中，可以通过背景减除法、时间差分法、光流法对感兴趣区域进行运动检测，背景减除法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动
态场景的变化，如光照和外来无关事件的干扰等特别敏感。时间差分法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。光流法采用运动目标随时间变化的光流特性，如通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。
46.以时间差分法和背景减除法结合的帧差分运动检测方法为例，用户可以通过sdk中的函数，来设置1
‑
99个有效的矩形，还可以设置快速和慢速两种运动检测状态。快速检测是对每隔两帧的两帧数据进行差分运算，慢速检测是指对相隔12帧以上的两帧数据进行差分运算，可以令视频帧画面的分辨率为352*288，按16*16像素宏块大小来划分整个检测区域，选择对应于感兴趣区域的宏块进行运动检测，宏块内的像素点是逐点从左到右，从上到下进行差分运算并得到宏块差分系数。
47.如果感兴趣区域的差分系数大于预设阈值，判断该感兴趣区域内存在动检信息并实时将感兴趣区域的宏块差分系数都返回。
48.在其中一些实施例中，在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标包括：从视频帧序列中间隔预设帧数抽取一帧包含动检信息的视频帧画面，并检测视频帧序列的视频帧画面中预设目标类型的目标。
49.在本实施例中，当视频文件的帧率较高，或者视频文件按照了较高倍数进行解码操作时，可能导致筛选出的包含动检信息的视频帧画面的数量超过了后续检测的负荷，导致后续检索速度下降，例如，每秒视频如果120帧，按照1x对视频文件进行解码，1秒需要检测120帧视频帧画面，检测能力可能跟不上；帧率30的视频，同样按照1x对视频文件进行解码，4秒需要检测120帧视频帧画面，检测能力就可以跟上。因此可以通过对包含动检信息的视频帧画面进行抽帧处理，例如，对于帧率30的视频，每间隔10帧抽1帧出来，相当于每秒的视频只需要处理3帧图像，每帧图像间隔0.333秒，加快后续的检索速度，并保证后续检索不会超过负荷。
50.在其中一些实施例中，在确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果之后，方法还包括：根据特征匹配成功的检测目标所在的视频帧画面的时间戳，从视频帧序列中提取目标视频帧画面，并根据目标视频帧画面生成目标视频文件，通过视频帧画面的时间戳信息，可以精准定位目标视频文件的时间点，便于快速查找以及查看目标录像。
51.通过上述步骤s101至步骤s104，通过获取视频帧序列，并检测视频帧画面是否包含动检信息，并在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标，得到检测目标以及检测目标所在的视频帧画面的时间戳，然后获取预设目标的特征信息和检测目标的特征信息，并对检测目标与预设目标进行特征匹配，最后确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果，通过运动检测以运动目标跟踪的二阶检测，精准定位出检测目标的目标类型，对于不存在用户所需要的检测目标的视频帧中无需进行检索，有效过滤掉干扰数据或无用数据，提高在录像中检索的速
度，解决了相关技术中视频检索的效率低的问题，实现了提高视频检索效率的技术效果。
52.图3是根据本申请优选实施例的视频检索方法的流程图，如图3所示，在其中一些实施例中，该方法包括：
53.步骤s301，在视频中框定感兴趣区域。
54.步骤s302，判断感兴趣区域内是否存在动检信息。
55.步骤s303，在感兴趣区域内存在动检信息的情况下，对视频文件按照预设倍数进行解码操作，得到视频帧序列。
56.步骤s304，在感兴趣区域内不存在动检信息的情况下，丢弃该视频文件。
57.步骤s305，对视频帧序列进行运动目标跟踪。
58.步骤s306，检测视频帧序列的视频帧画面中预设目标类型的目标。
59.步骤s307，获取预设目标的特征信息和检测目标的特征信息。
60.步骤s308，在检测目标为人脸的情况下，对检测目标与预设人脸进行人脸匹配。
61.步骤s309，在检测目标为车牌的情况下，对检测目标与预设车牌进行车牌匹配。
62.步骤s310，根据匹配结果检索得到检索结果。
63.本实施例中提出的视频检索方法在上述实施例中已经详细介绍，这里不做赘述。
64.本实施例还提供了一种视频检索装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
65.图4是根据本申请实施例的视频检索装置的结构框图，如图4所示，该装置包括：获取模块40，用于获取视频帧序列，其中，视频帧序列包括按照时间戳排列的多个视频帧画面；检测模块41，用于检测视频帧画面是否包含动检信息，并在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标，得到检测目标以及检测目标所在的视频帧画面的时间戳；匹配模块42，用于获取预设目标的特征信息和检测目标的特征信息，并对检测目标与预设目标进行特征匹配；检索模块43，用于确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果。
66.在其中一些实施例中，检索模块43还被配置为用于根据特征匹配成功的检测目标所在的视频帧画面的时间戳，从视频帧序列中提取目标视频帧画面，并根据目标视频帧画面生成目标视频文件。
67.在其中一些实施例中，检测模块41还被配置为用于在视频帧画面中框定感兴趣区域，对感兴趣区域进行运动检测；在感兴趣区域内存在动检信息的情况下，确定视频帧画面包含动检信息。
68.在其中一些实施例中，检测模块41还被配置为用于在视频帧画面不包含动检信息的情况下，丢弃视频帧画面。
69.在其中一些实施例中，检测模块41还被配置为用于从视频帧序列中间隔预设帧数抽取一帧包含动检信息的视频帧画面，并检测视频帧序列的视频帧画面中预设目标类型的目标。
70.在其中一些实施例中，检测目标包括车辆；检测模块41还被配置为用于在检测目标为车辆的情况下，获取预设目标的特征信息，其中，预设目标包括预设车牌，预设目标的特征信息包括预设车牌特征信息；根据检测目标的特征信息以及预设车牌特征信息，对检
测目标与预设车牌进行车牌匹配。
71.在其中一些实施例中，检测目标包括人脸；检测模块41还被配置为用于在检测目标为人脸的情况下，获取预设目标的特征信息，其中，预设目标包括预设人脸，预设目标的特征信息包括预设人脸特征信息；根据检测目标的特征信息以及预设人脸特征信息，对检测目标与预设人脸进行人脸匹配。
72.在其中一些实施例中，获取模块40还被配置为用于对视频文件按照预设倍数进行解码操作，得到视频帧序列。
73.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
74.本实施例还提供了一种电子装置，图5是根据本申请实施例的电子装置的硬件结构示意图，如图5所示，该电子装置包括存储器504和处理器502，该存储器504中存储有计算机程序，该处理器502被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
75.具体地，上述处理器502可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
76.其中，存储器504可以包括用于数据或指令的大容量存储器504。举例来说而非限制，存储器504可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器504可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器504可在数据处理装置的内部或外部。在特定实施例中，存储器504是非易失性(non
‑
volatile)存储器。在特定实施例中，存储器504包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为eprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为eeprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器504(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
77.存储器504可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器502所执行的可能的计算机程序指令。
78.处理器502通过读取并执行存储器504中存储的计算机程序指令，以实现上述实施例中的任意一种视频检索方法。
79.可选地，上述电子装置还可以包括传输设备506以及输入输出设备508，其中，该传输设备506和上述处理器502连接，该输入输出设备508和上述处理器502连接。
80.可选地，在本实施例中，上述处理器502可以被设置为通过计算机程序执行以下步骤：
81.s1，获取视频帧序列，其中，视频帧序列包括按照时间戳排列的多个视频帧画面。
82.s2，检测视频帧画面是否包含动检信息，并在视频帧画面包含动检信息的情况下，检测视频帧序列的视频帧画面中预设目标类型的目标，得到检测目标以及检测目标所在的视频帧画面的时间戳。
83.s3，获取预设目标的特征信息和检测目标的特征信息，并对检测目标与预设目标进行特征匹配。
84.s4，确定特征匹配成功的检测目标所在的视频帧画面的时间戳为检索结果。
85.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
86.另外，结合上述实施例中的视频检索方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种视频检索方法。
87.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
88.以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。