一种目标人物追踪系统及方法与流程

1.本发明涉及视频监控技术领域，尤其涉及一种目标人物追踪系统及方法。


背景技术：

2.视频监控系统是当前多种行业重点部门或重要场所进行实时监控的物理基础，用户可通过视频监控设备获得实时场景图像，对重要场所进行监视控制，以及时发现和处理突发事件。
3.人脸识别技术是依据人脸的特征信息从监控视频的图像中进行身份识别的一种技术，具有非接触、隐蔽直观的优点。
4.目前，在视频监控设备附近布置供电和网络线路需要耗费大量时间和精力，而利用视频监控设备对目标人物进行追踪，则需要进行人物轨迹图像的查找和多次切换，视频监控效率较低。
5.因此，亟待需要一种目标人物追踪系统及方法来解决上述问题。


技术实现要素：

6.本发明提供了一种目标人物追踪系统及方法，以实现部署简单和对目标人物的快速追踪。
7.第一方面，本发明实施例提供了一种目标人物追踪系统，包括：视频监控设备、无线收发装置和控制装置，所述视频监控设备包括摄像装置和人脸识别装置；
8.所述摄像装置，用于将采集到的视频图像发送给所述人脸识别装置；
9.所述人脸识别装置，用于通过所述无线收发装置接收来自所述控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
10.所述控制装置，用于在所述人脸识别装置从接收到的视频图像中识别出目标人物时，通过所述无线收发装置接收所述人脸识别装置的识别结果。
11.在一种可能的设计中，一个所述视频监控设备包括至少两个摄像装置，所述人脸识别装置包括：输入模块、人脸识别模块和输出模块；
12.所述输入模块，用于以并行的方式获取至少两个摄像装置采集到的视频图像，并将采集到的视频图像发送给所述人脸识别模块；
13.所述人脸识别模块，用于通过所述无线收发装置接收来自所述控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
14.所述输出模块包括消息发送单元和消息订阅单元；
15.所述消息发送单元，用于在所述人脸识别模块从接收到的视频图像中识别出目标人物时，通过所述无线收发装置向所述控制装置发送所述人脸识别模块的识别结果；
16.所述消息订阅单元，用于存储所述人脸识别模块的识别结果，并通过所述无线收发装置发送给所述控制装置，以利用所述控制装置将所述人脸识别模块的识别结果发送给订阅所述识别结果的外部终端设备。
17.在一种可能的设计中，所述人脸识别模块包括：人脸检测单元、特征提取单元和人脸比对单元；
18.所述人脸检测单元，用于从接收到的视频图像中检测包含人脸的视频图像，并将包含人脸的视频图像发送给所述特征提取单元；
19.所述特征提取单元，用于将包含人脸的视频图像输入到预设的神经网络模型中，得到待比较的人脸特征，并将所述待比较的人脸特征发送给所述人脸比对单元；
20.所述人脸比对单元，用于通过所述无线收发装置接收来自所述控制装置的目标人物的人脸特征，并比较所述待比较的人脸特征和目标人物的人脸特征，得到识别结果。
21.在一种可能的设计中，所述人脸比对单元，还用于：
22.通过所述无线收发装置接收来自所述控制装置的唯一目标人脸标识，所述唯一目标人脸标识用于标识目标人物的人脸特征；
23.在所述待比较的人脸特征和目标人物的人脸特征的相似度大于预设阈值时，建立所述唯一目标人脸标识和与所述待比较的人脸特征相对应的包含人脸的视频图像的映射关系；
24.在所述待比较的人脸特征和目标人物的人脸特征的相似度不大于预设阈值时，生成新的唯一人脸标识，并建立新的唯一人脸标识和与所述待比较的人脸特征相对应的包含人脸的视频图像的映射关系。
25.在一种可能的设计中，所述人脸检测单元在执行所述从接收到的视频图像中检测包含人脸的视频图像时，用于执行如下操作：
26.将接收到的视频图像顺序缓存到预先创建的第一消息队列中；
27.在所述第一消息队列中缓存的视频图像的数量达到预设的第一数量阈值时，通过至少两个线程以并行的方式执行：根据预先设置好的人脸人脸特征，从所述第一消息队列中缓存的视频图像中检测包含人脸的视频图像。
28.在一种可能的设计中，所述特征提取单元在执行所述将包含人脸的视频图像输入到预设的神经网络模型中时，用于执行如下操作：
29.将包含人脸的视频图像顺序缓存到预先创建的第二消息队列中；
30.在所述第二消息队列中缓存的包含人脸的视频图像的数量达到预设的第二数量阈值时，通过至少两个线程以并行的方式执行：将每个从所述第二消息队列中缓存的包含人脸的视频图像输入到预设的神经网络模型中。
31.在一种可能的设计中，所述视频监控设备还包括：图形处理模块；
32.所述图形处理模块，用于在所述人脸识别装置从接收到的视频图像中识别出目标人物时，输出所述目标人物的运动向量估计值，并将所述运动向量估计值发送给所述控制装置；其中，所述运动向量估计值用于表征所述目标人物在视频图像中的移动方向。
33.在一种可能的设计中，每个所述摄像装置中均设置有gps模块，所述gps模块用于获取与所述gps模块相对应的摄像装置的位置信息；
34.所述摄像装置，还用于将该摄像装置的位置信息和与采集到的视频图像相对应的时间信息通过所述无线收发装置发送给所述控制装置。
35.在一种可能的设计中，还包括：报警装置；
36.所述报警装置，用于在所述人脸识别装置从接收到的视频图像中识别出目标人物
时，接收由所述控制装置发来的报警指令，并根据所述报警指令发出报警信号。
37.第二方面，本发明实施例提供了一种目标人物追踪方法，包括：
38.利用所述摄像装置将采集到的视频图像发送给所述人脸识别装置；
39.利用所述人脸识别装置通过所述无线收发装置接收来自所述控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
40.在所述人脸识别装置从接收到的视频图像中识别出目标人物时，利用所述控制装置通过所述无线收发装置接收所述人脸识别装置的识别结果。
41.由上述方案可知，本发明提供的目标人物追踪系统及方法，通过利用摄像装置、人脸识别装置、无线收发装置和控制装置，使得人脸识别装置可以通过无线收发装置接收来自控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别，在人脸识别装置从接收到的视频图像中识别出目标人物时，控制装置可以通过无线收发装置接收人脸识别装置的识别结果。上述技术方案的部署要求简单，可以方便用户联动控制，随时监测现场环境中重点关注人群的情况，以便及时采取适当的应对措施，从而可以实现对目标人物的快速追踪。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其它的附图。
43.图1为本发明一个实施例提供的目标人物追踪系统的结构示意图。
44.附图标记：
45.1、视频监控设备；11、摄像装置；12、人脸识别装置；
46.2、无线收发装置；
47.3、控制装置；
48.4、报警装置。
具体实施方式
49.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
50.图1为本发明一个实施例提供的目标人物追踪系统的结构示意图。如图1所示，该目标人物追踪系统包括：视频监控设备1、无线收发装置2和控制装置3，视频监控设备1包括摄像装置11和人脸识别装置12；
51.摄像装置11，用于将采集到的视频图像发送给人脸识别装置12；
52.人脸识别装置12，用于通过无线收发装置2接收来自控制装置3的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
53.控制装置3，用于在人脸识别装置12从接收到的视频图像中识别出目标人物时，通
过无线收发装置2接收人脸识别装置12的识别结果。
54.在本发明实施例中，通过利用摄像装置、人脸识别装置、无线收发装置和控制装置，使得人脸识别装置可以通过无线收发装置接收来自控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别，在人脸识别装置从接收到的视频图像中识别出目标人物时，控制装置可以通过无线收发装置接收人脸识别装置的识别结果。上述技术方案的部署要求简单，可以方便用户联动控制，随时监测现场环境中重点关注人群的情况，以便及时采取适当的应对措施，从而可以实现对目标人物的快速追踪。
55.可以理解的是，人脸识别装置可以借助深度学习技术进行人脸识别，将采集到的视频图像中的人脸特征提取后与内置名单的目标人脸特征进行对比，然后根据相关用户设置策略进行上报，这样就可以将较少的数据量通过无线传输的方式发送到控制装置。
56.在一些实施方式中，控制装置可以是任何具有控制和计算能力的装置，例如可以是台式电脑、平板电脑、手机和服务器等，在此对控制装置的具体类型不进行限定。可选地，控制装置可以设置有显示器，如此在现场监测到目标人物的人脸特征后，就可以在显示器上对现场捕获到重点关注人物的人脸及其相关信息进行显示，方便了工作人员的监控。
57.在一些实施方式中，无线收发装置可以为nrf24或lora射频收发器件，其内置有频率合成器、功率放大器、晶体振荡器、调制器，如此可满足在开阔场地3km以上的距离通讯需要。在软件层面上，节点被分配一个独特的数字(范围从1到253)；该唯一标识符用于通信时作为地址使用，通常将保持不变。在网络层中，无线物理地址在节点移动和在网络内建立连接时分配。主节点唯一并且负责分配自组网各个节点的编号。当节点在物理上被移动或失去与网络的连接时，它可以自动重新加入网格并在网络内重新配置自身。从寻址、路由、处理碎片/重新组装封包(非常大的数据载荷)到支持多节点无线网络的流程等操作均可被自动处理。因此，在用户配置完自组网节点后，仍可以移动每个视频采集节点。
58.在一些实施方式中，控制装置的处理器平台可以为cortex a8，人脸识别装置的处理器平台也可以为cortex a8，摄像装置可以采用omnivision和sony生产的多种图像处理器，结构简单能耗低，制造和组装成本低。
59.在本发明一个实施例中，一个视频监控设备1包括至少两个摄像装置11，人脸识别装置12包括：输入模块、人脸识别模块和输出模块；
60.输入模块，用于以并行的方式获取至少两个摄像装置11采集到的视频图像，并将采集到的视频图像发送给人脸识别模块；
61.人脸识别模块，用于通过无线收发装置2接收来自控制装置3的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
62.输出模块包括消息发送单元和消息订阅单元；
63.消息发送单元，用于在人脸识别模块从接收到的视频图像中识别出目标人物时，通过无线收发装置2向控制装置3发送人脸识别模块的识别结果；
64.消息订阅单元，用于存储人脸识别模块的识别结果，并通过无线收发装置2发送给控制装置3，以利用控制装置3将人脸识别模块的识别结果发送给订阅识别结果的外部终端设备。
65.在本发明实施例中，输入模块以并行的方式获取至少两个摄像装置采集到的视频图像，有利于降低获取视频图像所用的时间，从而有利于保证对目标人物进行追踪的实时
性。通过设置消息订阅单元，有利于订阅识别结果的外部终端设备及时获知识别结果。
66.在一些实施方式中，人脸识别是一种用人脸识别或验证个人身份的方法。有各种算法可以做人脸识别，但他们的准确性可能会有所不同，通过深度学习来识别人脸近来被证实有超越传统方法的准确度。深度学习技术利用面部嵌入，将每个面部转换为一个多维向量。本发明利用这个特点，实现了对人脸信息的长距离、自组网传输，从而规避了大带宽数据传输所带来的传输距离短的问题。
67.在本发明一个实施例中，人脸识别模块包括：人脸检测单元、特征提取单元和人脸比对单元；
68.人脸检测单元，用于从接收到的视频图像中检测包含人脸的视频图像，并将包含人脸的视频图像发送给特征提取单元；
69.特征提取单元，用于将包含人脸的视频图像输入到预设的神经网络模型中，得到待比较的人脸特征，并将待比较的人脸特征发送给人脸比对单元；
70.人脸比对单元，用于通过无线收发装置2接收来自控制装置3的目标人物的人脸特征，并比较待比较的人脸特征和目标人物的人脸特征，得到识别结果。
71.在本发明实施例中，人脸检测单元对接收的视频图像，检测并裁剪图像中的人脸，传递给人脸比对单元；人脸比对单元图像中的人脸特征，以和用户下发信息数据库中的目标人物的人脸特征依次进行比对分析；如果能够成功匹配，则将当前视频图像的人脸特征向量发送给控制装置和其他订阅识别结果的终端设备，便于联防联动。
72.举例说明，特征提取单元从视频图像中裁剪出面部后，可以从面部图像中提取相关特征。在这里，将使用面部嵌入从面部中提取特征。神经网络模型将人脸的图像作为输入并输出一个代表面部最重要特征的128维向量。网络输出载体向量全部由浮点数组成，在机器学习中，此向量称为嵌入，因此称此向量为面部特征嵌入。使用这个神经网络处理相机捕获的视频数据，将视频中的所有图像传递给一个经过预先训练的网络，以获取其中所有面部的特征嵌入。
73.在本发明一个实施例中，人脸比对单元，还用于：
74.通过无线收发装置2接收来自控制装置3的唯一目标人脸标识，唯一目标人脸标识用于标识目标人物的人脸特征；
75.在待比较的人脸特征和目标人物的人脸特征的相似度大于预设阈值时，建立唯一目标人脸标识和与待比较的人脸特征相对应的包含人脸的视频图像的映射关系；
76.在待比较的人脸特征和目标人物的人脸特征的相似度不大于预设阈值时，生成新的唯一人脸标识，并建立新的唯一人脸标识和与待比较的人脸特征相对应的包含人脸的视频图像的映射关系。
77.在本发明实施例中，通过建立人脸标识和包含人脸的视频图像的映射关系，有利于对包含人脸的视频图像进行归类划分，从而有利于后续的对其它目标人物的快速识别。
78.在本发明一个实施例中，人脸检测单元在执行从接收到的视频图像中检测包含人脸的视频图像时，用于执行如下操作：
79.将接收到的视频图像顺序缓存到预先创建的第一消息队列中；
80.在第一消息队列中缓存的视频图像的数量达到预设的第一数量阈值时，通过至少两个线程以并行的方式执行：根据预先设置好的人脸人脸特征，从第一消息队列中缓存的
视频图像中检测包含人脸的视频图像。
81.在本发明实施例中，如果直接对视频图像进行处理，当系统出现宕机时，可能造成一部分视频图像的丢失，这对于人物追踪是不利的。因此为防止出现视频图像丢失的情况，可以考虑先将视频图像缓存到消息队列中。比如，将获取到的各视频图像顺序缓存到预先创建的第一消息队列中，如此可以防止各视频图像可能因为系统宕机等原因而丢失。
82.与此同时，如果对第一消息队列中缓存的视频图像连续地进行处理，如此会造成计算资源被耗尽，这会增加处理视频图像的时间，如此会不利于对目标人物进行追踪的实时性。因此，为防止计算资源被耗尽，可以对第一消息队列中缓存的视频图像的数量进行阈值设定。比如，在第一消息队列中缓存的视频图像的数量达到预设的第一数量阈值(例如可以是5个)时，通过至少两个线程以并行的方式来从第一消息队列中缓存的各视频图像中检测包含人脸的视频图像，如此可以将超过第一数量阈值的视频图像不再进行处理，从而可以防止计算资源被耗尽；而且利用至少两个线程以并行的方式来检测包含人脸的视频图像，也可以提高处理视频图像的速度，从而有利于保证对目标人物进行追踪的实时性。在一些实施方式中，该第一消息队列可以是fifo(first input first output，先进先出)队列，当然也可以是其它类型的队列。
83.在本发明一个实施例中，特征提取单元在执行将包含人脸的视频图像输入到预设的神经网络模型中时，用于执行如下操作：
84.将包含人脸的视频图像顺序缓存到预先创建的第二消息队列中；
85.在第二消息队列中缓存的包含人脸的视频图像的数量达到预设的第二数量阈值时，通过至少两个线程以并行的方式执行：将每个从第二消息队列中缓存的包含人脸的视频图像输入到预设的神经网络模型中。
86.在本发明实施例中，如果直接对包含人脸的视频图像进行处理，当系统出现宕机时，可能造成一部分包含人脸的视频图像的丢失，这对于人物追踪是不利的。因此为防止出现包含人脸的视频图像丢失的情况，可以考虑先将包含人脸的视频图像缓存到消息队列中。比如，将获取到的各包含人脸的视频图像顺序缓存到预先创建的第二消息队列中，如此可以防止各包含人脸的视频图像可能因为系统宕机等原因而丢失。
87.与此同时，如果对第二消息队列中缓存的包含人脸的视频图像连续地进行处理，如此会造成计算资源被耗尽，这会增加处理包含人脸的视频图像的时间，如此会不利于对目标人物进行追踪的实时性。因此，为防止计算资源被耗尽，可以对第二消息队列中缓存的包含人脸的视频图像的数量进行阈值设定。比如，在第二消息队列中缓存的包含人脸的视频图像的数量达到预设的第二数量阈值(例如可以是5个)时，通过至少两个线程以并行的方式来从第二消息队列中缓存的各包含人脸的视频图像中提取目标人物的人脸特征，如此可以将超过第二数量阈值的包含人脸的视频图像不再进行处理，从而可以防止计算资源被耗尽；而且利用至少两个线程以并行的方式来提取目标人物的人脸特征，也可以提高处理包含人脸的视频图像的速度，从而有利于保证对目标人物进行追踪的实时性。在一些实施方式中，该第二消息队列可以是fifo(first input first output，先进先出)队列，当然也可以是其它类型的队列。
88.在本发明一个实施例中，视频监控设备1还包括：图形处理模块；
89.图形处理模块，用于在人脸识别装置12从接收到的视频图像中识别出目标人物
时，输出目标人物的运动向量估计值，并将运动向量估计值发送给控制装置3；其中，运动向量估计值用于表征目标人物在视频图像中的移动方向。
90.在本发明实施例中，运动数据是在宏块级别(mpeg宏块表示帧的16x16像素区域)计算的，并包括一个额外的数据列。如果选择的视频输出分辨率为640x480，则将有41列和30行运动数据。运动数据值为4字节长，包括每个宏块的1字节x值、1字节y值和2字节的绝对差异之和。运动数据可以被编码到三维矩阵中：其第一个维度表示帧，第二个维度表示行，最后表示帧数。结构化数据类型用于允许轻松访问x、y和sad(绝对差异之和)值的阵列，通过毕达哥拉斯定理计算向量的大小，即可计算向量所表示的运动量。在监视画面中，一旦侦测到向上、向下、向左和向右的移动，可以获得并显示物体或人移动的方向。相关移动信息将自动上传至控制装置，用以辅助监控联动。
91.在本发明一个实施例中，每个摄像装置11中均设置有gps模块，gps模块用于获取与gps模块相对应的摄像装置11的位置信息；
92.摄像装置11，还用于将该摄像装置11的位置信息和与采集到的视频图像相对应的时间信息通过无线收发装置2发送给控制装置3。
93.在本发明实施例中，摄像装置通过将其位置信息和与采集到的视频图像相对应的时间信息通过无线收发装置发送给控制装置，有利于进一步实现目标人物的轨迹追踪，为布控提供帮助。
94.例如，确定出的目标图像(即目标人物所在的视频图像)所在的第一个摄像装置位于a地区且采集到该目标图像的时间信息为2020年10月1日，确定出的目标图像所在的第二个摄像装置位于b地区且采集到该目标图像的时间信息为2020年9月10日，确定出的目标图像所在的第三个摄像装置位于c地区且采集到该目标图像的时间信息为2020年10月5日，确定出的目标图像所在的第四个摄像装置位于d地区且采集到该目标图像的时间信息为2020年10月2日。按照时间信息的先后顺序，对不同的摄像装置的地理位置信息进行排序后，该待追踪人物的运动轨迹为：b-a-d-c。
95.再例如，确定出的目标图像所在的第一个摄像装置位于a地区中的a1位置且采集到该目标图像的时间信息为2020年10月1日上午8点，确定出的目标图像所在的第二个摄像装置位于a地区中的a2位置且采集到该目标图像的时间信息为2020年10月1日下午4点，确定出的目标图像所在的第三个摄像装置位于b地区且采集到该目标图像的时间信息为2020年10月1日下午2点，确定出的目标图像所在的第四个摄像装置位于c地区且采集到该目标图像的时间信息为2020年10月1日上午10点。按照时间信息的先后顺序，对不同的摄像装置的地理位置信息进行排序后，该待追踪人物的运动轨迹为：a(a1)-c-b-a(a2)。也就是说，通过确定目标图像所在摄像装置的摄像装置标识和时间信息可以准确确定出待追踪人物的运动轨迹，如果未采集到时间信息，则不能准确确定出待追踪人物的运动轨迹，此时只能确定出待追踪人物出现的地点。
96.在本发明一个实施例中，还包括：报警装置4；
97.报警装置4，用于在人脸识别装置12从接收到的视频图像中识别出目标人物时，接收由控制装置3发来的报警指令，并根据报警指令发出报警信号。
98.在本发明实施例中，报警装置可以为语音播报器或报警指示灯。该报警装置上设有信号发送装置，如此可以利用报警装置将报警信息通过gsm、wifi或4g信号推送到用户的
终端设备上。此外，工作人员还可以设置报警装置的工作模式，例如当发现重点人物被捕获识别，则发出警告或发信息给用户提醒注意。
99.本发明一个实施例还提供了一种目标人物追踪方法，包括：
100.利用摄像装置11将采集到的视频图像发送给人脸识别装置12；
101.利用人脸识别装置12通过无线收发装置2接收来自控制装置3的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别；
102.在人脸识别装置12从接收到的视频图像中识别出目标人物时，利用控制装置3通过无线收发装置2接收人脸识别装置12的识别结果。
103.在本发明实施例中，通过利用至少两个摄像装置、一个人脸识别装置、无线收发装置和控制装置，使得人脸识别装置可以通过无线收发装置接收来自控制装置的目标人物的人脸特征，并根据接收到的人脸特征对接收到的视频图像中的人脸进行识别，在人脸识别装置从接收到的视频图像中识别出目标人物时，控制装置可以通过无线收发装置接收人脸识别装置的识别结果。上述技术方案的部署要求简单，可以方便用户联动控制，随时监测现场环境中重点关注人群的情况，以便及时采取适当的应对措施，从而可以实现对目标人物的快速追踪。
104.需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
105.最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。