一种提高行人身份识别效率的方法、装置、设备及介质与流程

本发明涉及图像识别技术领域，具体涉及一种提高行人身份识别效率的方法、装置、设备及介质。

背景技术：

安防领域中，对于人脸识别的应用主要是在感知节点上新建具有人脸抓拍等人脸识别功能的ai摄像头，或者将普通摄像头的视频流传回到后端服务器来实现。

相对全国上千万的公安监控摄像头，ai摄像头的占有率是比较低微的。并且建设成本高，周期长。而通过视频流传输到后端实现，对于人脸识别应用来说，监控摄像头已经有很多的陈旧设备。由于以前的技术因素和架设高度，导致采集到的人脸画面质量不高，一般人脸图像分辨率较低，用于行人身份识别效率很差。在行人身份识别领域，人脸识别要求抓拍到的人像清晰度较高，普通摄像机很难满足要求。但是具有人脸识别功能的ai摄像头可以满足要求，但是现有技术中ai摄像头普及量很少，达不到安防监控的需求量，并且ai摄像头建设周期很长。

技术实现要素：

为了解决现有技术中由于ai摄像头布置率低，而普通摄像头由于拍摄清晰度不够，因此基于现有的极少数的ai摄像头和普通摄像头无法快速的识别出行人身份信息的技术问题，本申请提供以下技术方案：

一种提高行人身份识别效率的方法,应用于行人身份识别设备，所述行人身份识别设备分别与多个普通摄像头和至少一个ai摄像头通信连接，所述方法包括：

获取所述普通摄像头和ai摄像头通采集的视频数据；

从所述ai摄像头采集的视频数据中检测行人并获取检测到的行人的第一描述信息，从所述普通摄像头采集的视频数据中检测行人并获取检测到的行人的第二描述信息；

将所述行人及其第一描述信息对应存储形成身份信息搜索库；

计算所述第一描述信息和第二描述信息之间的相似度，判断所述相似度是否大于预设程度，若是则将所述第二描述信息和第一描述信息相关联；

根据关联后的行人的第一描述信息、第二描述信息更新所述身份信息搜索库。

其中，所述计算所述第一描述信息和第二描述信息之间的相似度，判断所述相似度是否大于预设程度，若是则将所述第二描述信息和第一描述信息相关联包括：

分别获取所述第一描述信息和第二描述信息的特征向量，计算两个特征向量之间的欧式距离是否大于预设值，若是，则认为所述第一描述信息和第二描述信息的相似度大于预设程度，将第二描述信息和第一描述信息所对应的行人进行关联。

进一步的，还包括：每经过预设的时间段后对所述身份信息搜索库进行清零。

其中，所述第一描述信息和第二描述信息均包括多种信息要素；

所述根据关联的行人的第一描述信息、第二描述信息更新所述身份信息搜索库包括：

对于所述第二描述信息中的每个信息要素，依次判断第一描述信息中是否包含所述信息要素，若是则将所述身份信息搜索库中该行人对应的信息要素替换为所述第二描述信息中的所述信息要素；若否则在所述信息搜索库中增加所述信息要素。

其中，所述第一描述信息和第二描述信息至少包括人脸信息和行人特征。

一种提高行人身份识别效率的装置，配备于行人身份识别设备，所述身份识别设备分别与多个普通摄像头和至少一个ai摄像头通信连接，所述装置包括：

数据获取模块，用于获取所述普通摄像头和ai摄像头采集的视频数据；

行人检测模块，用于分别从所述ai摄像头和普通摄像头采集的视频数据中检测行人，并分别获取检测到的行人的第一描述信息和第二描述信息；

库管理模块，用于将所述行人及其第一描述信息对应存储形成身份信息搜索库；

行人关联模块，用于计算所述第一描述信息和第二描述信息之间的相似度，并判断所述相似度是否大于预设程度，若是则将所述第二描述信息和第一描述信息相关联；

更新模块，用于根据关联后的行人的第一描述信息、第二描述信息更新所述身份信息搜索库。

进一步的，还包括特征提取模块，用于分别提取所述第一描述信息和第二描述信息的特征向量；

所述行人关联模块用于计算所述特征向量之间的欧式距离是否大于预设值，若是，则认为所述第一描述信息和第二描述信息的相似度大于预设程度，将所述第二描述信息和第一描述信息进行关联。

其中，所述库管理模块还用于每经过预设的时间段后对所述身份信息搜索库进行清零。

一种提高行人身份识别效率的设备，所述设备分别与多个普通摄像头和至少一个ai摄像头通信连接，所述身份识别设备包括存储器和处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如上所述的提高行人身份识别效率的方法。

一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的提高行人身份识别效率的方法。

依据上述实施例的提高行人身份识别效率的方法、装置或设备，可以采用少量的ai摄像头和大量普通摄像头分别采集视频数据并从采集的视频数据中获取行人的第一描述信息，将从ai摄像头采用的视频数据中分析出的行人描述信息作为身份信息搜索库的基准信息，将从普通摄像头采集的视频数据中获取的行人的第二描述信息与行人的第一描述信息进行关联，同时根据关联后的行人第一描述信息和第二描述信息更新身份信息搜索库，这样使得身份信息搜索库中该行人的描述信息更加丰富，同时也可以得到及时更新，这样可以快速、准确的从身份信息搜索库中搜索所需的行人身份信息。

附图说明

图1为本申请实施例的提高行人身份识别效率的方法流程图；

图2为本申请实施例的提高行人身份识别效率的装置结构框图；

图3为本申请实施例的提高行人身份识别效率的设备布置方式示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

实施例一

本实施例提供一种提高行人身份识别效率的方法,该方法应用于行人身份识别设备，将行人身份识别设备分别与布置场景的多个普通摄像头和ai摄像头通信连接，一般的为了能清晰捕捉到行人的人脸信息，ai摄像头采用智能摄像头，如图1，该方法包括：

步骤101：获取普通摄像头和ai摄像头通采集的视频数据；例如对于某个布置场景，ai摄像头可以设置在卡口处，如公路出口和入口处，获取进入该布置场景的行人的身份信息视频，其中由于ai摄像头具备智能拍照的功能，可以获取到高分辨率、清晰的人脸图像，而普通摄像头由于位置固定，无法智能拍照，导致采集到的人脸图像质量不高，分辨率较低，因此用于人脸识别时识别精度和识别效率都比较差。

步骤102：从ai摄像头采集的视频数据中检测行人并获取检测到的行人的第一描述信息，从普通摄像头采集的视频数据中检测行人并获取检测到的行人的第二描述信息；其中从ai摄像头获取的视频数据中检测到的行人的第一描述信息主要包括人脸信息和行人的特征，行人特征和人脸特征都是一个高维的特征向量。行人特征的是行人重识别，reid。这个特征可以把整个人像当作输入，找同一个人，或者极为相似的人。第一描述中采集了人脸和行人两种图像，获得了两种高维特征。第二描述中可以获得行人的高维特征和不可靠的人脸特征(大部分时间找不到人脸)。通过行人特征匹配，就可以在第二描述中找到与第一描述中的行人。通过关联可以确定该人的身份信息。由于ai摄像头获取的视频数据分辨率高，因此可以从其获取的视频数据中至少可以获取清晰的人脸信息，为了方便描述信息存储，例如对于某个卡口，记为1号卡口，被某个进入ai摄像头抓拍的视频数据记为ca1。ai摄像头通过其内置的人脸抓拍模块和行人抓拍模块获取人脸{fa1}和行人{pa1},送入后台的服务器的人脸识别模块和行人重识别模块进行人脸和行人特征提取，获取的人脸信息和行人分别记作：{fa1}和行人{pa1}。通过人脸和行人检索模块并赋给人脸id1和行人pid1，并进行身份关联{pid1，id1},即通过pid1能获取到id1。通过普通摄像头获取的视频数据分析出的第二描述信息包括多个信息要素，例如人脸信息和行人的特征，但是由于普通摄像头不具备智能识别功能，因此获取的视频有时候不能清晰地获取的以上全部信息，例如有时候不可靠的人脸信息，这样视频中的人脸信息时有时无。

步骤103：将行人及其第一描述信息对应存储形成身份信息搜索库；例如通过库管理模块将获取的行人及其第一描述信息加入到身份信息搜索库，并设置状态为有效(监控生效)，记录入库时间，用户可以随时通过搜索该身份信息搜索库获取其对应的身份信息。

步骤104：计算第一描述信息和第二描述信息之间的相似度，判断相似度是否大于预设程度，若是，则将第二描述信息和第一描述信息相关联；其中，分别计算第一描述信息和第二描述信息的特征向量，计算两个特征向量之间的欧式距离，若两个特征向量之间的欧式距离小于预设值则认为第一描述信息和第二描述信息之间的相似度大于预设程度，将第二描述信息与第一描述信息关联。

步骤105：根据关联的行人的第一描述信息、第二描述信息更新身份信息搜索库。具体的，将第一描述信息和第二描述信息关联后，根据关联的行人的第一描述信息、第二描述信息更新所述身份信息搜索库包括：对于第二描述信息中的每个信息要素，依次判断第一描述信息中是否包含该信息要素，若是则将信息搜索库中该行人对应的信息替换为第二描述信息中的该信息要素；若否则在信息搜索库中增加该信息要素。例如，第一描述信息中只包括人脸信息，第二描述信息中包括衣着信息，则将信息搜索库中该行人对应的描述信息中增加衣着信息，衣着信息主要指衣服的类型和颜色，例如红色羽绒服。在某些情况下，第一描述信息中包括衣着信息，例如为红色大衣，但是行人中途更换了衣着，则通过普通摄像头获取到的衣着信息为黑色羽绒服，则将该行人对应的衣着信息替换为第二描述信息中的衣着信息，以做到及时的更新信息搜索库，这样能保证搜索到最准备的行人身份信息。

进一步的，每经过预设的时间段后对身份信息搜索库进行清零，重新获取数据存储，构建新的信息搜索库，例如每24小时对身份信息搜索库进行一次清零。

通过本实施例的方法，可以采用少量的ai摄像头和大量普通摄像头分别采集视频数据并从采集的视频数据中获取行人的第一描述信息，将从ai摄像头采用的视频数据中分析出的行人描述信息作为身份信息搜索库的基准信息，将从普通摄像头采集的视频数据中获取的行人的第二描述信息与行人的第一描述信息进行关联，同时根据行人第一描述信息和第二描述信息更新身份信息搜索库，这样使得身份信息搜索库中该行人的描述信息更加丰富，同时也可以得到及时更新，这样可以快速、准确的从身份信息搜索库中搜索所需的行人身份信息。

实施例2

本实施例提供一种提高行人身份识别效率的装置，该装置配备于行人身份识别设备，该身份识别设备分别与布置场景的多个普通摄像头和至少一个ai摄像头通信连接，如图2，该装置包括：

数据获取模块201，用于获取普通摄像头和ai摄像头采集的视频数据；

行人检测模块202，用于分别从ai摄像头和普通摄像头采集的视频数据中检测行人，并分别获取检测到的行人的第一描述信息和第二描述信息；行人检测模块202检测到行人后，要通过行人重识别模块提取行人的高维特征，用于比对检索。其中，第一描述信息和第二描述信息至少包括人脸信息、衣着信息、身高信息以及特殊标志信息，其中特殊标志信息，例如行人有纹身等。例如对于某个卡口，记为1号卡口，被某个进入ai摄像头抓拍的视频数据记为ca1。ai摄像头通过其内置的人脸抓拍模块和行人抓拍模块获取人脸{fa1}和行人{pa1},送入后台的服务器的人脸识别模块和行人重识别模块进行人脸和行人特征提取，获取的人脸信息和行人分别记作：{fa1}和行人{pa1}。在普通摄像头处,记为cvi，后台服务器的行人检测模块每隔s秒(s取1～5)对视频流进行采样，然后进行人脸检测和行人检测。之所以进行人脸检测，主要是因为会存在一些检测的人脸被识别可能。记检测到的人脸和行人为：fvi和pvi,首先送入到人脸特征提取模块和行人特征提取模块进行特征提取。若此时只检测到了人脸或行人(由于实际场景复杂，行人检测模块存在检测不到情况)，则只进行人脸或行人特征提取。用fvi和pvi分别表示提取的第一描述信息和第二描述信息的特征向量。

库管理模块203，用于将所述行人及其第一描述信息对应存储形成身份信息搜索库；通过人脸和行人检索模块并赋给人脸id1和行人pid1，并进行身份关联{pid1，id1},即通过pid1能获取到id1。通过库管理模块将这些特征加入到身份信息搜索库中，并设置状态为有效(监控生效)，记录入库时间。

行人关联模块204，用于计算所述第一描述信息和第二描述信息之间的相似度，并判断相似度是否大于预设程度，若是，则将第二描述信息和第一描述信息相关联。具体的，行人关联模块用于计算特征向量之间的欧式距离是否大于预设值，若是则认为第一描述信息和第二描述信息的相似度大于预设程度，则将第二描述信息和第一描述信息进行关联，若检索到行人pidi而没有检索到人脸idi，则利用建立的关联关系{pidi，idi}赋予该行人特征的身份为idi。若通过人脸信息检索到身份信息搜索库中的人脸信息，与通过行人特征检索获到的行人信息相关联id不一致，则以人脸匹配到的关联id为准，同时通过库管理模块记录不一致的两个人脸身份id和行人id并保存对应的视频截图来做后续的审核。若两者一致则直接赋予该行人特征的身份id，并且将检测到的行人特征加入到行人的身份信息搜索库中，丰富身份信息搜索库中:{pa1、pa2、pvi}。

更新模块205，用于根据关联的行人的第一描述信息、第二描述信息更新身份信息搜索库。第一描述信息和第二描述信息被关联后，即可通过第二描述信息来更新身份信息搜索库，具体的，对于第二描述信息中的每个信息要素，依次判断第一描述信息中是否包含该信息要素，若是则将信息搜索库中该行人对应的信息替换为第二描述信息中的该信息要素；若否则在所述信息搜索库中增加该信息要素。这样使得身份信息搜索库中该行人的描述信息更加丰富，同时也可以得到及时更新，这样可以快速、准确的从身份信息搜索库中搜索所需的行人身份信息。例如，当离开卡口1的行人又进入另一个卡口，记为2号卡口，被某个ai摄像头记为ca2抓拍。经过特征提取和搜索比对后，若通过两个ai摄像头获取的描述信息相似度大于预设值，则丰富检索库:{fa1、fa2}和行人{pa1、pa2}。上述实施例仅以卡口1、2的ai摄像头ca1、ca1，普通摄像机cvi为例，本发明不限于上述几个摄像头，时针对时间监控场景中多个卡口、多个ai摄像机和大量普通摄像机。

进一步的，库管理模块203还用于每经过预设的时间段后对身份信息搜索库进行清零。保证对过期的信息进行及时清除，释放内存，已存储新的行人信息。例如每天的零点对过期的行人身份信息搜索库中的每个行人信息进行清零。

通过本实施例的设备，可以采用少量的ai摄像头和大量普通摄像头分别采集视频数据并从采集的视频数据中获取行人的第一描述信息，将从ai摄像头采用的视频数据中分析出的行人描述信息作为身份信息搜索库的基准信息，将从普通摄像头采集的视频数据中获取的行人的第二描述信息与行人的第一描述信息进行关联，同时根据关联后的行人第一描述信息和第二描述信息更新身份信息搜索库，这样使得身份信息搜索库中该行人的描述信息更加丰富，同时也可以得到及时更新，这样可以快速、准确的从身份信息搜索库中搜索所需的行人身份信息。

实施例3

本实施例提供一种提高行人身份识别效率的设备，如图3，该设备分别与多个普通摄像头和至少一个ai摄像头通信连接，ai摄像头一般设置在城市布置场景的进出关卡的卡口处，普通摄像头沿线设置多个，身份识别设备包括存储器和处理器，存储器中存储有计算机程序指令，该计算机程序指令被处理器读取并运行时，执行如实施例1提供的提高行人身份识别效率的方法。

实施例4

本实施例提供一种计算机可读存储介质，该存储介质包括程序，该程序能够被处理器执行以实现如实施例1提供的提高行人身份识别效率的方法。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。