一种基于形体识别技术的重点人员轨迹分析方法与流程

本发明涉及形体识别技术领域，尤其涉及一种基于形体识别技术的重点人员轨迹分析方法。

背景技术：

对涉毒、前科、在逃人员等重点人员的动态轨迹分析始终是公安机关研究的重点方向，是各类刑事案件侦查中不可缺少的一个重要环节，目前已有多种方式及系统可以实现重点人员的轨迹分析，其中基于二代身份的使用记录和人脸抓拍识别是最常用的两种方式。

在大数据时代，基于二代居民身份证的人员轨迹分析已有大量研究成果，且有较多对应的系统产品，结合警用地理信息系统平台，公安民警可以通过系统实现对人员特别是重点管理人员的轨迹分析。该方式具有明显的局限性，即只有重点人员使用二代身份证时才能被记录。然而，在现实中存在大量无需使用身份证的场景，只要重点人员不使用身份证，基于二代居民身份证使用记录的轨迹分析系统将完全失效。同时因为二代身份证的使用记录数据量非常庞大，会存在较大的延时，因此获取的主要是历史轨迹信息。

随着人脸识别技术的成熟和普及，出现了人脸抓拍、人脸识别的人员轨迹分析方法及系统，也得到了良好的应用。但是基于人脸的轨迹分析对环境和设备存在较高要求，首先是要在区域内部署人脸抓拍机，其次人脸抓拍机需要能够捕获到清晰的人脸，第三是无法复用普通摄像头。受限于经费限制，人脸抓拍机主要存在与诸如汽车站、火车站、机场、体育场馆、重要道路关口等重点公共区域，整体覆盖率并不高，同时仅需戴上口罩就能很好的规避人脸抓拍。

公安机关获取存在较大延时的历史轨迹，显然可以缩小布控范围，但仍然需要进一步在较大区域范围内进行布控，需要投入大量的警力和时间实行抓捕；通过蒙面等反侦查手段将有效规避基于人脸的轨迹探寻手段，使得公安机关难以通过人脸获取人员轨迹。因此如何开发一种既能适应反侦查手段、获取实时轨迹又能利旧复用已有摄像头的人员轨迹分析且可落地使用的方法是目前亟待解决的难题之一。

技术实现要素：

本发明的目的在于提供一种基于形体识别技术的重点人员轨迹分析方法，很好地破解了以戴口罩蒙面为主的反侦查手段，提升人员轨迹生成概率。

为实现上述目的，本发明提供如下技术方案：

一种基于形体识别技术的重点人员轨迹分析方法，其特征在于，包括以下步骤：

s1，获取视频数据及对应的位置信息；

s2，确定重点人员的形体特征；

s3，通过目标检测算法检出视频数据中的运动目标，并提取所述运动目标的形体特征；

s4，将s2中的重点人员的形体特征与s3得到的每一个运动目标的形体特征进行相似度对比，当相似度大于给定阈值时，则生成踪迹预警信息；

s5，对踪迹预警信息进行相同人员的聚类，针对同一聚类，在gis地图上生成对应重点人员的轨迹。

进一步的，所述s1中，视频数据为指定时间的历史视频流或实时视频流。

进一步的，所述s1中，所述位置信息为经纬度信息。

进一步的，所述s2中，重点人员的形体特征确定方法如下：

s21，获取公安通过侦查得到的内含重点人员的视频数据；

s22，通过目标检测算法检出视频数据中的运动目标；

s23，对检出的运动目标，通过形体识别算法提取其形体特征。

进一步的，所述目标检测算法采用基于神经网络的one-stage算法，具体实现如下：

s221，调整图像大小至规定尺寸；

s222，将调整后的图像送入卷积神经网络vgg16做卷积运算，通过extrafeaturelayer提取特征，形成6组张量；

s223，对前一帧或多帧图像于当前帧的6组张量进行融合；

s224，对融合后的6组张量做卷积，得预测位置张量和预测置信度张量；

s225，进行解码，得目标的位置和类别。

进一步的，所述形体识别算法采用行人重识别算法，基础网络采用resnet50网络结构，损失函数采用三元损失函数。

进一步的，所述s4中相似度对比采用余弦相似度函数。

进一步的，所述给定阈值为0.6。

进一步的，所述s5后还包括轨迹的更新，每当s4生成一条新的轨迹预警信息，按时间将之更新到对应的重点人员的轨迹当中。

与现有技术相比，本发明的有益效果是：本发明采用形体特征作为依据，对目标人物进行识别，可以很好地破解人脸识别过程中，以戴口罩蒙面为主的反侦查手段，提升人员轨迹生成概率；使得原有的普通摄像头得以复用。另一方面在目标检测的过程中，本发明不仅局限于当前帧图像的特征，还对之前的图像进行融合，加强了形体特征在时序上的关联性，提高了识别的准确性。

附图说明

图1为本发明的方法流程图。

图2为本发明的one-stage算法构造图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种基于形体识别技术的重点人员轨迹分析方法，包括以下步骤：

s1，获取视频数据及对应的位置信息；优选的，视频数据为指定时间的历史视频流或实时视频流；位置信息为经纬度信息。

具体的，通过与一个或多个视频管理平台对接，获取其管辖的摄像头列表及其经纬度信息。选取需要进行视频抽取的摄像头，可获取摄像头指定时间的历史视频流，或获取摄像头实时视频流，同时设定比对相似度阈值，用于后续比对结果的分支处理判定。值得一提的是，相似度阈值优选为0.6。

s2，确定重点人员的形体特征；具体方法如下：

s21，获取公安通过侦查得到的内含重点人员的视频数据；

s22，通过目标检测算法检出视频数据中的运动目标；所述目标检测算法采用基于神经网络的one-stage算法。将视频数据中的帧图像输入神经网络后，根据最终输出的特征，解码为目标的位置和类别，再经nms过程，滤除重叠区域较大的目标，获得最终的目标检测位置。

如图2所示，具体实现如下：

s221，调整图像大小至规定尺寸，如300×300像素，；

s222，将调整后的图像送入卷积神经网络vgg16做卷积运算，通过extrafeaturelayer提取特征，形成6组张量，如图所示，依次为：1x512x38x38，1x1024x19x19，1x512x10x10，1x256x5x5，1x256x3x3，1x256x1x1；

s223，对前一帧或多帧图像于当前帧的6组张量进行融合；具体的，传递前一帧或多帧的6组张量到当前帧，将对应的张量(如前一帧的1x512x38x38张量对应当前帧的1x512x38x38张量)分别进行平均池化操作，融合前后帧的信息。池化公式如下：

其中，f为融合后的张量；o⁽ⁿ⁾为张量，上标n代表帧数，n为1时，代表当前帧，n为2时，代表上一帧，以此类推；n为融合的总帧数，如一实施例中，仅融合当前帧与上一帧，则n为2。

s224，对融合后的6组张量做卷积，得预测位置张量和预测置信度张量。值得一提的是，还对预测位置张量和预测置信度张量进行softmax等运算，得到1x8732x4张量用于最终位置预测依据和1x8732x21(21为检测目标总类)用于最终分类结果的预测依据。

s225，进行解码，得目标的位置和类别。解码的过程主要依靠的是预先设置好的8732x4维度的priorboxes。通过训练后，得到的特征张量表示了预测的目标框位置，将预测位置转换为目标框真实位置的过程通过解码函数得到，解码函数可以表示为：

b^x＝d^wl^x+d^x,b^y＝d^hl^y+d^y

b^w＝d^wexp(l^w),b^h＝d^hexp(l^h)

该步骤中，其中b＝(b^x,b^y,b^w,b^h)表示真实框的角点坐标和宽高，d＝(d^x,d^y,d^w,d^h)表示先验框的角点坐标和宽高，l＝(l^x,l^y,l^w,l^h)是神经网络预测的角点坐标和宽高。。

s23，对检出的运动目标，通过形体识别算法提取其形体特征。具体的，所述形体识别算法采用person-reid行人重识别算法，基础网络采用resnet50网络结构，损失函数采用三元损失函数：

l＝max(d(a,p)-d(a,n)+margin,0)

其中，l表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值，上式总体表示了将同一个目标样本的距离最小化，不同目标的样本之间距离最大化。

通过在数据集中的训练，我们得到了能够提取目标特征的网络结构，将目标图像输入神经网络后，神经网络输出一个2048维的特征向量，该向量用于目标之间相似度判断。

s3，视频深度研判，按照s2中目标检测和形体特征提取的方法，求解得s1视频数据中人物目标的形体特征，同样是2048维的特征向量。

s4，总计发现，将s2中的重点人员的形体特征与s3得到的每一个运动目标的形体特征进行相似度对比，当相似度大于给定阈值0.6时，则判定两者为同一目标地，生成踪迹预警信息，所述踪迹预警信息包括与视频数据对应的摄像头位置，目标人员的身份信息及视频信息的时间。另外，将该视频数据中与重点人员的形体特征相似度最高的一帧图像推送给客户；若所有图像对应的相似度都小于给定阈值0.6，则不作推送。

具体的，相似度值由特征对比后得出，特征对比采用特征之间的余弦距离来衡量。设特征提取步骤输出的特征向量为x和y，则两者之间的相似度计算可以表示为如下公式：

其中，sim(x,y)表示两个向量x和y之间的相似度，||x||和||y||分别表示向量x和y的模，表示向量x和y的点积。

s5，对踪迹预警信息进行相同人员的聚类，针对同一聚类，结合位置信息，在gis地图上生成对应重点人员的轨迹。

s6，每当s4生成一条新的轨迹预警信息，按时间将之更新到对应的重点人员的轨迹当中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。