基于最大切片Wasserstein度量的监控网络行人目标关联方法与流程

基于最大切片wasserstein度量的监控网络行人目标关联方法
技术领域
1.本发明涉及智慧城市、智慧交通等场景中的监控视频智能分析，特别是一种基于最大切片wasserstein度量的监控网络行人目标关联方法。


背景技术：

2.公共场所的安全保障是智慧城市的主要特征之一，但近年来全球范围内社会治安形势日趋复杂，交通事故、恐怖袭击、犯罪事件频发等现象严重影响了社会的稳定。为了遏制和打击犯罪、降低社会安全风险，重要场所都安装了视频监控系统，实现监控音、视频资料的录像保存。视频监控系统在危险行为预警和事后破案中正发挥重要作用。我国已安装的监控摄像头目前已超过4000万个，每年产生数万pb(petabyte)的数据量，视频监控的覆盖范围和监控点、卡口的数量都以30％以上的增长率在快速增加。由于视频是非结构化数据，很难从中自动分析出蕴含的丰富信息，庞大的数据量给监控视频的存储、分析、检索造成巨大的技术挑战。
3.近年来，在人工智能和大数据技术的驱动下，视频监控系统的智能化过程发展迅速，任务处理的智能化和自动化程度不断提高。单摄像机监控向多摄像机监控网络的转变使得视频数据量变得更为庞大，如何基于监控网络实现更加精细的高效的分析和管理极为重要。当前监控视频的行人目标单摄像头和跨摄像头的目标关联研究主要采用分离或一体化的方式来优化行人目标特征提取神经网络以及目标跟踪算法，提高短时间内目标在视频监控网络中的关联的准确度，目的是提供目标准确的跨镜头的轨迹。这些重在提高精确目标轨迹的技术路线无法应对较大时空范围内进行目标的快速检索和对证的需要。
4.近些年wasserstein度量在人工智能领域取得了广泛应用。对于定义在rn上的概率分布μ和ν，wasserstein距离用于衡量从一个分布到另外一个分布的最优传输问题。
[0005][0006]
其中ξ是一个rn×rn
上的联合分布，必须同时满足μ和ν是其边缘分布。d可以是rn上的任意距离，比如欧式距离，l1距离等等。
[0007]
wasserstein最早被用于gan网络的设计，如公开号为cn113673347a的中国专利公开一种基于wasserstein距离的表征相似对抗网络，该现有技术方案通过减小wasserstein距离的方法来减小源域受试者和目的域受试者的边缘概率分布，再通过关联强化的方法减小条件概率分布；wasserstein度量也被用于特征相似度的计算，如公开号为cn110110670b的中国专利公开一种基于wasserstein度量的行人跟踪中的数据关联方法，该现有技术方案将wasserstein距离与神经网络相结合求解行人特征的匹配度，替换传统的马氏和余弦距离，进行实现目标跟踪。
[0008]
虽然上述现有技术是基于wasserstein度量来实现目标数据跟踪，但其大部分是低维度的wasserstein度量；而高维的wasserstein度量则很难计算，一般是通过高维单位
球上的投射变换到一维空间中实现切片计算，在所有的切片计算结果中，最大切片是所有投射中的wasserstein度量最大的量，但是计算复杂度；尤其不适用于大规模视频监控网络的目标跟踪和目标关联。


技术实现要素：

[0009]
发明目的：本发明的目的是提供了一种基于最大切片wasserstein度量的监控网络行人目标关联方法，为大规模视频监控网络提供基于目标关联的检索查询服务，以提升针对重点目标的检索查询效率。
[0010]
技术方案：本发明的一种基于最大切片wasserstein度量的监控网络行人目标关联方法，包括以下步骤：
[0011]
步骤s1、在记录周期qr内，对监控网络系统中各单个摄像头分别进行行人目标检测，行人目标检测过程采用n阶打点机制生成行人目标的检测跟踪记录r
i,j
；
[0012]
步骤s2、在与记录周期qr紧接的关联周期qm内，对监控网络系统中所有摄像头形成的行人目标的检测跟踪记录进行单一摄像头内部的归并关联，归并关联过程中采用n阶连续高维特征序列之间的最大切片wasserstein距离和预定的阈值作为关联依据，归并关联结束后，生成以摄像头id作为主键的行人目标关联记录r'
i,j
；
[0013]
步骤s3、监控网络系统对所有摄像头上已经归并关联过的行人目标记录进行跨摄像头的归并关联，归并关联过程中采用n阶连续高维特征序列之间的最大切片wasserstein距离和预定的阈值作为关联依据，归并关联结束后，生成以行人目标id为主键的跨镜行人目标关联记录r”j
；
[0014]
步骤s4、监控网络系统根据跨摄像头归并关联生成的记录r”j
中包含的摄像头id和记录生成时间，从监控视频流中采集缩略图集，并基于openpose人体姿态检测和基于brenner梯度的图像清晰度评价；接着，从缩略图集中筛选出行人正面、背面、左侧、右侧的代表图片，生成新的以行人目标id为主键包含缩略代表图的记录录r”'j，并存入数据库中用于后续查询。
[0015]
进一步地的，所述步骤s1具体包括以下步骤：
[0016]
在记录周期qr内，对监控网络系统中某单个摄像头ci基于yolov5神经网络行人检测和deepsort目标跟踪算法来检测行人目标；
[0017]
在上述行人目标deepsort跟踪过程中不断采用n阶打点机制来生成行人目标的检测跟踪记录r
i,j
，具体如下：
[0018]
如果在对某个行人目标pj连续跟踪过程中所积累的yolov5输出的高维行人目标特征数量(f'
i,j,1
,f'
i,j,2
,...)到达n，则保留这n个特征f
i,j
＝[f
i,j,1
,f
i,j,2
,...,f
i,j,n
]，并重新生成新的行人目标id继续进行deepsort跟踪；如若对某个行人目标跟踪过程中所积累的连续特征记录数量少于n，则不保存该检测跟踪记录；
[0019]
摄像头ci的每n阶打点即生成并输出检测跟踪记录r
i,j
；
[0020]ri,j
＝{ci，p
i,j
，t
i,j
，f
i,j
＝[f
i,j,1
,f
i,j,2
,...,f
i,j,n
]}
[0021]
其中，ci为第i个摄像头id，i＝1,2,
……
,n，p
i,j
为第i个摄像头中第j个行人目标id，t
i,j
为检测跟踪记录r
i,j
的生成时间，f
i,j
为连续n个由yolov5输出的高维行人目标特征。
[0022]
进一步地的，所述步骤s2具体包括以下步骤：
[0023]
s201：在关联周期qm内，监控网络系统对所有摄像头(总计n个摄像头)所有检测跟踪记录r
i,j
进行集合化，则摄像头ci在记录周期qr内构成集合sri；sri＝{ri,1,ri,2,
…
}；
[0024]
s202：对于摄像头ci，从集中sri中第一个检测跟踪记录r
i,1
开始归并计算，计算r
i,1
中特征f
i,1
与其余检测跟踪记录r
i,x
(例如r
i,2
，r
i,3
，...)所对应的特征f
i,x
的最大切片wasserstein距离msw(f
i,1
,f
i,x
)；然后将所有的msw值小于等于预定阈值th1的p
x
和p1归为同一个p'
i,1
；若无p
x
可与p1归并，则将检测跟踪记录r
i,1
作为独立记录归并，将检测跟踪记录r
i,x
连同r
i,1
从sri中移除；
[0025]
重复上述归并计算，直至sri集合清零；
[0026]
s203：对监控网络中的所有n摄像头实施s202的操作，完成对单路摄像头内的行人目标关联，并生成输出新的行人目标关联记录记录r'
i,j
；
[0027]
r'
i,j
＝{ci，p'
i,j
，f'
i,j
＝(f'
i,j,1
,f'
i,j,2
,...,f'
i,j,n
)，(t
i,j,1
、t
i,j,2
、...)}
[0028]
其中，f'
i,j
为与关联归并过程中与归并同一p'j其他记录的高维特征序列f
i,j
的平均最大切片wasserstein距离最小的记录对应的f
i,j
序列，(t
i,j,1
、t
i,j,2
、...)为归并到p'
i,j
上的所有记录上的r
i,j
中的记录时间t
i,j
。
[0029]
进一步地的，所述步骤s3具体包括以下步骤：
[0030]
首先，在记录周期紧接的关联周期qm内，监控网络系统对各摄像头的所有已经完成单路摄像头目标的关联归并的记录r'
i,j
进行集合化，ssri＝{r'
i,1
,r'
i,2
,....}；所有ssri构成集合ssr＝{ssr1,ssr2,...,ssrn}；
[0031]
然后，先从ssr1中第一个记录r'
1,1
开始行人目标的跨镜关联归并，计算r'
1,1
中f'
1,1
与其余摄像头的记录集合ssr2,ssr3...,ssrn对应的每个记录的f'
i,j
的最大切片wasserstein距离msw(f
1,1
,f
i,j
)，然后将所有的msw值小于等于预定阈值th2的p'
i,j
和p'
1,1
归为同一个p”1
，若无p'
i,j
可与p'
1,1
归并，则将p'
1,1
作为独立记录归并为p”1
；将r'
1,1
从sr1中移除，将与之关联的r'
i,j
从sri中移除；
[0032]
在sr1中重复上述归并计算，直至sr1集合清零；
[0033]
sr1清零后，再依次对sr2,...,srn重复上述归并计算，直至ssr中的子集ssri中的记录全部清零；
[0034]
最后，监控网络系统生成跨镜行人目标关联记录r”j
；
[0035]
r”j
＝{p”j
，f”j
＝(f”i,j,1
,f”i,j,2
,...,f”i,j,n
)，[(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，....]}
[0036]
其中f”j
为与所有其他归为同一目标的平均最大切片wasserstein距离最小的记录对应的f'
i,j
，(c
i1
，t
i1,j1
，t
i1,j2
，...)为行人目标p”j
出现在摄像头c
i1
上被记录下的各时间t
i1,j1
，t
i,j2
，...。
[0037]
进一步地的，所述步骤s4具体包括以下步骤：
[0038]
s401：监控网络系统根据跨镜行人目标关联r”j
，按照(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，从监控网络对应摄像头c
ix
的时刻t
ix,jy
视频流中通过隔帧方式分别采集m个图像，构成与r”j
对应的缩略图集t；摄像头c
ix
具体是指行人目标出现时所在摄像头编号；
[0039]
s402：基于openpose人体姿态检测算法，按照正面、背面、左侧、右侧将缩略图集t分类为tf、tb、t
l
和tr；
[0040]
s403：基于brenner梯度的图像清晰度评价算法，分别从tf、tb、t
l
和tr中筛选出清
晰度最高的代表图片if、ib、i
l
和ir；
[0041]
s404：监控网络系统生成新记录r”'j＝{p”j
、(if、ib、is)，f”j
＝(f”i,j,1
,f”i,j,2
,...,f”i,j,n
)，[(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，....]}，并将记录录r”'j存入数据库中供查询。
[0042]
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于最大切片wasserstein度量的监控网络行人目标关联方法。
[0043]
本发明还公开一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于最大切片wasserstein度量的监控网络行人目标关联方法。
[0044]
有益效果：与现有技术相比，本发明具有如下优点：
[0045]
1、不同于传统的在一段较短的时间内进行的单摄像头和跨摄像头行人重识别技术，本发明能够实现视频监控网络中重要目标对象的相关视频流的快速检索；
[0046]
2、本发明采用n阶打点的机制保留跟踪目标的连续n个高维特征，并利用n阶的高维特征蕴含的行人目标不同角度的下的特征集合的高维矢量空间的统计分布之间的更为有效的最大切片wasserstein距离来作为相似度度量的依据，在多阶特征设计和相似度度量规范上都优于主流采用的单帧特征的余弦距离或欧式距离；
[0047]
3、本发明采用记录周期和关联周期交替进行的方式，缓解了在较大的时间跨度上进行目标关联，面临的行人本身的着装变化等因素的影响，兼顾了关联的准确率和实际使用的效率。
附图说明
[0048]
图1为本发明的整体流程示意图；
[0049]
图2为实施例的流程框图；
[0050]
图3为实施例的检测记录归并示意图。
具体实施方式
[0051]
下面结合附图对本发明的技术方案作进一步说明。
[0052]
如图1所示，本发明的一种基于最大切片wasserstein度量的监控网络行人目标关联方法，在记录周期qr内，监控网络系统基于yolov5神经网络行人检测和deepsort并采用n阶打点机制生成行人目标的检测跟踪记录；在关联周期qm内，监控网络系统基于n阶连续高维特征序列之间的最大切片wasserstein距离对所有摄像头形成的行人目标的检测跟踪记录进行单摄像头内部和跨摄像头的行人目标归并关联；完成归并关联后基于openpose人体姿态检测和基于brenner梯度的图像清晰度评价，从视频流中构建行人目标缩略图，生成包含行人目标id、n阶连续高维特征序列、行人目标所在相机id和视频流时刻和典型缩略图的记录，并存入数据库中用于查询。
[0053]
本发明滚动循环的记录周期qr和关联周期qm，在单帧yolov5目标检测和连续多帧deepsort跟踪算法的基础上，采用n阶打点的机制，将目标跟踪数据等量分段；并通过基于最大切片wasserstein度量的多阶高维特征相似度对比算法实现单摄像头内和多摄像头间的目标关联，最终能够实现大范围监控网络中的目标关联和基于目标关联的重点目标检
索。
[0054]
在本实施例具体步骤如下：
[0055]
s1：在记录周期qr内，对于监控网络系统中的各单个的摄像头，都基于现有yolov5行人检测和deepsort目标跟踪算法来进行行人目标检测，本实施例的重点在于需在行人目标检测过程中不断采用n阶打点机制来生成行人目标的检测跟踪记录。
[0056]
s2：在记录周期紧接的关联周期qm内，本实施例此处将记录周期设为夜间，监控网络系统对所有摄像头形成的行人目标的检测跟踪记录进行单一摄像头内部的归并关联，归并关联过程中采用n阶连续高维特征序列之间的最大切片wasserstein距离和预定的阈值作为关联依据，归并后生成以摄像头id作为主键的行人目标关联记录。
[0057]
s3：完成单一摄像头对应的行人目标关联归并后，监控网络系统对所有摄像头上已经归并过的目标记录进行跨摄像头的归并关联，归并关联过程中依然采用n阶连续高维特征序列之间的最大切片wasserstein距离和预定的阈值作为关联依据，归并后生成以行人目标id为主键的行人目标关联记录。
[0058]
s4：监控网络系统根据跨摄像头归并关联生成的记录中包含的摄像头id和记生成时间，从监控视频流中采集缩略图集，并基于openpose人体姿态检测和基于brenner梯度的图像清晰度评价，从缩略图集中筛选出行人正面、背面、左侧、右侧的代表图片，生成新的以行人目标id为主键包含缩略代表图的记录，并存入数据库中用于后续查询。
[0059]
在本实施例中，步骤s1具体包括以下步骤：
[0060]
在记录周期qr内，本实施例将记录周期设为日间，监控网络系统中的各个摄像头基于yolov5神经网络行人检测和deepsort目标跟踪算法检测行人目标；
[0061]
摄像头ci进行上述行人目标deepsort跟踪的过程中，不断采用n阶打点机制(帧率为30的监控视频，一般取连续5秒，即n＝150)，具体如下：
[0062]
对单个目标如果对目标pj连续跟踪过程中积累的yolov5输出的高维行人目标特征数量(f'
i,j,1
,f'
i,j,2
,...)到达n，则保留n个特征f
i,j
＝[f
i,j,1
,f
i,j,2
,...,f
i,j,n
]，并重新生成新的目标id继续进行deepsort跟踪；如跟踪对象积累的连续特征记录数量少于n，则不保存该记录；
[0063]
最终，摄像头ci生成并输出检测跟踪记录r
i,j
＝{ci，p
i,j
，t
i,j
，f
i,j
＝[f
i,j,1
,f
i,j,2
,...,f
i,j,n
]}，其中ci为摄像头id、p
i,j
为行人id、t
i,j
为r
i,j
记录生成时间、f
i,j
为连续n个由yolov5输出的高维行人目标特征。
[0064]
在本实施例中，步骤s2具体包括以下步骤：
[0065]
s201：在记录周期紧接的关联周期qm内，本实施例将记录周期设为夜间，然后对总计n个摄像头的所有记录r
i,j
进行集合化，记摄像头ci在记录周期qr内构成集合sri；
[0066]
s202：针对摄像头ci，从sri第一个记录r
i,1
开始归并计算，计算r
i,1
中f
i,1
与其余记录r
i,2
，r
i,3
，...，对应的f
i,x
的最大切片wasserstein距离msw(f
i,1
,f
i,x
)，将所有的msw值小于等于预定阈值th1的p
x
和p1归为同一个p'
i,1
，若无p
x
可与p1归并，则将r
i,1
作为独立记录归并，将记录r
i,x
连同r
i,1
从sri中移除；重复上述归并计算，直至sri集合清零。
[0067]
s203：对监控网络中的所有n摄像头实施s202的操作，完成对单路摄像头内的行人目标关联，并生成输出新的记录r'
i,j
＝{ci，p'
i,j
，f'
i,j
＝(f'
i,j,1
,f'
i,j,2
,...,f'
i,j,n
)，(t
i,j,1
、t
i,j,2
、...)}，其中，f'
i,j
为与关联归并过程中与归并同一p'j其他记录的高维特征序
列f
i,j
的平均最大切片wasserstein距离最小的记录对应的f
i,j
序列，(t
i,j,1
、t
i,j,2
、...)为归并到p'
i,j
上的所有记录上的r
i,j
中的记录时间t
i,j
。
[0068]
在本实施例中，步骤s3中具体包括以下步骤：
[0069]
s301：在记录周期紧接的关联周期qm内，本实施例将记录周期设为夜间，监控网络系统对各摄像头的所有已经完成单路摄像头目标的关联归并的记录r'
i,j
进行集合化，ssri＝{r'
i,1
,r'
i,2
,....}；记所有的ssri构成集合ssr＝{ssr1,ssr2,...,ssrn}。
[0070]
s302：从ssr1第一个记录r'
1,1
开始目标的关联归并，计算r'
1,1
中f'
1,1
与其余摄像头的记录集合ssr2,ssr3...,ssrn对应的每个记录的f'
i,j
的最大切片wasserstein距离msw(f
1,1
,f
i,j
)，将所有的msw值小于等于预定阈值th2的p'
i,j
和p'
1,1
归为同一个p”1
，若无p'
i,j
可与p'
1,1
归并，则将p'
1,1
作为独立记录归并为p”1
；将r'
1,1
从sr1中移除，将与之关联的r'
i,j
从sri中移除；在sr1中重复上述归并计算，直至sr1集合清零；sr1清零后，对sr2,...,srn重复上述归并计算，直至ssr中的子集ssri中的记录全部清零。
[0071]
s303：完成步骤s302后，监控网络系统生成新的记录r”j
＝{p”j
，f”j
＝(f”i,j,1
,f”i,j,2
,...,f”i,j,n
)，[(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，....]}，其中f”j
为与所有其他归为同一目标的平均最大切片wasserstein距离最小的记录对应的f'
i,j
，(c
i1
，t
i1,j1
，t
i1,j2
，...)为目标p”j
出现在摄像头c
i1
上被记录下的各时间t
i1,j1
，t
i,j2
，...。
[0072]
在本实施例中，步骤s4中具体包括以下步骤：
[0073]
s401：监控网络系统根据r”j
，按照(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，从监控网络对应摄像头c
ix
的时刻t
ix,jy
视频流中通过隔帧方式分别采集m个图像，构成与r”j
对应的缩略图集t；
[0074]
s402：基于openpose人体姿态检测算法，按照正面、背面、左侧、右侧将缩略图集t分类为tf、tb、t
l
和tr；
[0075]
s403：基于brenner梯度的图像清晰度评价算法，分别从tf、tb、t
l
和tr中筛选出清晰度最高的代表图片if、ib、i
l
和ir；
[0076]
s404：监控网络系统生成新记录r”'j＝{p”j
、(if、ib、is)，f”j
＝(f”i,j,1
,f”i,j,2
,...,f”i,j,n
)，[(c
i1
，t
i1,j1
，t
i,j2
，...)，(c
i2
，t
i2,j1
，t
i2,j2
，...)，....]}并存入数据库中供查询。
[0077]
实施例1：
[0078]
如图2和图3所示，对本实施例的监控视频数据库中的行人目标进行跟踪和关联，具体内容如下：
[0079]
对监控视频数据库中n个摄像头的图像，先对单个摄像头依次采用图2中yolov5神经网络行人检测和deepsort目标跟踪算法进行行人目标识别，生成检测跟踪记录r
i,j
；然后将其分别归并为sr1,sr2,
…
,srn；接着对这n个摄像头中所有已经完成单路摄像头目标的关联归并的记录进行集合化得到ssr，以及对ssr集合中ssri分别进行归并，最终生成目标轨迹数据库r”j
(见图2和图3)。