一种基于视频监控的行人多目标检测与跟踪方法与流程
本发明属于计算机视觉技术领域，具体涉及一种基于视频监控的行人多目标检测与跟踪方法。
背景技术：
智能视频监控技术是近年来计算机视觉领域的一个研究热点。智能视频监控技术融合了自动控制、图像处理、人工智能以及模式识别等不同领域的先进技术，将计算机视觉与网络化的视频监控相结合，实现视频中运动目标如行人、车辆等物体的检测、识别、跟踪和行为分析等功能，为实时监控和预警提供有效的保证。智能视频监控技术可以极大地减少主观干扰，增强系统的智能化处理能力，有效地增强监控效果。
在视频监控中，行人是最重要的活动主体之一，因此对行人的行为分析成为智能视频监控的重要功能部分。而行人行为分析的实现建立行人检测与跟踪的基础上，现实场景中，对行人目标准确而快速的检测和跟踪是一项十分具有挑战性的工作，因为行人在移动时比车辆更具灵活性并且行人是非刚体，轮廓特征在不断变化，不易提取，这给跟踪的准确性以及算法的计算复杂度带来了诸多问题。在行人、车辆等目标检测的领域内，现广泛采用基于视频中感兴趣目标的运动信息的检测算法，比如背景减除法，光流法，帧差法等，上述算法主要利用图像帧与帧之间的相互关系，构建背景图像，实现目标检测，计算简单，具有良好的实时性，但是考虑到光线变化等背景噪声的影响、背景的建立和更新、阴影对目标准确性的干扰等，其检测精度会显著下降。对于目标跟踪而言，分为基于区域的跟踪方法、基于轮廓的跟踪方法、基于特征的跟踪方法和基于模型的跟踪方法，上述跟踪方法缺乏通用性，只能达到特定应用场景的跟踪需求，比如待跟踪目标形状发生变化、运动目标受光照影响、目标在运动期间发生部分或全部遮挡、背景有动态和静态、目标的运动模式突变等等都将给运动目标的准确跟踪带来了很大的挑战。
技术实现要素：
有鉴于此，本发明的目的在于避免现有技术中的不足而提供一种基于视频监控的行人多目标检测与跟踪方法，其具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
本发明的目的通过以下技术方案实现：提供一种基于视频监控的行人多目标检测与跟踪方法，包括如下步骤：
s100、根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取，并完成运动目标链的初始化，即原有目标链；
s200、读取下一帧图像，进行目标检测，并为当前帧检测到的目标建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；
s300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；
s400、针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。
作为进一步的改进，所述步骤s100具体表现为：
s100a、读取视频图像，进行目标检测，找到有运动目标出现的第一帧；
s100b、提取目标的中心坐标、长、宽和加权颜色直方图信息，并为每个目标设置一个表示目标遮挡状态的逻辑参数，初始状态设为1，表示目标未发生遮挡，若发生遮挡则置0，完成运动目标链的初始化，即原有目标链。
作为进一步的改进，所述步骤s100中目标的加权颜色直方图表示为：
式中，l＝(x,y)表示目标区域的中心坐标，lt＝(xt,yt)表示目标区域内像素位置为，其中，t＝1,2,...,z，z为目标区域内像素总数，h为目标矩形区域对角线长度的一半，δ是delta函数，b(lt)表示lt处的颜色等级，u表示第u级颜色，且u＝1,2,...s，k为加权函数，且k的表达式为：
作为进一步的改进，所述步骤s200中通过卡尔曼滤波器进行位置预测具体表现为：
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计，即预测方程，其中，当前状态矩阵
式中，k-1表示上一时刻，k表示当前时刻，
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为：
式中，kk表示卡尔曼滤波增益，
作为进一步的改进，所述步骤s300具体表现为：
(1)建立关联矩阵d(m,n)，m为原有目标链上的目标个数，n为当前帧目标链上的目标个数，初始化为全零矩阵；
(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积；
(3)设定i为原有目标链中目标的编号，j为当前帧中目标的编号，判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5，若是，则进入步骤(4)，反之，则进入步骤(5)，其中，roverlap的表达式为：
式中，si、sj分别表示第i个目标、第j个目标的面积，i和j的取值为1,2,...,m；
(4)此处有遮挡发生，令关联矩阵d(i,j)＝-1，遮挡涉及的目标的遮挡状态逻辑参数均置为0；
(5)此处没有遮挡发生，即状态参数为1，将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况，当同时满足一定的阈值条件时，认为两者匹配，令关联矩阵的对应元素值为1。
作为进一步的改进，所述步骤s400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理，具体表现为：
扫描关联矩阵的值，如果d(i,j)＝1，说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配，用当前帧的目标信息通过目标状态参数更新对原有目标进行更新；如果d(i,j)＝-1,说明当前帧目标链上的第j个目标和其它目标发生遮挡，此时用卡尔曼预测值来表示其在当前帧中的位置；如果d的第i行均为0，说明原有目标链上的第i个目标在当前帧中没有相应值，即目标消失，从原有目标链中删除其信息；如果d中第j列均为0，表示当前帧目标链的第j个目标为新出现的目标，将其信息添加到原有目标链中。
作为进一步的改进，所述目标状态参数更新采用如下更新公式进行：
pi＝βpi+(1-β)pi-1(15)
式中，pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数，β为尺度因子，表示特征更新的快慢。
作为进一步的改进，所述原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算，具体表现为：
式中，i，j分别表示原有目标链中目标和当前目标链中目标的标号，·表示点积，qu(i)表示原有目标链中第i个目标的加权颜色直方图，qu(j)表示当前帧目标链中第j个目标的加权颜色直方图，ds(i,j)的取值范围为[0,1]，其值越接近1表明两个目标模型的相似度越大。
本发明提供的一种基于视频监控的行人多目标检测与跟踪方法主要用于获取运动目标的位置、姿态、轨迹等基本运动信息，首先，通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取；接着，建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；然后，根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；最后，对针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。通过其上过程，精准地实现其检测与跟踪任务，具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是一种基于视频监控的行人多目标检测与跟踪方法的流程图。
图2是本发明余弦匹配结果图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如图1所示，本发明实施例提供的一种基于视频监控的行人多目标检测与跟踪方法，通过建立关联矩阵的方法来建立数据关联，因此也选择建立关联矩阵来实现数据关联，关联矩阵是多目标跟踪中目标遮挡、目标出现、目标消失、目标匹配等情况的反映，其建立时要考虑如何有效的进行遮挡的判断以及代价函数的选择，根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征，根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立一个关联矩阵，将目标的状态分为正常跟踪、目标遮挡、新目标出现、旧目标消失等四种情况，然后，针对不同的情况对运动目标进行相应的处理，并及时更新目标链信息，具体地，上述方法分为如下过程：
s100、根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取，并完成运动目标链的初始化，即原有目标链；
s200、读取下一帧图像，进行目标检测，并为当前帧检测到的目标建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；需要说明的是，本步骤中如果没有检测到运动目标，则返回步骤s100，如果有运动目标，即为当前帧检测到的目标建立运动目标的目标链；
s300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；
s400、针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。
需要说明的是，本发明之所以选择目标的加权颜色直方图作为目标描述，是考虑到行人在运动的过程中四肢的相对位置不断发生变化即行人目标形状多变且纹理特征较弱，同时目标跟踪中通常选择目标的最小外接矩形区域作为研究对象，这样会有一部分背景区域包含在该矩形区域中，而采用加权的颜色直方图可以减小目标周围像素的影响，抑制边缘噪声和干扰物。优选地，将目标的真彩色图像量化为m＝16×16×16级，分别表示r、g、b每个颜色通道的等级，设目标区域的中心坐标为l＝(x,y)，目标区域内像素位置为lt＝(xt,yt)，i＝1,2,…,z，z为目标区域内像素总数，目标的加权颜色直方图表示为：
其中，h为目标矩形区域对角线长度的一半，δ是delta函数(狄拉克δ函数)，b(lt)表示lt处的颜色等级，u表示第u级颜色，且u＝1,2,...s，k为加权函数，且k的表达式为：
作为进一步优选的实施方式，所述步骤s100具体表现为：
s100a、读取视频图像，进行目标检测，找到有运动目标出现的第一帧；
s100b、提取目标的中心坐标、长、宽和加权颜色直方图信息，并为每个目标设置一个表示目标遮挡状态的逻辑参数，初始状态设为1，表示目标未发生遮挡，若发生遮挡则置0，完成运动目标链的初始化，即原有目标链。
作为进一步优选的实施方式，所述步骤s200中通过卡尔曼滤波器进行位置预测具体表现为：
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计，即预测方程，其中，当前状态矩阵
式中，k-1表示上一时刻，k表示当前时刻，
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为：
式中，kk表示卡尔曼滤波增益，
通过其上描述可知，卡尔曼(kalman)滤波器采用的运动状态估计方法是循环反馈控制机制，整个过程分为两个阶段：预测和校正：预测部分主要是利用预测方程由上一状态的估计求解得到当前时刻系统状态的先验估计；校正部分负责反馈的功能，利用当前时刻系统的量测值来优化先验估计，获得校正后更精确的当前估计。之后将这校正后的当前估计预测下一时刻的先验估计，两个步骤如此循环进行，实现递归。
同时，对于实时拍摄的视频，相邻帧之间时间间隔比较小，行人在相邻几帧之间的运动可近似为匀速运动，本发明采用卡尔曼滤波器对运动目标在下一帧中的位置进行预测，由运动学方程得：
lt＝lt-1+(δt)vt-1(5)
vt＝vt-1(6)
其中，δt表示相邻帧之间的时间间隔。
优选地，本文选择的状态向量和卡尔曼滤波器参数分别为：
xk＝[x(k)，y(k)，vx(k)，vy(k)]t(7)
zk＝[x(k)，y(k)]t(8)
q＝eye(4)(11)
r＝eye(2)(12)
p＝100×eye(4)(13)
上式(7)和(8)中，x(k)，y(k)分别为k时刻运动目标的中心坐标，vx(k)、vy(k)分别为x和y方向的速度，每个运动目标的初始速度设为0，(9)至(13)中a、h、q和r均为卡尔曼滤波器参数，具备了这些初始值，再利用(3)～(4)的公式，我们就可以对目标链表中的目标位置信息进行预测。需要说明的是eye(2)、eye(4)分别表示产生一个2×2和4×4大小的单位矩阵。
在进一步地技术方案中，本发明中步骤s300具体表现为：
(1)建立关联矩阵d(m,n)，m为原有目标链上的目标个数，n为当前帧目标链上的目标个数，初始化为全零矩阵；
(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积；
(3)设定i为原有目标链中目标的编号，j为当前帧中目标的编号，判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5，若是，则进入步骤(4)，反之，则进入步骤(5)，其中，roverlap的表达式为：
式中，si、sj分别表示第i个目标、第j个目标的面积，i和j的取值为1,2,...,m；
(4)此处有遮挡发生，令关联矩阵d(i,j)＝-1，遮挡涉及的目标的遮挡状态逻辑参数均置为0；
(5)此处没有遮挡发生，即状态参数为1，将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况，当同时满足一定的阈值条件时，认为两者匹配，令关联矩阵的对应元素值为1。
此外，优选地，步骤s400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理，具体表现为：
扫描关联矩阵的值，如果d(i,j)＝1，说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配，用当前帧的目标信息通过目标状态参数更新对原有目标进行更新；需要说明的是，由于行人是非刚体目标，其姿态多变，使得在视频图像的每一帧中所检测到的目标区域大小、目标区域中的目标形状都是不同的，并且由于外界光线等的变化，会对图像的亮度产生一定的影响，因此，对于目标跟踪过程中能够实现匹配跟踪的目标区域的特征，上述目标状态参数包括目标区域面积、目标加权颜色直方图，目标对应的卡尔曼滤波器参数中的速度参数等，这些参数都采用如下更新公式进行更新：
pi＝βpi+(1-β)pi-1(15)
其中，pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数，β为尺度因子，表示特征更新的快慢，结合目标的运动特征，本发明对于目标的速度参数和目标区域面积选择β＝0.5，对于目标的颜色直方图特征，选取较小的更新速度，取β＝0.2；
如果d(i,j)＝-1，说明当前帧目标链上的第j个目标和其它目标发生遮挡，此时用卡尔曼预测值来表示其在当前帧中的位置；
如果d的第i行均为0，说明原有目标链上的第i个目标在当前帧中没有相应值，即目标消失，从原有目标链中删除其信息；
如果d中第j列均为0，表示当前帧目标链的第j个目标为新出现的目标，将其信息添加到原有目标链中。
进一步地，颜色相似度表示两个目标颜色模型的相似程度，本发明中原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算，具体表现为：
式中，i，j分别表示原有目标链中目标和当前目标链中目标的标号，·表示点积，qu(i)表示原有目标链中第i个目标的加权颜色直方图，qu(j)表示当前帧目标链中第j个目标的加权颜色直方图，ds(i,j)的取值范围为[0,1]，其值越接近1表明两个目标模型的相似度越大。图2为使用余弦距离方法对同一视频中连续的几帧图像进行实验的结果，在这几帧视频图像中均有两个目标，将每帧中检测到的两个目标与原来存储的两个目标模版分别进行匹配，其中横坐标表示视频帧序号，纵坐标表示相似度大小，为统一比较，以接近1表示相似度大，图2中实线表示目标和模板正好匹配时的相似度，虚线表示目标和模版不匹配时的相似度，从图中我们可以看出，利用余弦匹配计算相似度，目标匹配和不匹配的界限非常明显，相似度数值相差较大，便于找准分界点。
综上所述，本发明一种基于视频监控的行人多目标检测与跟踪方法主要用于获取运动目标的位置、姿态、轨迹等基本运动信息，首先，通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取；接着，建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；然后，根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；最后，对针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。通过其上过程，精准地实现其检测与跟踪任务，具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。
总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！