专利名称：基于超像素和图模型的粘连人群分割与跟踪方法
技术领域：
本发明属于图像数字处理技术领域，特别地涉及一种基于超像素和图模型的粘连人群分割与跟踪方法。
背景技术：
近年来，随着国民经济的快速增长、社会的迅速进步和综合国力的不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。需要人工值守的视频监控系统在许多方面已经显示出它的不适应性，如果想要在海量的视频数据中快速找出想要的内容，需要浪费大量的人力资源，而且当操作人员连续监视屏幕超过20分钟时，他的注意力将会下降到一个很低的水平，容易遗漏大部分的视频信息。因此，视频监控的“智能化”就显得尤为重要。智能视频监控是在数字化、网络化基础上发展起来的一种更高端的监控技术，它利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，实现内容分析、事件侦测，能在异常情况发生时及时产生警报或控制信号，同时系统也能记录视频数据，并对记录进行智能搜索，生成结果分析报告。例如对于一个监控行人的智能系统，其任务是分析被监控对象的行为信息或是身份信息。通常该类系统采用的方案是:首先将目标从背景中提取出来；然后根据目标的四肢、躯干、纹理等特征综合地分析人的行为。将目标从背景中提取出来就是一个分割的过程。视频对象分割是图像处理技术的难题之一，也是图像分析、模式识别和计算机视觉等高级图像操作的关键步骤，图像分割的结果在很大程度上影响着后期图像处理效果和质量。在实际场景中，由于拍摄角度、阴影、以及人体目标之间的相互接触，会造成一个运动块对应多个人，这对于单个目标的准确分割是一个严峻的挑战。近年来，学者们对此进行了大量的研究并提出许多可行的方法，但都存在着一些弊端。常见的粘连人群分割方法有以下几种:(I)基于投影的分割方法该方法将运动前景向垂直方向投影，根据人体的形状特征，分割人体目标，但该方法将人体当成一个矩形来分割，无法有效获得目标的完整轮廓，而且当多个人处在同一垂直线上时，由于投影的峰谷特征不明显，难以实现准确分割。(2)基于人体模型的分割方法该方法一般要先构造多个人体姿态模型模拟人的行走姿态，通过对身体部分进行分级匹配获得较精确的目标姿态模型。该方法设计的目标模型个数多，导致模型匹配的计算量大，算法复杂。而且仅能依据所匹配的目标姿态模型对人体目标进行粗略的分割，无法提取精确的目标轮廓。(3)基于多摄像机协作拍摄的分割方法
该方法使用多个相互远离的同步监控摄像机，采用宽基线区域立体视觉算法和区域特征匹配算法，从多个二维图像中恢复出目标的姿态信息。这种方法在实际应用中存在费用高、安装调试繁琐等缺点。故，针对目前现有技术中存在的上述缺陷，实有必要进行研究，以提供一种方案，解决现有技术中存在的缺陷，避免造成人体目标无法准确分割，对后续数据处理提供的数据不准确。
发明内容
为解决上述问题，本发明的目的在于提供一种基于超像素和图模型的粘连人群分割与跟踪方法，该方法用于拥挤人群的目标分割和跟踪，鲁棒性好，适应性强，能够精准地提取每个目标的轮廓，能为后续数据处理提供干净的数据。为实现上述目的，本发明的技术方案为:一种基于超像素和图模型的粘连人群分割与跟踪方法，包括以下步骤:S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；S12，对运动前景进行超像素预分割获取前景超像素分割图；S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界，具体步骤为:S131，构建一个人体形状模型，并对人体目标进行模板匹配；S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重；S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重；S134，确定一个分割起始点和结束点，在加权图上找到代价最小的路径，即为粘连人体的最佳分割边界。优选地，步骤Sll具体包括以下步骤:S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为I背景为O的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点；S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测。优选地，步骤S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重具体包括以下步骤:S1321，根据头顶点的位置，寻找目标的脚底点的位置，当脚底点被遮挡时，对目标的身高进行估计，从而获得目标脚底点的估计位置，通过脚底点的位置估计目标间的前后位置关系；S1322，对目标进行模板匹配；S1323，计算超像素分割图上的每条边和目标先验形状的差异程度，具体算法实现采用了基于形状上下文方法对两段曲线进行差异性度量，并加入欧氏距离算法对分割图上的边和目标先验形状的空间距离进行衡量。优选地，步骤S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重具体包括以下步骤:S1331，将RGB三个颜色通道的每个颜色通道均匀量化为η个等级，三个通道总共可以量化为η3个区间；S1332，计算每个区间的直方图；S1333，采用巴氏系数测量相邻区域的相似度。
与现有技术相比，本发明的有益效果如下:(I)本发明实施例将检测和跟踪联合起来，可以避免漏检、错检等情况，提高头部检测的准确性，可以检测出每个目标的头部区域，实现目标的精确定位；(2)本发明实施例利用人体先验形状和相邻区域的颜色信息，在超像素分割图上找到粘连目标的最优分割边界，在超像素分割图上每一条边都有两块与之相邻的像素块，这两块区域的颜色越相似那么它们之间的共同边界越不可能成为分割边界，同时，边的形状和人体先验模型越接近越有可能成为分割边界。根据上述的颜色信息和形状信息对每条边进行权重计算，构建一个加权图模型，通过最短路径算法，得到粘连目标的最佳分割边界。使用该方法找到的分割线贴合人体轮廓，具有较好的分割结果，能为后续处理提供干净的数据。
图1为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的流程图；图2为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的S13的子流程图；图3为一具体应用实例中的原始图像；图4为图3经检测后得到的运动前景图像；图5为图4所示的目标头部检测的结果图；图6为运动前景超像素分割结果图；图7为人体模型图；图8为目标头顶点、分割起始点以及结束点的位置示意图；图9为模板匹配的结果图；图10为图4所示的粘连人体分割线的结果图；图11为图4的最终分割结果图；图12a为现有技术中的投影法的分割效果图；图12b为现有技术中的基于人体模型的分割效果图；图12c为利用本发明实施例的方法的分割效果图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。参考图1，所示为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的流程图，其包括以下步骤:
S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景，其中图3所示为一具体应用实例中的原始图像，图4所示为经检测后得到的运动前景图像；其中步骤Sll具体包括以下步骤:S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为I背景为O的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，将大于阈值Tl的点选择为波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；在具体应该实例中，在背景建模中可选用高斯背景建模法。S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点，在具体应用实例中，头部检测的方法可以选用Hough霍夫圆检测法。S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测，具体应用实例中，采用卡尔曼滤波算法，图5所示为图4所示的目标头部检测的结果图。S12，对运动前景进行超像素预分割获取前景超像素分割图，效果如图6所示；具体应用实例中，采用Turbopixels超像素分割算法对目标前景进行预分割，目标前景图像被分割为多个颜色相近，大小均匀，边缘描述性较好的区域。图6所示为对运动前景进行预分割后得到的超像素分割图。S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界。参见图2，其中S13进一步包括以下步骤，S131，构建一个人体形状模型，并对人体目标进行模板匹配；(I)构建人体形状模型(也可称为先验形状模型)利用三个椭圆分别代表头、躯干和腿来描述人体的粗略形状，如图7所示，本发明实施例模型中三个椭圆各部分的比例如表I所示，若已知目标的头顶点和身高，即可确定模型中各个椭圆的尺寸。表I人体模型各部分比例
权利要求
1.一种基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，包括以下步骤: S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景； S12，对运动前景进行超像素预分割获取前景超像素分割图； S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界，具体步骤为:S131，构建一个人体形状模型，并对人体目标进行模板匹配；S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重；S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重；S134，确定一个分割起始点和结束点，在加权图上找到代价最小的路径，即为粘连人体的最佳分割边界。
2.根据权利要求1所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，步骤Sll具体包括以下步骤:S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为I背景为O的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点；S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测。
3.根据权利要求1或2所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重具体包括以下步骤:S1321，根据头顶点的位置，寻找目标的脚底点的位置，当脚底点被遮挡时，对目标的身高进行估计，从而获得目标脚底点的估计位置，通过脚底点的位置估计目标间的前后位置关系；S1322，对目标进行模板匹配；S1323，计算超像素分割图上的每条边和目标先验形状的差异程度，具体算法实现采用了基于形状上下文方法对两段曲线进行差异性度量，并加入欧氏距离算法对分割图上的边和目标先验形状的空间距离进行衡量。
4.根据权利要求1或2所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重具体包括以下步骤:S1331，将RGB三个颜色通道的每个颜色通道均匀量化为η个等级，三个通道总共可以量化为η3个区间；S1332，计算每个区间的直方图；S1333，采用巴氏系数测量相邻区域的相似度。
全文摘要
本发明实施例公开了一种基于超像素和图模型的粘连人群分割与跟踪方法，用于拥挤人群的目标分割和跟踪，鲁棒性好，适应性强，能够精准地提取每个目标的轮廓，能为后续数据处理提供干净的数据。其包括以下步骤对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；对运动前景进行超像素预分割获取前景超像素分割图；根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界。
文档编号G06T7/20GK103164858SQ20131009008
公开日2013年6月19日 申请日期2013年3月20日 优先权日2013年3月20日
发明者于慧敏, 蔡丹平 申请人:浙江大学