概率,p(R|znzn,c=n)为多人监测子,推 导过程中的P(R,znln,wn,mn)表示的是行人zni和行人zn在区域R的联合概率,p(wn|mn) 表示的是行人zni和行人zn的左右关系mn和行人zn的大小wn的条件概率函数,p(mn)表示 行人zni和行人z"左右关系概率值,条件概率函数P(R,znuln,wn,mn)在训练模块所得到的 多人检测子中计算得到,P(R|zn =n)大于等于预设阈值表示该区域有行人,否则表 示该区域不包含行人。
[0032] 本发明的技术方案充分利用了包含分割信息的选择性区域和包含有部分遮挡环 境下的双人检测子,将无遮挡下的单人检测子和有部分遮挡下的双人检测子组成多人检测 子,应用在行人检测领域中取得了很好的效果,尤其对于多人环境,尤其是存在行人遮挡行 人环境的图片有更好的检测效果。并且,由于本发明进一步提出的选择性区域是通过在颜 色、纹理特征、形状空间上的分割得到,而不是传统的穷举扫描策略,在检测率有所提高的 情况下,大大提高了检测速度。
【附图说明】
[0033] 图1为本发明实施例的测试阶段流程图;
[0034] 图2为本发明实施例的SVM分类器的训练过程图;
[0035]图3为本发明实施例的双人模型示例图,包括(a)、(b)、(c)三个示例。
【具体实施方式】
[0036] 本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本 发明技术方案进一步详细说明。
[0037] 本发明实施例分为训练阶段和测试阶段,具体实现如下:
[0038] 一、训练阶段
[0039] 具体实施时,可以预先搜集包含行人的正样本及不包含行人的负样本,构成训练 数据集,其中正样本包含单人正样本和有部分遮挡下的双人正样本;负样本包含单人负样 本和有部分遮挡下的双人负样本,负样本是对背景图片按照同正样本一样大小规格的尺寸 进行扫描得到的。建议选择单人室外照片作为单人正样本、部分遮挡不超过30%的双人 室外照片为双人正样本,选取不包含行人的室外照片为负样本:单人负样本指负样本中不 包含单个行人;有部分遮挡下的双人负样本指负样本中不包含有遮挡的双人。可先归一 化正样本和负样本为预设尺寸,例如单人样本归一化为128X64的矩形图像;双人样本归 一化为128X128的图片。分别从正样本和负样本中提取特征作为训练数据,根据训练数 据学习训练SVM分类器,从测试数据集中任一测试图像提取以每个像素为中心的局部区域 相应特征并输入训练好的分类器,输出各局部区域的分类结果。测试图像中局部区域与正 样本和负样本归一化后尺寸一致,例如同样可取128X64的矩形局部区域;双人检测时取 128X128的局部区域。
[0040] 训练阶段包括首先分别将训练数据集中每个正样本或负样本归一化为预设尺寸, 实施例中单人检测归一化为128X64的矩形图像;双人检测归一化成128X128的矩形图 片,然后作为输入图像提取特征,根据所得特征训练分类器构成多人检测子;
[0041] 实施例的具体训练过程参见图2,包括以下子步骤:
[0042] 步骤1. 1,对输入的训练数据集中各样本图像进行颜色空间的归一化;
[0043] 实施例采用Gamma校正法对输入图像进行颜色空间的归一化,目的是调节图像的 对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰。
[0044] 为了减少光照因素的影响,首先需要将整个图像进行归一化。在图像的纹理强度 中,局部的表层曝光贡献的比重较大,所以,这种压缩处理能够有效地降低图像局部的阴影 和光照变化。因为颜色信息作用不大,通常先转化为灰度图;
[0045] Gamma压缩公式:
[0046] Uxj) =r(x,y) -
[0047] 其中,r(x,y)表示的是输入图像的原图像像素,(x,y)为输入图像中像素的位置, gamma是压缩系数(一般取值为0. 5),I(X,y)为归一化后的图像像素。
[0048] 步骤1. 2,训练单人检测子;
[0049] 实施例利用目前已有的SVM(SupportVectorMachine)分类器技术,对单人正样 本和单人负样本经过步骤1. 1的归一化所得结果提取目前行人检测比较成熟的可变模板 特征,可变模板的提取过程类似于方向梯度直方图的提取过程(HistogramofOriented Gradient,HOG),首先提取整个样本的HOG特征,即rootHOG(整个行人的纹理特征);再提 取5个最具代表性的部分HOG特征(一般为行人的头、左臂、右臂、左腿及右腿5个典型部 分),即partHOG;最后将rootH0G、partHOG、以及5个part之间的关联关系一并组成特 征向量,这个特征向量也就是可变模板特征。具体过程可以参考文献(P.FelZenSZwalb,D. McAllester,andD.Ramanan.Adiscriminativelytrained,multiscale,deformable partmodel.InCVPR,2008?和PedroFFelzenszwalb,RossBGirshick,andDavid McAllester,"Cascadeobjectdetectionwithdeformablepartmodels,',inCVPR2010) 〇 把提取的特征送入分类器,记录单人正负样本的差异,训练单人检测子。
[0050] 步骤1. 3,训练双人检测子;
[0051 ] 在人群中相邻人之间存在着一定的三维模型,无法从三维空间学习监控视频中行 人间存在的关系,但是三维和二维之间同样存在着相辅相成的关联。从中学习行人间二维 的关系来表示两个行人间的模型。通过两两关系同理扩展到多人间的模型,例如行人A和 行人B是具有两两关系的,彳丁人B和彳丁人C也是具有两两关系,利用AB关系和BC关系就能 知道ABC关系。本发明将从两人间的模型出发来介绍双人检测子,从而推广到多人检测子。
[0052] 参见图3,相邻行人间的关系。多人环境或者有部分行人遮挡行人中,一般包含以 下三种情况:两人是肩并肩行走(a)、右侧行人遮挡左侧行人(b)、左侧行人遮挡右侧行人 (c)。当图片中出现这些类似现象时,传统的单一行人检测子就会出现误检或者漏检。本发 明将这几种情况的行人重新训练或者新的二人检测子,可以避免上述的不足。
[0053] 对有部分遮挡的双人正样本和部分遮挡的双人负样本经过步骤1. 1的归一化所 得结果提取可变模板特征并送入SVM分类器,记录有部分遮挡的双人正负样本差异,训练 双人检测子。
[0054] 步骤1. 4单人检测子可以检测没有遮挡的行人,双人检测子可以检测有部分遮挡 的行人(特别是多人环境下的人挡人的情况),因此由步骤1. 2训练好的单人检测子和步骤 1. 3训练好的双人检测子可以并联组成多人检测子,作为本发明的最终检测子。
[0055] 二、测试阶段
[0056] 参见图1,测试阶段包括对测试数据集中任一测试图像,可以首先以测试图像为输 入图像,分别以输入图像的每个像素为中心建立预设尺寸的局部区域为待检测区域,然后 提取待检测区域的可变模板特征并输入训练阶段所得多人检测子进行分类,判断各局部区 域是否包含行人。本发明进一步提出,还可以通过特征空间的分割、组合选择待检测区域, 相比遍历输入图像的每个像素为中心的局部区域,效率更高。
[0057] 实施例的测试阶段包括以下子步骤:
[0058] 步骤2. 1,以测试图像为输入图像,对输入图像进行特征空间的分割;
[0059] 从特征空间划分基层区域,其中rjPr,分别表示两个相邻区域,S(ri,r])表示区 域巧和rj