一种基于优化聚合积分通道的双目行人检测方法
【技术领域】
[0001] 本发明总体上涉及计算机视觉模式识别领域，更具体地涉及一种双目视觉环境 下，采用二阶段分割方法获取感兴趣区域与最小目标尺度，基于聚合积分通道模型完成行 人目标建模，并以此为基础，结合最小目标尺度优化检测阶段图像特征金字塔结构，以实现 行人检测的方法。
【背景技术】
[0002] 随着计算机视觉与机器学习的发展，行人检测因其在辅助驾驶、智能控制及人工 智能等方面的广泛应用，得到了业内人员的广泛关注。由于背景的复杂性及行人非刚性变 化的多样性，如何快速识别行人目标、有效区分障碍干扰，仍是该领域亟待解决的难题。
[0003] 传统的行人检测多基于单摄像头环境，在单目视野下，以颜色、梯度、运动矢量等 信息区分感兴趣区域，并基于感兴趣区域运行滑窗以实现行人检测。由于单目信息的局限 性，往往较难规避障碍干扰的影响，误检率(FPR)较高。近年来兴起的双目行人检测方法，利 用双目视觉提供的目标深度信息判断潜在行人区域，提高了检测准确性，但新增信息量引 起了计算冗余度的大幅增长，难以满足检测的实时性要求。
[0004] 为保证行人检测的准确度与计算速度，研究人员提出了多种有效的行人检测框 架，如H0G+SVM行人检测框架、Viola&Jones框架、可变形部件模型（Deformable Parts Model)框架等。基于聚合积分通道特征的行人检测框架，对检测阶段图像特征金字塔的求 取进行了优化，只计算某些尺度下的图像特征以估测相邻尺度下的特征。然而，所有上述方 法在检测阶段对所有滑窗区域均采用固定且层数相同的金字塔结构，实际应用中，对于某 一特定深度、特定尺寸的行人目标，许多尺度的特征计算是没有意义的，固定层数的金字塔 计算存在大量冗余。
[0005] 因此，进一步研究如何在准确获取潜在行人位置的同时尽量减小运算数据量，对 行人检测的发展应用具有重要意义。
【发明内容】
[0006] 本发明旨在改善现有技术的上述不足，提供一种能准确获取潜在行人位置、简化 计算数据量的基于双目视觉的行人检测方法。
[0007] 为达到上述目的，本发明采用如下的技术方案：
[0008] -种基于优化聚合积分通道的双目行人检测方法，包括下列步骤：
[0009] (1)预处理工作:对双目成像系统进行相机标定与立体校正，得到对准于前向平行 结构的左右视点图；
[0010] (2)基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；
[0011] (3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目 标尺度：
[0012] a.在粗分割阶段，米用Otsu多阈值分割方法，输出最佳阈值下的粗分割后的像素 集合；
[0013] b.在接下来的细分割阶段，采用区域生长方法，首先确定粗分割后的每个像素集 合中比重最大的像素值，将这些像素点作为初始种子，第η块区域的生长阈值由下式确定：
[0015]其中，Tup、TlOT分别为第η块区域的生长阈值的上限和下限，δ为人工设定的可调变 量，此时获得的生长区域为感兴趣区域，随后，采用上述阈值的1/2为新生长阈值，重新进行 区域生长，即：
[0017] 其中，Tup'、Tlciw'为第η块区域的新生长阈值，此时获得的区域为最小行人目标尺 度，分别采用矩形拟合方式标定所有的感兴趣区域与最小行人目标尺度。
[0018] (4)训练阶段:对行人图像集，采用聚合积分通道方法训练分类器；
[0019] (5)检测阶段，输入待检测双目视点图，按照步骤（1)~⑶提取感兴趣区域与最小 行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合 积分通道特征，构建图像特征金字塔;在金字塔的构建上，对于某编号为i的感兴趣区域与 其最小行人目标尺度~，结合根滤波器尺度\，该区域构建的图像特征金字塔层数m依据 下式确定：
[0021 ] 即，每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应 调整，将图像特征金字塔输入分类器，输出判定分数；
[0022] (6)对单感兴趣区域内的不同滑窗区域检测结果进行筛选，将分类器评分最高的 滑窗区域作为行人检测结果，最终输出较为准确的行人检测结果。
[0023]其特征在于，步骤(6)最好采用非极大值抑制(匪S)约束原理，对单感兴趣区域内 的不同滑窗区域检测结果进行筛选。
【附图说明】
[0024]图1是本发明的基本流程图。
[0025] 图2是本发明各基本流程的实验效果图：（a)为待检测图像，（b)为立体匹配方法获 得的稠密视差图、（c)为粗阶段多阈值分割结果，（d)为细阶段区域分割结果，（e)为最终行 人检测结果，方框标定出检测到的行人目标。
【具体实施方式】
[0026] 为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一 步的详细描述。
[0027] (1)预处理工作:对双目成像系统进行相机标定与立体校正，得到对准于前向平行 结构的左右视点图；
[0028] (2)基于左右视点图提取稠密视差图。采用非局部视差聚合匹配(NLCA)算法实现 左右视图匹配，根据胜者为王(WTA)规则选择最优视差值。有关NLCA算法用于双目视图立体 匹配的合理性证明，可参见"Yang Qingxiong.Anon-local costaggregationmethod for stereo matching[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，Providence，RI，2012:1402-1409·" 一文；
[0029] (3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目 标尺度。在粗分割阶段，采用扩展的Otsu多阈值分割方法，输出最佳阈值下的分割结果，此 时，考虑到行人检测的实际情况，将区域面积小于25X50的分割结果直接删除，最终分割结 果表示为：
[0030] Ai={ki,ki+1. . .k2}, ???An= {kn,kn+l, . . .kn+i}, ???Am= {km,km+l, . . .L}
[0031] 其中lu~km为分割阈值。在接下来的细分割阶段，采用区域生长策略，首先选取每 类比例最大的像素值作为初始种子，第η类的生长阈值由下式确定：
[0033] 其中，δ为人工设定的可调变量。此时获得的生长区域为感兴趣区域。随后，设定上 述阈值的1/2为新生长阈值，重新进行区域生长，此时获得的区域为潜在最小行人尺度，为 区域生长可获得的行人最小面积区域。分别采用矩形拟合方式标定所有的ROIs与潜在行人 最小尺度。
[0034] (4)训练阶段:对训练双目视点图像集，采用聚合积分通道方法训练分类器，有关 聚合积分通道方法适用于行人检测分类器模型训练的合理性依据，可参见"Dollar P， Appel R,Belon gie S,et al .Fast feature pyramids for object detection!!J] · IEEE Transactions on Pattern Analysis and Mach ine Intelligence(PAMI),2014,36(8): 1532-1545."一文。
[0035] (5)检测阶段:按照步骤(1)~(3)提取ROIs与潜在行人最小尺度信息。设定滑动窗 口尺寸为128X64,步长为4,基于ROIs区域运行滑窗，对每一滑窗区域求取不同尺度下的聚 合积分通道特征，构建图像特征金字塔。在金字塔的构建上，对于特定的R0L·区域与其潜在 行人最小尺度\，结合根滤波器尺度\，该区域构建的图像特征金字塔层数依据下式确定：
[0037] 即，每一R0I区域输出的图像金字塔层数均由其目标行人所在深度、行人面积实现 自适应调整，从而减少不必要的尺度计算。
[0038]为尽量避免单目标重复检测与误检测的出现，采用非极大值抑制(NMS)约束原理， 对单R0I区域内的不同滑窗区域检测结果进行筛选。遵循行人检测的一般设定，在窗口重叠 率超过60%的范围内，采用NMS筛选出分类器评分最高的滑窗作为行人检测结果。窗口重叠 率可根据实际场景作相应调整，在避免目标重复检测的同时，降低障碍物干扰的影响。最终 输出较为准确的行人检测结果。
【主权项】
1. 一种基于优化聚合积分通道的双目行人检测方法，包括下列步骤： (1) 预处理工作:对双目成像系统进行相机标定与立体校正，得到对准于前向平行结构 的左右视点图； (2) 基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图； (3) 基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺 度： a. 在粗分割阶段，采用Otsu多阔值分割方法，输出最佳阔值下的粗分割后的像素集合； b. 在接下来的细分割阶段，采用区域生长方法，首先确定粗分割后的每个像素集合中 比重最大的像素值，将运些像素点作为初始种子，第η块区域的生长阔值由下式确定：其中，Tup、Ti?分别为第η块区域的生长阔值的上限和下限，δ为人工设定的可调变量，此 时获得的生长区域为感兴趣区域，随后，采用上述阔值的1/2为新生长阔值，重新进行区域 生长，即：其中，Tup'、Τι?'为第η块区域的新生长阔值，此时获得的区域为最小行人目标尺度，分 别采用矩形拟合方式标定所有的感兴趣区域与最小行人目标尺度。 (4) 训练阶段:对行人图像集，采用聚合积分通道方法训练分类器； (5) 检测阶段，输入待检测双目视点图，按照步骤(1)~(3)提取感兴趣区域与最小行人 目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分 通道特征，构建图像特征金字塔;在金字塔的构建上，对于某编号为i的感兴趣区域与其最 小行人目标尺度^，结合根滤波器尺度&,，该区域构建的图像特征金字塔层数m依据下式 确定：即，每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调 整，将图像特征金字塔输入分类器，输出判定分数； (6) 对单感兴趣区域内的不同滑窗区域检测结果进行筛选，将分类器评分最高的滑窗 区域作为行人检测结果，最终输出较为准确的行人检测结果。2. 根据权利要求1的双目行人检测方法，其特征在于，步骤(6)采用非极大值抑制(NMS) 约束原理，对单感兴趣区域内的不同滑窗区域检测结果进行筛选。
【专利摘要】本发明涉及一种基于优化聚合积分通道的双目行人检测方法，包括：基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度；对行人图像集，采用聚合积分通道方法训练分类器；输入待检测双目视点图，提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；筛选，输出较为准确的行人检测结果。本发明能准确获取潜在行人位置、简化计算数据量。
【IPC分类】G06K9/00, G06K9/32, G06K9/62
【公开号】CN105550675
【申请号】CN201610072439
【发明人】金志刚, 赵明昕, 苏毅姗
【申请人】天津大学
【公开日】2016年5月4日
【申请日】2016年2月2日