运动行人表示方法、识别方法及其装置的制造方法
【技术领域】
[0001] 本发明涉及深度图像处理，更具体地涉及计算机视觉技术中的运动行人表示方 法、识别方法及其装置。
【背景技术】
[0002] 行人识别是驾驶员辅助驾驶系统和车辆自动导航系统中必不可少的重要功能。运 动行人的检测与识别对于车祸的减少和驾驶的安全，有着重要的作用。在许多场景下，例如 有人横穿马路时，或者当行人朝着\背向车辆行走时，或者突然出现在司机视野范围内时， 行人的快速检测与识别对于行人和司机的安全来说，都是一个重要的问题。
[0003] 当前的行人识别技术主要基于灰度/彩色图像进行行人特征提取和分类器的训 练，并对于测试图像进行特征提取，将提取的特征向量输入到分类器中，进行行人识别。
[0004] 专利公开JP2010165003A首先从灰度图像中提取行人的轮廓信息。然后用点作为 关节来代表行人身体上的不同区域，并用直线段连接相邻区域。然后基于线段与线段间的 夹角计算行人不同区域的角度信息。储存角度信息并以此来确定行人的运动状态。
[0005] 专利公开JP2013008315 A首先通过输入的连续帧信息识别出自身车辆周围的交 通环境信息。然后在识别出的环境信息的基础上，选择一个训练好的分类器或者模板来识 别行人。
[0006] -般地，各种行人存在各种姿态，利用灰度/彩色图像对行人的各种姿态进行建 模需要大量的训练样本，需要复杂的训练，而且在实际应用中，存在识别速率可能不满足实 际应用需求的问题。
【发明内容】
[0007] 因此，存在对于适于快速识别各种行人的技术的需要。
[0008] 根据本发明的一个方面，提供了一种运动行人识别方法，其中，以摄像机拍摄方向 为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系， 该运动行人识别方法可以包括：从由摄像机拍摄的图像获得的时间序列的深度图中，跟踪 得到时间序列的候选行人轮廓；基于时间序列的候选行人轮廓，获得时间序列的候选行人 轮廓的X方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及基于时间序 列的候选行人轮廓的X方向距离分布、y方向距离分布、Z方向距离分布的至少一个，判定该 候选行人轮廓是否是行人。
[0009] 根据本发明的另一方面，还提供了一种运动行人识别装置，其中，以摄像机拍摄方 向为Z轴，以与地面垂直的平面为xy轴平面，以行人高度方向为y轴，建立xyz直角坐标 系，该运动行人识别装置可以包括：时间序列的候选行人轮廓获得部件，从源于摄像机拍摄 的图像的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓；距离分布获得部件，基 于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的X方向距离分布、y方向距离 分布、z方向距离分布中的至少一个；以及行人识别部件，基于时间序列的候选行人轮廓的 X方向距离分布、y方向距离分布、Z方向距离分布的至少一个，判定该候选行人轮廓是否是 行人。
[0010] 根据本发明的再一方面，提供了一种运动行人表示方法，其中，以摄像机拍摄方向 为Z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系， 该运动行人表示方法可以包括：从由拍摄的图像获得的时间序列的深度图中，获得时间序 列的行人轮廓；基于时间序列的行人轮廓，获得时间序列的行人轮廓的X方向距离分布、y 方向距离分布、z方向距离分布中的至少一个；以及基于时间序列的行人轮廓的X方向距离 分布、y方向距离分布、Z方向距离分布的至少一个的周期性，表示行人轮廓。
[0011] 根据本发明实施例的运动行人识别方法和装置，以及运动行人表示方法，行人轮 廓的各个方向的距离分布基本上只和个人自身的身体特性和行走特性相关，因此不易受外 界环境影响，适合于进行行人识别。
[0012] 根据本发明实施例的运动行人识别方法和装置通过处理时间序列的深度图来获 得时间序列的候选行人轮廓的X方向距离分布、y方向距离分布和Z方向距离分布，能够快 速识别行人，适合例如车辆驾驶辅助系统的许多应用的实时性需求。
【附图说明】
[0013] 从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和 优点将变得更加清楚并更容易理解，其中：
[0014] 图1示出了根据本发明一个实施例的车辆自动控制系统1000的示意图。
[0015] 图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统1000 中的摄像头1100和图像处理模块1200的组成示例的示意图。
[0016] 图3示出了根据本发明一个实施例的行人识别装置2000的基本功能组成示例。 [0017] 图4示出了根据本发明一个实施例的时间序列的候选行人轮廓获得部件2100的 功能组成。
[0018] 图5 (a)示出了候选对象检测模块2110得到的一个候选对象检测结果示例.
[0019] 图5(b)示出了图5 (a)所示的候选对象检测结果减背景后的示意图。
[0020] 图5 (C)示出了图5 (b)所示的减背景后的候选对象检测结果进行轮廓连通后的效 果示意图。
[0021] 图6示出了 3帧连续图像的候选行人轮廓示例。
[0022] 图7示出了根据本发明一个实施例的距离分布获得部件2200的功能配置图。
[0023] 图8(a)、（b)示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的X 方向距离分布的示例性方法的示意图。
[0024] 图9(a)、（b)示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y 方向距离分布的示例性方法的示意图。
[0025] 图10示出了一个示例中的深度方向与三帧候选行人轮廓间关系的示意图。
[0026] 图11(a)、（b)示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y 方向距离分布的示例性方法的示意图。
[0027] 图12示出了根据本发明实施例的行人识别部件2300的配置示例。
[0028] 图13示出了一个行走周期内的行人姿态的连续12帧图像。
[0029] 图14示出了行人4D运动骨架模型示例的示意图。
[0030] 图15示出了运动行人识别装置的线上和线下运行过程的数据流图。
[0031] 图16示出了根据本发明一个实施例的运动行人识别方法3000的总体流程图。
[0032] 图17示出了适于用来实现本发明实施方式的示例性计算系统600的框图。
【具体实施方式】
[0033] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0034] 在详细描述本发明的具体实施例之前，为便于本领域技术人员理解和把握本发 明，首先介绍一下本发明的核心思想。
[0035] 发明人认为，利用深度信息来分析行人轮廓的时间序列将能够极大提高图像处理 的速度，满足实际交通环境下对行人识别算法快速的要求。
[0036] 另外，发明人发现，行人的姿态在行走过程中是存在变化的，而且姿态的变化具有 周期性重复特性，图13示出了拍摄得到的一行人由近到远行走的一系列视差图像，其中各 个图像下的数字表示该图像按时间顺序的帧号，如箭头指示的拍摄的行人图像从第一帧变 化到第12帧。如图所示，当行人运动时，他的姿态一直在发生变化。这里是12幅连续帧的 视差图像，可以看到，第一帧中行人的姿态和第12帧中行人的姿态