基于激光雷达和双目相机的车前行人检测方法及系统的制作方法
【技术领域】
[0001] 本发明属于汽车安全驾驶领域，具体涉及了立体视觉技术和遥感技术，是融合激 光雷达和双目相机的信息进行车辆前方行人检测的装置与方法。
【背景技术】
[0002] 我国经济的快速发展，人民生活水平的不断提高，交通运输业和汽车工业的高速 发展，都促使了我国机动车辆保有量的不断攀升。到2013年底，我国汽车保有量高达1. 37 亿辆，车辆碰撞事故频发。复杂的交通环境下，如何在车辆行驶过程中保证行人安全以及车 辆和驾驶员的安全显得尤为重要。但是，当驾驶员疲劳驾驶或者一时疏忽，甚至有的驾驶员 身处危险状况下，因心理承受压力大而不能冷静判断，短时间内难以做出正确决策而错失 了最佳避让行人的时机。因此，需要一种能够自动且精确检测车辆前方行人的装置和方法， 辅助驾驶员安全驾驶汽车。
[0003] 已有的车辆前方行人检测装置，大多是基于单目相机，但是视觉信息受环境因素 影响较大，如下雨、雾霾；也有部分采用雷达信息来检测行人，但是雷达信息量有限，不能单 独用来做行人检测装置；针对单一传感器无法满足信息感知完整性和可靠性的问题，出现 了融合多传感器的行人检测方法，但在算法设计及硬件设计上不尽相同，且检测效果不够 精确。
【发明内容】
[0004] 针对上述现有技术中存在的缺陷与不足，本发明的目的在于，提供一种基于激光 雷达和双目相机的车前行人检测方法。
[0005] 为了实现上述目的，本发明采用如下技术方案予以解决：
[0006] 一种基于激光雷达和双目相机的车前行人检测方法，具体包括以下步骤：
[0007] 步骤1，利用三台激光雷达和一台双目相机采集车辆前方数据；
[0008] 步骤2,分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的 距离、方位角及速度值；具体包括以下步骤：
[0009] 步骤21，根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角 和速度的计算；
[0010] 步骤22,将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑 似行人目标分别映射到双目相机采集的左、右图像中；
[0011] 步骤23、采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行 人目标的特征点，并得到每个特征点对应的特征向量；
[0012] 步骤24、根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联 分类器检测图像中的行人并标记；
[0013] 步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角 及速度值。
[0014] 进一步的，所述步骤21具体包括如下步骤：
[0015] (1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类，得到多个疑 似行人点簇，疑似行人点簇为激光雷达视野范围内所有障碍物；将疑似行人点簇与行人的 物理特征结合确定疑似行人目标；每个疑似行人点簇用式（3)表示：
[0016] {(xi； | i = 1, 2, . . . ,m} ⑶
[0017]其中，i为每帧中疑似行人点簇的个数；xp 簇中心的坐标；ri为簇中心点 (Xi，yi)到簇边界的最大距离值，m为每帧中疑似行人点簇的最大个数；
[0018] ⑵记录疑似行人目标的距离氏、方位角0 i及速度v肩息；
[0019] 疑似行人目标确定以后，记录其对应的疑似点簇中心相对于激光雷达坐标系的距 离、方位角及速度信息，作为疑似行人目标的信息，疑似行人目标信息用式（4)表示：
[0020] {(^, 0 i, | i = 1, 2, . . . , n} (4)
[0021] 式中，n为每帧中疑似行人目标的最大个数；n < m。
[0022] 进一步的，所述步骤23的具体步骤是：对于每个所述的特征点，选取其邻域范围 内20 〇*20 〇大小的区域，其中，〇为空间中的任一点在尺度空间中的尺度；将区域的主方 向旋转到特征点的主方向；将此区域划分为4*4共16个子区域；对每个子区域，计算每个 像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy，然后建立一个四维的特征 向量如式（8):
[0023] v = (2 dx, 2 dy, 2 | dx |, 2 | dy) (8)
[0024] 将16个子区域的向量分别加入到该特征向量中，形成上述特征点对应的 64(4*16)维的特征向量。
[0025] 进一步的，所述步骤24具体包括如下步骤：
[0026] (1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练；
[0027] 所述二值弱分类器输出1代表存在行人，输出0代表不存在行人，用公式（9)描 述：
[0028]
【主权项】
1. 一种基于激光雷达和双目相机的车前行人检测方法，其特征在于，具体包括以下步 骤： 步骤1，利用三台激光雷达和一台双目相机采集车辆前方数据； 步骤2,分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距 离、方位角及速度值；具体包括以下步骤： 步骤21，根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角和速 度的计算； 步骤22,将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行 人目标分别映射到双目相机采集的左、右图像中； 步骤23、采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目 标的特征点，并得到每个特征点对应的特征向量； 步骤24、根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类 器检测图像中的行人并标记； 步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速 度值。
2. 如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于， 所述步骤21具体包括如下步骤： (1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类，得到多个疑似行 人点簇，疑似行人点簇为激光雷达视野范围内所有障碍物；将疑似行人点簇与行人的物理 特征结合确定疑似行人目标；每个疑似行人点簇用式（3)表示： {(Xi, Yi, Ti)Ii= 1, 2,. . . ,m} (3) 其中，i为每帧中疑似行人点簇的个数；XpyiS簇中心的坐标；ri为簇中心点（xi,yj到簇边界的最大距离值，m为每帧中疑似行人点簇的最大个数； ⑵记录疑似行人目标的距离氏、方位角0i及速度v肩息； 疑似行人目标确定以后，记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、 方位角及速度信息，作为疑似行人目标的信息，疑似行人目标信息用式（4)表示： 0i, |i= 1, 2,. . . ,n} (4) 式中，n为每帧中疑似行人目标的最大个数;n<m。
3. 如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于， 所述步骤23的具体步骤是：对于每个所述的特征点，选取其邻域范围内20 〇 *20 〇大小的 区域，其中，〇为空间中的任一点在尺度空间中的尺度；将区域的主方向旋转到特征点的 主方向；将此区域划分为4*4共16个子区域；对每个子区域，计算每个像素点经过加权的 Harr小波在X方向和Y方向的响应值dx、dy，然后建立一个四维的特征向量如式（8): v= (2dx, 2dy, 2 |dx|, 2 |dy|) ⑶ 将16个子区域的向量分别加入到该特征向量中，形成上述特征点对应的64(4*16)维 的特征向量。
4. 如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于， 所述步骤24具体包括如下步骤： (1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练； 所述二值弱分类器输出1代表存在行人，输出0代表不存在行人，用公式（9)描述：
其中，x为一个检测子窗口，取为20*20,n为检测子窗口中SURF特征点的个数，fj(x) 为第j个特征点的特征向量，Pj为偏置系数，0j为阈值； 对每个特征点对应的特征向量fj(X)，训练弱分类器hj(X，f，p，0 )，使得弱分类器hjO^tp，0)对所有训练样本的分类误差最低； (2) 强分类器的生成 使用得到的弱分类器对样本集中的样本图像逐一进行处理，处理的过程中，迭代次数S取值为10 ;得到强分类器； (3) 级联分类器的构建 将上述的强分类器串联组成级联分类器；级联分类器层数c= 15 ; (4) 行人存在性检测 (4. 1)对于每一对经步骤23处理后的左、右图像，按式（16)对该左、右图像进行灰度化 处理： Y = (0? 299) R+ (0? 587) G+ (0? 114) B (16) (4. 2)对灰度化处理后的图像进行缩放，使得该左、右图像均与训练样本图像大小一 致，即20*20 ;然后使用得到的级联分类器分别对缩放后的左、右图像进行处理，确定每一 对左、右图像中是否存在行人，若存在，用矩形框对行人进行标记，并用式（17)记录： {(ui； | i = 1, 2,. . . n} (17) 其中，i为当前帧待检测图像中的行人数目，（Ui，Vi)为标记行人的矩形框中心坐标。