车辆开门预警方法
【专利摘要】本发明提供一种能够区分目标类型、并能够根据目标自身运动特性对其到达车门的时间准确判断，提高报警准确性，有效防止碰撞的车辆开门预警方法,其步骤：通过摄像机采集图像，窗口在该帧图像内遍历，遍历的同时DSP提取HOG特征向量，并送至6个SVM分类器进行目标种类识别；确定该窗口内的目标种类，记录该窗口坐标位置，该窗口宽度，高度；计算出目标距离摄像机该帧图像平面的垂向距离S0，按前述方法得到目标距离摄像机下n帧图像平面的垂向距离Sn：根据帧频计算出目标速度V；再计算出目标到达车门处的时间，根据目标到达时间设定不同的预警等级。
【专利说明】
车辆开门预警方法
技术领域
[0001] 本发明涉及车辆上的驾驶员或者乘客在打开车门时，防止与侧后方来的行人、摩 托车、电动车、自行车等发生碰撞的车辆开门预警方法。
【背景技术】
[0002] 车辆上的驾驶员或者乘客疏于观察情况下打开车门，有可能使车辆侧后方目标， 如摩托车、电动车、自行车撞到车门上造成一定的人员伤亡，因此有必要研制出一种技术简 单、实现容易、准确度高、成本低廉的目标快速检测装置，能提醒或者阻止驾驶员在危险情 况下打开车门。
[0003] 现有车辆开门预警装置主要采用雷达、红外、超声波等传感器对侧后方进行检测， 成本较高，而且检测距离存在一定限制，导致预警时间过短，车内驾驶员或者乘客来不及做 出反应。此外也有采用摄像机对车辆后面目标进行检测，算法大多为光流法、帧差法、背景 差分法等传统算法，这些检测算法对目标无针对性，不能区分目标类型以及计算目标自身 运动特性，不管有无危险性，只要有目标接近车辆就会进行报警，导致误报率高。
【发明内容】
[0004] 本发明的目的是提供一种能够区分目标类型、并能够根据目标自身运动特性对其 到达车门的时间准确判断，提高报警准确性，有效防止碰撞的车辆开门预警方法。
[0005] 本发明所述的车辆开门预警方法，包括下述步骤：
[0006]离线学习阶段：
[0007] a、通过安装在车辆后视镜上的摄像机对从车辆侧部通过的行人、摩托车或电动 车、自行车及随机物体四种目标种类拍摄图像，送至DSP控制系统，通过方向梯度直方图的 特征提取方法对目标图像进行量化，得到四种目标的H0G特征向量；
[0008] b、让6个SVM分类器应用SVM算法对四种目标的H0G特征向量进行训练，使得各SVM 分类器能够根据输入的H0G特征向量识别出是否是该相应的目标；
[0009] 实时检测阶段：
[0010] C、在摄像机实时拍摄的某帧图像内设定一个矩形窗口，以图像所在的平面设定以 像素作为单位的平面坐标系，坐标系原点通过摄像机光轴，两个坐标轴分别沿水平方向和 竖直方向延伸；
[0011 ] d、窗口在该帧图像内按像素点进行遍历，遍历的同时DSP对窗口内的图像提取H0G 特征向量，并分别送至6个SVM分类器进行目标种类识别；根据6个SVM分类器识别出的目标 种类按照少数服从多数的原则确定该窗口内的目标种类，同时记录该窗口在坐标系内的坐 标位置a(x，y)，该窗口在水平方向的宽度为w，在竖直方向的高度为h;
[0012] e、以下式计算出在窗口内成像的目标距离摄像机该帧图像平面的垂向距离So:
[0013] ( x/X~f>：/(f^+SJ S ylY~^yl^y+Sy) x S〇=(S,+S,)/2 \(w+x)/(r+x)=./;/(/v+sY> [(/J+>0/(//+7)-(/,.+^)： ' -，
[0014]其中:W、H分别为目标的实际宽高和高度，系通过统计进行估算出的平均值；
[0015] fx、fy分别为摄像机在水平方向、竖直方向的焦距；Sx、Sy分别为摄像机在水平方 向、竖直方向成像时目标离摄像机该帧图像平面的垂向距离；
[0016] f、执行步骤C-e，计算出目标距离摄像机下n帧图像平面的垂向距离Sn:n彡1;
[0017] g、利用位移与时间关系可计算出目标速度:V= (S〇-Sn)/(fps*n) ;fps为帧频，单 位为帧/秒;So、Sn的单位均为米；
[0018] h、根据目标距离和速度计算目标的到达时间：A t = Sn/V，根据目标到达时间设定 不同的预警等级。
[0019] 随机物体是指背景图像，不是行人、摩托车或电动车、自行车的三类物体都认为是 随机物体。
[0020] 摄像机成像模型是利用的小孔成像原理，理论上摄像机只有一个焦距f，但是由于 摄像机在加工制作过程中存在误差，导致CCD最终成像时在水平方向和竖直方向会存在一 定差异，因此在水平方向和竖直方向分别定义焦距f x、fy，当然这两个焦距相差很小，也可以 近似认为是相等的，该两个焦距可以通过摄像机标定方法进行精确计算得到。S x、Sy是分别 根据两个不同焦距fx、fy计算出的目标与摄像机成像平面(CCD平面）的距离（垂直于平面的 距离）。摄像机在水平方向和竖直方向的小孔成像原理分别如图4,图5所示。
[0021] 本发明的有益效果：
[0022] 本发明的第一个优点就是利用摄像机作为传感器采集数据，相比于雷达、红外线、 超声波等传感器，可监控范围和视角更大，检测距离更远，因此能提供更长的预警和反应时 间。
[0023] 第二个优点是通过区分目标种类以及计算目标运动特性对预警分等级:本发明通 过摄像头测得车辆侧后方非机动车的车速和位置从而得出非机动车到车门的时间，按时间 长短分为高、中、低三个预警等级，可进一步提升预警系统的人性化水平。
[0024] 第三个优点是本发明检测目标的种类多，本发明可以通过摄像头检测多种快速非 机动车目标，包括摩托车、电动车、自行车以及行人。与其他类似车辆开门预警装置相比，检 测目标种类多，可靠度更高。
[0025]所述的车辆开门预警方法，当A t〈ls时，通过DSP向车辆行车电脑发送落锁信号， 锁住车门，阻止车内人员打开车门。
[0026]所述的车辆开门预警方法，n = 5。
[0027] 所述的车辆开门预警方法，对于行人，W = 0.5-0.7m，H=l .65-1.75m;对于摩托车 或者电动车，W=〇. 7-0.8m，H= 1.5-1,6m;对于自行车，W=0.5-0.6m，H= 1.7-1,8m。
[0028] 所述的车辆开门预警方法，步骤d中，如遍历到不同位置的多个窗口均包含相同的 目标种类，且各窗口中心点的间距离小于窗口宽度或高度的1/10时，则把多个窗口合并为 一个窗口，取多个窗口坐标位置的平均值作为合并后窗口的坐标位置a(x，y)。
[0029] 所述的车辆开门预警方法，步骤d中，如遍历同一帧图像不同位置的多个窗口均被 SVM分类器识别出目标，则记录各窗口在坐标系内的坐标位置，各窗口在水平方向的宽度， 在竖直方向的高度;并执行步骤e_h，计算出各目标的到达时间，并根据最小的到达时间设 定预警等级。也就是说，同一副图像内发现多个目标(一帧图像内有多个目标的成像)时，对 每个目标均进行计算速度和时间计算，定义目标抵达时间最短的为最危险目标，根据该最 危险目标信息进行报警。
【附图说明】
[0030]图1是车辆开门预警装置示意图；
[0031 ]图2是车辆开门预警方法流程示意图；
[0032]图3是窗口遍历示意图；
[0033]图4是摄像机水平方向小孔成像原理图；
[0034]图5是摄像机竖直方向小孔成像原理图。
【具体实施方式】
[0035]本发明涉及到硬件设备包括:两个摄像机、DSP控制系统、扬声器。两个摄像头分别 安装在车辆两后视镜上，其他设备安装安驾驶内，硬件总体布置方案如图1所示。
[0036]本发明中DSP控制系统做为核心计算单元。DSP控制系统中的算法处理过程可分为 离线和实时处理两个阶段，总体技术路线如下图2所示。在离线阶段主要是采集目标样本图 像训练生成目标分类器。在实时阶段则根据生成的分类器对图像进行遍历找到待检测目 标，如果存在目标则进一步对目标进行计算和判断，得到目标运动特性，并根据目标运动特 性进行预警判断，输出最终预警信号。
[0037] 1.离线阶段
[0038]通过实地拍摄方式采集大量目标样本图像，将行人、摩托车或电动车、自行车、随 机物体在图像中单独分割出来作为初始训练样本，并通过方向梯度直方图（H0G)的特征提 取方法对目标图像进行量化，得到四种目标的H0G特征向量:第一步，灰度化即：将图像看做 一个x，y，z (灰度）的三维图像;第二步，将图像划分成小ce 11 s (6 X 6像素）；第三步，计算每 个cell中每个像素的梯度，包括大小和方向；第三步，将梯度方向360度分成9个方向块，统 计每个cell内梯度直方图（不同方向上梯度的个数），即可形成每个cell的特征向量。第四 步，3 X3cell组成一个大区间(Block)，将该区间内所有cell单元中的梯度方向直方图进行 归一化，然后将所有ce 11内的特征向量串联起来便得到该区间的H0G特征向量。
[0039] 对上述提取到的各样本特征向量应用SVM算法进行训练，每类样本数据用特征向 量分别标记为一数据集，可记为xk，k = 0，l，2,3,其中0表示行人、1表示摩托车（电动车）、2 表示自行车、3表示其他样本。训练时在任意两类样本之间设计一个SVM，因此4个类别的样 本就需要设计4X(4-l)/2 = 6个SVM分类器，该目标分类器生成后存在DSP中。在对未知样本 进行判别分类时，应用6个分类器进行投票判别，最后得票最多的类别即为该未知样本的类 别。
[0040] 2.实时检测阶段
[0041 ] 2.1目标实时检测
[0042]检测的原理是这样的：如下图3所示，摄像机到的图像是一个大场景，包括了路面、 场景、天空等。目标实时检测目的是确定目标在图像内的位置和大小（以像素点为单位，确 定一个矩形框（即窗口），得到矩形框左上角坐标x，y，矩形框在水平方向的宽度w和在竖直 方向的高度hx为矩形框左上角在水平方向的坐标值，y为矩形框左上角在竖直方向的坐标 值）。检测时，在原始输入图像内定义一个位置和尺度均可变化的小窗口，该初始窗口大小 取原始图像大小的15分之1。初始窗口可在图像内按像素点进行遍历，同时大小尺度可变， 大小变化范围限定在原始目标在该帧图像内的成像大小的1到1.2倍之间(保证窗口不小于 目标的成像大小），窗口每次大小和位置发生变化时均应用上述离线生成的SVM分类器进行 检测判别，确保目标类型号(0-3)。如果同一输入图像内找到多个目标的成像，相邻同类目 标较为接近，即窗口中心点距离小于5个像素时，对包含目标成像的窗口位置和窗口大小计 算平均值进行合并，最终得到具有目标成像的窗口（目标窗口）位置(x，y)和大小(w，h)。如 果某个窗口内有目标成像，则判别得到目标类型号(0-3)。如果同一输入图像内找到多个目 标，如下图3所示，多个窗口内都包含同一目标(在一小范围内可能检测到多个同类目标）， 也就是相邻同类目标较为接近，一般认为各个窗口中心点间距离小于窗口大小的10分之1 时，对多个窗口进行合并，也就是取多个窗口大小和位置平均值作为包含该目成像标的窗 口（目标窗口）位置，得到最终目标矩形窗口左上角坐标(x，y)和矩形窗口大小(w，h)。矩形 窗口大小(w，h)可以认为与目标在该帧图像内成像的大小近似相等。
[0043] 2.2目标运动特性计算
[0044] 根据目标窗口大小以及当前视频采集帧率和摄像机内参数计算目标当前速度和 位置。假定目标检测阶段计算得到的目标窗口宽（水平方向）、高(竖直方向）分别为w，h，目 标窗口在图像内位置为x(水平方向），y(竖直方向），摄像机焦距为f x(横向）和fy(竖直方 向），目标实际大小分别为W(水平方向），H(竖直方向），则根据摄像机小孔成像原理，如图4、 图5所示，在横向和竖向分别可以建立以下方程组：
[0045] j ^X = fJ{fx+Sx) 丨
[(w+x)/(r + Jr) = /v/(/；.+Sv) |(/r-f v)/(F + F) = /r/(/v+5r)
[0046] 上述方程组中除Sx，Sy，X，Y外，他变量均已知。X、Y分别为摄像机在水平方向、竖直 方向成像时目标离摄像机光轴的距离。f x，fy为摄像机焦距，通过标定可以得到。x，y，w，h为 目标在图像内位置和大小，在实时检测时已经得到。W，H为目标实际大小（宽和高），可根据 人机工程学里统计方法进行估算:对于行人，W = 0.5-0.7m，H= 1.65-1.75m;对于摩托车或 者电动车，？=0.7-0.8111，11=1.5-1.6111;对于自行车，￥=0.5-0.6111，11=1.7-1.8111。所以未知 参数只有S x，Sy，X，Y，四个方程可以将四个未知数解出来。取Sx和Sy的平均值为目标距离摄 像机平面的垂向距离S。如果摄像机帧率为fps，存储当前帧目标距离为S t和上一帧目标距 离Sh，然后利用位移与时间关系可计算出目标速度:VzlOOOMSt-St-d/fps。为减小不同 帧内目标速度值的误差和波动，对同一目标取连续5帧图像内速度平均值做为目标当前速 度。最终根据前目标距离和速度估计目标到达时间：A t = St/V，并建立预警等级，当A t>3s 时为低预警等级，给扬声器发送低等级预警信号，扬声器发出低频报警声，当3s〈 A t〈ls时， 给扬声器发送中等级预警信号，扬声器发出高频报警声音，当A t〈ls时，直接给中控发送落 锁信号，锁住车门，阻止车内人员打开车门。当目标远离车辆，无威胁后，解除报警，不再发 送报警信号。
[0047] 本发明的车门开门预警装置通过摄像机采集图像，然后利用计算机视觉以及机器 学习技术对侧后方的目标，如摩托车、电动车、自行车行人进行检测和识别，可综合利用多 种信息计算出目标的速度和相对位置以及到达时间，根据目标特点将预警信号输出为高、 中、低三个等级:若时间较长大于一定阈值，则为低等级预警，通过车内低频的滴滴声提醒 车内人员开门前注意观察侧后方是否将有非机动车经过;若时间较短低于一定阈值，则为 预警中等级，通过高频滴滴声提醒车内人员勿打开车门，注意观察后再开车门；若计算目标 接近车时间非常短，则为预警高等级，通过DSP向车辆行车电脑发送落锁信号，锁住车门，阻 止车内人员打开车门。
【主权项】
1. 车辆开门预警方法，包括下述步骤： 离线学习阶段： a、 通过安装在车辆后视镜上的摄像机对从车辆侧部通过的行人、摩托车或电动车、自 行车以及随机物体四种目标种类拍摄图像，送至DSP控制系统，通过方向梯度直方图（HOG) 的特征提取方法对目标图像进行量化，得到四种目标的HOG特征向量； b、 让6个SVM分类器应用SVM算法对四种目标的HOG特征向量进行训练，使得各SVM分类 器能够根据输入的HOG特征向量识别出是否是该相应的目标； 实时检测阶段： c、 在摄像机实时拍摄的某帧图像内设定一个矩形窗口，以图像所在的平面设定以像素 作为单位的平面坐标系，坐标系原点通过摄像机光轴，两个坐标轴分别沿水平方向和竖直 方向延伸； d、 窗口在该帧图像内按像素点进行遍历，遍历的同时DSP对窗口内的图像提取HOG特征 向量，并分别送至6个SVM分类器进行目标种类识别；根据6个SVM分类器识别出的目标种类 按照少数服从多数的原则确定该窗口内的目标种类，同时记录该窗口在坐标系内的坐标位 置a(x，y)，该窗口在水平方向的宽度为w、在竖直方向的高度为h; e、 以下式计算出在窗口内成像的目标距离摄像机该帧图像平面的垂向距离So:其中:W、H分别为目标的实际宽高和高度，系通过统计进行估算出的平均值； fx、fy分别为摄像机在水平方向、竖直方向的焦距;Sx、Sy分别为摄像机在水平方向、竖直 方向成像时目标离摄像机该帧图像平面的垂向距离； f、 执行步骤c-e，计算出目标距离摄像机下η帧图像平面的垂向距离Sn;n>l; g、 利用位移与时间关系可计算出目标速度:V= (S〇-Sn)/(fps*n) ;fps为帧频，单位为 帧/秒;So、Sn的单位均为米； h、 根据目标距离和速度计算目标的到达时间：△ t = Sn/V，根据目标到达时间设定不同 的预警等级。2. 如权利要求1所述的车辆开门预警方法，其特征是：当A t〈ls时，通过DSP向车辆行车 电脑发送落锁信号，锁住车门，阻止车内人员打开车门。3. 如权利要求1所述的车辆开门预警方法，其特征是:η = 5。4. 如权利要求1所述的车辆开门预警方法，其特征是：对于行人，W = 0.5-0.7m，Η = 1.65-1.75111;对于摩托车或者电动车，1 = 0.7-0.8111，!1=1.5-1.6111;对于自行车，1 = 0.5- 0.6m，H=l .7-1.8m。5. 如权利要求1所述的车辆开门预警方法，其特征是:步骤d中，如遍历到不同位置的多 个窗口均包含相同的目标种类，且各窗口中心点的间距离小于窗口宽度或高度的1/10时， 则把多个窗口合并为一个窗口，取多个窗口坐标位置的平均值作为合并后窗口的坐标位置 a(x，y)〇6. 如权利要求1所述的车辆开门预警方法，其特征是:步骤d中，如遍历同一帧图像不同 位置的多个窗口均被SVM分类器识别出目标，则记录各窗口在坐标系内的坐标位置，各窗口 在水平方向的宽度，在竖直方向的高度;并执行步骤e-h，计算出各目标的到达时间，并根据 最小的到达时间设定预警等级。
【文档编号】G06K9/46GK105930787SQ201610238234
【公开日】2016年9月7日
【申请日】2016年4月16日
【发明人】汤勇, 李鹏, 羊玢, 徐超, 徐一超, 徐艳
【申请人】南京林业大学