专利名称：以视频感知的障碍物防撞方法与装置的制作方法
技术领域：
本发明涉及一种障碍物防撞装置和其实施方法，尤其涉及一种以视频感知为基础，而特别适合运用于交通工具的防撞装置及方法。
背景技术：
国内已经有许多学术研究单位正在从事汽车防追尾的研究，以国立交通大学的智能型运输系统(Intelligent Transportation Systems；ITS)集成计划里的汽车防撞警示子系统为例，其原理是采用超声波传感器测量车辆之间的距离。在国外，有关汽车相关的安全系统方面的研究已进行了几年时间，而且已结合其它相关的信息系统集成为智能型运输系统ITS，目前已完成自动防撞装置(Automotive Collision Avoidance System；ACAS)，其原理是使用红外线测量驾驶员本身所驾驶的车子与前方车子之间的距离，进而推算出两车之间的相对速度，最后同样透过人机介面来提醒驾驶员做出安全措施。ACAS的建立可利用传感器接收环境信息、利用检索的图像作车辆识别和建立防追尾策略三个流程说明其系统结构。
传感器的功能在于能检索外部环境的信息，目前国内外相关实验所使用到的传感器，如川端昭所提出的超声波(最新超声波工程)、Health Physics所提出的无线电波及激光(红外线)(International Commission onNon-Ionizing Radiation ProtectionGuidelines for limiting exposureto time-varying electric，magnetic and electromagnetic fields)、Wann所提出的GPS三点定位(Position tracking and velocity estimation formobile positioning systems)、Kearney所提出的CCD摄影机(Cameracalibration using geometric constraints)等。各个传感器的特性如表1所示。
表1传感器的特性
由表1可知利用CCD摄影机检索图像虽可提供最完整的路况信息，但缺点是容易受光线干扰，且无法运用在夜间的障碍物识别。
目前，国内外利用图像做车辆识别的方法很多，包含Yamaguchi所提利用车牌识别(A Method for Identifying Specific Vehicles Using TemplateMatching)、Marmoiton所提出的三个前方已知方位易识别标志(Locationand relative speed estimation of vehicles by monocular vision)、Kato所提出的图形识别(Preceding Vehicle Recognition Based on LearningFrom Sample Images)、Kruger提出的光学流量(Real-time estimation andtracking of optical flow vectors for obstacle detection)及Lutzeler所提出的车辆图像图腾或边界组合的对比(EMS-visionrecognition ofintersections on unmarked road networks)。各种图像识别车辆方法的比较如表2。
表2图像识别车辆方法
防撞反应策略主要是模拟人类在发生追尾事故前所做的反应，一般人类通过观察与前车的距离与相对速度便能凭经验与直觉做出适当的反应，避免追尾事故的发生。国内外针对主动式驾驶安全系统所提出的防撞反应策略的研究相当多。其中，Mar J.所提出的car-following collision preventionsystem(CFCPS)及An ANFIS controller for the car-following collisionprevention system在对多个相关防撞反应策略做比较之后，在防撞的表现上已获得一个优异的成效。CFCPS是以前后车的相对速度、前后车的距离减去安全距离所得的值为输入，并以25条模糊规则为主的模糊推论引擎为计算核心，最后求得一个车辆加减速的依据。另外其在探讨为使车辆达到安全稳定，也即此时前后车辆的距离等于安全距离，以及前车与后车的行驶速度相等，系统所需花费的时间时提到，CFCPS仅需要7-8秒，同类性质的实验如GM(General Motors)model需10秒，Kikuchi and Chakroborty model则需12-14秒。
发明内容
本发明的主要目的在提出一种实施于全天候障碍物防撞方法及装置，以使得能在白天和晚上进行障碍物识别，且无需经由复杂的模糊规则推论运算即可得出一套防撞策略，以供一系统载体的驾驶员作为行车时的依据。
本发明的另一目的在提出一种实施于全天候障碍物防撞方法及装置，使图像传感器的定位因系统载体受撞击而改变时，无需经实地测量即可直接自行恢复其定位。
为达到上述目的，本发明揭示一种以视频感知的障碍物防撞方法，其应用于一个障碍物和一个移动中的系统载体，且一个图像传感器架设于系统载体。所述障碍物防撞方法包含下列步骤(a)-(f)，其中步骤(a)是检索系统载体的复数个图像并进行分析；步骤(b)是定位所述图像传感器；步骤(c)是执行一个障碍物识别流程；步骤(d)是获取所述系统载体的绝对速度；步骤(e)是获取所述系统载体与所述障碍物的一个相对距离和一个相对速度；以及步骤(f)是执行一个防撞策略。其中步骤(a)于另一实例中，其所检索的复数个图像可位于所述系统载体的前、后、右或右，或者可于时间的第一与第二时刻进行检索。
上述的防撞方法可以一个视频感知的障碍物防撞装置加以实施，其装设于一个系统载体上且主要包含一个图像传感器、一个运算单元和一个报警器。所述图像传感器用以检索所述复数个图像并得以识别障碍物，所述运算单元可将所述复数个图像进行分析。若分析结果认为有障碍物存在，则所述报警器将发出声光或产生震动以进行报警。
图1为本发明的以视频感知的障碍物防撞装置示意图；图2为本发明的以视频感知的障碍物防撞方法的流程图；图3为图2的分析所述障碍物的复数个图像步骤的流程图；图4为深度距离测量的成像几何图；图5为感光电板的硬件结构示意图；图6为测量横向距离的成像几何图；图7为以车辆为实施例时的高度测量(检测方形框的像素长度ldw)图像示意图；图8(a)-(d)为车辆在四种不同深度距离时在图像上呈现不同的ldw的示意图；图9为定位图像传感器的图像几何关系图；图10为图2的提供一个障碍物识别流程步骤的流程图；图11(a)-(f)例示六种扫描线形态；图12为图2的执行一个防撞策略步骤的流程图；图13(a)、13(b)和13(c)例示利用布林变数所作的障碍物识别的实验示意图；图14为夜间雨天的路面反光对障碍物识别影响图；和图15为例示图像中车辆的外框检索示意图。
具体实施例方式
图1所示为本发明所揭示的一种以视频感知的障碍物防撞装置20，其装设于一个系统载体24上。所述防撞装置20主要包含一个图像传感器22、一个运算单元26和一个报警器25。所述图像传感器22可进行扫描，并检索经扫描的一个障碍物21复数个图像。所述运算单元26针对所述复数个图像进行分析。若分析结果认为有所述障碍物21存在，则所述报警器25将发出声光或产生震动进行报警。所述图像传感器22于另一实施例中，可检索位于所述系统载体24前、后、右或右的复数个图像，或者可于时间的第一与第二时刻进行检索。
图2所示为本发明的以视频感知的障碍物防撞方法10的流程。其包含以下步骤11-16，其中步骤11为检索复数个图像并进行分析，步骤12为定位所述图像传感器，步骤13为执行一个障碍物识别流程，步骤14为获取所述系统载体的绝对速度，步骤15为获取所述系统载体与所述障碍物的一个相对距离和一个相对速度，以及步骤16为执行一个防撞策略。
以下说明上述步骤的详细内容步骤11是检索并分析所述复数个图像，其包含下列步骤(参图3)(a)测量深度距离111(即所述系统载体24与所述障碍物21的相对距离)深度距离测量的成像几何图形如图4所示，此图含括两个坐标系统二维图像平面坐标(Xi，Yi)及三维实际空间坐标(Xw，Yw，Zw)。前者的坐标原点为图像平面50中心Oi，后者坐标原点Ow为图像传感器22镜头的物理几何中心。Hc(height of images ensor)表示Ow到地面的垂直高度，即 f为图像传感器22的焦距。图像传感器22的光学轴52以 表示，此射线与地面的交点为C；点A位于一条平行于地面并通过Ow的射线上。若有一个目标点D位于F点正前方L距离处，且D点在图像平面的对应点为E。若l=OiE‾,]]>L1＝FC、θ1＝∠AOwC、θ2＝∠COwD＝∠EOwOi且θ3＝∠KOwD＝∠GOwE。可以获得以下关系式θ1=tan-1(HCL1)---(1)]]>=tan-1(Δp1*(c-y1)f)---(2)]]>
θ2=tan-1(lf)---(3)]]>L=HCtan(θ1+θ2)---(4)]]>l＝pl×Δpl(5)pl=fΔpl×tan((tan-1HCL-θ1))---(6)]]>此处图像传感器22焦距f为已知，c取为图像纵坐标值的一半(240*320的图像的c值为120)，HC、L1可由实际测量获得，yl代表一条直路尽头在图像中的位置，容易由人眼经由图像快速判断而得知；θ1又称为图像传感器22的俯角(Depression Angle；DA)，是一个影响坐标映射的重要参数，式(1)及(2)为两种简易图像校准方法，可无需另外由角度测量仪测量即可通过推导得出θ1。式(3)的l可经图像处理及式(5)、(6)获得，其中pl为像素长度(pixel length)，表示图4的 所占的像素量，Δpl为图像平面上像素间的间距。式(4)求得的L，即为图像传感器22与前方障碍物21的真实距离。
Δpl的测量牵扯到对于图像传感器22硬件结构的认识，以CCD摄影机的感光电板为例，其硬件结构如图5所示。像素分辨率为640*480(px*py)的感光电板负责接收外在的光色彩信号，图像传感器22对角线的长度(S)为1/3英寸，因此可由式(7)换算出像素的间距Δpl(厘米)。
Δpl=S×pypx2+py2×1py]]>=13×213×1480=9.77×10-3---(7)]]>另外，Δpl也可由图像求得，根据式(1)-(4)可得式(8)。
L=HCtan(θ1+θ2)=Hctan(tan-1(HCL1)+tan-1(pl×Δplf))---(8)]]>当图像传感器22的焦距f为已知时，pl可由图4观察得知，HC、L1、L可经由实际测量而得。接着可求出Δpl。为求得较具代表性的Δpl，不同的pl可对应于不同的Δpl，因此可取多点Δpl以获得多个Δpl，并求多个Δpl的平均；或可利用多个Δpl及f的联立方程式求解Δpl。由实验结果获得Δpl为8.31×10-3(厘米)，准确率达85％。
(b)测量横向的距离112若将图4中KG与DE自图中抽离出来，其内部几何关系不变的条件之下，另外参图6做更清楚的说明。图6表示DK横向距离测量的几何关系图，图中的D点若向负Xw方向移动W距离便可得到K点，实际空间坐标位置为(-W，HC，L)。K点在图像平面上的成像为G点，平面坐标位置为(-w，l)。 表示 的向量； 表示 的向量。可得关系式(9)及(10)。
θ3=cos-1n→·a→|n→||a→|---(9)]]>W＝HCcsc(θ1+θ2)tanθ3=w×HC2+L2f2+l2---(10)]]>(c)测量所述障碍物的高度113图7说明所述障碍物21以车辆为实施例时的高度测量方法。在一台车辆所能形成的图像范围内，如其所示的方形框，其像素长度ldw(1ength ofdetection window)可由下列式(11)求得。式(11)中的C为图像横坐标值的一半，对横-纵坐标为240*320的图像而言，C取值为240/2＝120。i为车尾在图像平面的纵坐标值，此值由下而上依序递增其坐标值。式(11)的pl′可由式(12)获得，式中的HV为车辆高度、HC为车辆宽度，L_p为i对映到实际空间点的深度。参照图8(a)-(d)所示，对不同L_p而言，同一辆车会在图像上呈现不同的ldw，此时的图像传感器22为固定不动的状态。L_p可由式(13)获得，θ1为式(1)的图像传感器22的俯角，θ2＝∠COwD＝∠EOwOi(参照图4)。
ldw＝c+pl′-i (11)pl′=fΔpl×tan(θ1+tan-1(HV-HCL_p))---(12)]]>L_p=HCtan(θ1+θ2)---(13)]]>表3为四个实施例，其中HV＝134cm，L1＝1836cm，HC＝129cm，用以证明式(11)-(13)是可行的。另外可观察得知平均误差率约在7.21％，也即其准确率达90％以上，可明显发现式(11)-(13)是可实际应用的。
表3 验证式(11)-(13)可行度的统计表
步骤12为定位所述图像传感器，其包含以下各步骤(参图9)(a)首先，由扫描线linel由下而上每隔约3-5米作横向扫描，假设扫描到linel’时找到具有路面边线特征的点p(位于道路中央分隔线段32上)、p’(位于道路边线31上)；(b)由p点沿着图左边的道路中央分隔线段32朝上下方寻找出所述道路中央分隔线段32(一般为白色线段)的两端点，如p1、p2，并据以分别形成line3和line2，另p1’、p2’是line3、line2各自与图右边道路边线31的交点；(c)找出p1p2(line4)、p1′p2′(line5)两射线的交点y1；(d)y1代入式(2)，因此图像传感器22的俯角θ1可得；(e)另外根据图9与式(4)，可推导出式(14)，其中La和La′分别为line3和line2与图像传感器22的深度距离；另外参看图4，θ2、θ2′分别为依据La、La′所定义的不同的∠COwD。
La=Hctan(θ1+θ2)La′=Hctan(θ1+θ2′)---(14)]]>由式(14)中可得式(15)，其中C1为一路面线段的长度。
Hc=C1(1tan(θ1+θ2)-1tan(θ1+θ2′))---(15)]]>θ1(图像传感器22的俯角)及Hc(图像传感器22到地面的高度)求出后，即表示所述图像传感器22已被定位。
由于本发明的障碍物防撞方法及装置，可由图像分析直接求得图像传感器的俯角与高度，因而即使图像传感器的定位因系统载体受撞击而改变时，其无需经实地测量即可直接自动重新定位。
以上θ1及Hc的自动求得均需事先已知f(摄影机镜头的焦距)与Δpl(图像平面上像素间的间距)两参数的值，以下另外提出f与Δpl如何经由图像自动求得的方法。根据式(15)可推导出式(16)，同理由式(16)可演绎出式(17)Hc×(tan(θ1+θ2′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′))=C1---(16)]]>Hc×(tan(θ1+θ2′′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′′))=C10---(17)]]>式(16)与(17)中，C1为一路面线段的长度，C10为路面线段的间距，都是已知值。Hc、θ1、θ2、θ2′及θ2″都是f与Δpl的函数。也即现有f与Δpl两个未知数，并有由f与Δpl两个未知参数建立的式(16)与(17)两个恒等式，因此f与Δpl两参数可得。
步骤13为执行一个障碍物识别流程，其包含以下步骤(参图10)(a)设定一个扫描线形态131，所述扫描线形态选自以下任一个形态，如图11(a)-(f)所示，框中所示即为所得的图像。
形态一单线型扫描线，如图11(a)。
形态二曲折型扫描线，如图11(b)，其扫描方式叙述如下两条边线33所包围的范围是图像传感器22位置前方左右共宽约数米的范围，扫描宽度视需求而定。扫描线40以曲折的形态由图像底部往上对像素点逐一扫描，每前进约数米的深度距离时作变向扫描，前进的距离也视需求而定。
形态三三条线型扫描线，如图11(c)，为三条直线型扫描线40的扫描形态，其包含的范围约为图像传感器22所在系统载体24正前方左右共宽1.5倍于所述系统载体24的宽度。
形态四五条线型扫描线，如图11(d)，其包含的范围是图11(c)三条线型扫描线40的再延伸两条扫描线40。
形态五转弯型扫描线，如图11(e)，与图11(c)的扫描线40最大的不同是本扫描线形态调整加大了左右边扫描线40的范围，可作为车辆转弯时的扫描线形态。
形态六横向型扫描线，如图11(f)。
其中若使用形态四，则可检测到对向、十字路口突然插入及超车后插入，或急停的障碍物。另外，因为可检测到对向障碍物，因此夜晚时可作为自动调整近远光灯与调整会车速度的依据，也就是当对向障碍物与系统载体的距离被测量出小于一个设定的距离C13米时，则可调整为近灯照明，反之则可调整为远灯照明。
(b)提供一个边缘点鉴定132，详述如下计算扫描线上相邻像素在色阶上的欧几里德距离(Euclidean distance)。若所述图像为彩色图像，以E(k)表示第k与第k+1个像素之间的欧几里德距离，则E(k)被定义为(Rk+1-Rk)2+(Gk+1-Gk)2+(Bk+1-Bk)23.]]>若所述E(k)大于C2，则所述第k像素被视为一个边缘点。其中Rk、Gk、Bk分别表示第k个像素点的红绿蓝三色的色阶值，C2为一个临界常数，可由经验值设定。若所述图像为黑白灰阶图像，则E(k)被定义为Grayk+1-Grayk，且若所述E(k)大于C3，则所述第k像素被视为一个边缘点。其中Grayk表示第k个像素点的灰阶色阶值，C3为一个临界常数。
(c)设定一个扫描方式133，所述扫描方式可选自以下任一方式(c.1)检测区间式的扫描方式由下而上扫描，当找到边缘点时，会假设所述点是车尾在图像中的位置而据以设立一个检测区间，进而分析所述检测区间内扫描线的像素数据。障碍物21在离图像传感器22不同的深度距离时，检测区间长度ldw会有所不同。图8(a)-(d)是以一个汽车为例，当汽车在不同深度距离时会有所不同的检测区间长度ldw。本扫描方式的扫描线终点，以所要识别汽车为例，为图8(a)图像中车尾在i＝0时的ldw(即ldw_m)，其中ldw＝ldw_m-i，ldw_m代表当前车车尾的图像位置在i＝0(即图像最底部)时所形成的检测区间长度)。
(c.2)逐步式的扫描方式扫描方式由下而上对图像像素点逐步作扫描分析，并不设立检测区间。扫描终点一般是路的终点的图像位置。
(d)提供两个布林变数的真假值134，方法如下(d.1)利用障碍物21底部存在阴影的特性。因为立体物会产生阴影，路面的标线等非立体物无法产生阴影，因而所述阴影可作为分辨障碍物21的依据。提供一个布林变数a，则a的真假由式(18)和(19)来决定，若Nshadow_pixelldw≥C4]]>成立，则a为真 (18)若Nshadow_pixelldw<C4]]>成立，则a为假 (19)其中ldw为检测区间长度。Nshadow_pixel是指符合阴影特征的像素量，通常取所述检测区间底部约C5×ldw长的像素数据。C4、C5为一个常数值。
另外车辆底部的阴影(shadow-pixel)应该符合下式(20)的关系shadow_pixel=R≤C6×RrGray≤C7×Grayr---(20)]]>式(20)中各符号说明如下，分析彩色图像时，R分别代表像素数据的红色的色阶值，Rr分别代表灰色道路的红绿蓝的色阶值；分析黑白灰阶图像时，Gray代表像素数据的色阶值，Grayr代表道路的色阶值。而在灰色道路的颜色色阶值攫取上，通常是取图像上较符合灰色特性的像素群，并求所述像素群的颜色平均值，其中C6、C7为一个常数值。另外，可通过所述像素群的颜色平均值进而得以判断系统载体24所在位置的天候亮度，并作为自动调整车灯亮度的依据，也就是当天候亮度越亮则车灯亮度可调暗，反之当天候亮度越暗则车灯亮度可调亮。
(d.2)利用障碍物21所投射或反射的光具有亮度递减效应的特性。一般天候较暗时，大多如夜晚时的图像识别，可以光亮度来判断出障碍物在图像中的位置。因光亮度呈多色阶分布，若仅通过计算光亮度的分布作为识别的障碍物的依据则消耗计算性能，且找出的位置也并非是精确的障碍物位置。在此提供一个布林变数b，作为判断是否为所述障碍物21的依据，则b的真假由式(21)来决定，若R≥C8或Gray≥C9成立，则b为真，否则为假 (21)其中R代表分析彩色图像时，像素群数据的红色的色阶值；Gray代表分析黑白灰阶图像时，像素数据的灰阶色阶值。通过分析多张彩色或黑白灰阶图像，当像素群的R或Gray等色阶值提升或递减到C8、C9值(临界常数)时，则一般多是障碍物在图像中的位置。
(e)判定所述障碍物种类135，其中关于障碍物阴影特性、障碍物投射或反射光的亮度递减特性的两个布林变数分别以a、b表示。白天识别与夜间识别的识别法则不同，其中运用白天或夜间识别法则的转换时间(经过所述转换时间后则转换识别法则)是由设置于运算单元内的系统时间决定。所述识别法则包含以下的判别步骤(i)白天识别时若a为真，则障碍物被识别为一汽车、一机车、一脚踏车等路上交通工具，其底部具黑影像素的障碍物；(ii)白天识别时若a为假，则障碍物被识别为一路面标线、一树影、一护栏、一山壁、一房子、一分隔岛、一人等底部不具黑影像素的障碍物；(iii)夜间识别时若b为真，则障碍物被识别为一汽机车、一护栏、一山壁、一房子、一分隔岛、一人等立体障碍物；以及(iv)夜间识别时若b为假，则障碍物被识别为一路上标线或无障碍物。
图13(a)、13(b)和13(c)包含(a)-(q)等17幅子图，其例示利用判定所述障碍物种类135所述的识别法则所作的识别示意图。在此使用单线型形态的扫描线作扫描识别，以路上的障碍物为主要所要识别的障碍物目标，验证障碍物识别法则的可行性，并将所获得的实验数据整理于表4。
图13(a)、13(b)和13(c)中的子图(a)-(k)为运用于白天时的障碍物识别示意图，主要是以布林变数a作为识别法则。子图(1)-(q)为运用于夜间的障碍物识别示意图，主要是以布林变数b作为识别法则。
图13(a)、13(b)和13(c)中的子图(a)-(q)中L1代表单线型扫描线所扫描的范围；L2代表的是依经验给定内定的边界阈值(L1与L2的水平坐标距离在此设为25)，凡是扫描线L1上相邻像素在色阶上的欧几里德距离大于上述内定的边界阈值被视为真正的边界；白天识别时，主要是依据布林变数a作判断，L3是判断出属于汽机车等底部具黑影像素的像素的障碍物的位置，在此将其归类为o1类障碍物。L4标示的则是底部不具黑影像素的像素，且距离系统载体24最近的真正边界的位置，如路上标线、树影、护栏、山壁、房子、分隔岛、人等障碍物，在此将其归类为o2类障碍物。夜间识别时，主要是依据布林变数b作判断，L5则是汽机车、护栏、山壁、房子、分隔岛、人等立体障碍物的位置，所述立体障碍物具发射或反射光源的功能或特性，在此将其归类为o3类障碍物。
表4白天与夜间时的识别法则与所依据的示意图
由以上表4与图13(a)、13(b)和13(c)的子图(a)-(q)显示，利用布林变数a、b可精确且稳定地全天候识别多种可能会影响交通安全的障碍物。
但在夜间雨天的情况下仍可能造成识别上的误判。图14上的区块A、B、C，乃是街灯A、刹车灯B、车灯C照射于路面积水(图未示)后的反射光位置，而区块A、B、C内像素群的R、G、B色阶值大致是以下分布特性区块AR200-250；G170-220；B70-140区块BR160-220；G0-20；B0-40区块CR195-242；G120-230；B120-21因此，若根据式(21)的逻辑判断，则区块A、B、C将极有可能被判断为障碍物，但这与事实是相违背的。
要解决图14中区块A、B、C被误判为障碍物的问题，可在系统载体上装设一个有强化蓝光色阶亮度的车灯，随后的识别流程将可克服路面反光所造成误判的不良因素，所述夜间雨天识别法则的流程详述如下(a)扫描线由下而上当扫描到区块A或B或C时，先将式(21)修正为式(22)作为障碍物识别的法则。
若B≥C11或Gray≥C12成立，则b为真，否则为假 (22)其中B代表分析彩色图像时，像素数据的蓝色的色阶值；Gray代表分析黑白灰阶图像时，像素数据的灰阶色阶值；通过分析多张彩色或黑白灰阶图像，当像素群的R或Gray等色阶值提升或递减到C11、C12值(临界常数)时，则一般多是障碍物在图像中的位置。
(a)以图14为例，区块A、B将不被视为障碍物。
(b)以图14为例，区块B被识别为障碍物。
(c)夜间雨天识别法则是利用一汗染装设在所述系统载体24的强化蓝光色阶亮度车灯的灯光，将灯光照射到所述障碍物，若所述障碍物的反射灯光达到一定的蓝色光色阶值的特性，则可判定为立体障碍物的反光，否则可视为街灯照射于路面积水的反光。路面积水的有无可作为判断天候是否为雨天的依据。以图14为例，区块A被识别为非障碍物，并需据以判断系统载体所在天候是否为雨天。
(d)以图14为例，区块C虽被识别为一个障碍物，但与系统载体并非属于同一车道，所述障碍物实体C与系统载体上摄影机的真实距离(障碍物距离)，依据几何原理推论如式(23)所示。
障碍物距离＝图14中区块C的距离×(车灯的高度+摄影机的置高)/摄影机的置高 (23)；若区块C与系统载体为同一个车道，则障碍物距离等于其与图14中区块C的距离。
请参看图9，步骤14为获取所述系统载体的绝对速度，详述如下(a)从图9中的p1点找出之后，p1点为所述道路中央分隔线段32的端点，接着再找出下一张图像所述p1点的位置。在此假设所述道路中央分隔线段32是一个白色线段。
(b)下一张图像的p1点通常距离更近，因此可将图9中的line1扫描线往下依序隔3-5米作横向扫描，或依图9中p1p2的斜率往下寻找有白色线段的端点。
(c)对比前后两张图像，所述白色线段端点p1的位置变化便可推得其实际移动距离，而这段距离就是图像传感器22所在系统载体24移动的距离，若再除以前后张图像的检索时间差，可得出所述系统载体24的绝对速度。
另外，所述系统载体24的绝对速度也可经由一模拟数字转换器直接自所述系统载体24上的速度表取得。
步骤15为获取所述系统载体与所述障碍物的一个相对距离和一个相对速度，详述如下识别出所述障碍物21在图像中的位置后，根据式(1)-(6)便可获取所述系统载体24与所述障碍物21的相对距离L，如下式(24)所示。
L=Hctan(θ1+tan-1(pl×Δplf))---(24)]]>其中，图像传感器22的高度HC、俯角θ1、焦距f、像素之间的间距Δpl为已知，pl可由车辆的图像位置求得。而所述系统载体24与所述障碍物21的相对速度(Relative Velocity；RV)可根据下式(25)求得。
RV=ΔL(t)Δt---(25)]]>Δt、ΔL(t)各别代表前后张图像检索的时间差及车辆被识别出来的距离差。
步骤16为执行一个防撞策略，其包含以下步骤(参看图12)(a)提供一个等效速度161。所述等效速度大小定义为所述系统载体24的绝对速度和所述系统载体24与所述障碍物21相互逼近的相对速度中的较大的一个；(b)提供一个安全距离(safe distance)162。所述安全距离的大小大约介于所述等效速度的两千分的一到两千分的一加上10米之间。一优选实施例中，所述安全距离的定义为以每小时公里为单位的所述等效速度数值大小的一半加上五，且所述安全距离的单位为米；(c)提供一个安全系数(safe coefficient)163。所述安全系数大小定义为所述相对距离与所述安全距离的比值，且所述安全系数的大小位于0和1之间；(d)提供一个报警程度164。所述报警程度大小定义为1减去所述安全系数；(e)发出声光或产生震动165。根据所述报警程度的大小，用所述报警器25发出声光或产生震动向所述系统载体24的驾驶员报警，且可以声光向所述系统载体24周围的人报警；(f)提供一个图像中所述障碍物21的外框检索与显示166。参图15，所述外框的宽度为wa；白天时，即为测量出的车辆底部阴影的宽度wb；夜间识别时，即为车辆尾部反射光的宽度wc；所述外框的高度ha为如式(11)所述的ldw。
(g)提供一次绝对速度167，所述次绝对速度的定义为所述系统载体24目前的绝对速度与所述安全系数的乘积；以及(h)提供一个录像功能168。于一优选实施例中，所述录像功能可在所述安全系数小于某一经验常数值时(例如，0.8)才开启，以记录危害发生前的情景，而不需长时间开启录像功能。
以上所述的实施例虽为汽车，但凡是具有边缘特征的障碍物均可利用本发明所揭示的方法加以识别，因而本发明所言的障碍物可包含汽车、机车、卡车、货车、火车、人、狗、护栏、分隔岛及房屋等。
以上所述系统载体24是以汽车为例进行说明，但实际的应用却不限于汽车，即所述系统载体24可为机踏车、卡车、货车等任一种交通工具。
以上所述的实施例中，凡是可检索图像的装置均可作为所述图像传感器22，因而所述图像传感器22可为电荷耦合元件(Charge Coupled Device；CCD)或互补式金属氧化物半导体(CMOS)元件摄影机、数码相机、单条条状摄影机、手持式设备上的数码相机等任一装置。
本发明的技术内容及技术特点已在上文得以揭示，然而所属领域技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修正。因此，本发明的保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修正，并为前述权利要求所涵盖。
权利要求
1.一种以视频感知的障碍物防撞方法，其特征在于可应用于一个系统载体，且一个图像传感器被架设于所述系统载体，所述防撞方法包含下列步骤检索并分析复数个图像；定位所述图像传感器；执行一个障碍物识别流程；获取所述系统载体的绝对速度；获取所述系统载体与一个障碍物的一个相对距离和一个相对速度；和执行一个防撞策略。
2.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述定位图像传感器的步骤为用以获得所述图像传感器的俯角、所述图像传感器与地面的距离、所述图像传感器镜头的焦距和图像平面上像素间的间距。
3.根据权利要求2所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器的俯角及所述图像传感器与地面的距离的获得包含以下步骤将一个水平扫描线由下而上每间隔作横向扫描；识别出具有路面边线特征的一个特征点；识别出所述特征点所在的一个特征线段的两个第一端点；将所述两个第一端点经水平扫描得两条水平线，所述两条水平线分别交于另一特征线段于两个第二端点；识别所述两个第一端点连线与所述两个第二端点连线的交点；求出所述图像传感器的俯角；和求出所述图像传感器到地面的距离。
4.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器的俯角及所述图像传感器与地面的距离的获得进一步包含以下步骤求出所述图像传感器镜头的焦距；和求出所述图像平面上像素间的间距。
5.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器的俯角是利用所述图像上像素的间距、图像的纵向长度一半的值、图像传感器的焦距和所述交点而得。
6.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于图像传感器到地面的距离是利用所述图像传感器的俯角和所述两水平线与图像传感器的深度距离求得。
7.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器的俯角是根据下式求得θ1=tan-1(Δpl*(c-y1)f)]]>其中，θ1为所述图像传感器的俯角；Δpl为所述图像上像素的间距；c为图像的纵向长度一半的值；y1为所述交点的位置；和f为所述图像传感器的焦距。
8.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器到地面的距离是根据下式求得Hc=C1(1tan(θ1+θ2)-1tan(θ1+θ2′))]]>其中Hc为所述图像传感器到地面的距离，C1为一个路面线段的长度值；θ1为所述图像传感器的俯角；并且θ2、θ2′分别满足La=Hctan(θ1+θ2),]]>La′=Hctan(θ1+θ2′),]]>其中La与La′分别为两条水平线到所述图像传感器的深度距离。
9.根据权利要求3所述的以视频感知的障碍物防撞方法，其特征在于所述摄影机镜头的焦距和图像平面上像素间的间距是根据下面的两个式求得Hc×(tan(θ1+θ2′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′))=C1]]>Hc×(tan(θ1+θ2′′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′′))=C10]]>其中，C1为一个路面线段的长度，C10为路面线段的间距，Hc为所述图像传感器到地面的距离，θ1为所述图像传感器的俯角，Hc、θ1、θ2、θ2′及θ2″都是f与Δpl的函数，f为所述摄影机镜头的焦距，Δpl为图像平面上像素间的间距，且θ2、θ2′分别满足La=Hctan(θ1+θ2),]]>La′=Hctan(θ1+θ2′),]]>其中La与La′分别为两条水平线到所述图像传感器的深度距离。
10.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述障碍物识别流程包含以下步骤设定一个扫描线形态，所述扫描线形态选自单线型扫描线、曲折型扫描线、三条线型扫描线、五条线型扫描线、转弯型扫描线和横向型扫描线；提供一个边缘点鉴定；设定一个扫描方式，所述扫描方式为检测区间式或逐步式；提供至少两个布林变数中的一个，所述两个布林变数是分别关于障碍物阴影特性、障碍物投射或反射光的亮度递减特性；判断所述布林变数的真假值；且判定所述障碍物种类。
11.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于所述边缘点鉴定包含以下步骤计算所述水平扫描线上的一个像素和其相邻像素在色阶上的一个欧几里德距离；和若所述欧几里德距离大于一个临界常数，则所述像素被视为一个边缘点。
12.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于关于障碍物阴影特性的布林变数的真假值是由下式判断若Nshadow_pixelldw≥C4]]>成立，则所述布林变数为真；若Nshadow_pixelldw<C4]]>成立，则所述布林变数为假；其中C4为一个常数值；ldw为检测区间的长度；和Nshadow_pixel为符合阴影特征的像素量。
13.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于关于障碍物投射或反射光的亮度递减特性的布林变数的真假值是由下式判断若R≥C8或Gray≥C9成立，所述布林变数为真，否则为假；其中C8、C9为临界常数；R代表分析彩色图像时，像素群数据的红色的色阶值；Gray代表分析黑白图像时，像素群数据的灰阶色阶值。
14.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于还包含一个夜间雨天识别法则，其利用装设于所述系统载体的一个强化蓝光色阶亮度车灯所发射的灯光照射所述障碍物，依据所述障碍物反射光的蓝色光色阶值的特性，判断所述障碍物的种类及天候是否为雨天。
15.根据权利要求14所述的以视频感知的障碍物防撞方法，其特征在于关于障碍物投射或反射光的亮度递减特性的布林变数的真假值是由下式判断若B≥C11或Gray≥C12成立，则所述布林变数为真，否则为假；其中C11、C12为临界常数；B分别代表分析彩色图像时，像素群数据的蓝色的色阶值；Gray代表分析黑白图像时，像素群数据的灰阶色阶值。
16.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于还包含一个日间和夜间识别法则转换步骤，其中日间识别法则是运用障碍物阴影特性的布林变数，夜间识别法则是运用障碍物投射或反射光的亮度递减特性的布林变数，所述转换步骤的转换时间是内定于设置在所述系统载体上的一个运算单元内。
17.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于关于障碍物阴影特性的布林变数真假值若为真，则所述障碍物被识别为一个底部具黑影像素的物体，否则所述障碍物被识别为一个底部不具有黑影像素的物体。
18.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于关于障碍物投射或反射光的亮度递减特性的布林变数真假值若为真，则所述障碍物被识别为一个立体障碍物，否则所述障碍物被识别为无障碍物。
19.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于还包含一个近远灯自动切换步骤，其通过计算出的系统载体与对向障碍物的距离是否小于一个特定距离作为依据进行切换。
20.根据权利要求10所述的以视频感知的障碍物防撞方法，其特征在于还包含一个车灯亮度自动调节步骤，其通过攫取的道路像素并计算其颜色色阶平均值，以判断所述系统载体所在位置的天候亮度，并作为自动调整车灯亮度的依据。
21.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述系统载体的绝对速度的获取包含以下步骤识别一个特征线段的一个端点在一个第一图像中的位置；识别所述端点在一个第二图像的位置；和将所述两个端点的距离除以检索所述第一和第二图像的时间差；其中所述第一和第二图像包含于所述复数个图像，且第二图像的检索迟于所述第一图像的检索。
22.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述防撞策略包含以下步骤提供一个等效速度，其选自所述绝对速度和所述相对速度的较大的一个；提供一个由等效速度决定的安全距离；提供一个安全系数，其大小定义为所述相对距离与所述安全距离的比值，且所述安全系数的大小位于0和1之间；提供一个报警程度，其大小定义为1减去所述安全系数；根据所述报警程度的大小，以声光或震动的方式向所述系统载体的驾驶员报警或以声光向所述系统载体周围的人报警；提供一个图像中所述障碍物的外框检索与显示；提供一次绝对速度，所述次绝对速度的定义为所述系统载体目前的绝对速度与所述安全系数的乘积；并且提供一项录像功能。
23.根据权利要求22所述的以视频感知的障碍物防撞方法，其特征在于所述录像功能在所述安全系数小于一个经验常数值时开启。
24.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述系统载体的绝对速度可直接从所述系统载体的速度表取得。
25.根据权利要求1所述的以视频感知的障碍物防撞方法，其特征在于所述图像传感器是选自以下中的一个一个电荷耦合元件摄影机、一个互补式金属氧化物半导体元件摄影机、一个单条条状摄影机和一个手持式通讯设备上的摄影机。
26.一种以视频感知的障碍物防撞装置，其特征在于应用于系统载体，其包含一个图像传感器，其用以检索复数个图像得以识别障碍物；和一个运算单元，其包含下列功能(a)分析所述复数个图像；(b)根据复数个图像的分析结果执行一个障碍物识别流程，以判断障碍物是否存在；且(c)执行一个防撞策略。
27.根据权利要求26所述的以视频感知的障碍物防撞装置，其特征在于另外包含一个报警器，当所述复数个图像经分析判定有障碍物时，所述报警器将发出声光或产生震动。
28.根据权利要求26所述的以视频感知的障碍物防撞装置，其特征在于所述图像传感器是选自以下中的一个一个电荷耦合元件摄影机、一个互补式金属氧化物半导体元件摄影机、一个单条条状摄影机和一个手持式通讯设备上的摄影机。
全文摘要
本发明揭示一种以视频感知的全天候障碍物防撞装置及方法，以使得能在白天和晚上进行障碍物识别，且无需经由复杂的模糊规则推论运算即可得到防撞的性能，以供一系统载体的驾驶员作为行车时的依据。所述方法配合一个障碍物、一个系统载体和一个图像传感器，其包含下列步骤检索并分析所述障碍物的复数个图像；定位所述图像传感器；执行一个障碍物识别流程；获取所述系统载体的绝对速度；获取所述系统载体与所述障碍物的一个相对距离和一个相对速度；以及执行一个防撞策略。
文档编号G01C11/04GK1782668SQ200510073059
公开日2006年6月7日 申请日期2005年5月27日 优先权日2004年12月3日
发明者曾俊元 申请人:曾俊元