利用人行横道识别结果的引导信息提供装置及方法与流程

文档序号:17178197发布日期:2019-03-22 20:41阅读:141来源:国知局
本发明的实施例涉及一种为了车辆的安全行驶而引导车辆周边情况信息的技术。
背景技术
::车辆行驶时最重要事项中的一个即是以交通事故的预防为首要地位的安全性。为了安全性,在车辆中安装用于控制车辆自身或控制车辆构成装置的功能的多种辅助装置,且在车辆中安装如安全带和安全气囊等安全装置。并且,当在车辆内配置黑匣子(blackbox)时,从车辆的各种传感器中传送的数据可被存储在黑匣子内。当车辆的事故发生时,在车辆中回收黑匣子且通过分析回收的黑匣子内存储的数据可查明事故的原因。为了安全的行驶,驾驶人需要迅速识别行驶中位于前方的人和事物以及调整车辆的运行。如导航(navigation)或黑匣子等安装于车辆的电子设备可持续地拍摄车辆的周边。上述电子设备通过使用计算机视觉算法等可在影像内持续监控车辆周边的情况,并且当检测出特定情况时,可向驾驶人通知与被检测出的情况相关的信息。作为分析在车辆中拍摄的影像之装置的一种示例,在韩国公开专利第10-2007-0082980号(公开日:2007年08月23日)中公开了一种分析通过配置在车辆中的照相机而收集的影像从而在影像内识别客体(例如,车辆号码)的移动式违法车辆管制装置。技术实现要素:提供了一种基于人行横道识别结果而提供用于引导自身车辆安全行驶之引导信息的装置和方法。提供了一种利用人行横道识别结果而修改与自身车辆相关的地图映射位置的装置和方法。提供了一种根据与人行横道上的行人或前方车辆、信号灯的信号状态等相关的识别结果来区分进而提供引导信息的装置和方法。一种引导信息提供方法,作为按计算机实现的引导信息提供方法,包括如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;将所述人行横道识别结果和与所述车辆相关的gps接收位置的地图数据相比较;以及根据所述比较结果,对与所述gps接收位置相关的地图映射位置进行修正。一种引导信息提供方法,作为按计算机实现的引导信息提供方法,包括如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;确认针对与所述车辆的前方行驶相关的周边情况所识别的周边情况识别结果;以及根据所述周边情况识别结果,区分进而提供与所述人行横道识别结果相关的引导信息。一种引导信息提供方法,作为按计算机实现的引导信息提供方法,包括如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;确认针对与所述车辆的前方行驶相关的周边情况所识别的周边情况识别结果;以及根据所述人行横道识别结果,区分进而提供与所述周边情况识别结果相关的引导信息。一种引导信息提供装置,包括:加载至少一个程序的内存;和至少一个处理器,其中,所述至少一个处理器,根据所述程序的控制,处理如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;将所述人行横道识别结果和与所述车辆相关的gps接收位置的地图数据相比较;以及根据所述比较结果,对与所述gps接收位置相关的地图映射位置进行修正。一种引导信息提供装置,包括:加载至少一个程序的内存;和至少一个处理器,其中,所述至少一个处理器,根据所述程序的控制,处理如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;确认针对与所述车辆的前方行驶相关的周边情况所识别的周边情况识别结果;以及根据所述周边情况识别结果,区分进而提供与所述人行横道识别结果相关的引导信息。一种引导信息提供装置,包括:加载至少一个程序的内存;和至少一个处理器,其中,所述至少一个处理器,根据所述程序的控制,处理如下步骤:确认针对位于车辆周围的人行横道所识别的人行横道识别结果;确认针对与所述车辆的前方行驶相关的周边情况所识别的周边情况识别结果;以及根据所述人行横道识别结果,区分进而提供与所述周边情况识别结果相关的引导信息。根据本发明的实施例,通过识别前方的人行横道而按视听表现出人行横道识别结果,经由人行横道的识别与注意提醒可引导驾驶人的安全驾驶。根据本发明的实施例,通过将人行横道识别结果与地图数据相比较而修改与自身车辆相关的地图映射位置,可最小化导航的地图映射误差而提高与位置引导相关的用户的信任度。根据本发明的实施例,通过提供根据与人行横道上的行人或前方车辆、信号灯的信号状态等相关的识别结果来区分进而提供引导信息,正确且具体告知周边情况进而提醒驾驶人,可保证驾驶人的安全行驶的同时保证人行横道中行人的安全。附图说明图1示出本发明一个实施例之用于说明引导信息提供装置的内部构成的一个示例的框图。图2至图7是示出根据本发明一个实施例之用于说明人行横道识别方法的示例图。图8是示出根据本发明一个实施例之用于说明行人识别方法的示例图。图9是根据本发明一个实施例之用于说明前方车辆识别方法的示例图。图10至图14是根据本发明一个实施例之用于说明利用人行横道识别结果的引导信息提供方法的示例图。具体实施方式以下,结合附图对本发明的实施例进行详细说明。本实施例涉及利用照相机影像在影像内来识别人行横道以及在行驶引导环境中活用人行横道识别结果来提供引导信息的装置和方法。根据本发明的引导信息提供装置和方法可适用于导航系统,作为一个示例,可适用于搭载增强现实(augmentedreality)模式的导航系统。本实施例也可通过智能手机(smartphone)、平板电脑(tablet)、可穿戴计算机(wearablecomputer)等移动终端专用的应用程序而实现。图1示出本发明一个实施例之用于说明引导信息提供装置的内部构成的一个示例的框图。如图1所示,引导信息提供装置100作为计算机系统,至少可包括:至少一个处理器(processor)110、内存(memory)120、外围设备接口(peripheralinterface)130、输入/输出子系统(i/osubsystem)140、电力线路150和通信线路160。在图1中,箭头表示能进行计算机系统的构成要素间的通信和数据传送,且其可利用高速串行总线(high-speedserialbus)、并行总线(parallelbus)、存储区域网络(san,storageareanetwork)和/或其他适当的通信技术而实现。内存120可包括操作系统121和行驶引导控制例程122。例如,内存120可包括高速随机存取存储器(high-speedrandomaccessmemory)、磁盘、静态随机存取存储器(spam)、动态随机存取存储器(dram)、只读存储器(rom)、闪存或非挥发性内存。内存120可存储用于操作系统121和行驶引导控制例程122的程序编码,也就是说可包括引导信息提供装置100的动作所需的软件模块、指令集架构或其之外的多种数据。此时,处理器110或外围设备接口130等其他控制器与内存120的存取可通过处理器110进行控制。外围设备接口130可将引导信息提供装置100的输入和/或输出外围设备与处理器110和内存120相结合。并且,输入/输出子系统140可将多种输入/输出外围设备与外围设备接口130相结合。例如,输入/输出子系统140可包括显示器、键盘、鼠标、打印机或根据需要用于将触摸屏或照相机、各种传感器等外围设备与外围设备接口130相结合的控制器。根据另一侧面,输入/输出外围可不经过输入/输出子系统140而与外围设备接口130相结合。电力线路150可向终端设备的电路元件的全部或部分供给电力。例如,电力线路150可包括如电力管理系统、电池或交流(ac)之一个以上的电源、充电系统、电源故障检测电路(powerfailuredetectioncircuit)、电力变换器或逆变器、电力状态标记符或用于电力生成、管理、分配的任意其他电路元件。通信线路160可利用至少一个外部接口与其他计算机系统进行通信。并且如上所述,根据需要,通信线路140通过包括rf电路来接收发被称为电磁信号(electromagneticsignal)的rf信号,能与其他计算机系统进行通信。处理器110通过施行存储在内存120中的软件模块或指令集架构可执行用于引导信息提供装置100的多种功能且处理数据。也就是说,处理器110通过执行基本的算术、逻辑以及计算机系统的输入/输出演算,可构成为处理计算机程序的命令。处理器110可构成为施行用于识别部111和提供部112的程序编码。这种程序编码可存储在如内存120之记录装置中。识别部111和提供部112构成为用于执行下述将要说明的引导信息提供方法。这种图1的实施例仅是引导信息提供装置100的一个示例,引导信息提供装置100可具有如下结构或配置:省略图1所示的部分电路元件,或进一步具备图1中未图示之追加的电路元件,或结合两个以上的电路元件。例如,用于移动环境的通信终端的计算机系统除了图1所示的电路元件之外,还可进一步包括触摸屏或传感器等,且在通信线路140中也可包括用于多种通信方式(wifi、3g、lte、bluetooth、nfc、zigbee等)的rf通信的电路。可包含在引导信息提供装置100中的电路元件可由包括一个以上的信号处理或应用程序所特殊化的集成电路的硬件、软件或硬件和软件两者的组合而实现。上述构成的引导信息提供装置100从照相机(未图示)中输入接收影像(以下,称为“照相机影像”)从而可在照相机影像内识别人行横道,且在用于引导自身车辆的安全驾驶的行驶引导环境中以人行横道识别结果为基础可提供多种引导信息。上述照相机提供拍摄自身车辆前方的影像,作为一个示例,可按一体型构成在适用了引导信息提供装置100的车辆用导航中,且为了能拍摄车辆的前方,可装载在导航本体的后面即朝向车辆的前玻璃的位置。作为另一实施例,也可使用能与引导信息提供装置100联动的其他系统或作为外部的单独构成而设置的、使用拍摄车辆前方的照相机。尤其,在本发明中为了提供引导安全驾驶的引导信息,可试用(1)识别人行横道的技术,(2)识别人行横道上的行人的技术,(3)识别前方车辆(前车)的技术,以及(4)识别信号灯的交通信号的技术。首先,针对识别人行横道的技术进行说明。图2是根据本发明一个实施例之示出人行横道识别方法的顺序图。根据本实施例的人行横道识别方法根据通过图1说明的识别部111可进行各个步骤。在步骤210中,识别部111输入接收照相机影像进而将输入的照相机影像变换为灰色(黑白)影像。照相机影像作为一定尺寸(例如,640x480)的影像,可是如rgb(红绿蓝)影像的彩色影像。参考图3,第一影像310可显示根据照相机拍摄的彩色影像,第二影像320可显示根据识别部111将彩色影像按灰度进行转换而生成的灰色影像。彩色影像内的各像素可具有显示像素颜色的颜色值。颜色值可包括红色值、绿色值以及蓝色值。即,彩色影像可是rgb彩色影像。黑白影像内的各像素可具有显示像素明暗的颜色值。颜色值可是0以上n(n是1以上的整数)以下的整数值。例如,当特定的像素显示黑色时,特定像素的颜色值可是0。并且,当特定的像素显示黑色时,特定像素的颜色值可是n。如此,识别部111通过灰度变换可将照相机影像变换为灰色影像。并且,识别部111为了使灰色影像具有一定的明暗值分布可进行与灰色影像的明暗值相关的平滑化。道路的一部分如果受到阴影的影响,由于会错误识别前方车辆或与前方车辆的距离,因此为了最小化阴影的影响,在本实施例中可使用能补偿光源的方法。作为一个示例,在补偿照相机拍摄使用的光源后,通过补偿的光源拍摄车辆的前方可获取rgb影像。作为另一个示例,识别部111针对rgb影像,使用光源补偿算法,在补偿rgb影像的光源后,可将补偿的rgb影像变更为灰色影像。另外,由于车辆内部玻璃反射的被拍摄物体的影响,在影像的特定部分中会发生不能识别人行横道的情况。为了改善这种问题并最小化因反射造成的影响,通过在照相机的镜头前端贴付反射抑制盒,可获取补偿的影像。再参考图2,在步骤220中,识别部111可在灰色影像中设定用于检测出人行横道的关注区域(roi:regionofinterest)。照相机影像中一部分可显示天空、地平线、或建筑物等人行横道能位于的道路之外的其他区域。当在影像的所有区域中要检测出人行横道而进行尝试时,由于人行横道以外的其他客体被误检测为人行横道的可能性高,因此需要在影像中设定用于检测出人行横道的部分区域。作为一个示例,识别部111在灰色影像内可设定根据特定条件而决定的关注区域。在此,特定的条件可意味着照相机的设定角度和视野角以及影像的分辨率等。即,识别部111可将影像中一部分设定为关注区域,且可提高影像或影像中一部分。图4示出关注区域提高的影像410以及关注区域提高的影像410中关注区域420。识别部111在关注区域420被设定时,可将关注区域420决定为用于检测出人行横道的检测区域。作为另一个示例,识别部111在灰色影像内检测出车道线后,以车道线为基准,可设定关注区域。例如,识别部111利用坎尼(canny)算法在影像内生成检测出边缘(edge)的边缘影像后,通过向边缘影像适用霍夫变换算法,在边缘影像内检测出按直线进行表示的边缘,且将与直线的位置相对应的区域识别为车道线。此时,识别部111通过霍夫变换可检测出边缘影像内包括的一个以上的直线候选,且可将一个以上的直线候选中距离影像的中心的距离为最小的直线候选判断为车道线。并且,识别部111针对多个直线候选中车辆的行驶方向,将具有一定车道线的宽度的直线候选判断为车道线。一般来讲,车道线存在于道路面且具有一定的宽度,从驾驶人的视点来看,并不显示在水平线上,但显示在与车辆的行进方向相对应的线上。因此,识别部111可将与车辆的行进方向相对应的多个直线候选中具有一定宽度的直线候选识别为车道线。并且,识别部111可将多个直线候选中以影像的竖直中心线为基准形成互相对称的直线候选判断为车道线。如此,识别部111基于影像中检测出的车道线设定关注区域。例如,识别部111可将以影像内车道线开始的位置为起点沿y轴方向一定距离的区域设定为关注区域。此时,决定关注区域的条件即车道线开始的位置和一定距离可按车道的宽度和照相机的视野角来推定。在人行横道中,浮现因影子造成的阴影或用于表示人行横道的油漆会被磨损,且当广告贴纸或纸灯小的物体位于人行横道上时,会遮盖人行横道的模样。并且,在拍摄人行横道的影像内也会存在噪音。考虑到这种问题,识别部111为了除去关注领域内的噪音且正规化人行横道的破损形态,可在关注区域内适用利用四角形要素的关闭影像。使用四角形影像可是人行横道一般性具有黑色或白色的四角形连续形成的形态的起因。根据上述关闭影像显示人行横道的区域可变得更加鲜明。再参考图2,在步骤230中,识别部111通过针对关注区域的影像分析可在关注区域内检测出人行横道。作为一个示例,识别部111通过向关注区域的水平线适用最小-最大滤波器,可生成关注区域二进制化形成的二元(binary)影像。此时,识别部111通过在二元影像内检测出显示人行横道的图案,可在关注区域内检测出人行横道。例如,图5示出影像510和影像内的水平线520。并且,在影像510的下端示出显示水平线的颜色值变化的图表530。变化线540示出水平线内各个像素颜色值的变化。当连续的像素的颜色值相对一定时(例如,全部颜色值是接近白色的值或接近黑色的值时),变化线540中与上述连续的像素相对应的部分具有高的值。相反,当连续的像素的颜色值相对急剧变化时(例如,当由黑色变化为白色时或由白色变化为黑色时),变化线540中与上述连续的像素相对应的部分具有低的值。因此,变化线540中随着由高的值降为低的值且再次由低的值升为高的值的区间变短,水平线可视为按黑色线和白色线进行明确地区分。但,当实际的人行横道未按黑色和白色进行明确区分时或在拍摄的影像内存在噪音时,水平线也可不按黑色和白色进行明确区分。例如,当在影像内显示人行横道的区域中的一部分存在噪音时,上述噪音在变化线540内可作为异常线550进行显示。噪音可按非黑色或非白色的中间阶段的灰色而显示,且以特定的边界为中心颜色也可不进行鲜明的变化。因此,变化线540中异常线550周围的一部分的值相对缓和地变化,且具有中间阶段的值。对此,相比识别部111直接二进制化水平线内的像素的各个颜色值,在向像素的颜色值适用特定的滤波器后,对适用了滤波器的颜色值进行二进制化在检测出人行横道时可导出更好的结果。图6作为用于说明最小-最大滤波器适用的示例图,图表600的横向轴示出水平线内的像素。即,横向轴的特定坐标指水平线内的特定像素。图表600的纵向轴显示像素的颜色值。颜色值可是灰度(gray-scale)值。例如,大的值是表示接近于白色的颜色的值,小的值是表示接近于黑色的颜色的值。识别部111通过向影像的水平线内的各个像素适用最小-最大滤波器,可二进制化各个像素。在此,像素的二进制化意味着像素的颜色值成为第一二进制值或第二二进制值中的一个。“0”(或,真)或“1”(或,假)中的一个可是第一二进制值,另一个可是第二二进制值。水平线的二进制值化意味着水平线内的每个像素被二进制化。识别部111通过使水平线内的每个像素二进制化且使影像(或,设定区域)内的每个水平线二进制化,可使影像(或,设定区域)二进制化。识别部111以水平线中特定像素610为基准可将一定范围内的像素的颜色值中最小的值设定为与所述的特定像素610相关的最大-最小滤波器的最小值。并且,识别部111以水平线中特定像素610为基准可将一定范围内的像素的颜色值中最大的值设定为与所述的特定像素610相关的最大-最小滤波器的最大值。即,与特定像素610相关的最小-最大滤波器的最小值是以特定像素610为基准在一定范围内像素的颜色值中最小的值,且与特定像素610相关的最小-最大滤波器的最大值是像素的颜色值中最大的值。在图6中,以特定像素610为基准在一定范围内的像素中具有最大颜色值的像素620和具有最小颜色值的像素630被图示,且像素620的颜色值和像素630的颜色值的平均640走位水平线而图示。在图6中,一定范围包括特定像素610、以特定像素610为中心左侧的三个像素以及以特定像素610为中心右侧的三个像素。所述的一定范围仅是示例。特定像素610可是一定范围的中心,且可是左侧一端或右侧一端。一定范围额长度可是固定的值,也可是动态变更的值。例如,一定范围的长度可是水平线的整体长度的1/n。在此,n可是1以上的实数。并且,一定范围可显示m个像素。在此,m可是1以上的自然数。适当的n的值或m的值根据实验可被决定。例如,识别部111根据实际人行横道之反复的白色区域和黑色区域在影像内按多大尺寸进行显示,可决定n的值或m的值。最小-最大滤波器可将特定像素610的颜色值与特定像素610相关的最大值和最小值的平均值进行比较。最小-最大滤波器根据上述的比较结果可将特定像素610的颜色值的二进制值决定为第一二进制值和第二二进制值中的一个。例如,识别部111当特定像素610的颜色值是平均值以上时,可将特定像素610的颜色值的二进制值决定为第二二进制值,且当特定下像素的颜色值小于平均值时,可将特定像素610的颜色值的二进制值决定为第一二进制值。并且,识别部111可将特定像素610的颜色值表示的第一亮度与平均值表示的第二亮度进行比较。识别部111当第一亮度是第二亮度以上时,将特定像素610的颜色值的二进制值设定为表示白色的二进制值,且当第一亮度小于第二亮度时,将特定像素610的颜色值的二进制值设定为表示黑色的二进制值。图7是示出用于说明通过适用最小-最大滤波器而生成的图案的示例图。在图7的图表700中,示出了中心线710、显示水平线内的各个像素的颜色值的第一线720、显示与水平线内的各个像素相关的最小-最大滤波器的平均值的第二线730、以及显示水平线内的各个像素的二进制化的颜色值得第三线740。第三线740内的各点具有第一二进制值和第二二进制值中的一个二进制值。第一线720的各点与第三线740内的具有相同坐标的点相对应。第一线720的各点可显示水平线内的各个像素的二进制化的颜色值。第三线740内的各点可显示水平线内的各个像素的二进制化的颜色值。第二线730的各点可显示与水平线内的各个像素相关的最小-最大滤波器的颜色值。第一线720、第二线730和第三线740各个内的点可显示与上述点的水平坐标相对应的像素。点的图表700内的高度可显示对应的像素的颜色值。根据最小-最大滤波器的适用,第一线720的各点中相比第二线730的对应的点而位于更高位置的点,根据二元化,在第三线740内成为具有第二二进制值的点。并且,第一线720的各点中相比第二线730的对应的点而位于更低位置的点,根据二元化,在第三线740内成为具有第一二进制值的点。在第一线720的各点中示出了与参考图5所述的异常点550相对应的异常点750。通过适用最小-最大滤波器,异常点750即使具有相对高的颜色值,但仍具有低于最小-最大滤波器的平均值的值。因此,在第三线740内与异常点750相对应的点具有第一二进制值。结果来讲,第三线740具有由具有一定幅度的第一二进制值与具有一定幅度的第二二进制值周期性反复而形成的波形。将第一二进制值的幅度命名为幅度一,且将第二二进制值的幅度命名为幅度二。并且,识别部111可识别周期性反复的波形的整个大小。因此,识别部111在二进制化的水平线内可检测出显示人行横道的图案。在此,二进制化的水平线意味着水平线内的各个像素被二进制化。即,二进制化的水平线可是前述的第三线740。所述的图案可具有特定的第一设定值以上的幅度,且可具有按特定第二设定值以上的次数反复的四角波形的形态。在此,幅度可意味着幅度1和幅度2中的一个以上。反复可意味着按连续的第一二进制值与连续的第二二进制值形成的周期的反复。在第三线740中示出周期为六次反复。例如,识别部111在二进制的水平线内当按具有十个以上的第一二进制值得像素和具有十个以上的第二二进制值得像素构成的周期反复四次以上时,所述的二进制化水平线可识别显示人行横道,且检测出人行横道。前述的水平线可是检测区域内的多个水平线。识别部111通过将多个水平线分别二进制化,可生成多个二进制化的水平线,且通过使用多个二进制化的水平线,可在影像内检测出人行横道。在多个的二进制化水平线中,人行横道可作为四角形的黑色模块与白色模块反复的形态而显示。因此,为了检测出人行横道所使用的图案可是按第一二进制值和第二二进制值构成的二维平面图案。图案可具有第三设定值以上的高度和第二设定值以上的宽度,且可具有按第五设定值以上的次数反复的黑色和白色的四角波形的形态。接着,针对识别人行横道上的行人的技术进行说明。图8是根据本发明一个实施例之示出行人识别方法的顺序图。根据一个实施例的行人识别方法可根据经由图1说明的识别部111执行各个步骤。在步骤810中,识别部111可按用于行人识别的输入影像输入接收照相机影像。并且,识别部111针对输入影像可初始化用于行人识别的变数。在步骤820中,识别部111在输入影像中可将行人识别影像设定为用于行人识别的关注区域。在此,行人识别区域可基于意味着能识别行人距离的行人可识别距离而进行设定。作为一个示例,识别部111在三维的实际空间中可将能识别行人的最大距离(例如,30m)按利用h-矩阵(matrix)从照相机中输入的影像进行透明进而生成行人识别区域。在此,h-矩阵可是按内部参数(intrinsicparameter)与外部参数(extrinsicparameter)构成的3x4矩阵,在此,内部参数可意味着拍摄影像的照相机的内部信息和与误差等信息相关的参数,外部参数可意味着拍摄输入影像的照相机在三维的实际坐标系中从原点起的距离和旋转等信息所相关的参数。例如,内部参数可包括镜头畸变(distortion)、焦点长度(focallength)、图像中心(imagecenter)等,外部参数可包括在三维的实际坐标系中照相机的移动距离、旋转角度等。在步骤830中,识别部111可在行人识别区域中抽取显示行人的特征矢量。影像内的关注客体判别行人与否的方法多样,代表性的影像特征有方向梯度直方图(hog,histogramoforientedgradient)、局部二进制模式(lbp,localbinarypattern)、haar-like、尺度不变特征转换(sift,scaleinvariantfeaturetransform)、以及修改统计变换(modifiedcensustransform)等。例如,hog特征抽取方法将行人识别区域按块(block)进行构成进而在块内按划定的多个单元(cell)进行分割后,在各单元内计算各像素间的倾斜度,通过与倾斜度相关的直方图制成hog特征矢量。在制成的hog特征矢量中分析最优势的倾斜度且若分析的最优势的倾斜度具有人的形状,则可判断在该块中存在行人。在步骤840中,识别部111利用适用了特征矢量的机器运行算法进而在行人识别区域中识别行人。作为一个示例,识别部111利用适用了特征矢量的adaboost算法和支持向量机(svm,supportvectormachine)算法进而可检测出行人。如此,作为用于行人识别的方法,可适用学习数据抽取过程。此时,学习数据抽取过程指的是在与要识别的物体相关的数据(positivedata)中能代表物体的信息(与周边的亮度差异、边界值的分布等),即抽取特征矢量进行学习的过程。为了检测出行人,在整个影像中移动预先决定的大小的块,且与预先学习的行人块的特征矢量进行比较。若预先学习的行人块的特征矢量与影像内块的特征矢量类似,则可将其检测为行人。现有大量使用的识别与分类算法即adaboost学习分类方法是在检测出具有行人、车辆、脸之块形状的模样的物体的领域中广泛使用的算法。并且,识别部111在行人识别区域中针对检测出的行人适用卡尔曼滤波器(kalmanfilter)可追踪行人。卡尔曼滤波器是利用对象系统的概率性模型与测定值来查询系统的状态变数的最佳推定技法。在通过卡尔曼滤波器追踪关注物体之后,在互相接近位置的窗口适用聚类(clustering)技法除去重复的区域进而可适用按一个窗口进行处理的方法。接着,针对识别前方车辆(前车)的技术进行说明。图9是根据本发明一个实施例之示出前方车辆识别方法的顺序图。根据一个实施例的前方车辆识别方法可根据通过图1说明的识别部111执行每个步骤。在步骤910中,识别部111输入接收照相机影像进而将输入的照相机影像变换为灰色(黑白)影像。灰色影像变换过程与通过图2和图3说明的步骤210的详细过程相同,因此省略具体的说明。在步骤920中,识别部111在灰色影像中可设置用于检测出前方车辆的关注区域(roi)。关注区域设定过程也与通过图2和图4说明的步骤220的详细过程相同,因此省略具体的说明。在步骤930中,识别部111利用与车辆相关的学习数据可在关注区域中识别前方车辆。为了生成用于前方车辆检测的学习图案,在照相机拍摄的影像中可按正片(positive)影像收集车辆背影显示良好的影像,且按负片(nagative)影像收集与车辆无关的影像。例如,适用adaboost算法可学习按正片影像和负片影像分类的练习数据,且将练习的学习数据按xml文件进行变更后,可将其按用于检测出前方车辆的汽车检测图案进行使用。识别部111在关注区域内适用adaboost算法,在检测出至少一个的车辆候选区域后,通过验证车辆候选区域的过程,可检测出前方车辆。作为一个示例,识别部111在影像中当为车辆时,根据时间的经过,基于明暗积累值若累积则变亮这一点,可验证车辆候选区域。也就是说,识别部111按车辆候选区域类别算出根据时间的明暗积累值,将明暗积累值超过一定临界值的车辆候选区域判断为前方车辆,若非此类区域,则在车辆候选区域中将其除去。作为另一个示例,识别部111在一张区域的空间区域中利用与前方车辆的距离比例,可验证车辆候选区域。前方车辆之情形,利用随着车间距离变远而车辆的左右宽度变窄且随着车间距离变近而车辆的左右宽度变宽这一特性即空间性比例特性,可获取根据车辆位置的距离比例的实验值。即,识别部111按车辆候选区域类别分别算出大小比例后,车辆候选区域的大小比例若与根据车辆位置的距离比例的实验值相对应,则可将其判断为前方车辆,若非此类区域,则在车辆候选区域中将其除去。根据另一个示例,识别部111在关注区域内检测出车道线后,以检测出的车道线为基准,通过与一前方车辆的距离比例可验证车辆候选区域。为此,识别部111在与关注区域相对应的灰色区域适用坎尼算法可获得检测出的边缘影像。并且,识别部111针对边缘影像,适用霍夫变换算法进而可检测出显示直线的边缘,且可将检测出的直线的位置识别为车道线。此时,识别部111在车辆候选区域中选出在车道线位置中的车辆候选区域后,若选出的车辆候选区域的大小比例与根据车辆位置的距离比例的实验值相对应,则将其判断为前方车辆。作为另一个示例,识别部111在按车辆候选区域检测出的位置中适用先前影像与当前影像的车辆检测频度进而可检测出前方车辆。也就是说,识别部111将车辆候选区域与先前影像相比较,进而可根据车辆候选区域按前方车辆被检测出的检测频度而可判断前方车辆的有无。并且,识别部111针对检测出的前方车辆适用卡尔曼滤波器,通过前方车辆的追踪可识别出发与否。此时,识别部111通过卡尔曼滤波器追踪前方车辆后,在互相位置靠近的窗口适用聚类技法,可在除去重复区域的同时使用按一个窗口进行处理的方法。最后,识别信号灯的交通信号的技术如下。识别部111可识别位于自身车辆前方的信号灯与信号灯的交通信号。作为一个示例,识别部111通过利用用于识别前述人行横道、车道线、行人、前方车辆等的影像分析技术,利用照相机影像可识别出影像内信号灯与信号灯的亮灯状态。信号灯的亮灯状态可区分为用于车辆停车的红色和黄色以及用于车辆行驶开始的绿色信号等。作为另一个示例,识别部111可按识别光的波长的方法识别信号灯的交通信号。例如,识别部111通过感应可视光线区域内的固有波长的传感器可感应信号灯的红色波长信号和蓝色波长信号。在将感应的信号灯的波长信号按固有的数字值进行变换后,通过将变换的数字值与事先定义的波长带区域设定值相比较,可判断信号灯的亮灯状态。比较的结果,若感应的波长信号与65至70的波长带区域相对应,将当前识别的信号灯识别为红色信号,当与45至55波长带区域相对应,则将其判断为绿色信号。上述虽然针对(1)人行横道识别方法、(2)行人识别方法、(3)前方车辆识别方法、(4)信号灯识别方法说明了具体的实施例,但其并不限定于此,为了在影像中识别或追踪关注客体,可适用广泛被使用的多种算法。在图1中虽然说明了引导信息提供装置100的内部包括识别部111,但其并不局限于此,也可使用按另外构成而构建的影像分析装置中提供引导信息时获取所需的识别结果而进行活用的方法。在本实施例中,为了提供根据车辆周边情况的引导信息,可使用人行横道识别结果、行人识别结果、前方车辆识别结果、信号灯识别结果中的全部或一部分。此时,在一部分的识别结果中基本上包括人行横道识别结果。图10是根据本发明的一个实施例之示出使用人行横道识别结果的地图映射方法的顺序图。根据一个实施例的地图映射方法根据通过图1说明的提供部112可执行各个步骤。在本发明中利用人行横道识别结果可提供与gps位置相关的引导信息。在步骤1010中,提供部112从人行横道识别结果中确认自身车辆的前方是否存有人行横道。在步骤1020中,提供部112当在自身车辆的前方存在人行横道时,可将该识别结果与导航的实际地图数据信息相比较。作为一个示例,提供部112在导航识别的当前位置的地图数据中判断在临界范围(例如,30m)内是否存在人行横道。在步骤1030中,提供部112可从人行横道识别结果与地图数据信息的比较结果中判断地图映射修正与否。也就是说,提供部112即使在照相机影像中识别出人行横道,若在按当前自身车辆位置映射的地图数据的临界范围内不存在人行横道,也判断为在当前时点中需要对地图映射进行修正。在步骤1040中,提供部112利用人行横道识别结果可修正与自身车辆的当前位置相关地图映射位置。以人行横道识别结果为基准针对自身车辆的位置,当接收gps信号的gps接收位置超出误差范围时,重新执行与gps接收位置相关的地图映射。例如,即使提供部112从照相机影像中识别出人行横道,但若地图数据上的临界范围内不存在人行横道,可按与gps的方向矢量最接近的位置对与自身车辆相关的gps位置信息进行修正。当前导航利用gps在地图上引导自身车辆的当前位置。但,自身车辆位于高楼密集的区域或隧道等阴影地区,根据gps自身的功能,发生gps距离误差,从而发生在导航内不能进行正确位置引导的情况。这种gps距离误差发生大约为30m,但在本发明中将人行横道识别结果与导航的地图数据信息相比较可对与gps位置相关的引导信息进行修正。图11是根据本发明的一个实施例之示出提供与人行横道相关的引导信息的方法的一个示例的顺序图。根据一个实施例之引导信息提供方法根据通过图1说明的提供部112可执行各个步骤。在本发明中利用人行横道识别结果可提供用于引导自身车辆的安全行驶的引导信息。在步骤1110中,提供部112从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。在步骤1120中,提供部112当在自身车辆的前方存在人行横道时,利用基于gps的位置信息以自身车辆的当前位置为基准可确认是否在已设定的特定区域内或是否是与特定区域临近的人行横道。例如,特定区域可包括儿童保护区域、巴士专用车道区域等。在步骤1130中,提供部112当前方的人行横道是与已设定的特定区域无关的人行横道时,作为与人行横道相关的一般性引导信息,可提供在前方显示识别出人行横道的信息以及引导人行横道中的注意之信息。在步骤1140中,提供部112当前方的人行横道位于特定区域内或是与特定区域临近的人行横道时,作为与一般性引导信息想区分的更强力的引导信息,可在前方提供显示出识别出人行横道和特性区域之信息。尤其,提供部112在前方的人行横道中可提供临时停车后引导出发的信息(例如,“前方是学校区。敬请在人行横道前停车三秒进而确认周边后再出发”之通知)。为了在当前特定区域(例如,学校区等)的人行横道中减少事故,可适用视线引导灯、减速带、之字形车道线等多种方法。但这种方法作为视野信息具有驾驶人要直接分析和识别的问题。对此,在本发明中为了更有效地辅助驾驶人的判断,将导航的位置信息与照相机影像中分析的人行横道识别信息相融合,当为特定区域的人行横道时,提供停车后出发通知,可引导安全驾驶。并且,提供部112通过提供在前方显示识别出人行横道的信息之方法,与告知在前方存有人行横道的语音引导一起,可在导航画面上按闪烁或强调等的视野性形态表示出人行横道信息。因此,为了白天和夜间在存有人行横道的地方安全行驶而向驾驶人提醒注意,可导航直接表示出人行横道以及提供注意引导,且通过此在夜间行驶时驾驶人可更容易识别人行横道进而可在人行横道中防因不注意引起的事故为未然。图12是根据本发明一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的提供部112可执行各个步骤。在本发明中,利用人行横道识别结果和行人识别结果,可提供用于引导安全驾驶的引导信息。在步骤1210中,提供部112从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。在步骤1220中,提供部112当在自身车辆的前方存在人行横道时,从行人识别结果中可确认在人行横道中是否存有行人。在步骤1230中,提供部112当前方的人行横道不存在行人时,作为与人行横道相关的一般性引导信息,可提供在前方显示识别出人行横道的信息以及引导人行横道中的注意之信息。在步骤1240中,提供部112当在前方的人行横道中存在行人时,作为更强力的引导信息可提供在前方显示识别出人行横道的信息以及示出在人行横道中存有行人的信息。尤其,提供部112作为引导与行人相关的强力注意之信息可输出与一般性引导信息相区别形态的引导信息。此时,提供部112若在人行横道中识别出行人,与作为与行人相关的引导信息之强力的警告音一起,可在导航画面上按闪烁或强调等的视野性形态来表示出存有行人。并且,作为本发明的另一个实施例,在步骤1240中,提供部112当在人行横道中检测出行人时,经由能控制车辆的加速/减速以及刹车灯的电子控制单元(ecu,electroniccontrolunit)传送信号,可使车辆刹车或减速。上述ecu也可是本发明的处理器110。进一步,提供部112不仅针对人行横道中识别的驾驶人而且针对自身车辆前方识别的所有行人,可提供引导信息,并且此时也可区分其他道路(例如,行人道路)的行人与人行横道中的行人相关的引导信息从而进行提供。作为一个示例,提供部112相比行人道路中的行人针对人行横道中的行人可提供更强力的引导信息。图13是根据本发明一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的提供部112可执行各个步骤。在本发明中,利用人行横道识别结果和前方车辆识别结果,可提供用于引导自身车辆的安全驾驶的引导信息。在步骤1310中,提供部112利用自身车辆的当前位置或传感器感应值等可确认自身车辆的停车与否。在步骤1320中,提供部112当自身车辆当前处于停车状态时,从前方车辆识别结果中可确认出自身车辆的前方前方车辆有无。在步骤1330中,提供部112根据前方车辆识别结果包括的前方车辆的追踪结果,可确认前方车辆的出发与否。在步骤1340中,提供部112若识别前方车辆的出发,从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。在步骤1350中,提供部112当在自身车辆的前方无人行横道时,通过前方车辆出发通知,作为与前方车辆出发相关的一般性引导信息,可提供显示前方车辆出发的信息。在步骤1360中,提供部112当在自身车辆的前方有人行横道时,解除前方车辆出发通知,或作为更强力的引导信息提供在前方显示出识别人行横道的信息。作为一个示例,提供部112当在自身车辆的前方有人行横道时,通过通知解除,即使前方车辆出发,也不提供与前方车辆出发相关的通知。作为另一个示例,提供部112作为引导与人行横道相关的强力注意的信息可输出与一般性引导信息相区分的形态的引导信息。此时,提供部112即使前方车辆出发若在前方识别人行横道,作为与人行横道相关的引导信息,可与强力的警告音一起,在导航画面上以闪烁或强调等的视野性形态表示出存在人行横道。因此,本发明在自身车辆停车的环境下针对前方车辆的出发提供引导信息时,在存有人行横道和不存有人行横道时刻不同表现进而提供两者间的引导信息。这是为了保护自身车辆与前方车辆间的人行横道中行人的安全。图14是根据本发明一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的提供部112可执行各个步骤。在本发明中,利用人行横道识别结果和信号灯识别结果,可提供用于引导自身车辆的安全驾驶的引导信息。在步骤1410中,提供部112利用自身车辆的当前位置或传感器感应值等可确认自身车辆的停车与否。在步骤1420中,提供部112当自身车辆当前处于停车状态时,从信号灯识别结果中可确认出信号灯的信号变更与否。在步骤1430中,提供部112若识别信号灯的信号变更,可从人行横道识别结果中确认自身车辆的前方是否存在人行横道。在步骤1440中,提供部112当在自身车辆的前方无人行横道时,通过信号灯变更通知,作为与信号灯变更相关的一般性引导信息,可提供显示出信号灯的交通信号变更之信息。在步骤1450中,提供部112当在自身车辆的前方有人行横道时,作为更强力的引导信息提供在前方显示出识别人行横道的信息。尤其,提供部112作为引导与人行横道相关的强力注意的信息可输出与一般性引导信息相区分的形态的引导信息。此时,提供部112即使前方车辆出发若在前方识别人行横道,作为与人行横道相关的引导信息,可与强力的警告音一起,在导航画面上以闪烁或强调等的视野性形态表示出存在人行横道。更进一步,提供部112以人行横道识别结果和信号灯识别结果为基础,当自身车辆在人行横道前停车后,当在信号灯的信号变更前出发时,可提供与不注意相关的警告性引导信息。因此,本发明在自身车辆停车的环境下针对信号灯的信号变更提供引导信息时,在存有人行横道和不存有人行横道时刻不同表现进而提供两者间的引导信息。通过此,向首先与信号灯的交通信号反应的驾驶人提供给强力的通知,以能使人行横道周边的安全驾驶变得更注意。以包括人行横道的各种识别结果为基础而做出的引导信息,可按音频广告或次低音等听觉输出形态,或者导航画面上的视觉输出形态等而提供,也可按组合一个以上的输出要素的形态来提供,或者可变输出要素的方式根据周边情况区分进而提供信息。根据本发明实施例的方法可通过多种计算机系统能执行的程序命令形态而实现进而可记录在计算机可读媒介中。并且,根据本实施例的程序可按基于计算机的程序或移动终端专用的应用程序而构成。如此,根据本发明的实施例,通过识别前方的人行横道进而视听性表现出人行横道识别结果,通过人行横道的识别与注意提醒可引导驾驶人的安全驾驶。并且,根据本发明的实施例,通过将人行横道识别结果与地图数据进行比较进而修正与自身车辆相关的地图映射位置,可最小化导航的地图映射错误进而提高与位置引导相关的用户信赖度。尤其,根据本发明的实施例,根据人行横道上的行人或前方车辆、与信号灯的信号状态相关的识别结果,通过区分进而提供引导信息,可准确并具体告知周边情况,从而可提醒驾驶人并与驾驶人的安全行驶一起,可保证人行横道中的行人安全。根据本发明实施例的方法可通过多种计算机系统能执行的程序命令形态而实现进而可记录在计算机可读媒介中。并且,根据本实施例的程序可按基于计算机的程序或移动终端专用的应用程序而构成。如上说明的装置可通过硬件构成要素、软件构成要素、和/或硬件构成要素与软件构成要素的组合而实现。例如,实施例中说明的装置和构成要素,例如,如处理器、控制器、算术逻辑单元(alu,arithmeticlogicunit)、数字信号处理器(digitalsignalprocessor)、微型计算机、现场可编程阵列(fpa,fieldprogrammablearray)、可编程逻辑单元(plu,programmablelogicunit)、微处理器、或可执行命令并应答的其他任意装置,可利用一个以上的法用计算机或特殊目的计算机而实现。处理装置可执行运行系统(os)和上述运行系统中执行的一个以上的软件应用程序。并且,处理装置与软件的执行相应答,进而可访问、存储、操作、处理和生成数据。为了便于理解,处理装置虽然存在按使用一个而进行说明的情况,但相关
技术领域
:中具有通常知识的人员可知悉处理装置可包括多个处理要素和/或多个类型的处理要素。例如,处理装置可包括多个处理器,或一个处理器与一个控制器。并且也可为如并行处理器(parallelprocessor)之其他处理构成(processingconfiguration)。软件可包括计算机程序(computerprogram)、编码、命令、或其中一个以上的组合,且可按希望进行的操作而构成处理装置,或独立或联合(collectively)命令处理装置。软件和/或数据,根据处理装置被解析或为了向处理装置提供命令或数据,可在任何类型的机器、构成要素、物理装置、虚拟装置(virtualequipment)、计算机存储媒介或装置、或传送的信号波(signalwave)中永久性或临时性地进行具体化(embody)。软件分散在与网络连接的计算机系统中,进而可以分散的方法进行存储或执行。软件和数据可存储在一个以上的计算机可读写记录媒介中。根据实施例的方法可按通过各种计算机设备能执行的程序命令形态而实现进而可被记录在计算机可读写媒介中。上述计算机可读写媒介可单独或组合包括程序命令、数据文件以及数据结构等。记录在上述媒介中的程序命令可是为了实施例而特别设计构成的或是对计算机软件技术人员来说已为公知而使用的。计算机可读写记录媒介的示例可包括如硬盘、软磁盘和磁带之磁性介质(magneticmedia);如cd-rom、dvd之光介质(opticalmedia);如光磁软盘(flopticaldisk)之磁光介质(magneto-opticalmedia);以及如rom、ram和闪存(flashmemory)之为存储并执行程序命令而特别构成的硬件装置。程序命令的示例不仅包括依编程人员编写的机器语言代码而且也包括使用解释器(interpreter)等根据计算机可实行的高级语言代码。上述硬件装置可按为执行实施例的操作而运行作为一个以上的软件模块进行构成,反之也相同。如上所述,虽然根据实施例所限定的实施例和附图进行了说明,但对本
技术领域
:具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如,根据与说明的技术中所说明的方法相不同的顺序来进行,和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合,或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。因此,其他具体体现、其他实施例以及与权利要求范围相均等的都属于所述的权利要求所保护的范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1