专利名称：利用鸟瞰影像判断障碍物的系统及方法
技术领域：
本发明有关障碍物检测系统，尤其是一种应用于驾驶车辆时所使用的障碍物检测 系统。
背景技术：
摄影机的成本日渐下降，摄影器材现已普遍应用于车辆行车辅助上，然大多仅单 纯被动的提供车辆周围的影像以辅助驾驶者避免事故的发生。由于驾驶者难以同时监视多 个摄影画面，且传统平面影像应用于停车辅助时的视觉死角仍大，因此目前也有业者开发 出可透过安置于车身周围的多个摄影机，将其所取得的多个影像整合并转换其视角而成为 一由车顶俯视的虚拟环场鸟瞰影像系统，此较为符合人眼视觉习惯且也能进一步克服视觉 死角的技术手段。但是，一般环场鸟瞰系统在转换平面影像为环场鸟瞰影像时，因需同时复合多张 影像，因此若于影像重叠区域出现具有高度的物体时，则会因为影像缝合的死角而无法显 示此有高度的障碍物于环场影像上，故此，习知环场影像技术仍有其须改善之处。有鉴于此，为能够检测影像缝合处的障碍物且佐以画面警示或声音警示提醒辅助 驾驶者该处有障碍物，则传统技术多使用雷达或超声波装置来检测障碍物再与摄影影像结 合，以补足习知环场鸟瞰影像技术的缺失。如专利公开号JP2007041791(A)的申请专利所 揭示，一种显示鸟瞰影像的系统及方法，其先以多个摄影机采集车辆四周的影像，将其影像 缝合成一环场鸟瞰影像，以影像得知车辆前、后、左、右附近是否存在障碍物，而为克服在影 像缝合处难以显示具有高度障碍物的问题，该专利则以四个超声波装置检测该死角区域来 解决。但是此种方式虽然可克服上述问题，但相对会增加超声波装置的成本。再者，习知技术中二维鸟瞰环场影像系统多将虚拟视点设定在车辆上方，然而，在 车辆前进、后退或转弯移动时，驾驶者所需要移动方向的影像区域视野大小也自不同，但习 知技术却仅使用一固定虚拟视角的鸟瞰画面，难以符合驾驶者需求。因此，本发明提出一种利用鸟瞰影像判断障碍物系统及方法，可有效解决先前技 术的缺点。
发明内容
本发明的主要目的为提出一种利用鸟瞰影像判断障碍物的系统及方法，其采集具 有重复区域的两张鸟瞰影像，并比较其重复区域影像的相关性以判断具高度的障碍物出现 位置。本发明的另一目的为提出一种利用鸟瞰影像判断障碍物的系统及方法，以鸟瞰影 像直接判断障碍物位置，无须增添雷达或超声波其他障碍物检测仪器，可降低生产/组装 成本。本发明的再一目的为提出一种利用鸟瞰影像判断障碍物的系统及方法，在影像信 号输入时藉由映射表的使用来达到快速转换以节省系统运算时间。
本发明的又一目的为提出一种利用鸟瞰影像判断障碍物的系统及方法，其藉由车 辆行驶状况来搭配一组对应方向盘角度与虚拟摄影机俯视角度的映射表，而输出不同的环 场鸟瞰影像，以提供不同视觉角度的鸟瞰影像给驾驶者。本发明的再一目的为提出一种利用鸟瞰影像判断障碍物的系统及方法，其结合可 变换视角的环场鸟瞰影像与利用鸟瞰影像判断障碍物技术，进而可在转弯或倒车时提供更 具弹性的障碍物检测区域以及鸟瞰视野给驾驶者参考。为达到上述的目的本发明揭示一种利用鸟瞰影像判断障碍物的系统，包含多个影像采集器，其设于一车辆上，该等影像采集器取得多个该车辆周围的影 像；一影像处理器，将该等影像分别转换成多个独立鸟瞰影像，其中二相邻的该独立 鸟瞰影像包含一重复区域；以及一障碍物计算单元，比较二相邻的该独立鸟瞰影像的该重复区域的相关性，由该 相关性来判断是否有障碍物。由架设于车辆上的多个影像采集器采集影像，并透过影像处理器将该等影像转换 为多个独立鸟瞰影像，再由障碍物计算单元比对计算二相邻的独立鸟瞰影像的重复区域以 获得重复区域的相关系数，加以判断该区域是否有障碍物出现；同时影像处理器结合该多 个鸟瞰影像为一车辆环场鸟瞰影像，于摄影区域检测出障碍物时，将障碍物标示于该环场 鸟瞰影像上，藉以提醒驾驶人。此外，本发明也揭示一种利用鸟瞰影像判断障碍物的方法，包括采集一车辆的车 身信号，并选择所对应的映射表，并采集该车辆附近的多个影像，根据该映射表建立一环场 鸟瞰影像，其中二相邻的该影像包含一重复区域；分别将该等影像转换为多个独立鸟瞰影像；判断相邻的该独立鸟瞰影像的该重复区域的相关性；判断该重复区域是否有障碍物；以及 若有该障碍物，将该障碍物标示于该环场鸟瞰影像中。其先采集车身信号以及车身周围多个影像，其中相邻的影像包含一重复区域，并 根据方向盘转角信号挑选出有关空间转换信息的映射表，进行环场鸟瞰影像转换；再将该 等影像分别转换为独立鸟瞰影像；接续，判断相邻的该独立鸟瞰影像的重复区域的相关性； 根据该相关性大小判断该重复区域是否有障碍物存在；最后，若重复区域存在障碍物时则 将此障碍物标示于环场鸟瞰影像中，同时在依据方向盘转角信号调整鸟瞰影像视角以改变 障碍物检测范围。本发明的有益效果在于，改善习知技术在影像缝合处发生因影像死角而无法显示 障碍物的缺点，利用当障碍物存在影像重叠处时进行环场鸟瞰影像转换后必会发生扭曲失 真的特性，进一步转化为判断障碍物位置的手段，将具有重叠摄影的两张原始影像，个别转 换为鸟瞰影像图，在比对两张鸟瞰影像其重复区域的相关性，相关性小者则存在有障碍物， 并分析细部的子区域来精确断定该障碍物位置。由此，本发明省去安装超声波或雷达等其他检测设备，纯粹利用影像技术即可测 得障碍物最近距离。除此之外，为了加强驾驶者行车转弯或后退时的检测范围，在影像转换 技术中，本发明以多个映射表进行环场鸟瞰影像转换，其中每一张映射表包含每一种行车状态下的空间转换信息，所以本发明环场鸟瞰影像的虚拟视角会依照行车状况而变化，且 本系统显示障碍物检测范围也因虚拟视角的变动而改变，为更人性化的行车辅助装置，因 此驾驶者在使用本发明的技术手段时，可获得直行、转弯、后退等状况下不同视角的环场鸟 瞰影像，因而能够更安全地驾驶上路。底下藉由具体实施例配合所附的图式详加说明，当更容易了解本发明的目的、技 术内容、特点及其所达成的功效。
图1为本发明一实施例的系统示意图；图2(a)至图2(e)为本发明影像摄影范围的示意图；图3为计算重复区域的相关系数的示意图；图4为本发明判断无障碍物的环场鸟瞰影像的示意图；图5为本发明判断有障碍物的环场鸟瞰影像的示意图；图6为本发明可变换虚拟视角的环场鸟瞰影像示意图；图7为本发明一实施例的步骤流程图。附图标记说明10_影像采集器；12-车身信号采集器；14-影像处理器；141-映射 表；16-显示器；18-障碍物计算单元；20-警示装置；211 216-重复区域；22-环场鸟瞰 影像；24-车身；28-相关系数、小于0. 5的区域；30-车道线；32-鸟瞰影像缝合线；34， 36-原始影像；38，40-独立鸟瞰影像；381，401-重复区域；42，44-车辆；46-圆筒型障碍物； 48，50-原始影像；52，54-独立鸟瞰影像；521，541-重复区域；60-车身；62-环场鸟瞰影像 范围；64-虚拟视角；66-障碍物。
具体实施例方式本发明主要的技术手段将不同摄影机所采集的影像转换为二独立鸟瞰影像，再对 此二独立的鸟瞰影像的重复区域作相关性比对，而比对结果若其相关性高者则判断该区域 未存在具高度的障碍物；反之，若相关性低者则判断存在具高度的障碍物。以此方法来准确 判断是否存有障碍物与其位置与距离。首先请参考图1，为本发明的一实施例的系统架构图，在本实施例中，以六个设于 车上的影像采集器10来采集车身周围的影像，其中每相邻的影像采集器10所采集的影像 均存在部份重叠的同一区域影像，此区域影像底下统一称为重复区域，而影像采集器10为 电荷耦合元件(CCD)摄影机或互补式金属氧化半导体(CMOS)摄影机。本实施例并配合有车 身信号采集器12以获得行车状况，车身信号包含方向盘转角角度、车速信号或排档信号， 再由影像处理器14接收原始影像以及车身信号所提供的资料。本实施例中主要以方向盘 转角信号来判断车辆转弯情况，因此根据车身的方向盘转角信号，影像处理器14选择正确 合适的映射表141进行影像空间转换，其中映射表141在本实施例执行前已先建立有相关 摄影机位置以及方向盘转角角度的空间转换信息，同时映射表141也纪录有扭曲校正、透 视转换与影像缝合等信息，是以原始影像透过映射表即可快速转换成为多种视角的环场鸟 瞰影像。而影像处理器14将原始影像套入映射表141中并输出适当虚拟视角的环场鸟瞰 图，再将其输出于一显示器16，该显示器16显示该车辆周围的行车辅助线或停车辅助线。
为了进行车身周围障碍物检测，本发明的影像处理器14除了转换一整体的环场 鸟瞰图之外，必须将六张原始影像个别转换为独立鸟瞰影像进而获得六张独立鸟瞰影像后 并比对其重复区域再判断二独立鸟瞰影像的重复区域的影像相关性，以此作为检测障碍物 的手段。其中如果相关性高，表示重复区域未存在具高度的障碍物；反之，如果相关性低，则 表示重复区域存在具高度的障碍物。而本实施例将所测得的障碍物显示其位置于环场鸟瞰 影像上，进一步可加装警示装置20，其可为发光二极体、蜂鸣器或喇叭，以发出警示信号提 醒驾驶者注意障碍物。接续，进一步详细说明本发明如何藉由比对二独立鸟瞰影像的重复区域以判断出 障碍物的技术手段。习知技术先取得车辆四周至少四张原始影像，再经由影像处理合成后 可得一张俯视的环场鸟瞰影像，但是在影像计算处理过程中需将地面视为一平坦平面，也 即只能将具高度的物体视为平面物体而进行影像处理。故，具高度的物体在进行鸟瞰影像 转换时将会发生扭曲现象导致无法获得有效的环场鸟瞰影像，此为习知技术的缺点。而本 发明则应用鸟瞰影像发生扭曲的特征点，来实施本发明检测障碍物的技术。本发明由六个影像采集器10来采集车身周围六个区域的影像，再透过影像处理 器14转换为一环场鸟瞰影像22，其中该影像采集器10为摄影机。请参考图2 (a)，本发明由 安置于车辆24上的第一摄影机与第二摄影机分别采集车身前、后的A区域与B区域；第三 摄影机与第四摄影机分别采集车身24左、右的C区域以及D区域，如图2(b)所示；以及第 五摄影机与第六摄影机分别采集车身24左、右的E区域以及F区域，如图2 (c)所示。其中 上述每两个相邻区域的影像皆具有一重复区域，即如图2(d)中的斜线区域211、212、213、 214、215、216所示，此也为障碍物检测的区域，而该些重复区域经过影像处理缝合后的环场 影像范围则为车身24附近区域22，S卩如图2(e)所示。接续，影像处理器14将上述A、B、C、D、E、F六个区域的原始影像各自转换为独立 鸟瞰影像后再由障碍物计算单元18分别比对两张相邻鸟瞰影像的重复区域，并判断其相 关性。再以图2(a)中的A区域的独立鸟瞰影像与与图2(c)中的E区域的独立鸟瞰影像为 例，此A区域与E区域会包含如图2(e)所示的相同重复区域212。请接续参考图3，图中 f(s，t)代表A区域的重复区域灰阶值，w (s，t)代表E区域的重复区域灰阶值，影像处理器 14将重复区域切割为九个子区域，计算两区域的相对子区域灰阶值的相关系数Y，而相关 系数的计算公式为
权利要求
1.一种利用鸟瞰影像判断障碍物的系统，其特征在于，包含多个影像采集器，其设于一车辆上，该等影像采集器取得多个该车辆周围的影像；一影像处理器，将该等影像分别转换成多个独立鸟瞰影像，其中二相邻的该独立鸟瞰 影像包含一重复区域；以及一障碍物计算单元，比较二相邻的该独立鸟瞰影像的该重复区域的相关性，由该相关 性来判断是否有障碍物。
2.如权利要求1所述的利用鸟瞰影像判断障碍物的系统，其特征在于，更包含车身信 号采集器，其采集该车辆的方向盘转角信号、车速信号或排档信号，该影像处理器根据该车 身信号采集器所采集的信号，转换出一环场鸟瞰影像，该环场鸟瞰影像的虚拟视角随着该 车辆的方向盘转角信号变换。
3.如权利要求2所述的利用鸟瞰影像判断障碍物的系统，其特征在于，该影像处理器 更包含多个映射表，其为有关该车辆的方向盘转角角度以及该等影像采集器的位置的空间 转换信息，且该映射表将该影像进行影像扭曲校正、影像透视转换以及影像缝合，而转换为 该环场鸟瞰影像。
4.如权利要求2所述的利用鸟瞰影像判断障碍物的系统，其特征在于，更包括一显示 器，电性连接该影像处理器，该显示器输出该环场鸟瞰影像，且将该障碍物的位置显示于该 环场鸟瞰影像中，且该显示器显示该车辆周围的行车辅助线或停车辅助线。
5.如权利要求1所述的利用鸟瞰影像判断障碍物的系统，其特征在于，该障碍物计算 单元将二相邻的该独立鸟瞰影像的该重复区域分别切割成多个子区域，并计算二相邻的该 独立鸟瞰影像的该重复区域的该子区域二者的相关系数，而该相关系数的公式为
6.一种利用鸟瞰影像判断障碍物的方法，其特征在于，所述方法包含步骤采集一车辆的车身信号，并选择所对应的映射表，并采集该车辆附近的多个影像，根据 该映射表建立一环场鸟瞰影像，其中二相邻的该影像包含一重复区域；分别将该等影像转换为多个独立鸟瞰影像；判断相邻的该独立鸟瞰影像的该重复区域的相关性；判断该重复区域是否有障碍物；以及若有该障碍物，将该障碍物标示于该环场鸟瞰影像中。
7.如权利要求6所述的利用鸟瞰影像判断障碍物的方法，其特征在于，该环场鸟瞰影 像的虚拟视点根据该方向盘转角信号变换。
8.如权利要求6所述的利用鸟瞰影像判断障碍物的方法，其特征在于，判断二相邻的 该独立鸟瞰影像的该重复区域的该相关性的步骤，更包含将二相邻的该独立鸟瞰影像的该 重复区域分别切割成多个子区域，并计算二相邻的该独立鸟瞰影像的该重复区域的该子区域二者的相关系数，该相关系数的公式为
9.如权利要求6所述的利用鸟瞰影像判断障碍物的方法，其特征在于，该映射表为根 据该车身信号与该等影像采集器位置而建立的空间转换信息。
10.如权利要求6所述的利用鸟瞰影像判断障碍物的方法，其特征在于，该车身信号包 含方向盘转角信号、排档信号或车速信号。
全文摘要
本发明提供一种利用鸟瞰影像判断障碍物的系统及方法，有关利用鸟瞰影像技术来判断车辆周围障碍物的技术，利用安置于不同位置的多个影像采集器分别采集多个车身周围影像，且该多个影像中至少具有一重叠区域，影像处理器将该等影像进行独立鸟瞰影像转换，再由障碍物计算单元比对两张独立鸟瞰影像的重复区域其相关性，由相关性大小判断障碍物是否存在。并且，本发明建构有一组空间转换数据的映射表，该映射表包含车辆的方向盘角度、排档或车速等行车状态资料，因此当行车状态改变时，可经由映射表快速转换出适当视角的环场鸟瞰影像，并透过障碍物计算单元所测得的障碍物位置标示于环场鸟瞰影像上，以利使用者安全驾驶。
文档编号B60R21/00GK101995239SQ20091016174
公开日2011年3月30日 申请日期2009年8月11日 优先权日2009年8月11日
发明者徐子建, 陈加增 申请人:财团法人车辆研究测试中心