专利名称：全周鸟瞰图像距离界面产生方法与系统的制作方法
技术领域：
本发明涉及一种图像处理技术，尤其是指一种全周鸟瞰图像距离界面产生方法与 系统。
背景技术：
图像辅助驾驶的技术已经行之有年，然而现有的图像辅助驾驶的技术中，多半是 撷取图像之后，直接显示给使用者。虽然有可取之处，但是随着图像撷取单元的数量增加， 在一个显示器中显示多个图像，对于驾驶者而言反而是一种视觉负担。因此，鸟瞰图像的重 组技术便应运而生。在先进安全车辆的设计中，以利用架设于载具周围的相机发展图像式 的全周鸟瞰辅助驾驶系统，为近年来各车厂及车辆系统商的主要研发技术。通过图像转换 与处理，将一般图像撷取单元所撷取的图像进行鸟瞰转换，再予以拼接组合以形成的全周 鸟瞰图像，可以提供驾驶者参考，进而提升驾驶的安全性。然而要将各个位置的环境图像重组形成鸟瞰图像的其中之一要件就是要如何决 定在相邻的两的图像撷取单元所撷取的图像中共同重迭的区域所形成的图像。在现有技术 中，如美国公开号US. Pub. No. 2007/0003108公开一种鸟瞰图像处理技术，在该技术中对于 两相邻图像的结合之间则具遮罩线作为相邻图像间的区隔。因此在该技术中，对于图像无 缝接合的技术并无相关的公开。对于这类的技术，由于载具各方向所取得的图像没有做完 整的接合动作，因此可能需要在两两图像重迭区域范围内，辅以车用超音波雷达感测器来 达到警示效果，但如此可能在成本上是一额外负担。此外在美国公开号US. Pat. No. 2006/0202984则教导针对相机架设高度来决定采 用的俯角，产生单一鸟瞰图像后，根据取得的重迭区域去裁切出全周鸟瞰图像，最后利用载 具移动关系去模拟出较大的全周鸟瞰画面进行布局。日本特开平2008-048317则教导一种 当两图像组合时，特征物体重迭的处理方式，该技术根据重迭区域内所出现的物体所占的 比重，来决定该重迭区块采用的相机信息进行布局。也就是说，该技术以权重比高的图像作 为重迭区域的图像，也就是保留权重比高的图像，而删除权重比低图像中的重迭区域部分， 最后拼接成全区域鸟瞰图像。又在美国公开号US. Pat. No. 2009/0097708则教导一种针对 不同的相机架设模式，参考一对应平面后，判断重迭区域的多寡，利用拼接的方式产生接缝 式的全周鸟瞰图像。又如日本特开平2006-121587也公开一种针对不同相机的视野涵盖 范围，去找出重迭区域的位置后，改变不同模式的接缝式的显示模式，进而产生全周鸟瞰图 像。前述这四个专利技术内容主要针对相机的架设位置信息来转换鸟瞰图像后，参考重迭 区域去做接合动作或是用显示模式的选择来决定全周鸟瞰画面的四周信息。另外，又如美国专利US. Pat. No. 7，161,616则公开一种合成鸟瞰图像的技术，该 技术对于重迭区域的图像处理是利用各图像中的对应像素所具有的特征乘上一权值，在除 以权值的总和。
发明内容
本发明提供一种全周鸟瞰图像距离界面产生方法与系统，其是将图像撷取装置所 撷取到关于一载具的环境图像进行组合以形成一鸟瞰图像，并且于该鸟瞰图像上设置关于 距离估侧的辅助标志以辅助载具驾驶者参考，避免碰撞或影响安全的情事发生。本发明提供一种全周鸟瞰图像距离界面产生方法与系统，其针对不同载具搭配不 同视野涵盖范围的相机，利用校正技术和鸟瞰转换演算法法则，辅以已知的地平面特征点 信息，达到全周鸟瞰无接缝式的画面呈现技术，让使用者完整掌握载具移动时，载具的运动 方向状态和周围环境完整的对应关系，以避免接缝处造成使用者在驾驶时的误判。在一实施例中，本发明提供一种全周鸟瞰图像距离界面产生方法，其包括有下列 步骤提供多张环境图像；转换该多张环境图像并组合形成一全周鸟瞰图像；以及在该全 周鸟瞰图像中产生关于距离的一辅助标志图像。在另一实施例中，本发明还提供一种全周鸟瞰图像距离辅助显示系统，包括多个 图像撷取单元，其分别设置于一载具的不同位置上，每一图像撷取单元产生一环境图像；一 控制单元，其接收该多张环境图像，该控制单元对该多张环境图像进行视角转换以形成一 全周鸟瞰图像信号，该控制单元更产生关于距离的一辅助标志图像信号；以及一显示单元， 其设置于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰图像信号以及该辅 助标志图像信号，并显示对应该全周鸟瞰图像信号的全周鸟瞰图像以及在该全周鸟瞰图像 形成对应该辅助标志图像信号的一辅助标志。
图1为全周鸟瞰图像距离界面产生方法流程示意图。图2为本发明的全周鸟瞰图像距离界面产生方法实施例流程示意图。图3A为各个图像撷取单元所撷取的图像示意图。图;3B为各个环境图像转换成鸟瞰图像示意图。图3C为鸟瞰图像中的特征点示意图。图3D为相邻两鸟瞰图像调整示意图。图3E是经过图像处理之后所形成的全周鸟瞰图像示意图。图3F所示的全周无接缝的鸟瞰图像。图4为本发明的寻找重迭区域流程示意图。图5为本发明的权重运算流程示意图。图6A为为载具于实际空间中示意图。图6B与图6C为辅助标志不同实施例示意图。图7A与图7B为本发明的全周鸟瞰图像无缝接合系统实施例示意图。主要元件符号说明2-全周鸟瞰图像距离界面产生方法20 22-步骤210 213-步骤2110 2112-步骤2120 2122-步骤
3-全周鸟瞰图像无缝接合系统30-图像撷取单元31-控制单元310-图像接收接口311-运算处理单元312-图像输出接口313-存储器模块3130-静态随机存取存储器3131-快闪存储器314-电源接口315-载具信号接口32-显示单元320-人机接口40、41、42_图像撷取范围43-物体90-载具900 903-图像撷取单缘91 94-环境图像91a 94a-鸟瞰图像910、940-物体95、96-图像撷取范围97-重迭区域98-全周无接缝的鸟瞰图像980、981-辅助标志982-图像重合区域
具体实施例方式为使本领域技术人员能对本发明的特征、目的及功能有更进一步的认知与了解， 下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明，以使得本领域技术 人员可以了解本发明的特点，详细说明陈述如下请参阅图1所示，全周鸟瞰图像距离界面产生方法流程示意图。该方法包括有 下列步骤，首先以步骤20，提供多张环境图像。该环境图像为可以为关于一载具的周围环 境图像。该载具可以为可动的移动载具，例如车辆。而产生该多张环境图像的方式，可 以在该载具的不同位置上分别设置多个图像撷取单元，例如电耦合感测元件(charged coupled device, CCD)或者是金属互补式金属-氧化层-半导体(complementary metal oxidesemiconductor,CMOS)的感光元件，也可为一照相机或摄影机。通过该多个图像撷取 单元分别撷取该载具周围的环境图像。以形成如图3A的状态，图3A为各个图像撷取单元所 撷取的图像示意图。在图3A中，载具90上的前、后、左与右各设置有一图像撷取单元900 903，其分别所撷取环境图像91 94。
再回到图1所示，接着进行步骤21，转换该多张环境图像并组合形成一全周鸟瞰 图像。如图2所示，该图为形成全周鸟瞰图像流程示意图。形成全周鸟瞰图像的方法还包 括有下列步骤。首先，以步骤210对该多张环境图像进行视角转换以形成多张局部鸟瞰图 像。在本步骤中，主要是为由架设于不同位置的图像撷取单元所取得的环境图像后，利用校 正技术消除鱼眼、变形或者是透视的效应，然后将各个环境图像转换成鸟瞰平面的鸟瞰图 像，以形成图3B所示的状态。在图:3B中，鸟瞰图像91a 94a，分别对应该载具之前、后，左 与右侧的环境图像91 94。至于消除与眼以及转换成鸟瞰图像的图像处理技术属于现有 的技术，在此不作赘述。再回到图2所示，接着进行步骤211，取得相邻两局部鸟瞰图像所具有的一重迭区 域。如图3A所示，以图像撷取单元900与903为例，图像撷取单元900与903所具有的图 像撷取范围95与96具有重迭的部分，也就是说，关于该载具的环境图像91与94中会具有 重迭的物体。因此，在图3B中，经过鸟瞰视角转换所形成的相邻的鸟瞰图像，例如鸟瞰图 像91a与93a、鸟瞰图像91a与94a、鸟瞰图像9 与93a以及鸟瞰图像9 与94a间会有 重迭的区域。因此，通过步骤211可以将重迭区域找出。请参阅图4所示，该图为本发明的 寻找重迭区域流程示意图。首先以步骤2110，决定一参考平面。在本步骤中，该参考平面可 以为地平面为主，但不以此为限。接着进行步骤2111，在该相邻的鸟瞰图像中寻找出，落于 该参考平面上且相互对应的至少一特征点。如图3C所示，该图为鸟瞰图像中的特征点示意 图。在图3C中，在鸟瞰图像91a与94a中，分别具有对应的物体910与940，而物体910与 940上则可以寻找出落于参考平面上的特征点Pl与P2以及ΡΓ与P2’。要说明的是，该特 征点可为图样、线条、文字，但不以此为限。个别寻找出对应的特征点之后，再来进行步骤2112，对该两相邻的鸟瞰图像进行 图像的几何调整，使两相邻的鸟瞰图像中相对应的该至少一特征点的对应误差最小。该误 差为该两相邻的鸟瞰图像中相对应的至少一特征点所具有的特征信息差值的平均平方和， 其可以表示成如下式(1)所示
「■。ιΣ [^1 ) ~ ^2 (p2/)] -^rh M , 、其中 P2i = MrigidCqli)......(1)
err =—--
η式⑴之中假设共有η个特征点，配合图3C所示，其中qii为图像特征点i在鸟瞰 图像91a的位置，而p2i为图像特征点i在鸟瞰图像94a的位置。MHgid(x)是一图像转换机 制，在本实施例中包括图像旋转、位移及缩放，IjOO为第j张鸟瞰图像中的在坐标χ的位置 中所对应的特征点所具有的特征信息，在本实施例中，该特征信息包括亮度及色彩。如图3D 所示，该图为相邻两鸟瞰图像调整示意图。在不同的调整位置下，都会对应有一个err值， 当该err值最小时，即是代表鸟瞰图像91a与94a的特征点Pl与P2以及P1’与P2’几乎 重迭在一起。在err最小时所对应的相邻两鸟瞰图像的迭合状态则如图3E所示。此时，需 限区域即为相邻两鸟瞰图像91a与94a的重迭区域97。基于前述的方式，也可以寻找出相 邻鸟瞰图像91a与93a、鸟瞰图像9 与93a以及鸟瞰图像92a与94a间的重迭区域。请参阅图2所示，界定出重迭区域之后，随后进行步骤212，通过多次权重运算以 得到每一相邻两鸟瞰图像间的一迭合图像。为了让将来这些重迭区域在图像组合之后可以 贴近反应载具周围的状态，并免死角的产生，通过必须通过步骤212利用权重运算的方式，将两张鸟瞰图像相互重迭的区域整合成单一的重迭图像。如图5所示，该图为本发明的权 重运算流程示意图。每一次的权重运算还包括有利用步骤2120，求得每一迭合图像中的每 一迭合像素与该重迭区域中关于该两相邻重迭图像的一边界距离。本步骤的意义在于，假 设重迭区域97为该迭合图像的范围，因此重迭区域内的每一个像素与该重迭区域于该两 相临鸟瞰图像间的边界上可以求得一距离。如图3E所示，该重迭区域97内的迭合像素P3 与重迭区域97于鸟瞰图像91a与94a的边界970与971间分别具有一距离d2与dl。
再回到图5所示，接着进行步骤2121，根据该边界距离决定关于该每一迭合图像 的两相邻鸟瞰图像所分别具有的一第一权重以及一第二权重。如下式( 与( 所示，
权利要求
1.一种全周鸟瞰图像距离界面产生方法，其包括有下列步骤 提供多张环境图像；转换该多张环境图像并组合形成一全周鸟瞰图像；以及 在该全周鸟瞰图像中产生关于距离的一辅助标志图像。
2.如权利要求1所述的全周鸟瞰图像距离界面产生方法，其中形成该全周鸟瞰图像还 包括有下列步骤对该多张环境图像进行视角转换以形成多张局部鸟瞰图像； 取得相邻两局部鸟瞰图像所具有的一重迭区域；通过多次的权重运算以得到每一相邻两局部鸟瞰图像间的一迭合图像；以及 将该多张局部鸟瞰图像中所具有的非重迭图像以及相邻局部鸟瞰图像间的迭合图像 进行组合以得到该全周鸟瞰图像。
3.如权利要求2所述的全周鸟瞰图像距离界面产生方法，其中每一次权重运算还包括 有下列步骤求得每一迭合图像中的每一迭合像素与该重迭区域中关于该两相邻重迭图像的一边 界距离；根据该边界距离决定关于该每一迭合图像的两相邻鸟瞰图像所分别具有的一第一权 重以及一第二权重；以及将该两相邻鸟瞰图像中对应该迭合像素的像素所分别具有的一图像特征以及该第一 权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征。
4.如权利要求3所述的全周鸟瞰图像距离界面产生方法，其中该图像特征为亮度以及 色彩。
5.如权利要求3所述的全周鸟瞰图像距离界面产生方法，其中决定该重迭区域还包括 有下列步骤决定一参考平面；在该相邻的鸟瞰图像中寻找出，落于该参考平面上且相互对应的至少一特征点；以及 对相邻的两鸟瞰图像进行调整，使两相邻的鸟瞰图像中相对应的该至少一特征点的对应误差最小。
6.如权利要求5所述的全周鸟瞰图像距离界面产生方法，其中该特征点为该鸟瞰图像 中的线条、图样或者是文字信息。
7.如权利要求5所述的全周鸟瞰图像距离界面产生方法，其中该调整方式为通过旋 转、缩放或平移的方式进行调整。
8.如权利要求5所述的全周鸟瞰图像距离界面产生方法，其中该误差为该两相邻的鸟 瞰图像中相对应的至少一特征点所具有的特征信息差值的平均平方和。
9.如权利要求8所述的全周鸟瞰图像距离界面产生方法，其中该特征信息为亮度或色彩。
10.如权利要求1所述的全周鸟瞰图像距离界面产生方法，其还包括有将该全周鸟瞰 图像以及该辅助标志图像传递至一图像显示单元以进行显示的步骤。
11.如权利要求1所述的全周鸟瞰图像距离界面产生方法，其中该多张环境图像利用 设置于一载具上不同位置的图像撷取单元撷取该载具周围环境的图像而得。
12.如权利要求1所述的全周鸟瞰图像距离界面产生方法，其中该载具为车辆。
13.如权利要求1所述的全周鸟瞰图像距离界面产生方法，其中该辅助标志图像为一 框线图像或者是具有一刻度格线的图像。
14.一种全周鸟瞰图像距离辅助显示系统，包括多个图像撷取单元，其分别设置于一载具的不同位置上，每一图像撷取单元产生一环 境图像；一控制单元，其接收该多张环境图像，该控制单元对该多张环境图像进行视角转换以 形成一全周鸟瞰图像信号，该控制单元还产生关于距离的一辅助标志图像信号；以及一显示单元，其设置于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰 图像信号以及该辅助标志图像信号，并显示对应该全周鸟瞰图像信号的全周鸟瞰图像以及 在该全周鸟瞰图像形成对应该辅助标志图像信号的一辅助标志。
15.如权利要求14所述的全周鸟瞰图像距离辅助显示系统，其中该多个图像撷取单元 分别设置于该载具的前、后、左与右侧上。
16.如权利要求14所述的全周鸟瞰图像距离辅助显示系统，其中该控制单元还包括有一图像接收接口，其接收该多个环境图像；一运算处理单元，其接收该多个环境图像，以对该多个环境图像进行处理以形成该全 周鸟瞰图像信号；一存储器模块，其与该运算处理单元相耦接；以及一图像输出接口，其与该运算处理单元以及该显示单元相耦接，以将该全周鸟瞰图像 信号传给该显示单元。
17.如权利要求14所述的全周鸟瞰图像距离辅助显示系统，其中该载具为车辆。
18.如权利要求14所述的全周鸟瞰图像距离辅助显示系统，其中该辅助标志为一框线 或者是具有一刻度格线。
19.如权利要求14所述的全周鸟瞰图像距离辅助显示系统，其中显示单元还显示一人 机操作界面。
20.如权利要求19所述的全周鸟瞰图像距离辅助显示系统，其中该人机操作界面提供 更改该辅助标志的格式。
21.如权利要求11所述的全周鸟瞰图像距离辅助显示系统，其中该控制单元还具有一 电源接口以接收电压源以及载具信号接口以接收载具所产生的信号。
22.如权利要求11所述的全周鸟瞰图像距离辅助显示系统，其中该图像撷取单元为照 相机或摄影机。
23.如权利要求11所述的全周鸟瞰图像距离辅助显示系统，其该存储器模块还具有一 静态随机存取存储器模块以及一快闪存储器模块。
全文摘要
本发明提供一种全周鸟瞰图像距离界面产生方法与系统，其对不同图像撷取单元所取得的关于一载具的多张环境图像进行组合，以形成一全周鸟瞰图像。然后根据所撷取影之内的图像空间与实体空间中的对应关系，在该鸟瞰图像上形成辅助标志，以辅助载具驾驶者参考，避免碰撞或影响安全的情事发生。
文档编号H04N5/91GK102137247SQ20101010697
公开日2011年7月27日 申请日期2010年1月22日 优先权日2010年1月22日
发明者吴东权, 曾定章, 沈信良, 郑国祥, 黄立恭 申请人:财团法人工业技术研究院