一种全景辅助泊车系统、装置及全景图像显示方法

一种全景辅助泊车系统、装置及全景图像显示方法
【专利摘要】本发明实施例提供一种全景辅助泊车系统、装置及全景图像显示方法，方法为车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像；分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变换后的图像发送给处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示。采用本发明实施例提供的方案，在泊车时对于所有车载显示装置都能够显示全景图像。
【专利说明】
一种全景辅助泊车系统、装置及全景图像显示方法
技术领域
[0001] 本发明实施例涉及车辆技术领域，尤其涉及一种全景辅助泊车系统、装置及全景 图像显示方法。
【背景技术】
[0002] 随着汽车产业的不断发展，汽车数量逐年递增。驾驶员在慢速行驶或者泊车时需 要观察车身的周围情况，防止发生刮蹭或者碰撞事件。为了消除车身四周盲区，利用全景成 像技术，使得驾驶员能够看到车身周围各个方向的情况，能够给驾驶员提供安全的驾驶体 验。
[0003] 现有的全景辅助泊车方式主要为采用车辆上的摄像头采集车身周围的图像，并经 过车载显示装置处理后得到全景图像。车载显示装置包括图像采集模块、数字信号处理器 (DSP，Digital Signal Processing)、中央处理器（CPU，Central Processing Unit)和图形 处理器（GPU，Graphics Processing Unit)。其中，图像采集模块接收鱼眼摄像头拍摄的车 辆前后左右的四幅图像，DSP对采集的四幅二维图像进行图像畸变校正、鸟瞰变换，以及将 四幅图像拼接为一幅图像，GPU通过纹理映射将拼接后的二维图像映射到三维碗状模型上， 按照预先设置的视角，在该视角的方向对三维图像进行渲染并显示
[0004] 然而，并不是所有的车载显示装置都具有GPU，对于不支持GPU的车载显示装置， 无法提供全景图像来辅助驾驶员泊车。因此，如何使得不支持GPU的车载显示装置也能够 提供全景图像是亟待解决的问题。

【发明内容】

[0005] 本发明实施例提供一种全景辅助泊车系统、装置及全景图像显示方法，用以解决 现有技术中的不支持GPU的车载显示装置无法提供全景图像的问题。
[0006] 本发明实施例提供一种全景辅助泊车系统，包括：包括：车载显示装置和处理器， 所述车载显示装置包括：图像采集装置、处理单元和显示装置，其中：
[0007] 所述图像采集装置，用于采集车辆前后左右四个方向的摄像头输出的四帧图像；
[0008] 所述处理单元，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换， 将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟 瞰变换后的图像发送给所述处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后 图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维 图像输出给显示装置进行显示；
[0009] 所述处理器，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映 射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每 一个视角方向的三维图像变换为二维图像，并将每一帧所述鸟瞰变换后的图像的像素点坐 标与各视角方向的二维图像的坐标的对应关系发送给所述处理单元；
[0010] 所述显示装置，用于显示所述处理器输出的所述选择的视角方向的二维图像。
[0011] 本发明实施例提供一种全景辅助泊车系统中的处理装置，包括：
[0012] 获取单元，用于获取车载显示装置处理得到的与车辆前后左右四个方向的摄像头 输出的四帧图像对应的四帧鸟瞰变换后的图像；
[0013] 三维图像确定单元，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行 纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；
[0014] 对应关系确定单元，用于采用透视投影变换将每一个视角方向的三维图像变换为 二维图像，得到所述四帧鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对应关 系。
[0015] 本发明实施例提供一种全景辅助泊车方法，包括：
[0016] 车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像；
[0017] 分别对采集的每一帧图像进行畸变校正；
[0018] 通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰 变换后的图像；
[0019] 根据预存的不同视角方向上鸟瞰变换后的图像的像素点坐标对应的二维图像的 坐标的对应关系，查找选择的视角方向上，与得到的所述四帧鸟瞰变换后的图像的像素点 坐标对应的二维图像的坐标的对应关系；
[0020] 根据查找到的对应关系将鸟瞰变换后的图像变换为选择的视角方向的二维全景 图像，并显示所述二维全景图像。其中，每一帧鸟瞰变换后图像的像素点坐标与各视角方向 的二维图像的坐标的对应关系为处理器对每一帧所述鸟瞰变换后的图像在三维碗状模型 上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像，并采用透 视投影变换将每一个视角方向的三维图像变换为二维图像得到的。
[0021] 本发明实施例提供的全景辅助泊车系统、装置及全景图像显示方法，由于采用处 理器将鸟瞰变换后的图形进行纹理映射、拼接以及视角变换等处理，将每一帧所述鸟瞰变 换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系提供给车载显示装 置，在泊车时对于大部分车载系统平台的车载显示装置都能够显示全景图像，特别对于不 支持GPU的车载显示装置也能够根据该对应关系提供全景图像，并且采用本发明实施例提 供的车载显示装置进行全景辅助泊车，由于不受车载系统的限制，并不需要车载系统必须 支持GPU，更为通用且降低了成本。
【附图说明】
[0022] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0023] 图1为本发明实施例1中全景辅助泊车系统的结构示意图；
[0024] 图2为本发明实施例1中车载显示装置的结构示意图；
[0025] 图3为本发明实施例1中鸟瞰俯视平面的标准模板的示意图；
[0026] 图4为本发明实施例1中三维碗状模型的示意图；
[0027] 图5为本发明实施例2中全景辅助泊车系统中的鸟瞰变换后的图像的像素点坐标 与各视角方向的二维图像的坐标的对应关系的确定方法的流程图；
[0028] 图6为本发明实施例3中全景辅助泊车系统中的全景图像显示方法的流程图；
[0029] 图7为本发明实施例4中全景辅助泊车系统中的处理装置的结构示意图。
【具体实施方式】
[0030] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031] 实施例1 :
[0032] 本发明实施例提供一种全景辅助泊车系统，如图1所示，包括：车载显示装置101 和处理器102,所述车载显示装置101，如图2所示，包括：图像采集装置201，处理单元202 和显示装置203,其中：
[0033] 图像采集装置201，用于采集车辆前后左右四个方向的摄像头输出的四帧图像。
[0034] 本发明实施例中，该摄像头可以为水平视角大于180度的鱼眼镜头，例如，水平视 角可以为192度。摄像头分别安装在车辆前后左右四个方向，例如：可以分别安装在车辆左 后视镜、右后视镜、前车牌位置以及后车牌位置，摄像头的拍摄角度是预先设置的。四个摄 像头拍摄的车辆附近的图像分别在四个不同的成像平面上。为了获取四个不同成像平面上 的图像与不同视角方向的全景图像的坐标对应关系，在摄像头前方放置黑白棋盘格子的标 准模板。
[0035] 处理单元202,用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换， 将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将四帧鸟瞰变 换后的图像发送给处理器102 ;按照接收的处理器102发送的每一帧鸟瞰变换后图像的像 素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出 给显示装置进行显示。
[0036] 本发明实施例中，处理单元202可以为数字信号处理（DSP，Digital Signal Processing)芯片，也可以为中央处理器（CPU，Central Processing Unit)，还可以为嵌入 式系统中的微处理器和单片机等。处理单元分别对采集的不在同一成像平面内的四帧图像 进行畸变校正、鸟瞰变换后，得到的鸟瞰变换后的四帧图像位于同一平面。一般的，将采集 的不在同一成像平面内的四帧图像，经过鸟瞰变换后变换到同一鸟瞰平面上，例如：该鸟瞰 平面可以为地平面。
[0037] 本发明实施例中，车载显示装置101可以为车辆上的不具有图形处理器GPU功能 的车载终端。处理器102可以为独立的个人计算机（PC，Personal computer)。
[0038] 处理器102,用于对每一帧鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼 接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每一个 视角方向的三维图像变换为二维图像，并将每一帧鸟瞰变换后的图像的像素点坐标与各视 角方向的二维图像的坐标的对应关系发送给处理器。
[0039] 具体的，处理器102可以先将每一帧鸟瞰变换后的图像的像素点坐标与各视角方 向的二维图像的坐标的对应关系保存到查找表中，再将查找表发送给处理单元202。
[0040] 显示装置203,用于显示处理单元输出的选择的视角方向的二维图像。
[0041 ] 本发明实施例中，通过车载显示装置将摄像头采集的四帧不在同一成像平面内图 像进行畸变校正和鸟瞰变换，得到四帧在同一成像平面内的鸟瞰变换后的图像。处理器将 四帧鸟瞰变换后的图像进行纹理映射、拼接、视角变换以及透视投影变换，得到每一帧鸟瞰 变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，并将该对应关系 发送给车载显示装置保存，当需要显示某一设定视角方向的全景图像时，车载显示装置查 找每一帧鸟瞰变换后的图像的像素点坐标与该设定视角方向的二维图像的坐标的对应关 系，从而显示该设定视角方向的二维图像。这对于不支持GPU的车载显示装置也能够提供 不同视角的全景图像，并且降低了车载显示装置的成本。
[0042] 下面对本发明实施例1的全景辅助泊车系统的各个模块的功能进行详细描述。
[0043] 对于图像采集装置采集的四帧图像，处理单元202分别对采集的每一帧图像进行 畸变校正，当摄像头采用鱼眼镜头时，摄像头输出的图像最大的畸变是径向畸变。畸变校正 在极坐标系内进行处理，畸变校正的具体方式如下：
[0044] 采用如下公式确定采集的图像的每个像素点坐标对应的畸变校正后该像素点的 坐标：
[0046] 其中，《为所述摄像头的视场角；rd为采集的图像的像素点的极坐标半径，r u为畸 变校正后的像素点的极坐标半径。
[0047] 在确定畸变校正后的像素点的极坐标后，也即获知畸变校正后的该像素点在直角 坐标系下的坐标，再确定畸变校正后的各像素点的像素值。处理单元202根据采集的图像 的各像素点的坐标和像素值，以及畸变校正后的各像素点的坐标，采用双线性插值算法确 定畸变校正后的各像素点的像素值。具体的，对于图像采集装置采集的每一帧图像中的每 一个像素点，该像素点P坐标为（x，y)，取该像素点周围预设区域内的四个像素点QnUi， yj，Quh，y 2)，Q21 (x2, y)，Q22(x2, y2)，首先在x方向进行两次线性插值，然后在y方向上进 行一次线性插值，采用如下公式确定P点畸变校正后的像素值：
[0051] 其中^⑷"^⑷一^^^⑷"分别为仏^^為^^勺像素值^汊^为像素 点Rjx，的像素值，f (R2)为像素点R2(x，y2)的像素值，f (P)为p点畸变校正后的像素 值。
[0052] 处理单元202对采集的每一帧图像进行畸变校正后，通过鸟瞰视角变换，将畸变 校正后的图像变换到鸟瞰俯视平面内，得到鸟瞰变换后的图像的具体方式为：
[0053] 根据畸变校正后的图像的像素点的坐标与鸟瞰俯视平面中的设定的特征点坐标 的对应关系，确定单应性变换矩阵。
[0054] 具体的，可以设置鸟瞰俯视平面为地平面，鸟瞰俯视平面的标准模板如图3所示， 可以设置车辆的中心为鸟瞰俯视平面的原点，可以选取黑白格子的交叉点作为特征点（图 3中黑色圆点），特征点在鸟瞰俯视平面的坐标已知，0 X2角度为相邻图像的重合区域。将 畸变校正后的图像的黑白格子的交叉点与鸟瞰俯视平面中的交叉点一一对应，可以确定畸 变校正后图像的坐标系与鸟瞰俯视平面的坐标系之间的变换矩阵，即为单应性变换矩阵。
[0055] 采用单应性变换矩阵，确定畸变校正后的图像的像素点中，除与摄像头采集的图 像中的设定的特征像素点对应的像素点以外，剩余的像素点变换到鸟瞰俯视平面的像素点 的坐标，得到鸟瞰变换后的图像。也就是说，对于畸变校正后的图像的所有像素点，采用该 单应性变换矩阵，可以变换得到对应的鸟瞰俯视平面的像素点的坐标。
[0056] 处理单元202得到在鸟瞰俯视平面内的四帧鸟瞰变换后的图像后，处理器102将 鸟瞰俯视平面内的四帧鸟瞰变换后的图像进行纹理映射，映射到三维碗状模型上，整个碗 状模型根据汽车的长宽比例关系分割成四个部分，相邻部分之间有0 X2度的重合区域， 三维碗状模型如图4所示，并在经度和炜度方向划分为网格，网格的交叉点坐标与鸟瞰变 换后的图像的像素点坐标一一对应。鸟瞰变换后的图像，设定的拼接区域包含重合区域。在 拼接区域内，三维碗状模型中的一个交叉点分别对应相邻的两帧鸟瞰变换后的图像中的两 个像素点。拼接区域内的像素点，拼接后的像素点的像素值采用如下公式确定： W) 0,_>〇€/,
[0057] /(.v, V) = a* /,(a\ v)-^(l -a}-- L{x,y) (.v, v) e /,,I1 /:(.v, v) (.v, v) e / ,
[0058] a = w;/w a G (〇, 1)；
[0059] 其中，Ip I2分别为相邻的两帧待拼接图像，I A，y)为待拼接图像L中像素点坐 标（x，y)的像素值，I2(x，y)为待拼接图像12中像素点坐标（x，y)的像素值，I (x，y)为拼 接后的图像中像素点坐标（x，y)的像素值，a为设定的拼接区域内的融合比例因子，￥1为 设定的拼接区域内像素点（x，y)与Ip 12的重合区域的两条边缘线中相对位置为左侧的边 缘线的距离，W为、、、的重合区域宽度。具体的，如果重合区域为矩形，那么W即为矩形的 宽度。
[0060] 处理器102将鸟瞰俯视平面内的四帧鸟瞰变换后的图像进行纹理映射后的视角 是预先设置的鸟瞰视角，设定至少两个视角方向，其它视角是在该鸟瞰视角的基础上进行 变换得到的，具体的，可以采用gluLookAtO函数确定相机的视图矩阵，通过相机的视图矩 阵对各视角进行变换。根据畸变校正后的图像像素点的坐标与各视角方向的像素点坐标， 以及畸变校正后的图像像素点的像素值，采用双线性插值算法，确定各视角方向的像素点 的像素值，具体处理方式与上述确定畸变校正后的图像的像素点的像素值的方式相同，在 此不再赘述。处理器102在确定各视角方向的像素点坐标，将每一帧鸟瞰变换后的图像的 像素点坐标与各视角方向的二维图像坐标的对应关系发送给处理单元202,具体的，处理器 102可以将每一帧鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像坐标的对应关 系保存在查找表中，将该查找表发送给处理单元202。
[0061] 处理单元202按照处理器102发送的每一帧所述鸟瞰变换后图像的像素点坐标与 各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置 203进行显示。具体的，用户可以在车载显示装置提供的页面上选择观看全景图像的视角方 向。处理单元202根据每一帧鸟瞰变换后的图像的像素点坐标和选择的视角方向的二维图 像的坐标的对应关系，对选择的视角方向的二维图像输出给显示装置进行显示。
[0062] 通过本发明实施例1提供的系统，由于采用处理器将鸟瞰变换后的图形进行纹理 映射、拼接以及视角变换等处理，将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角 方向的二维图像的坐标的对应关系提供给车载显示装置，在泊车时对于大部分车载系统平 台的车载显示装置都能够显示全景图像，特别对于不支持GPU的车载显示装置也能够根据 该对应关系提供全景图像，并且采用本发明实施例提供的车载显示装置进行全景辅助泊 车，由于不受车载系统的限制，并不需要车载系统必须支持GPU，更为通用且降低了成本。
[0063] 实施例2 :
[0064] 基于同一发明构思，根据本发明上述实施例1提供的全景辅助泊车系统，在驾驶 员通过全景图像泊车之前，处理器确定每一帧鸟瞰变换后的图像的像素点坐标与各视角方 向的二维图像的坐标的对应关系，具体处理过程是在线下完成。当处理器确定该对应关系， 并将该对应关系告知车载显示装置后，驾驶员在泊车时，通过车载显示装置在采集车辆前 后左右四个方向的摄像头输出的四帧图像后，可以通过查找对应关系中对应的各视角方向 的二维图像的坐标，显示全景图像。本发明实施例2提供了一种全景辅助泊车系统中的鸟 瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系的确定方法，如 图5所示，具体包括如下处理步骤：
[0065] 步骤501、车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像。
[0066] 本发明实施例中，该车载显示装置可以为车辆上支持图形处理器GPU的车载终 端，也可以为不支持GPU的车载终端。该摄像头可以为水平视角大于180度的鱼眼镜头，例 如，该水平视角可以为192度。摄像头分别安装在车辆前后左右四个方向，例如：可以分别 安装在车辆左后视镜、右后视镜、前车牌位置以及后车牌位置，摄像头的拍摄角度是预先设 置的。四个摄像头拍摄的车辆附近的图像分别在四个不同的成像平面上。为了获取四个不 同成像平面上的图像与不同视角方向的全景图像的坐标对应关系，在摄像头前方放置黑白 棋盘格子的标准模板，黑白棋盘格子的交叉点作为图像中的参考点。
[0067] 当摄像头采用鱼眼镜头时，摄像头输出的图像最大的畸变是径向畸变。因此需要 对采集的图像进行畸变校正，畸变校正的处理方式如下步骤502-步骤503。
[0068] 步骤502、确定采集的每一帧图像的每个像素点坐标对应的畸变校正后该像素点 的坐标。
[0069] 本步骤中，可以采用如下公式确定采集的图像的每个像素点坐标对应的畸变校正 后该像素点的坐标：
[0071] 其中，《为所述摄像头的视场角；rd为所述采集的图像的像素点的极坐标半径，r u 为畸变校正后的像素点的极坐标半径。
[0072] 在确定畸变校正后的像素点的极坐标后，也即获知畸变校正后的该像素点在直角 坐标系下的坐标，再采用步骤503确定畸变校正后的各像素点的像素值。
[0073] 步骤503、根据采集的图像的各像素点的坐标和像素值，以及畸变校正后的各像素 点的坐标，采用双线性插值算法确定畸变校正后的各像素点的像素值。
[0074] 本步骤中，对于图像采集装置采集的每一帧图像中的每一个像素点，该像素点p 坐标为（x，y)，取该像素点周围预设区域内的四个像素点， Q22 (x2, y2)，首先在x方向进行两次线性插值，然后在y方向上进行一次线性插值，采用如下 公式确定P点畸变校正后的像素值：
[0078] 其中^⑷"^⑷一^^^⑷"分别为仏^^為:為游像素值^汊^为像素 点Rjx，的像素值，f (R2)为像素点R2(x，y2)的像素值，f (P)为p点畸变校正后的像素 值。
[0079] 本步骤中，对采集的四帧图像分别进行畸变校正，得到四帧畸变校正后的图像。
[0080] 步骤504、根据畸变校正后的图像的像素点的坐标与鸟瞰俯视平面中的设定的特 征点坐标的对应关系，确定单应性变换矩阵。
[0081 ] 具体的，可以设置鸟瞰俯视平面为地平面，鸟瞰俯视平面的标准模板如图3所示， 可以设置车辆的中心为鸟瞰俯视平面的原点，可以选取黑白格子的交叉点作为特征点，特 征点在鸟瞰俯视平面的坐标已知。将畸变校正后的图像的黑白格子的交叉点与鸟瞰俯视平 面中标准模板对应的黑白格子的交叉点一一对应，通过直接线性变换（DLT，Direct Linear Transformation)算法可以确定畸变校正后图像的坐标系与鸟瞰俯视平面的坐标系之间的 变换矩阵，即为单应性变换矩阵。
[0082] 步骤505、采用单应性变换矩阵，确定畸变校正后的图像的像素点中，除与摄像头 采集的图像中的设定的特征像素点对应的像素点以外，剩余的像素点变换到鸟瞰俯视平面 的像素点的坐标，得到鸟瞰变换后的图像。
[0083] 本步骤中，对于畸变校正后的图像的所有像素点，采用该单应性变换矩阵，可以变 换得到对应的鸟瞰俯视平面的像素点的坐标。
[0084] 步骤506、车载显示装置将鸟瞰俯视平面内的四帧鸟瞰变换后的图像的像素点坐 标和像素值发送给处理器。
[0085] 步骤507、处理器根据每一帧鸟瞰变换后的图像各像素点与三维碗状模型各三维 点的对应关系，将每一帧鸟瞰变换后的图像纹理映射到三维碗状模型上。
[0086] 本步骤中，将鸟瞰俯视平面内的四帧鸟瞰变换后的图像进行纹理映射，映射到三 维碗状模型上，整个碗状模型根据汽车的长宽比例关系分割成四个部分，相邻部分之间有 0 X2度的重合区域，三维碗状模型如图4所示，并在经度和炜度方向划分为网格，网格的 交叉点坐标与鸟瞰变换后的图像的像素点坐标一一对应。一般的，0为0-30度之间的一 个角度值。
[0087] 步骤508、处理器根据四帧鸟瞰变换后的图像中设定的拼接区域，分别将四帧鸟瞰 变换后的图像在三维碗状模型上的对应图像进行拼接。
[0088] 具体的，鸟瞰变换后的图像，设定的拼接区域包含重合区域。其中，拼接区域可以 根据实际经验进行设置，例如可以将相邻两帧鸟瞰变换后的图像的相邻边缘的设定宽度区 域作为拼接区域。拼接区域内相邻两帧图像重合的部分为重合区域。在重合区域内，三维 碗状模型中的一个交叉点分别对应相邻的两帧鸟瞰变换后的图像中的两个像素点。
[0089] 具体的，可以采用如下公式确定拼接后的三维碗状模型上的鸟瞰全景图像的各像 素点的像素值： ii(U) (x,y)e/,
[0090] /(.v, v) = a * /, (.r" y) + (1 - a) * I:{x, v) (..v, v) e ； /：(.v, r) (x.,y) e / ,
[0091] a = w;/w a G (〇, 1)；
[0092] 其中，I。I2分别为相邻的两帧待拼接图像，I iUy)为待拼接图像L中像素点坐 标（x，y)的像素值，I2(x，y)为待拼接图像12中像素点坐标（x，y)的像素值，I(x，y)为拼 接后的图像中像素点坐标（x，y)的像素值，a为设定的拼接区域内的融合比例因子， ￥1为 设定的拼接区域内像素点（x，y)与Ip 12的重合区域的两条边缘线中相对位置为左侧的边 缘线的距离，W为、、、的重合区域宽度。具体的，如果重合区域为矩形，那么W即为矩形的 宽度。
[0093] 本发明实施例中，摄像头采集的四帧不在同一成像平面内图像进行畸变校正和鸟 瞰变换，得到四帧在同一成像平面内的鸟瞰变换后的图像。
[0094] 本步骤中，处理器将四帧鸟瞰变换后的图像拼接后得到的是设定的第一视角方向 的三维碗状模型上的鸟瞰全景图像。
[0095] 步骤509、处理器根据设定的至少两个视角方向，通过视角变换，将三维碗状模型 上的鸟瞰全景图像变换为设定的视角方向的三维图像。
[0096] 处理器根据步骤508中得到设定的第一视角方向的三维碗装模型上的鸟瞰全景 图像，并根据设定的至少两个视角方向之间的坐标变换关系，将第一视角方向的三维碗装 模型上的鸟瞰全景图像变换为第二视角方向的三维碗装模型上的鸟瞰全景图像。
[0097] 步骤510、处理器采用透视投影变换将每一个视角方向的三维图像变换为二维图 像，得到鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系。
[0098] 本发明实施例中，处理器通过四帧鸟瞰变换后图像与三维碗装模型上的对应图像 之间的对应关系，以及每个视角方向的三维碗装模型上的三位图像与二维图像的对应关 系，得到鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系。
[0099] 通过本发明实施例，处理器可以预先确定鸟瞰变换后的图像的像素点坐标与各视 角方向的二维图像的坐标的对应关系，可以将该对应关系以查找表的形式保存，并将该查 找表发送给车载显示装置，处理器可以通过有线、无线、蓝牙等方式将查找表发送给车载显 示装置。后续当驾驶员泊车需要观看全景图像时，车载显示装置可以通过该查找表，查找某 一设定视角方向的与当前的鸟瞰变换后的图像对应的二维图像的坐标，并显示该视角方向 的二维图像。当驾驶员泊车时显示全景图像的具体处理方式如下实施例3。
[0100] 实施例3 :
[0101] 基于同一发明构思，根据本发明上述实施例1提供的全景辅助泊车系统，本发明 实施例2提供了一种全景辅助泊车系统中的全景图像显示方法，如图6所示，具体包括如下 处理步骤：
[0102] 步骤601、车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像，并 将四帧图像进行处理得到鸟瞰俯视平面内的四帧鸟瞰变换后的图像。
[0103] 本步骤中，驾驶员可以通过车载显示装置提供的显示页面触发全景图像的显示， 当车载显示装置接收到全景图像显示的触发信号时，开始采集车辆前后左右四个方向的摄 像头输出的四帧图像。
[0104] 具体的，本步骤可以采用与上述实施例2中步骤502-505类似的方式对采集的四 帧图像进行处理得到鸟瞰俯视平面内的鸟瞰变换后的图像，在此不进行详细描述。
[0105] 步骤602、车载显示装置在预存的查找表中，查找选择的视角方向上与鸟瞰变换后 的图像的像素点坐标对应的二维图像的坐标的对应关系。
[0106] 本步骤中，驾驶员可以通过车载显示装置提供的显示页面上选择想要观看全景图 像的视角方向。
[0107] 步骤603、车载显示装置根据查找的该对应关系将鸟瞰变换后的图像变换为该视 角方向的二维全景图像，并显示二维全景图像。
[0108] 通过本发明实施例3提供的方法，由于采用处理器将鸟瞰变换后的图形进行纹理 映射、拼接以及视角变换等处理，将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角 方向的二维图像的坐标的对应关系提供给车载显示装置，在泊车时对于大部分车载系统平 台的车载显示装置都能够显示全景图像，特别对于不支持GPU的车载显示装置也能够根据 该对应关系提供全景图像，并且采用本发明实施例提供的车载显示装置进行全景辅助泊 车，由于不受车载系统的限制，并不需要车载系统必须支持GPU，更为通用且降低了成本。
[0109] 实施例4 :
[0110] 基于同一发明构思，根据本发明上述实施例1提供的全景辅助泊车系统，本发明 实施例4提供了一种全景辅助泊车系统中的处理装置的结构示意图，如图7所示，包括：
[0111] 获取单元701，用于获取车载显示装置处理得到的与车辆前后左右四个方向的摄 像头输出的四帧图像对应的四帧鸟瞰变换后的图像；
[0112] 三维图像确定单元702,用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上 进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；
[0113] 对应关系确定单元703,用于采用透视投影变换将每一个视角方向的三维图像变 换为二维图像，得到所述四帧鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对 应关系。
[0114] 进一步的，所述三维图像确定单元702，具体用于根据每一帧所述鸟瞰变换后的图 像各像素点与三维碗状模型各三维点的对应关系，将每一帧所述鸟瞰变换后的图像纹理映 射到所述三维碗状模型上；
[0115] 根据所述四帧鸟瞰变换后的图像中设定的拼接区域，分别将所述四帧鸟瞰变换后 的图像在三维碗状模型上的对应图像进行拼接，并采用如下公式确定拼接后的三维碗状模 型上的鸟瞰全景图像的各像素点的像素值： ' A(.r,.v) v)e^
[0116] /'C-v, r) v)4-(l--a)::：i/?(A, v) (..v, r)e IrL ； , /:,(.\%人） {x,y)eL
[0117] a = Wi/w a e (〇, 1)；
[0118] 其中，Ip 12分别为相邻的两帧待拼接图像，I iUy)为待拼接图像L中像素点坐 标（x，y)的像素值，I2(x，y)为待拼接图像12中像素点坐标（x，y)的像素值，I(x，y)为拼 接后的图像中像素点坐标（x，y)的像素值，a为设定的拼接区域内的融合比例因子， ￥1为 所述设定的拼接区域内像素点（x，y)与Ip 12的重合区域的两条边缘线中相对位置为左侧 的边缘线的距离，w为Ip 12的重合区域宽度；
[0119] 根据设定的至少两个视角方向，通过视角变换，将所述三维碗状模型上的鸟瞰全 景图像变换为设定的视角方向的三维图像。
[0120] 上述各单元的功能可对应于图5和图6所示流程中的相应处理步骤，在此不再赘 述。
[0121] 综上所述，本发明实施例提供的方案，包括：车载显示装置和处理器，车载显示装 置包括：图像采集装置、处理器和显示装置，其中：图像采集装置，用于采集车辆前后左右 四个方向的摄像头输出的四帧图像；处理单元，用于分别对采集的每一帧图像进行畸变校 正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后 的图像；将四帧鸟瞰变换后的图像发送给处理器；按照接收的处理器发送的每一帧鸟瞰变 换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的 二维图像输出给显示装置进行显示；处理器，用于对每一帧鸟瞰变换后的图像在三维碗状 模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用 透视投影变换将每一个视角方向的三维图像变换为二维图像，并将每一帧鸟瞰变换后的图 像的像素点坐标与各视角方向的二维图像的坐标的对应关系发送给处理单元；显示装置， 用于显示处理器输出的选择的视角方向的二维图像。采用本发明实施例提供的方案，在泊 车时对于所有车载显示装置都能够显示全景图像。
[0122] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可 以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单 元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其 中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性 的劳动的情况下，即可以理解并实施。
[0123] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可 借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上 述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该 计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指 令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施 例或者实施例的某些部分所述的方法。
[0124] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而这些修改或者替换，并不使相
[0125] 应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种全景辅助泊车系统，其特征在于，包括：车载显示装置和处理器，所述车载显示 装置包括：图像采集装置、处理单元和显示装置，其中： 所述图像采集装置，用于采集车辆前后左右四个方向的摄像头输出的四帧图像； 所述处理单元，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸 变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变 换后的图像发送给所述处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像 的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像 输出给显示装置进行显示； 所述处理器，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、 拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每一 个视角方向的三维图像变换为二维图像，并将每一帧所述鸟瞰变换后的图像的像素点坐标 与各视角方向的二维图像的坐标的对应关系发送给所述处理单元； 所述显示装置，用于显示所述处理单元输出的所述选择的视角方向的二维图像。2. 根据权利要求1所述的系统，其特征在于，所述处理单元分别对采集的图像进行畸 变校正的具体方式如下： 采用如下公式确定采集的图像的每个像素点坐标对应的畸变校正后该像素点的坐 木TK，其中，ω为所述摄像头的视场角；rd为所述采集的图像的像素点的极坐标半径，ru为畸 变校正后的像素点的极坐标半径； 根据所述采集的图像的各像素点的坐标和像素值，以及畸变校正后的各像素点的坐 标，采用双线性插值算法确定畸变校正后的各像素点的像素值。3. 根据权利要求1所述的系统，其特征在于，所述处理单元通过鸟瞰视角变换，将畸变 校正后的图像变换到鸟瞰俯视平面内，得到鸟瞰变换后的图像的具体方式为： 根据畸变校正后的图像的像素点的坐标与鸟瞰俯视平面中的设定的特征点坐标的对 应关系，确定单应性变换矩阵； 采用所述单应性变换矩阵，确定所述畸变校正后的图像的像素点中，除与摄像头采集 的图像中的设定的特征像素点对应的像素点以外，剩余的像素点变换到鸟瞰俯视平面的像 素点的坐标，得到鸟瞰变换后的图像。4. 根据权利要求1所述的系统，其特征在于，所述处理器对每一帧所述鸟瞰变换后的 图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向 的三维图像，具体包括： 根据每一帧所述鸟瞰变换后的图像各像素点与三维碗状模型各三维点的对应关系，将 每一帧所述鸟瞰变换后的图像纹理映射到所述三维碗状模型上； 根据所述四帧鸟瞰变换后的图像中设定的拼接区域，分别将所述四帧鸟瞰变换后的图 像在三维碗状模型上的对应图像进行拼接，并采用如下公式确定拼接后的三维碗状模型上 的鸟瞰全景图像的各像素点的像素值：其中，Ir I2分别为相邻的两帧待拼接图像，I1Uy)为待拼接图像I1中像素点坐标 (x，y)的像素值，I2(x，y)为待拼接图像I2中像素点坐标（x，y)的像素值，I(x，y)为拼接后 的图像中像素点坐标（x，y)的像素值，α为设定的拼接区域内的融合比例因子， Wi为所述 设定的拼接区域内像素点（x，y)与I2的重合区域的两条边缘线中相对位置为左侧的边 缘线的距离，w为Ip I2的重合区域宽度； 根据设定的至少两个视角方向，通过视角变换，将所述三维碗状模型上的鸟瞰全景图 像变换为设定的视角方向的三维图像。5. -种全景辅助泊车系统中的处理装置，其特征在于，包括： 获取单元，用于获取车载显示装置处理得到的与车辆前后左右四个方向的摄像头输出 的四帧图像对应的四帧鸟瞰变换后的图像； 三维图像确定单元，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理 映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像； 对应关系确定单元，用于采用透视投影变换将每一个视角方向的三维图像变换为二维 图像，得到所述四帧鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对应关系。6. 根据权利要求5所述的处理装置，其特征在于，所述三维图像确定单元，具体用于根 据每一帧所述鸟瞰变换后的图像各像素点与三维碗状模型各三维点的对应关系，将每一帧 所述鸟瞰变换后的图像纹理映射到所述三维碗状模型上； 根据所述四帧鸟瞰变换后的图像中设定的拼接区域，分别将所述四帧鸟瞰变换后的图 像在三维碗状模型上的对应图像进行拼接，并采用如下公式确定拼接后的三维碗状模型上 的鸟瞰全景图像的各像素点的像素倌：其中，Ir I2分别为相邻的两帧待拼接图像，I1Uy)为待拼接图像I1中像素点坐标 (x，y)的像素值，I2(x，y)为待拼接图像I2中像素点坐标（x，y)的像素值，I(x，y)为拼接后 的图像中像素点坐标（x，y)的像素值，α为设定的拼接区域内的融合比例因子， Wi为所述 设定的拼接区域内像素点（x，y)与I2的重合区域的两条边缘线中相对位置为左侧的边 缘线的距离，w为Ip I2的重合区域宽度； 根据设定的至少两个视角方向，通过视角变换，将所述三维碗状模型上的鸟瞰全景图 像变换为设定的视角方向的三维图像。7. -种全景辅助泊车系统中的全景图像显示方法，其特征在于，包括： 车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像； 分别对采集的每一帧图像进行畸变校正； 通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换 后的图像； 根据预存的不同视角方向上鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标 的对应关系，查找选择的视角方向上，与得到的所述四帧鸟瞰变换后的图像的像素点坐标 对应的二维图像的坐标的对应关系； 根据查找到的对应关系将鸟瞰变换后的图像变换为选择的视角方向的二维全景图像， 并显示所述二维全景图像。8. 根据权利要求7所述的方法，其特征在于，分别对采集的每一帧图像进行畸变校正， 具体包括： 采用如下公式确定采集的图像的每个像素点坐标对应的畸变校正后该像素点的坐 标.其中，ω为所述摄像头的视场角；rd为所述采集的图像的像素点的极坐标半径，ru为畸 变校正后的像素点的极坐标半径； 根据所述采集的图像的各像素点的坐标和像素值，以及畸变校正后的各像素点的坐 标，采用双线性插值算法确定畸变校正后的各像素点的像素值。9. 根据权利要求7所述的方法，其特征在于，通过鸟瞰视角变换，将畸变校正后的图像 变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像，具体包括： 根据畸变校正后的图像的像素点的坐标与鸟瞰俯视平面中的设定的特征点坐标的对 应关系，确定单应性变换矩阵； 采用所述单应性变换矩阵，确定所述畸变校正后的图像的像素点中，除与摄像头采集 的图像中的设定的特征像素点对应的像素点以外，剩余的像素点变换到鸟瞰俯视平面的像 素点的坐标，得到鸟瞰变换后的图像。
【文档编号】G06T7/00GK105894549SQ201510688951
【公开日】2016年8月24日
【申请日】2015年10月21日
【发明人】臧成杰
【申请人】乐卡汽车智能科技（北京）有限公司