车辆全景图像校正方法和车辆全景系统与流程

本发明实施例属于汽车技术领域，尤其涉及车辆全景图像校正方法和车辆全景系统。

背景技术：

汽车全景视觉泊车辅助系统已越来越多的被应用到汽车电子领域，主要是在通过安装在车辆周围的4个超广角摄像头采集车身周围360°范围内的图像，对同一时刻采集到的多路视频图像处理成一幅车辆周边360°的车身俯视图，最后通过其他设备显示，让驾驶员无需通过后视镜，仅通过中控台的显示屏即能清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。

由于制造过程中摄像头的光轴偏差，以及模具、装配的误差，会造成图像拼图的误差，可能造成图像拼接处图像重叠、偏移或存在盲区而影响全景拼接质量，因而在全景系统中必须要做工厂下线标定操作，然而下线标定完成后，当出现不同车身负载时，全景拼接图像可能会出现拼接错位，不能在不同负载下均达到准确显示全景图像的全景视觉效果。

技术实现要素：

为了解决上述问题，本发明实施例提供一种车辆全景图像校正方法和车辆全景系统，以解决现有车辆全景系统不能在不同负载下均达到准确显示全景图像的全景视觉效果的问题。

第一方面，本发明实施例提供一种车辆全景图像校正方法，应用于车辆全景系统，其特征在于，对车辆全景系统进行预标定后连续获取车辆的负载信息，当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定。

在本发明一些实施例中，所述预标定包括：

使车辆进入所述固定标定场地，所述固定标定场地包括平行设置的具有一定宽度和长度的左标定线和右标定线，以及设置在所述左标定线和右标定线之间且与所述左标定线和右标定线平行的导轨；

启动车辆车身上的摄像头对车辆的四周进行图像采集，对采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述采集的多幅图像中的角点的图像坐标；

根据车辆参数计算待输出的鸟瞰图的大小，并计算所述采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；

计算所述采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成全景图和鸟瞰图的查找表。

在本发明一些实施例中，所述固定标定场地的地面与所述左标定线和右标定线的设置为不同的颜色，且所述地面与所述左标定线和右标定线均无镜面反射；

所述左标定线和右标定线之间的距离为车辆的车身长度的1.5～2倍，所述左标定线和右标定线的线长为车辆的车身长度的2～3倍，且车辆的车身的中心线与所述左标定线或所述右标定线的夹角小于2度；

所述导轨包括两条导轨线，其中靠近所述左标定线的导轨线与所述左标定线的距离为50～60厘米；

且所述固定标定场地还包括照明装置，以使所述固定标定场地的环境亮度值保持在300～1000lux之内，所述照明装置设置在距离所述地面3～5米的高度且无遮挡物遮挡。

在本发明一些实施例中，所述重新标定包括：

使车辆进入具有车道线的直行车道，并使车辆沿着所述直行车道的中心线行驶；

启动车辆车身上的摄像头对车辆的四周重新进行图像采集，对重新采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述重新采集的多幅图像中的角点的图像坐标；

计算所述重新采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述重新采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；

计算所述重新采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成新的全景图和鸟瞰图的查找表。

在本发明一些实施例中，车辆的车身中心线相对于所述直行车道的中心线的偏移量不超过50厘米，车辆的车身中心线与所述车道线的夹角小于5度，同时车辆的前方和后方3米内无障碍物，且车辆的行使速度低于20公里/小时。

第二方面，本发明实施例还一种车辆全景系统，所述系统包括标定模块和信息获取模块，所述标定模块用于对车辆全景系统进行预标定；所述信息获取模块用于在所述预标定后连续获取车辆的负载信息，且所述标定模块用于还用于当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定。

在本发明一些实施例中，所述标定模块包括摄像单元和处理单元；

所述摄像单元用于在车辆进入所述固定标定场地后，启动车辆车身上的摄像头对车辆的四周进行图像采集，其中所述固定标定场地包括平行设置的具有一定宽度和长度的左标定线和右标定线，以及设置在所述左标定线和右标定线之间且与所述左标定线和右标定线平行的导轨；

所述处理单元用于对采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述采集的多幅图像中的角点的图像坐标；以及根据车辆参数计算待输出的鸟瞰图的大小，并计算所述采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；并计算所述采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成全景图和鸟瞰图的查找表。

在本发明一些实施例中，所述固定标定场地的地面与所述左标定线和右标定线的设置为不同的颜色，且所述地面与所述左标定线和右标定线均无镜面反射；

所述左标定线和右标定线之间的距离为车辆的车身长度的1.5～2倍，所述左标定线和右标定线的线长为车辆的车身长度的2～3倍，且车辆的车身的中心线与所述左标定线或所述右标定线的夹角小于2度；

所述导轨包括两条导轨线，其中靠近所述左标定线的导轨线与所述左标定线的距离为50～60厘米；

且所述固定标定场地还包括照明装置，以使所述固定标定场地的环境亮度值保持在300～1000lux之内，所述照明装置设置在距离所述地面3～5米的高度且无遮挡物遮挡。

在本发明一些实施例中，所述摄像单元还用于在车辆进入具有车道线的直行车道并沿着所述直行车道的中心线行驶时，启动车辆车身上的摄像头对车辆的四周重新进行图像采集；

所述处理单元还用于对重新采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述重新采集的多幅图像中的角点的图像坐标；并计算所述重新采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述重新采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；以及计算所述重新采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成新的全景图和鸟瞰图的查找表。

在本发明一些实施例中，车辆的车身中心线相对于所述直行车道的中心线的偏移量不超过50厘米，车辆的车身中心线与所述车道线的夹角小于5度，同时车辆的前方和后方3米内无障碍物，且车辆的行使速度低于20公里/小时。

根据本发明实施例提供的车辆全景图像校正方法和车辆全景系统，通过先对车辆全景系统进行预标定，然后连续获取车辆的负载信息，当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定，这样能在不同负载下均能达到准确显示全景图像的全景视觉效果。

附图说明

为了更清楚地说明本发明或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的车辆全景图像校正方法的流程图；

图2为本发明实施例提供的预标定的流程图；

图3为本发明实施例提供的固定标定场地示意图；

图4为本发明实施例提供的重新标定的流程图；

图5为本发明实施例提供的重新标定的场地示意图；

图6为本发明实施例提供的车辆全景系统结构框图；

图7为本发明实施例提供的车辆全景系统另一结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供一种车辆全景图像校正方法，应用于车辆全景系统，在本申请的后续实施例中，如有涉及车身尺寸，均以车长为车长5-7米，车宽小于等于2米的车型为基础进行示例性说明；如图1所示，本发明实施例提供的车辆全景图像校正方法包括：

s10、对车辆全景系统进行预标定后连续获取车辆的负载信息；

s11、当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定。

进一步参阅图2，在本发明一些实施例中，所述预标定包括：

s20、使车辆进入所述固定标定场地，所述固定标定场地包括平行设置的具有一定宽度和长度的左标定线和右标定线，以及设置在所述左标定线和右标定线之间且与所述左标定线和右标定线平行的导轨；

s21、启动车辆车身上的摄像头对车辆的四周进行图像采集，对采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述采集的多幅图像中的角点的图像坐标；

s22、根据车辆参数计算待输出的鸟瞰图的大小，并计算所述采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；

s23、计算所述采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成全景图和鸟瞰图的查找表。

在本发明一些实施例中，如图3所示的一种固定标定场地，所述固定标定场地的地面1与所述左标定线2和右标定线3的设置为不同的颜色，且所述地面1与所述左标定线2和右标定线3均无镜面反射，左标定线2和右标定线3需笔直清晰，在本实施例中，左标定线2和右标定线3的线宽为20厘米，线长为1500厘米，两者之间的距离为3米；所述左标定线2和右标定线3之间的距离为车辆的车身长度的1.5～2倍，所述左标定线2和右标定线3的线长为车辆的车身长度的2～3倍，且车辆的车身的中心线与所述左标定线2或所述右标定线3的夹角小于2度；所述导轨4包括两条导轨线，两条导轨线的距离为轮胎的宽度，在本实施例中，当车辆的前轮驶入导轨4完成定位时，左标定线2和右标定线3超出前轮5.5米，所述导轨4靠近左标定线2设置，其中靠近所述左标定线2的导轨线与所述左标定线2的距离为50～60厘米，比如当车宽为1.8米时该距离为60里面，当车宽为2米时该距离为50厘米，当然所述导轨4也可以靠近右标定线3设置，此时靠近所述右标定线3的导轨线与所述右标定线3的距离为50～60厘米，在另一些实施例中，还可以设置两条导轨4，每条导轨4与邻近的标定线之间的距离为50～60厘米；在另一些实施例中，所述固定标定场地还包括照明装置，以使所述固定标定场地的环境亮度值保持在300～1000lux之内，所述照明装置与所述地面1的距离为3～5米且无遮挡物遮挡。

进一步参阅图4，在本发明一些实施例中，所述重新标定包括：

s30、使车辆进入具有车道线的直行车道，并使车辆沿着所述直行车道的中心线行驶；

s31、启动车辆车身上的摄像头对车辆的四周重新进行图像采集，对重新采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述重新采集的多幅图像中的角点的图像坐标；

s32、计算所述重新采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述重新采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；

s33、计算所述重新采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成新的全景图和鸟瞰图的查找表。

在本发明一些实施例中，参考图5，直行车道需要路面干净无杂乱线条，两侧车道线清晰，车辆的车身中心线相对于所述直行车道的中心线的偏移量不超过50厘米，车辆的车身中心线与所述车道线5的夹角小于5度，同时车辆的前方和后方3米内无障碍物，即车道线需超出车头和车尾至少3米内无任何障碍物，且车辆的行使速度低于20公里/小时。

根据本发明实施例提供的车辆全景图像校正方法，通过先对车辆全景系统进行预标定，然后连续获取车辆的负载信息，当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定，这样能在不同负载下均能达到准确显示全景图像的全景视觉效果。本发明实施例提供的车辆全景图像校正方法可在不同的负载下自动完成标定，将四幅全景摄像头图像拼接成一幅360度全景图像。

本发明实施例还一种车辆全景系统，用于实施上述实施例所述的车辆全景图像校正方法，参阅图6，所述车辆全景系统包括标定模块10和信息获取模块20，所述标定模块10用于对车辆全景系统进行预标定；所述信息获取模块20用于在所述预标定后连续获取车辆的负载信息，且所述标定模块10用于还用于当车辆的负载发生变化且负载的变化超出预设范围时，对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定。

进一步参阅图7，在本发明一些实施例中，所述标定模块10包括摄像单元101和处理单元102；

所述摄像单元101用于在车辆进入所述固定标定场地后，启动车辆车身上的摄像头对车辆的四周进行图像采集，其中所述固定标定场地包括平行设置的具有一定宽度和长度的左标定线和右标定线，以及设置在所述左标定线和右标定线之间且与所述左标定线和右标定线平行的导轨；

所述处理单元102用于对采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述采集的多幅图像中的角点的图像坐标；以及根据车辆参数计算待输出的鸟瞰图的大小，并计算所述采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；并计算所述采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成全景图和鸟瞰图的查找表。

在本发明一些实施例中，所述固定标定场地的地面与所述左标定线和右标定线的设置为不同的颜色，且所述地面与所述左标定线和右标定线均无镜面反射；所述左标定线和右标定线之间的距离为车辆的车身长度的1.5～2倍，所述左标定线和右标定线的线长为车辆的车身长度的2～3倍，且车辆的车身的中心线与所述左标定线或所述右标定线的夹角小于2度；所述导轨包括两条导轨线，其中靠近所述左标定线的导轨线与所述左标定线的距离为50～60厘米；且所述固定标定场地还包括照明装置，以使所述固定标定场地的环境亮度值保持在300～1000lux之内，所述照明装置设置在距离所述地面3～5米的高度且无遮挡物遮挡。具体的，所述固定标定场地可参考前述实施例中的相关内容和图例，在此不再赘述。

在本发明一些实施例中，所述摄像单元101还用于在车辆进入具有车道线的直行车道并沿着所述直行车道的中心线行驶时，启动车辆车身上的摄像头对车辆的四周重新进行图像采集；

所述处理单元102还用于对重新采集的多幅图像分别进行边角点检测和畸变校正，对应生成所述重新采集的多幅图像中的角点的图像坐标；并计算所述重新采集的多幅图像中的角点的图像坐标在所述待输出的鸟瞰图中的偏移量，得到所述重新采集的多幅图像中的角点的在所述待输出的鸟瞰图中的真实坐标；以及计算所述重新采集的多幅图像中的角点的图像坐标和真实坐标的单一性矩阵，生成新的全景图和鸟瞰图的查找表。

在本发明一些实施例中，车辆的车身中心线相对于所述直行车道的中心线的偏移量不超过50厘米，车辆的车身中心线与所述车道线的夹角小于5度，同时车辆的前方和后方3米内无障碍物，且车辆的行使速度低于20公里/小时，具体可参考前述实施例中的相关内容和图例，在此不再赘述。

根据本发明实施例提供的车辆全景系统，先通过标定模块10对车辆全景系统进行预标定，然后通过信息获取模块20连续获取车辆的负载信息，当车辆的负载发生变化且负载的变化超出预设范围时，通过标定模块10对车辆全景系统进行重新标定，以校正全景图像；其中，所述预标定为车辆在固定标定场地进行的静态标定，所述重新标定为车辆在行使状态下进行的动态标定，这样能在不同负载下均能达到准确显示全景图像的全景视觉效果。本发明实施例提供的车辆全景系统可在不同的负载下自动完成标定，将四幅全景摄像头图像拼接成一幅360度全景图像。

本发明提供车辆全景系统中的各模块的功能可参考前述方法实施例中的相关技术内容，在此不再赘述。

需要说明的是，在本发明上述各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或智能终端设备或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的上述实施例中模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。