一种车载多摄像头标定方法、系统及图像处理装置制造方法
【专利摘要】本申请提供了一种车载多摄像头标定方法、系统及图像处理装置，所述方法基于外部的标定设备和安装于车辆上的图像处理装置，包括：所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参；所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。因此缩短了传输时间，缩短了标定时间。
【专利说明】一种车载多摄像头标定方法、系统及图像处理装置
【技术领域】
[0001]本申请涉及摄像头参数标定领域，特别涉及一种车载多摄像头标定方法、系统及图像处理装置。
【背景技术】
[0002]车载摄像头具有大于180°水平视场角，安装于机动车特定位置可用于生成车辆周围环境图像。为还原车载摄像头广生的崎变图像，需标定每个摄像头的内部参数(简称内参);为计算各个摄像头的安装视角，需标定每个摄像头的外部参数(简称外参)。其中，标定摄像头的内参即计算摄像头的内参，标定摄像头的外参即计算摄像头的外参。
[0003]目前，标定车载摄像头的内参和外参的方法为:通过机动车上的图像采集设备分别采集各个摄像头拍摄到的图像，并上传至上位机；上位机对各摄像头采集的图像分别进行计算，得到各个摄像头的内参。上位机利用世界坐标系下测量的数据和各个摄像头拍摄到的图像，计算各摄像头的外参，且各摄像头的内参和外参需要下载至机动车上的图像采集设备。
[0004]由于上传至上位机的图像数据量大和下载至机动车上的内参和外参数据量大，因此传输的时间较长，从而延长了标定时间。
[0005]由上可见，目前的标定车载摄像头的内参和外参的方法存在标定时间长的缺点。
【发明内容】
[0006]为解决上述技术问题，本申请实施例提供一种车载多摄像头标定方法、系统及图像处理装置，以达到缩短传输时间，缩短标定时间的目的，技术方案如下:
[0007]—种车载多摄像头标定方法，基于外部的标定设备和安装于车辆上的图像处理装置，所述方法包括:
[0008]所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当如待标定摄像头的内参；
[0009]所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；
[0010]所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0011]优选的，所述图像处理装置通过所述标定设备的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标的过程，包括:
[0012]在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；
[0013]在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合，在接收到所述标定设备发送的角点调整确认命令时，停止调整，
[0014]在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；
[0015]其中，在调整各个角点的虚拟位置过程中，若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的虚拟位置，并恢复至角点的初始位置。
[0016]优选的，在所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参之后，还包括:
[0017]所述图像处理装置通过所述内参和所述外参,生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像，并发送至安装于车辆上的显示装置；
[0018]在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域，在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表；
[0019]在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果拒绝命令，退出标定模式。
[0020]优选的，在所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之后，所述图像处理装置接收所述标定设备发送的标定结果确认命令之前，所述方法还包括:
[0021]所述图像处理装置返回图像完成命令至所述标定设备，提示虚拟俯视图像成功生成。
[0022]优选的，在所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式后，所述方法还包括:
[0023]所述图像处理装置在接收到所述标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式。
[0024]一种安装于车辆上的图像处理装置，基于外部的标定设备，所述装置包括:
[0025]第一获取模块，用于在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当如待标定摄像头的内参；
[0026]第二获取模块，用于通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；
[0027]计算模块，用于通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0028]优选的，所述第二获取模块包括:
[0029]第一获取单元，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；[0030]调整单元，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合，在接收到所述标定设备发送的角点调整确认命令时，停止调整；
[0031]第二获取单元，用于在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；
[0032]停止调整单元，用于在调整各个角点的虚拟位置过程中，若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的角点坐标，并恢复至角点的初始位置。
[0033]优选的，所述图像处理装置还包括:
[0034]第一生成模块，用于通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像；
[0035]发送模块，用于发送所述虚拟俯视图像至安装于车辆上的显示装置；
[0036]第二生成模块，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表;
[0037]擦除模块，用于在所述第二生成模块生成除所述虚拟俯视图像对应的查找表之外的查找表之后，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域；
[0038]写入模块，用于在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表；
[0039]第一退出模块，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，接收所述标定设备发送的标定结果拒绝命令，退出标定模式；
[0040]Flash，用于存储除虚拟俯视图像对应的查找表之外的查找表；
[0041]返回模块，用于在所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之后，所述图像处理装置接收所述标定设备发送的标定结果确认命令之前，返回图像完成命令至所述标定设备，提示虚拟俯视图像成功生成。
[0042]优选的，所述图像处理装置还包括:
[0043]第二退出模块，用于在接收到所述标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式。
[0044]—种车载多摄像头标定系统，包括外部的标定设备、如上述任意一项所述的安装于车辆上的图像处理装置及安装于车辆上的显示装置，其中:
[0045]所述标定设备，用于发送命令至所述图像处理装置，其中所述命令至少包括开始标定命令，角点坐标获取命令，角点坐标调整命令，取消角点坐标调整命令，标定结果确认命令，标定结果拒绝命令，及退出标定命令；
[0046]所述图像处理装置，用于根据所述标定设备发送的命令，执行与所述命令对应的操作，并返回相应的命令至标定设备，其中，所述相应的命令中至少包括图像完成命令；
[0047]所述显示装置，用于显示所述图像处理装置生成的当前待标定摄像头拍摄范围内对应的虚拟俯视图像，所述虚拟俯视图像是根据所述标定设备发送的命令获取到的内参和计算出的外参生成的图像。
[0048]与现有技术相比，本申请的有益效果为:
[0049]在本申请中，基于外部的标定设备和安装于车辆上的图像处理装置，通过图像处理装置接收标定设备的开始标定命令，进入标定模式，并获取当前待标定摄像头的内参；所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0050]由于本申请提供的标定方法基于外部的标定设备和安装于车辆上的图像处理装置，在图像处理装置中计算出内参和外参，无需上传图像至上位机，也无需从上位机中下载内参和外参至车辆内的图像处理装置中，避免了大量数据的传输，从而缩短了标定时间。此夕卜，虽然标定设备与图像处理装置之间传输相应指令，但是相应指令的数据量远远小于上传至上位机的图像数据量和下载至车辆的内参、外参数据量，因此相比于现有技术的标定方法仍然缩短了传输时间，进而缩短了标定时间。
【专利附图】
【附图说明】
[0051]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0052]图1是本申请提供的车载多摄像头标定方法的一种流程图；
[0053]图2是本申请提供的一种棋盘格的示意图；
[0054]图3是本申请提供的车载多摄像头标定方法的一种子流程图；
[0055]图4是本申请提供的车载多摄像头标定方法的另一种流程图；
[0056]图5是本申请提供的一种工作交互示意图；
[0057]图6是本申请提供的安装于车辆上的图像处理装置的一种结构示意图；
[0058]图7是本申请提供的第二获取模块的一种结构示意图；
[0059]图8是本申请提供的图像处理装置的另一种结构示意图；
[0060]图9是本申请提供的车载多摄像头标定系统的一种结构示意图；
[0061]图10是本申请提供的车载多摄像头标定系统的另一种结构示意图。
【具体实施方式】
[0062]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0063]本申请提供一种车载多摄像头标定方法，基于外部的标定设备和安装于车辆上的图像处理装置，所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参；所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。以下将列举实施例对本申请提供的一种车载多摄像头标定方法进行详细说明。
[0064]一个实施例
[0065]请参见图1，其示出了本申请提供的车载多摄像头标定方法的一种流程图，其中，本申请提供的车载多摄像头标定方法基于外部的标定设备和安装于车辆上的图像处理装置，标定时将外部的标定设备接入整车网络，与图像处理装置实现通信。需要说明的是，在对车辆上的摄像头进行标定时，需要对车辆上的每个摄像头进行标定，采用的是逐一进行标定的方式，图1示出的车载多摄像头标定方法针对的仅是对当前待标定摄像头的标定过程，因此，对于每个摄像头进行标定时，逐一将每个摄像头作为当前待标定摄像头即可。图1示出的车载多摄像头标定方法可以包括以下步骤:
[0066]步骤S11:所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参。
[0067]图像处理装置在接收到标定设备发送的开始标定命令时，进入标定模式，从当前待标定摄像头中犹取当如待标定摄像头的内参。
[0068]图像处理装置在获取到当前待标定摄像头的内参后，对获取到的内参进行校验，在校验结果可接受时，返回内参可用命令至标定设备并将当前待标定摄像头拍摄的图像发送至显示装置进行显示，并且图像处理装置在当前待标定摄像头拍摄的图像上标识出各个角点的角点位置，显示在显示装置上。
[0069]在本实施例中，当前待标定摄像头拍摄的图像为棋盘格，角点为棋盘格中的十字交叉点。当前待标定摄像头拍摄的图像可以参见图2，图2示出的是本申请提供的一种棋盘格的示意图，其中，标号21为棋盘格，标号22为角点。
[0070]在对内参进行校验的结果不可接受时，图像处理装置可向标定设备返回内参不可用命令，并退出标定模式，在对当前待标定摄像头进行检修后再执行步骤S11。
[0071]标定设备在接收到内参可用命令后，会发送角点坐标获取命令至图像处理装置，执行步骤S12。
[0072]步骤S12:所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0073]图像处理装置在接收到标定设备发送的角点坐标获取命令后，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0074]步骤S13:所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0075]在本实施例中，图像处理装置利用现有的标定算法，通过各个角点的角点坐标和内参，计算当前待标定摄像头的外参。
[0076]具体的，利用棋盘格标定算法，依据各个角点的角点坐标和内参，计算当前待标定摄像头的外参。
[0077]在对当如标定摄像头进彳丁标定结束后，可以从未标定的摄像头中选取 ^摄像头作为当前标定摄像头进行标定，标定的过程和图1示出的标定过程相同。直至车辆上安装的所有摄像头全部标定结束。
[0078]在本申请中，基于外部的标定设备和安装于车辆上的图像处理装置，通过图像处理装置接收标定设备的开始标定命令，进入标定模式，并获取当前待标定摄像头的内参；所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0079]由于本申请提供的标定方法基于外部的标定设备和安装于车辆上的图像处理装置，在图像处理装置中计算出内参和外参，无需上传图像至上位机，也无需从上位机中下载内参和外参至车辆内的图像处理装置中，避免了大量数据的传输，从而缩短了标定时间。此夕卜，虽然标定设备与图像处理装置之间传输相应指令，但是相应指令的数据量远远小于上传至上位机的图像数据量和下载至车辆的内参、外参数据量，因此相比于现有技术的标定方法仍然缩短了传输时间，进而缩短了标定时间。
[0080]另一个实施例
[0081]在本实施例中，示出的是图像处理装置通过所述标定设备的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标的具体过程，请参见图3，图3示出的是本申请提供的车载多摄像头标定方法的一种子流程图，可以包括以下步骤:
[0082]步骤S31:在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0083]在本实施例中，当前待标定摄像头拍摄的图像上各个角点的虚拟位置为图像处理装置在当前待标定摄像头拍摄的图像上标识出的各个角点的角点位置。
[0084]若标识出的各个角点的角点位置与各个角点各自的实际位置重合，标定设备则发送角点坐标获取命令至图像处理装置。
[0085]图像处理装置接收标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0086]获取当前待标定摄像头拍摄的图像上各个角点的角点坐标采用逐个获取的方式进行获取，如，现有三个角点，分别为a、b和C，若a为当前激活的角点，则先获取a的角点坐标，在获取a的角点坐标后，b变为当前激活的角点，则获取b的角点坐标，在获取b的角点坐标后，c变为当前激活的角点,则获取c的角点坐标。
[0087]步骤S32:在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合，在接收到标定设备发送的角点调整确认命令时，停止调整。
[0088]若标识出的各个角点的角点位置与各个角点各自的实际位置不重合，标定设备则发送角点坐标调整命令至图像处理装置。
[0089]图像处理装置接收标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置(即调整各个角点的标识位置)，直至各个角点的虚拟位置(即标识出的各个角点的位置)和各自的实际位置重合，标定设备停止发送角点坐标调整命令并发送角点调整确认命令至图像处理装置，图像处理装置在接收到所述角点调整确认命令时，停止调整。
[0090]图像处理装置在停止调整后，返回角点调整结束命令至标定设备。
[0091]需要说明的是，在调整各个角点的虚拟位置过程中，图像处理装置若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的虚拟位置，并将角点的当前虚拟位置恢复至角点的初始虚拟位置，返回停止调整角点坐标命令至标定设备。
[0092]步骤S33:在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0093]图像处理装置在对标识出的各个角点的位置(即各个角点的虚拟位置)进行调整至标识出的各个角点的位置(即各个角点的虚拟位置)与各自的实际位置重合后，图像处理装置会接收到标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0094]再一个实施例
[0095]在本实施例中，在图1示出的车载多摄像头标定方法基础上扩展出另外一种车载多摄像头标定方法，请参见图4，图4示出的是本申请提供的车载多摄像头标定方法的另一种流程图，可以包括以下步骤:
[0096]步骤S41:所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参。
[0097]步骤S42:所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0098]步骤S43:所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0099]步骤S41、步骤S42和步骤S43与图1示出的车载多摄像头标定方法中的步骤S11、步骤S12和步骤S13相同，在此不再赘述。
[0100]步骤S44:所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像，并发送至安装于车辆上的显示装置。
[0101]本实施例中，图像处理装置生成虚拟俯视图像后，在执行步骤S45之前，图像处理装置会返回图像完成命令至标定设备，提示虚拟俯视图像成功生成。
[0102]步骤S45:在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域，在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表。
[0103]显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像若一致，说明标定结果可接受，标定设备则发送标定结果确认命令给图像处
理装置。
[0104]图像处理装置接收标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除虚拟俯视图像对应的查找表之外的查找表，并擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域，在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表。
[0105]除虚拟俯视图像对应的查找表之外的查找表具体为:除虚拟俯视图像之外的其他视角的虚拟图像生成时所需要的查找表及对应倒车辅助线功能的虚拟图像生成时所需要的查找表。各个查找表中存储的是摄像头拍摄的实际图像中每个像素点的坐标值。根据查找表中存储的坐标值可以从摄像头拍摄的实际图像中提取出各个像素点，图像处理装置对提取出的像素点进行排列，即可生成虚拟图像。
[0106]当然，图像处理装置在生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之前，已经将虚拟俯视图像对应的查找表存储在Flash中相应区域中。
[0107]在所有查找表生成并存储之后，图像处理装置返回查找表成功生成命令至标定设备，图像处理装置会退出标定模式，恢复正常工作模式。
[0108]步骤S46:在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果拒绝命令，退出标定模式。
[0109]显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像若不一致，标定设备则发送标定结果拒绝命令至图像处理装置。
[0110]图像处理装置接收标定设备发送的标定结果拒绝命令，退出标定模式。
[0111]在上述方法实施例中，图像处理装置在接收到标定设备的开始标定命令时，进入标定模式后的任意一个时刻，若接收到标定设备发送的退出标定命令，图像处理装置则在接收到标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式，并返回确认退出命令至标定设备。
[0112]在本申请中，图像处理装置在本申请提供的车载多摄像头标定方法中的功能可以由图像处理装置中的DSP (数字信号处理，Digital Signal Processing)控制器来实现。
[0113]需要说明的是，在图像处理装置在本申请提供的车载多摄像头标定方法中的功能由图像处理装置中的DSP控制器来实现时，上述方法实施例中涉及到的标定设备的命令可以由图像处理装置中的MCU (微控制单元,Micro Controller Unit)进行转发,转发至图像处理装置中的DSP控制器，从而使图像处理装置中的DSP控制器执行相应的操作，完成对当iu待标定摄像头的标定工作。
[0114]在图像处理装置在本申请提供的车载多摄像头标定方法中的功能由图像处理装置中的DSP控制器来实现，标定设备的命令由图像处理装置中的MCU进行转发时，DSP控制器、MCU、显示装置和标定设备的工作交互示意图可以参见图5，图5示出的是本申请提供的一种工作交互示意图。图5示出的标定设备和MCU通过CAN接口进行通信，通信是双向的，标定设备将命令发送至MCU，MCU将命令转发至DSP控制器，MCU同样可以将DSP控制器返回的命令转发至标定设备。MCU和DSP控制器通过串口通信(即SCI通信)，DSP控制器通过CAN接口通信通知当前待标定摄像头输出拍摄的图像至DSP控制器。
[0115]现对DSP控制器、标定设备、微控制单元MCU、摄像头和显示装置之间的具体交互工作过程进行说明。标定设备发送开始标定命令至微控制单元MCU，微控制单元MCU将开始标定命令转发至DSP控制器，DSP控制器在接收到开始标定命令后，进入标定模式，并获取当前待标定摄像头的内参；通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标，在各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，标定设备会发送角点坐标调整命令至微控制单元MCU，微控制单元MCU转发角点坐标调整命令至DSP控制器，DSP控制器在接收到角点坐标调整命令后，调整各个角点的虚拟位置和各自的实际位置重合，在角点的虚拟位置和实际位置重合的情况下，标定设备发送角点调整确认命令至微控制单元MCU，微控制单元MCU发送角点调整确认命令至DSP控制器，DSP控制器接收到角点调整确认命令后，不再对当前角点的虚拟位置进行调整，并激活下一个角点，返回角点调整结束命令至MCU，MCU转发角点调整结束命令至标定设备，直至获取到所有角点的角点坐标。DSP控制器依据输入内参和所有角点的角点坐标，计算出当前标定摄像头的外参，然后生成虚拟俯视图像，在虚拟俯视图像与相应实际俯视图像一致的情况下，认为标定结果可接受，结束当前标定过程，进入下一个待标定摄像头的标定过程；在虚拟俯视图像与相应实际俯视图像不一致的情况下，认为标定结果不可接受，退出标定模式。
[0116]与上述方法实施例相对应，本申请提供了一种安装于车辆上的图像处理装置，基于外部的标定设备，请参见图6，图6示出的是本申请提供的安装于车辆上的图像处理装置的一种结构示意图，图像处理装置包括:第一获取模块61、第二获取模块62和计算模块63。
[0117]第一获取模块61，用于在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参。
[0118]第二获取模块62，用于通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0119]第二获取模块62的具体结构可以参见图7，图7示出了本申请提供的第二获取模块的一种结构示意图，第二获取模块包括:第一获取单元71、调整单元72、第二获取单元73和停止调整单元74。
[0120]第一获取单元71，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0121]调整单元72，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合，在接收到标定设备发送的角点调整确认命令时，停止调整。
[0122]第二获取单元73，用于在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标。
[0123]停止调整单元74，用于在调整各个角点的虚拟位置过程中，若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的角点坐标，并恢复至角点的初始位置。
[0124]回到图6，计算模块63，用于通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
[0125]其中，第一获取模块61、第二获取模块62和计算模块63可以集成到图像处理装置的DSP控制器中。
[0126]另一个实施例[0127]在本实施例中，在图6示出的图像处理装置的基础上扩展出另外一种图像处理装置，请参见图8，图8示出的是本申请提供的图像处理装置的另一种结构示意图，在图6的基础上还包括:
[0128]第一生成模块81、发送模块82、第二生成模块83、擦除模块84、写入模块85、第一退出模块86、Flash87和返回模块88。
[0129]第一生成模块81，用于通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像。
[0130]发送模块82，用于发送所述虚拟俯视图像至安装于车辆上的显示装置。
[0131]第二生成模块83，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表。
[0132]擦除模块84，用于在所述第二生成模块生成除所述虚拟俯视图像对应的查找表之外的查找表之后，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域。
[0133]写入模块85，用于在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表。
[0134]第一退出模块86，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，接收所述标定设备发送的标定结果拒绝命令，退出标定模式。
[0135]Flash87，用于存储除虚拟俯视图像对应的查找表之外的查找表。
[0136]返回模块88，用于在所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之后，所述图像处理装置接收所述标定设备发送的标定结果确认命令之前，返回图像完成命令至所述标定设备，提示虚拟俯视图像成功生成。
[0137]在上述的装置实施例中，图像处理装置还可以包括:第二退出模块，用于在接收到所述标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式。
[0138]上述装置实施例中，图像处理装置中的各个模块及模块所包括的单元可以集成到DSP控制器中。
[0139]再一个实施例
[0140]在本实施例中，示出的是本申请提供的一种车载多摄像头标定系统，请参见图9，图9示出的是本申请提供的车载多摄像头标定系统的一种结构示意图，车载多摄像头标定系统包括:外部的标定设备91、图像处理装置92和显示装置93，其中图像处理装置92的结构和图6至图8所述的图像处理装置结构相同，显示装置93安装于车辆上。
[0141]外部的标定设备91，用于发送命令至所述图像处理装置92，其中所述命令至少包括开始标定命令，角点坐标获取命令，角点坐标调整命令，取消角点坐标调整命令，标定结果确认命令，标定结果拒绝命令，及退出标定命令。
[0142]图像处理装置92，用于根据外部的标定设备91发送的命令，执行与所述命令对应的操作，并返回相应的命令至标定设备91。[0143]图像处理装置92根据外部的标定设备91发送的命令，执行与命令对应的具体操作可以参见图6至图8所示的图像处理装置执行的操作，在此不再赘述。图像处理装置91在执行与所述命令对应的操作，返回至标定设备91的相应的命令可以参见上述方法实施例中所涉及到的图像处理装置返回的命令，在此不再赘述。
[0144]显示装置93，用于显示图像处理装置92生成的当前待标定摄像头拍摄范围内对应的虚拟俯视图像，所述虚拟俯视图像是图像处理装置92根据外部的标定设备91发送的命令获取到的内参和计算出的外参生成的图像。
[0145]再一个实施例
[0146]在本实施例中，示出的是在图像处理装置由DSP控制器和MCU实现时对应的车载多摄像头标定系统，其中，DSP控制器集成了图6至图8所示的图像处理装置所包括的各个模块及单元，请参见图10，图10示出的是本申请提供的车载多摄像头标定系统的另一种结构示意图，车载多摄像头标定系统包括:外部的标定设备91、MCU101、DSP控制器102和显示装置93。
[0147]外部的标定设备91和显示装置93是图9示出的车载多摄像头标定系统中的外部的标定设备和显示装置，在此不再赘述。
[0148]MCU101，用于转发外部的标定设备91的命令至DSP控制器102及转发DSP控制器102的命令至外部的标定设备91。
[0149]DSP控制器102，用于根据外部的标定设备91的命令，执行与所述命令对应的操作，并返回相应的命令至MCU101。
[0150]DSP控制器102，通过MCU101转发的外部的标定设备91的命令，执行与所述命令对应的操作。需要说明的是，DSP控制器102根据外部的标定设备91的命令，执行与命令对应的具体操作可以参见图6至图8所示的图像处理装置中各个模块及单元所执行的操作，在此不再赘述。DSP控制器102在执行与所述命令对应的操作，返回至MCU101的相应的命令可以参见上述方法实施例中所涉及到的图像处理装置返回的命令，在此不再赘述。
[0151]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0152]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没 有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0153]以上对本申请所提供的一种车载多摄像头标定方法、系统及图像处理装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
【权利要求】
1.一种车载多摄像头标定方法，其特征在于，基于外部的标定设备和安装于车辆上的图像处理装置，所述方法包括: 所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参； 所述图像处理装置通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标； 所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
2.根据权利要求1所述的方法，其特征在于，所述图像处理装置通过所述标定设备的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标的过程，包括: 在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标； 在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合 ，在接收到所述标定设备发送的角点调整确认命令时，停止调整， 在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标； 其中，在调整各个角点的虚拟位置过程中，若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的虚拟位置，并恢复至角点的初始位置。
3.根据权利要求1所述的方法，其特征在于，在所述图像处理装置通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参之后，还包括: 所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像，并发送至安装于车辆上的显示装置； 在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域，在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表； 在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，所述图像处理装置接收所述标定设备发送的标定结果拒绝命令，退出标定模式。
4.根据权利要求3所述的方法，其特征在于，在所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之后，所述图像处理装置接收所述标定设备发送的标定结果确认命令之前，所述方法还包括: 所述图像处理装置返回图像完成命令至所述标定设备，提示虚拟俯视图像成功生成。
5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述图像处理装置在接收到所述标定设备的开始标定命令时，进入标定模式后，所述方法还包括:所述图像处理装置在接收到所述标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式。
6.一种安装于车辆上的图像处理装置，其特征在于，基于外部的标定设备，所述装置包括:第一获取模块，用于在接收到所述标定设备的开始标定命令时，进入标定模式，并获取当前待标定摄像头的内参；第二获取模块，用于通过所述标定设备的角点坐标获取命令，获取所述当前待标定摄像头拍摄的图像上各个角点的角点坐标；计算模块，用于通过各个角点的角点坐标和所述内参，计算所述当前待标定摄像头的外参。
7.根据权利要求6所述的图像处理装置，其特征在于，所述第二获取模块包括:第一获取单元，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置重合的情况下，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；调整单元，用于在当前待标定摄像头拍摄的图像上各个角点的虚拟位置和各个角点各自的实际位置不重合的情况下，接收所述标定设备发送的角点坐标调整命令，调整各个角点的虚拟位置，直至和各自的实际位置重合，在接收到所述标定设备发送的角点调整确认命令时，停止调整；第二获取单元，用于在各个角点的虚拟位置和各自的实际位置重合后，接收所述标定设备发送的角点坐标获取命令，获取当前待标定摄像头拍摄的图像上各个角点的角点坐标；停止调整单元，用于在调整各个角点的虚拟位置过程中，若接收到所述标定设备发送的取消角点坐标调整命令，则停止调整所述角点的角点坐标，并恢复至角点的初始位置。
8.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括:第一生成模块，用于通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像；发送模块，用于发送所述虚拟俯视图像至安装于车辆上的显示装置；第二生成模块，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像一致的情况下，接收所述标定设备发送的标定结果确认命令，根据所述内参和所述外参，生成除所述虚拟俯视图像对应的查找表之外的查找表；擦除模块，用于在所述第二生成模块生成除所述虚拟俯视图像对应的查找表之外的查找表之后，擦除Flash中用于存储除所述虚拟俯视图像对应的查找表之外的查找表的区域；写入模块，用于在擦除Flash中相应区域后，向所述Flash中相应区域写入除虚拟俯视图像对应的查找表之外的查找表；第一退出模块，用于在所述显示装置显示的所述虚拟俯视图像与所述当前待标定摄像头拍摄范围内对应的实际俯视图像不一致的情况下，接收所述标定设备发送的标定结果拒绝命令，退出标定模式； Flash，用于存储除虚拟俯视图像对应的查找表之外的查找表； 返回模块，用于在所述图像处理装置通过所述内参和所述外参，生成当前待标定摄像头拍摄范围内对应的虚拟俯视图像之后，所述图像处理装置接收所述标定设备发送的标定结果确认命令之前，返回图像完成命令至所述标定设备，提示虚拟俯视图像成功生成。
9.根据权利要求6-8任意一项所述的图像处理装置，其特征在于，所述图像处理装置还包括: 第二退出模块，用于在接收到所述标定设备发送的退出标定命令时，退出标定模式，返回正常工作模式。
10.一种车载多摄像头标定系统，其特征在于，包括外部的标定设备、如权利要求6-9任意一项所述的安装于车辆上的图像处理装置及安装于车辆上的显示装置，其中: 所述标定设备，用于发送命令至所述图像处理装置，其中所述命令至少包括开始标定命令，角点坐标获取命令，角点坐标调整命令，取消角点坐标调整命令，标定结果确认命令，标定结果拒绝命令，及退出标定命令； 所述图像处理装置，用于根据所述标定设备发送的命令，执行与所述命令对应的操作，并返回相应的命令至标定设备，其中，所述相应的命令中至少包括图像完成命令； 所述显示装置，用于显示 所述图像处理装置生成的当前待标定摄像头拍摄范围内对应的虚拟俯视图像，所述虚拟俯视图像是根据所述标定设备发送的命令获取到的内参和计算出的外参生成的图像。
【文档编号】G06T7/00GK103646403SQ201310733927
【公开日】2014年3月19日 申请日期:2013年12月26日 优先权日:2013年12月26日
【发明者】陈筱婧, 刘巍, 蔡绍晓, 王勇萍 申请人:北京经纬恒润科技有限公司