雷达校正系统和方法与流程

1.本案的实施例主要有关于雷达校正技术，特别有关于动态调整雷达投影参数的雷达校正技术。


背景技术：

2.随着科技日益的进步，侦测车辆前方的障碍物的应用(例如：主动巡航控制系统(autonomous cruise control，ace))广泛的被提出。在这些应用中，主要通过安装在汽车上的传感器侦测车辆前方的障碍物，并根据侦测到之信息，发出警示讯息或是自动控制车辆与障碍物维持安全距离，以避免驾驶者因疏忽或视线死角等因素导致交通意外的发生。
3.目前侦测车辆前方障碍物主要利用摄影机和雷达。由于，利用摄影机产生之图像来进行侦测之方式容易受到气候变化(例如：大雨或大雾等造成视线不良之因素)的影响，进而造成车辆系统无法判断或误判情形，因此，会使用雷达来辅助侦测，以降低误判之情况以及提升判断精准度。
4.传统雷达的雷达投影参数，会在车辆出厂(或出车前)先经由车辆维修厂的专业人员先根据摄影机和雷达的位置进行校正。当车辆行驶时，车辆系统就会根据设定好的雷达投影参数将雷达感测信息投影至摄影机产生的拍摄图像。然而，当摄影机和雷达的位置(例如：受外力产生的偏移)产生偏差时，车辆系统并无法实时地去校正雷达投影参数，因而造成雷达感测信息无法准确地投影到摄影机产生的拍摄图像。因此，将可能造成交通意外的发生。


技术实现要素：

5.有鉴于上述先前技术的问题，本案的实施例提供了一种雷达校正和方法。
6.根据本案的实施例提供了一种雷达校正系统。上述雷达校正系统包括摄影装置、雷达装置和图像处理装置。摄影装置配置在车辆，且产生拍摄图像。雷达装置配置在上述车辆，且产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数。图像处理装置配置在上述车辆，根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像。此外，图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点，且对上述多个采样雷达点，进行统计运算，以产生统计采样雷达点。图像处理装置根据上述统计采样雷达点，计算距离偏移值。图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正雷达感测信息。
7.根据实施例提供了一种雷达校正方法。雷达校正方法适用于雷达校正系统。雷达校正方法的步骤可包括：通过雷达校正系统的摄影装置产生拍摄图像；通过雷达校正系统的雷达装置产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数；通过雷达校正系统的图像处理装置根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像；通过上述图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点；通过上述图像处理装置对上述多个采样雷达点，进行统计运算，以产
生统计采样雷达点；通过上述图像处理装置根据上述统计采样雷达点，计算距离偏移值；以及通过上述图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正雷达感测信息。
8.关于本案其他附加的特征与优点，此领域的熟习技术人士，在不脱离本发明的精神和范围内，当可根据本案实施方法中所揭露所述的雷达校正系统和方法，做些许的更动与润饰而得到。
附图说明
9.图1是显示根据实施例所述的雷达校正系统100的方块图。
10.图2是显示根据实施例所述的图像处理装置130的方块图。
11.图3是显示根据实施例所述的合成图像的示意图。
12.图4是显示根据实施例所述的标准化运算的示意图。
13.图5是显示根据实施例所述的移动平均运算的结果和距离偏移值的示意图。
14.图6是根据实施例所述的雷达校正方法的流程图。
具体实施方式
15.本章节所叙述的是本案的可实施方式范例，目的在于说明本案的精神而非用以限定发明的保护范围，发明的保护范围当视后附的权利要求书所界定者为准。
16.图1是显示根据实施例所述的雷达校正系统100的方块图。雷达校正系统100可应用于车辆上。如图1所示，雷达校正系统100可包括摄影装置110、雷达装置120、图像处理装置130和储存装置140。注意地是，在图1中所示的方块图，仅为了方便说明本案的可实施例，但可实施本案的系统并不以图1为限。雷达校正系统100中亦可包含其他组件。
17.根据实施例，摄影装置110配置在车辆上。当车辆在行驶时，摄影装置110可用以拍摄车辆可视界(visible view)的景象，以产生拍摄图像。
18.根据实施例，雷达装置120配置在车辆上。当车辆在行驶时，雷达装置120可用以发射雷达讯号，并接收反射回的雷达讯号，以产生雷达感测信息。根据实施例，雷达感测信息可对应一组雷达投影参数(或转换参数)。图像处理装置130可根据雷达投影参数将雷达感测信息投影至拍摄图像，以产生合成图像，以对车辆可视界前方的目标物(感测物或障碍物)进行监控。根据实施例，初始的雷达投影参数是车辆出厂(或行驶)前，预先根据摄影装置110和雷达装置120配置在车辆上的角度信息所计算出，并储存在储存装置140。在实施例中，图像处理装置130可动态去校正雷达投影参数，以确保雷达感测信息可较准确地投影到拍摄图像。底下的实施例将会有更详细的说明。
19.根据实施例，储存装置140可是易失性存储器(volatile memory)(例如：随机存取存储器(random access memory,ram))，或非易失性存储器(non-volatile memory)(例如：闪存(flash memory)、只读存储器(read only memory,rom))、硬盘或上述装置的组合。储存装置140可用以储存雷达投影参数和要进行雷达投影参数的校正所需的信息和数据。
20.图2是显示根据实施例所述的图像处理装置130的方块图。如图2所示，图像处理装置130可包括图像处理电路131、采样电路132、统计运算电路133以及投影参数校正电路134。
21.根据实施例，图像处理电路131可从摄影装置110取得拍摄图像，以及从雷达装置120取得雷达感测信息。图像处理电路131可根据储存在储存装置140的雷达投影参数，将雷达感测信息投影至拍摄图像，以产生合成图像，以对车辆可视界前方的目标物(感测物或障碍物)进行监控。根据实施例，在车辆行驶过程中，图像处理电路131在采样时间区间内产生的合成图像可包含至少一目标物(例如：车或其他类型感测物或障碍物)以及多个雷达点。在图像处理电路131产生的合成图像中的每一目标物都会对应一定界框(bounding box，b-box)。定界框的尺寸会和车辆和目标物的间的距离(车距)以及目标物的形态或类型相关。当车辆和目标物的距离越近，定界框的尺寸会越大。根据实施例，合成图像产生后，图像处理电路131可将合成图像传送给采样电路132。
22.根据实施例，采样电路132接收到后合成图像后，采样电路132可先根据默认的目标物类型或形态(例如：小客车、休旅车、机车和卡车的一个或其他任意对象，但不以此为限)和预设的感测距离，去选取每一采样时间区间内产生的合成图像中所要进行后续操作的目标物。举例来说，若默认的目标物类型是小客车，且预设的感测距离是10米，采样电路132可在每一采样时间区间内产生的合成图像中，选取和车辆的距离10米(或最接近10米)的小客车，作为采样电路132要进行后续操作的目标物。根据实施例，每一采样时间区间所对应的感测距离都是相同的距离(即限定的距离)。根据另一实施例，每一采样时间区间所对应的感测距离可是不相同的距离(即不限定的距离)。
23.根据实施例，不同的目标物类型可通过执行图像识别算法来进行识别。默认的目标物类型(即要进行侦测的目标物类型)可由驾驶预先设定。
24.根据实施例，采样电路132可使用默认比例将合成图像中选取的目标物对应的定界框的尺寸扩大(例如：扩大10％，但不以此为限)，以产生扩大定界框。接着，采样电路132可滤除在扩大定界框外的雷达点(无效雷达点)，以取得多个候选雷达点。根据实施例，采样电路132可根据默认的感测距离(例如：10米或任一预设感测距离，但不以此为限)从多个候选雷达点选取一个作为采样雷达点。明确地来说，采样电路132可根据默认的感测距离，从多个候选雷达点中选取和车辆间的距离最接近预设的感测距离的候选雷达点，作为一采样雷达点。根据另一实施例，采样电路132亦可从多个候选雷达点中选取距离最接近车辆的候选雷达点，作为采样雷达点。以图3为例，在合成图像s1中，采样电路132可滤除在以预设比例扩大的定界框b1所产生的扩大定界框b2外的雷达点r1(无效雷达点)。在扩大定界框b2内的雷达点r2和r3，则会被视为多个候选雷达点r2和r3。接者，采样电路132可从候选雷达点r2和r3中，选取和车辆间的距离最接近预设的感测距离的候选雷达点作为采样雷达点，或从候选雷达点r2和r3中选取距离最接近车辆的候选雷达点，作为采样雷达点。以此类推，采样电路132在每一采样时间区间内产生的合成图像中，都会取出采样雷达点，且每一采样雷达点都会对应扩大定界框。
25.根据实施例，若每一采样时间区间所对应的感测距离都是相同的距离(即限定的距离)，即表示每一采样时间区间内所选取的采样雷达点所对应的扩大定界框的尺寸都是相同的。
26.根据另一实施例，若每一采样时间区间所对应的感测距离可是不相同的距离(即一不限定的距离)，即表示每一采样时间区间内所选取的采样雷达点所对应的扩大定界框的尺寸可不相同。因此，在此实施例中，采样电路132会对不同尺寸的扩大定界框，以及对不
同尺寸的扩大定界框所对应的采样雷达点的位置进行标准化(normalize)运算。以图4为例，若第一采样时间区间对应的扩大定界框b3具有第一尺寸，且第二采样时间区间对应的扩大定界框b4具有第二尺寸，采样电路132会对具有第一尺寸的扩大定界框b3和具有第二尺寸的扩大定界框b4进行标准化运算，以产生一经由标准化的扩大定界框b5。此外，如图4所示，采样电路132亦会对扩大定界框b3对应的采样雷达点r4的位置和扩大定界框b4对应的采样雷达点r5的位置亦进行标准化运算。
27.根据实施例，统计运算电路133可从采样电路132取得采样雷达点。根据实施例，统计运算电路133可判断目前取得的采样雷达点(还未经过统计运算)的数量是否到达第一数量。若目前取得的采样雷达点(还未经过统计运算)的数量尚未到达第一数量，统计运算电路133就会继续收集采样雷达点，直到采样雷达点(还未经过统计运算)的数量达到第一数量。若目前取得的采样雷达点(还未经过统计运算)的数量已到达第一数量，统计运算电路133可对收集到的采样雷达点和具有第二数量的旧采样雷达点(已经用来产生过统计采样雷达点)，进行统计运算(例如：移动平均运算，但不以此为限)，以产生统计采样雷达点。根据实施例，第一数量和第二数量的比例(例如：50比50(50:50)或任意预设比例，但不以此为限)可根据不同的应用情况做调整。
28.根据实施例，移动平均运算可表示，统计运算电路133会计算所有采样雷达点的像素(包含第一数量的采样雷达点的像素和第二数量的旧采样雷达点的像素)的平均值，以产生统计采样雷达点。根据另一实施例，移动平均运算可表示，统计运算电路133会对所有采样雷达点的像素(包含第一数量的采样雷达点的像素和第二数量的旧采样雷达点的像素)进行标准偏差运算，以产生统计采样雷达点。特别说明地是，所述的统计运算并不以所揭露的移动平均实施例为限，其他以统计运算法则计算的方式亦可应用于本案中。
29.根据实施例，统计运算电路133取得统计采样雷达点后，统计运算电路133可去计算统计采样雷达点和理想雷达点的距离偏移值，并将距离偏移值传送给投影参数校正电路134。根据本案的实施例，理想雷达点的位置会和目标物类型相关。对于不同目标物类型，理想雷达点的位置会不相同。根据本案的实施例，距离偏移值可是水平距离偏移值和/或垂直距离偏移值。以图5为例，统计运算电路133可先将所有采样雷达点(包含第一数量的采样雷达点和第二数量的旧采样雷达点)rall移动平均运算以产生统计采样雷达点rs，再去计算统计采样雷达点rs和理想雷达点ri的间的距离偏移值(δx和/或δy)。
30.根据实施例，为了避免校正的幅度过大，统计运算电路133可先将距离偏移值乘上预设比例值(例如：1/4，但不以此为限)，再将调整后的距离偏移值传送给投影参数校正电路134。预设比例值可和第一数量和第二数量的比例相关，当第一数量的比例较高，预设比例值可越大。
31.根据实施例，当投影参数校正电路134取得距离偏移值后，投影参数校正电路134可根据距离偏移值，经由算法，对储存在储存装置140的雷达投影参数进行更新，以校正雷达感测信息。也就是说，利用更新后的雷达投影参数，可让后续接收到的雷达感测信息投影到较准确的位置。
32.根据实施例，投影参数校正电路134所采用的算法可是机器学习(machine learning，ml)算法，例如：主成分分析(principal components analysis，pca)算法结合线性回归(linear regression)算法、深度学习(deep learning，dl)算法，但不以此为限。根
据实施例，投影参数校正电路134所采用的算法可是自适应控制(adaptive control)算法，例如：卡尔曼滤波(kalman filter)算法、递归最小平方法(recursive least squares)算法，但不以此为限。
33.根据实施例，更新雷达投影参数，以校正雷达感测信息后，图像处理电路131即可根据更新后的雷达投影参数，将后续接收到的雷达感测信息投影至后续接收到的拍摄图像中。
34.图6是根据实施例所述的雷达校正方法的流程图。雷达校正方法可适用雷达校正系统100。如图6所示，在步骤s610，雷达校正系统100的摄影装置产生拍摄图像。
35.在步骤s620，雷达校正系统100的雷达装置产生雷达感测信息，其中雷达感测信息会对应一组雷达投影参数。
36.在步骤s630，雷达校正系统100的图像处理装置根据雷达投影参数，将雷达感测信息投影至拍摄图像，以产生合成图像。
37.在步骤s640，雷达校正系统100的图像处理装置根据每一采样时间区间产生的合成图像，取得多个采样雷达点。
38.在步骤s650，雷达校正系统100的图像处理装置对多个采样雷达点，进行统计运算(例如：移动平均运算)，以产生统计采样雷达点。
39.在步骤s660，雷达校正系统100的图像处理装置根据统计采样雷达点，计算距离偏移值。
40.在步骤s670，雷达校正系统100的图像处理装置根据距离偏移值，经由算法，对雷达投影参数进行更新，以校正雷达感测信息。接着，雷达校正方法回到s630，雷达校正系统100的图像处理装置会根据更新后的雷达投影参数，将后续接收到的雷达感测信息投影至后续接收到的拍摄图像中。
41.根据实施例，在一采样时间区间内取得的合成图像中包含至少一目标物，以及多个雷达点。每一目标物对应一定界框。
42.根据实施例，步骤s640还包括，雷达校正系统100的图像处理装置以默认比例扩大定界框，以产生扩大界定框，且根据在采样时间区间取得的合成图像，滤除在扩大界定框外的雷达点，以取得多个候选雷达点，以及根据感测距离，从多个候选雷达点中选取一个，作为多个采样雷达点的一个。在此实施例中，在不同采样时间区间，感测距离可以是一限定距离或不限定距离，且上述定界框的尺寸依据感测物类型或形态而变动。此外，在此实施例中，当上述感测距离是不限定时，雷达校正系统100的图像处理装置将对应第一采样时间区间的具有第一尺寸的扩大定界框和对应第二采样时间区间的具有第二尺寸的扩大定界框进行标准化运算。
43.根据实施例，步骤s650还包括，雷达校正系统100的图像处理装置会取得多个采样雷达点，并判断多个采样雷达点的数量是否到达第一数量。当多个采样雷达点的数量到达第一数量时，雷达校正系统100的图像处理装置对多个采样雷达点和具有第二数量的旧采样雷达点，进行移动平均运算，以产生上述统计采样雷达点。根据实施例，移动平均运算是去计算多个采样雷达点的像素和具有第二数量的旧采样雷达点的像素的平均值，以产生统计采样雷达点。根据另一实施例，移动平均运算是对多个采样雷达点的像素和具有第二数量的旧采样雷达点的像素进行标准偏差运算，以产生统计采样雷达点。
44.根据实施例，步骤s660还包括，雷达校正系统100的图像处理装置可根据统计采样雷达点，计算统计采样雷达点和理想雷达点的距离偏移值。此外，根据实施例，雷达校正系统100的图像处理装置会将距离偏移值乘上预设比例值。
45.根据实施例，步骤s670还包括，雷达校正系统100的图像处理装置会根据距离偏移值，经由算法，对雷达投影参数进行更新，以校正雷达感测信息。根据实施例，上述算法是机器学习算法。根据另一实施例，上述算法是自适应控制算法。
46.根据实施例，雷达校正方法的步骤还包括，雷达校正系统100的图像处理装置会根据更新后的雷达投影参数，将雷达感测信息投影至拍摄图像。
47.根据本案所述的雷达校正系统和方法，在车辆行驶时，当雷达装置或摄影装置的位置发生偏移时，雷达投影参数可动态地和实时地被调整，而使得雷达感测信息可较准确地投影至拍摄图像。
48.本说明书中以及权利要求书中的序号，例如“第一”、“第二”等等，仅为了方便说明，彼此的间并没有顺序上的先后关系。
49.本说明书所揭露的方法和算法的步骤，可直接透过执行处理器直接应用在硬件以及软件模块或两者的结合上。软件模块(包括执行指令和相关数据)和其它数据可储存在数据存储器中，像是随机存取存储器(ram)、闪存(flash memory)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、电子可擦除可编程只读存储器(eeprom)、缓存器、硬盘、可携式硬盘、光盘只读存储器(cd-rom)、dvd或在此领域习的技术中任何其它计算机可读取的储存介质格式。储存介质可耦接至机器装置，举例来说，像是计算机/处理器(为了说明的方便，在本说明书以处理器来表示)，上述处理器可透过来读取信息(像是程序代码)，以及写入信息至储存介质。储存介质可集成处理器。专用集成电路(asic)包括处理器和储存介质。用户设备则包括专用集成电路。换句话说，处理器和储存介质以不直接连接用户设备的方式，包含于用户设备中。此外，在一些实施例中，任何适合计算机程序的产品包括可读取的储存介质，其中可读取的储存介质包括和一个或多个所揭露实施例相关的程序代码。
50.以上段落使用多种层面描述。显然的，本文的教示可以多种方式实现，而在范例中揭露的任何特定架构或功能仅为代表性的状况。根据本文的教示，任何熟知此技术的人士应理解在本文揭露的各层面可独立实施或两种以上的层面可以合并实施。
51.虽然本揭露已以实施例揭露如上，然其并非用以限定本揭露，任何熟习此技术者，在不脱离本揭露的精神和范围内，当可作些许的更动与润饰，因此发明的保护范围当视后附的权利要求书所界定者为准。
52.【符号说明】
53.100：雷达校正系统
54.110：摄影装置
55.120：雷达装置
56.130：图像处理装置
57.131：图像处理电路
58.132：采样电路
59.133：统计运算电路
60.134：投影参数校正电路
61.140：储存装置
62.b1：定界框
63.b2～b4：扩大定界框
64.b5：经由标准化的扩大定界框
65.r1：无效雷达点
66.r2、r3：候选雷达点
67.r4、r5：采样雷达点
68.rall：所有采样雷达点
69.rs：统计采样雷达点
70.ri：理想雷达点
71.s1：合成图像
72.s610～s670：步骤