本申请涉及距离测量领域,且更具体地,涉及一种测距校准方法、装置、电子设备、计算机程序产品和计算机可读存储介质。
背景技术:
基于成像器件来进行测距是目前常用的测距方式之一,其作为一种直观的环境感知手段,具有广泛的应用场景。
通常来说,成像器件对距离的测算精度取决于多个因素,其中一个关键因素就是其在电子设备上的安装位置。为了保证测距结果的准确性,需要在将成像器件安装到电子设备上时对该安装位置进行初始化校准。即使得到初始化校准,在电子设备的运行期间,该安装位置如果发生变化,也将导致成像器件的距离估计结果发生偏差,这种偏差继而会影响电子设备对环境感知的精度,从而导致电子设备产生错误的判断结果。由于电子设备(例如,交通工具、可移动机器人等)的运行环境往往都是高度动态变化的,所以成像器件的安装位置很可能由于电子设备的持续抖动、或者由于周围环境的冷热变化而发生改变。也就是说,随着使用时间的增加,成像器件的位置改变将变得不可避免,只是程度轻重而已。
因此,现有的距离测量技术可能是不准确且不可靠的。
技术实现要素:
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种测距校准方法、装置、电子设备、计算机程序产品和计算机可读存储介质,其可以动态地对基于所述成像器件的获取图像所得到的测距结果进行校准。
根据本申请的一个方面,提供了一种测距校准方法,包括:接收由成像器件获取的关于至少一对指向性光束的测试图像,所述至少一对指向性光束由设置在电子设备的固定位置上的光源按照至少一个预定夹角发出;根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离;获取所述交点与所述参考点之间的实际距离;以及根据所述当前距离和所述实际距离来确定测距校准参数,所述测距校准参数用于对基于所述成像器件的获取图像所得到的测距结果进行校准。
根据本申请的另一方面,提供了一种测距校准装置,包括:图像接收单元,用于接收由成像器件获取的关于至少一对指向性光束的测试图像,所述至少一对指向性光束由设置在电子设备的固定位置上的光源按照至少一个预定夹角发出;距离估计单元,用于根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离;距离获取单元,用于获取所述交点与所述参考点之间的实际距离;以及参数确定单元,用于根据所述当前距离和所述实际距离来确定测距校准参数,所述测距校准参数用于对基于所述成像器件的获取图像所得到的测距结果进行校准。
根据本申请的另一方面,提供了一种电子设备,包括:处理器;存储器;以及存储在所述存储器中的计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的测距校准方法。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行上述的测距校准方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行上述的测距校准方法。
与现有技术相比,采用根据本申请实施例的测距校准方法、装置、电子设备、计算机程序产品和计算机可读存储介质,可以接收由成像器件获取的关于在电子设备的固定位置上设置的光源按照至少一个预定夹角所发出的至少一对指向性光束的测试图像,根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离,获取两点之间的实际距离,并且根据所述当前距离和所述实际距离来确定测距校准参数,以用于对基于所述成像器件的获取图像所得到的测距结果进行校准。因此,与如现有技术中的距离测量技术相比,可以动态地对基于所述成像器件的获取图像所得到的测距结果进行校准,减少了由于运动颠簸等原因对交通工具上装备的成像器件的感知精度造成的影响。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的测距校准方法的流程图。
图2图示了根据本申请实施例第一示例的估计当前距离步骤的流程图。
图3图示了根据本申请实施例第二示例的估计当前距离步骤的流程图。
图4图示了根据本申请实施例的校准测距结果步骤的流程图。
图5图示了根据本申请实施例的测距校准方法在车辆中应用的示意图。
图6图示了根据本申请实施例的测距校准装置的框图。
图7图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,成像器件对距离的测算精度主要取决于其在电子设备上的安装位置,需要在将成像器件安装到电子设备上时,根据安装位置来对成像器件的测距操作进行初始化校准,并且在后续过程中,还需要根据该位置的持续变化来对成像器件的测距操作进行动态校准。
针对该技术问题,本申请的基本构思是提出一种新的测距校准方法、装置、电子设备、计算机程序产品和计算机可读存储介质,其可以利用在电子设备的固定位置上设置的光源发出至少一对指向性光束作为一种参考标尺,用来对基于成像器件的测距操作进行动态校准。
本申请的实施例可以应用于各种场景。例如,本申请的实施例可以用于对装备于交通工具上的成像器件的测距操作进行校准。例如,该交通工具可以是不同的类型,其可以是车辆、飞行器、航天器、水中运载工具等。为了便于说明,下面将以车辆作为交通工具的示例来具体描述。
例如,为了实现辅助驾驶等目的,在车辆上通常都装备有一个或多个成像器件。这些成像器件可以用于采集关于行驶路面的图像,测量路面上的其他物体距离该车辆的距离,以防止车辆产生碰撞并指引车辆选取正确的路线等等。由于安装时的公差或外部条件变化,每辆车都必须执行独立的终检线校准或后续市场调节,以便保证能够基于成像器件完成准确的测距操作,并最终用于辅助驾驶等目的。
例如,假设在当前车辆的正前方100米处存在另一车辆。在成像器件位于校准好的默认安装位置时,根据图像分析和物体识别的结果,可以正确地识别出该另一车辆位于当前车辆的正前方100米。然而,一旦成像器件由于各种原因而偏离该默认安装位置,则可能导致将该另一车辆错误地识别为位于当前车辆正前方小于100米或大于100米或者前方偏左或偏右的位置,这样可能会造成后续产生错误的辅助驾驶操作,导致车辆不必要地采取制动、告警、变道等措施或未能及时采取相应的措施,从而降低用户体验、甚至产生交通安全隐患。
为此,在本申请的实施例中,可以接收由成像器件获取的关于在电子设备的固定位置上设置的光源按照至少一个预定夹角所发出的至少一对指向性光束的测试图像,根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离,获取两点之间的实际距离,并且根据所述当前距离和所述实际距离来确定测距校准参数,以用于对基于所述成像器件的获取图像所得到的测距结果进行校准,从而实现了对于测距结果的动态校准,减少了由于运动颠簸等原因对交通工具上装备的成像器件的感知精度造成的影响。
当然,尽管上面以交通工具为例对本申请的实施例进行了说明,但是本申请不限于此。本申请的实施例可以应用于对装备于各种电子设备上的成像器件的测距操作进行动态校准。例如,本申请的实施例同样可以适用于装备在可移动机器人上、设置在固定位置用于监控的成像器件等的测距校准操作中。
下面,将参考附图来更加详细地描述根据本申请的各个实施例。
示例性方法
图1图示了根据本申请实施例的测距校准方法的流程图。
如图1所示,根据本申请实施例的测距校准方法可以包括:
在步骤S110中,接收由成像器件获取的关于至少一对指向性光束的测试图像,所述至少一对指向性光束由设置在电子设备的固定位置上的光源按照至少一个预定夹角发出。
为了对基于所述成像器件的获取图像所得到的测距结果进行校准,可以首先驱动所述光源按照所述至少一个预定夹角发出所述至少一对指向性光束。
例如,为了保证光源所发射出的指向性光束具有预定的夹角并且具有预定的投射图案,所述光源可以设置在电子设备的固定位置上,以使得光源的位置和出射角度不会受到外界环境的影响。
作为一种指向性光源,该光源可以采用激光光源来实现。例如,该光源可以作为一种附加器件而额外地装备在电子设备上。当然,在理想情况下,该光源也可以固有地装备在电子设备上,以用于在实现电子设备上的特定功能的同时,顺带地实现成像器件的测距校准功能。
在一种情况下,该光源可以采用单一光源来实现。为了发射至少一对指向性光束,可以使得该单一光源发射的单一光束通过一个或多个分光器以形成具有预定夹角的指向性光束。替换地,该光源也可以采用两个或两组单独的光源来实现,每个或每组光源之间可以形成预定的出射角度,以各自发射出单一光束,从而形成具有预定夹角的指向性光束。
例如,该光源可以发射具有预定夹角的仅仅一对指向性光束。替换地,该光源也可以发射多对指向性光束,例如,每对指向性光束之间可以具有相同的预定夹角,以形成网格状图案,即多对指向性光束之间相互平行。或者,为了实现不同的测试图案和测试目的,每对指向性光束之间也可以具有不同的预定夹角,即多对指向性光束之间相互交叉。
在一个示例中,可以基于触发条件自动地促使该测距校准方法在电子设备上执行。例如,可以预先在电子设备中设置校准时限,使得响应于到达预定的校准时限,驱动所述光源执行预定的发光操作,以触发测距校准操作。例如,可以周期性地(例如,每隔一个月)触发电子设备执行一次测距校准操作。
在另一示例中,也可以基于用户的手动请求在电子设备上执行该测距校准方法。例如,可以在电子设备上提供诸如按钮、触摸屏、麦克风之类的输入装置,使得响应于接收到用户的诸如按压、触摸、语音之类的校准命令,驱动所述光源执行预定的发光操作,以触发测距校准操作。
在又一示例中,出于效率优先考虑,也可以根据实际情况,顺带地执行该测距校准方法。例如,在该光源固有地装备在电子设备上以用于实现诸如照明、指示之类的某种特定功能时,可以在取决于当前状况,需要所述光源按照所述至少一个预定夹角发出所述至少一对指向性光束时,顺带地触发成像器件采集该指向性光束的交点,以执行测距校准操作。
下面,为了便于说明,将继续以车辆为例来进行详细描述。
例如,在电子设备是车辆的情况下,为了发射指向性光束,该光源可以是任何类型的车载激光光源,其可以固定地设置在车辆的任何位置。在一个示例中,该光源可以是车载激光大灯的光源。例如,该光源可以采用矩阵式激光灯阵列。所谓矩阵式激光灯阵列指的是发光单元的数量很多,可达数十个,它们按照一定的方式排列,形成了一种矩阵。通过控制矩阵内发光单元的开关,以及调节灯组内的反光镜、透镜等部件的角度,可以精准地调整照明光束的角度和范围。
在矩阵式激光灯阵列的一种具体实现中,作为发光器件的激光二极管可以发射出波长为450纳米(nm)的蓝色光束,照射到成千上万个直径仅为3毫米(mm)的微型反射镜上。每个微型反射镜都可以独立地在水平和垂直两个轴上对角度进行调节。通过这些微型透镜的调节,反射出来的光束既可以保持集中,以作为远光获取更长的照射距离,也可以变得发散,以作为近光获得更广的照射角度,同时,光束还可以偏转一定的角度,以形成相互交叉的至少一对指向性光束,用于测距校准或覆盖弯道的盲区等。
例如,为了使得成像器件能够获得更加清晰的关于指向性光束之间交点的测试图像,可以调整矩阵式激光灯的各个激光灯照射角度,使得每对激光束之间呈现交角,并投射到尽可能平的地面上。
在车辆的应用场景下,利用激光大灯作为指向性光源的优势在于:1、节省成本,未来的汽车照面光源技术正在向激光光源发展,这意味着在不增加额外成本的情况下,就可以获得激光光源;2、覆盖距离远,激光大灯可以照射到600米远的距离;3、方向性极好,激光在几种光源中定向性最强,所以照射后发散度最低,因此其光源的边缘比较锐利,有利于后面的距离测定;4、安装位置和发射角度固定,不容易受到车辆的运行环境和周围空间的冷热变化的影响;5、激光灯另一个显著优势是在发光效率方面,比如一般的发光二极管(LED)照明灯的发光效率可以达到每瓦100流明左右,而激光二极管元件可以达到每瓦170流明左右;6、由于激光大灯总成体积更小、发热更低,留给设计师在美学、空气动力学、空间布局等更广阔的空间;7、激光大灯往往与自适应技术相结合,尤其在对向会车时,灯光可控范围更大,可以避免炫目带来的潜在危险。
在驱动所述光源发出所述至少一对指向性光束之后,成像器件可以获取关于至少一对指向性光束的测试图像。
例如,该成像器件可以是用于捕捉图像数据的图像传感器,其可以是摄像头或摄像头阵列。例如,图像传感器所采集到的图像数据可以是连续图像帧序列(即,视频流)或离散图像帧序列(即,在预定采样时间点采样到的图像数据组)等。例如,该摄像头可以是如单目相机、双目相机、多目相机等,另外,其可以用于捕捉灰度图,也可以捕捉带有颜色信息的彩色图。当然,本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请,本申请对其捕捉图像的方式没有特别限制,只要能够获得输入图像的灰度或颜色信息即可。为了减小后续操作中的计算量,在一个实施例中,可以在进行分析和处理之前,将彩色图进行灰度化处理。
接下来,可以接收由成像器件获取的关于至少一对指向性光束的测试图像,以用于后续校准处理。
在步骤S120中,根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离。
在接收到由成像器件获取的测试图像之后,可以对该测试图像进行分析和处理,以确定指向性光束的交点与所述电子设备上的一参考点之间的当前距离。
例如,该参考点可以是电子设备上的任何一个点,其可以是成像器件镜头的位置点,也可以是成像器件的感光元件的位置点,也可以是电子设备的壳体上的某一个预定点,例如,车辆轮廓的最前点或者最后点等。
在第一示例中,所述电子设备上的参考点可以与至少一对指向性光束的交点一起,同时出现在由成像器件获取的关于至少一对指向性光束的测试图像中。
图2图示了根据本申请实施例第一示例的估计当前距离步骤的流程图。
如图2所示,步骤S120可以包括:
在子步骤S121中,根据所述测试图像来估计所述交点的当前位置。
例如,可以使用特征点检测算法来检测测试图像中的每对指向性光束的交点。总的来说,可以对测试图像进行特征点提取,并且对特征点进行特征描述,将特征点的特征描述与预设的交点的特征描述进行比对,以确定该交点在测试图像中的位置。
尽管这里以特征点检测和特征描述比对为例对检测指向性光束的交点进行了说明,但是,本申请不限于此。例如,也可以预先采集可能出现的各种光束交点的样本图像,建立样本库,对各种光束交点进行特征提取,通过机器学习方法训练得到光束交点的分类器。在实际检测过程中,可以对采集到的测试图像的背景初始化,对所述测试图像进行特征提取,结合通过所述机器学习方法训练得到的光束交点的分类器,进行光束交点的检测和跟踪。
然后,可以使用成像器件的映射矩阵,将处于图像坐标系中的交点位置转换到世界坐标系中,以确定各个光束交点的坐标位置,例如以(x1,y1,z1)来表示。
在子步骤S122中,根据所述测试图像来估计所述参考点的当前位置。
在所述电子设备上的参考点也出现在测试图像中时,可以采用与上述步骤S121中相同或相似的方式来检测测试图像中的参考点在测试图像中的位置,并且将其转换到世界坐标系中,以确定该参考点的坐标位置,例如以(x0,y0,z0)来表示。
在子步骤S123中,根据所述交点的当前位置和所述参考点的当前位置来确定所述交点与所述参考点之间的当前距离。
可以根据同处于世界坐标系下的各个光束交点的坐标位置与该参考点的坐标位置来计算两者之间的当前距离d1,如公式(1)所示:
上面,以所述电子设备上的参考点也出现在测试图像中为例进行了说明,但是,本申请不限于此。例如,在第二示例中,所述电子设备上的参考点可以并未出现在由成像器件获取的关于至少一对指向性光束的测试图像中。如上所述,所述电子设备上的参考点也可以是成像器件镜头的位置点、成像器件的感光元件的位置点,或者也可以是未处于成像区域中的电子设备壳体上的某一个预定点。
图3图示了根据本申请实施例第二示例的估计当前距离步骤的流程图。
如图3所示,步骤S120可以包括:
在子步骤S124中,根据所述测试图像来估计所述交点的当前位置。
子步骤S124与子步骤S121相同,在此省略其详细描述。
在子步骤S125中,获取所述参考点的预设位置。
由于参考点并没有出现在测试图像中,所以不能使用参考点检测和坐标转换的方式来获取它的位置。由于参考点的位置基准特性要求它往往是一个位置不变的点,所以简单地可以预先测量或给出所述参考点的预设位置。例如,当参考点是成像器件镜头的位置点、成像器件的感光元件的位置点时,其位置坐标可以以(0,0,0)来表示。替换地,当参考点是电子设备的壳体上的某一个预定点,可以预先得到并存储其位置坐标(x0,y0,z0)。
在子步骤S126中,根据所述交点的当前位置和所述参考点的预设位置来确定所述交点与所述参考点之间的当前距离。
与步骤S123中相似地,可以通过公式(1)来计算同处于世界坐标系下的各个光束交点与该参考点之间的当前距离d1。
返回参考图1,在步骤S130中,可以获取所述交点与所述参考点之间的实际距离。
在步骤S110或步骤S120之前、之后、或与之同时地,可以获取所述至少一对指向性光束的交点与所述电子设备上的参考点之间的实际距离d1’。例如,所述实际距离是交点与参考点之间的通过实际测量得到的距离。
在一个示例中,当将根据本申请实施例的测距校准方法应用于在将成像器件安装到电子设备上时的初始化校准的场景下时,该步骤S130可以包括接收用户输入的关于所述实际距离的当前测量值。也就是说,用户可以通过诸如皮尺、测距仪之类的各种测试工具和手段来进行手动测量,并且将测量结果通过诸如键盘、触摸屏、麦克风之类的输入装置进行输入。
在另一示例中,当将根据本申请实施例的测距校准方法应用于初始化校准之后的后续校准的场景下时,该步骤S130可以包括从存储器中读取关于所述实际距离的先前测量值。也就是说,可以预先将用户的手动测量结果存储下来,并且在需要时进行读取。
在步骤S140中,根据所述当前距离和所述实际距离来确定测距校准参数,所述测距校准参数用于对基于所述成像器件的获取图像所得到的测距结果进行校准。
在获得了所述当前距离和所述实际距离之后,可以根据两者来生成用于对基于所述成像器件的获取图像所得到的测距结果进行校准的测距校准参数c。
例如,可以计算所述所述实际距离与所述当前距离之间的比值,并且将所述比值确定为所述测距校准参数c,如公式(2)所示:
c=d1′/d1 公式(2)
例如,当在步骤S120中估计的当前距离d1=100米,而在步骤S130中获取的实际距离d1’=110米时,该测距校准参数为1.1。
这样,当该成像器件用于随后的目标测距时,可以将该测距校准参数用于对测得的待测目标与所述参考点之间的目标距离进行修正,以克服成像器件由于安装时的公差或外部条件变化等原因而造成的测距误差。
例如,可以在本次校准之后到下次校准之前,使用该测距标准参数来对成像器件的测距结果进行误差修正。并且,例如,可以周期性地(例如,每隔一个月)触发电子设备执行一次测距校准操作,以保证测距结果能够始终维持正确。
进一步地,由于成像器件的成像区域可能很大,所以如果使用基于一个或有限的几个指向性光束的交点所得到的测距校准参数来对整个成像区域进行测距结果修正可能仍旧不够准确。因此,可以向每个测距校准参数分配一定的适用范围。
在一个实施例中,一个特定的测距校准参数可以仅仅用于在待测目标落入到与在计算该测距校准参数时的实际距离相关联的一预定区域内的测距结果的修正操作。例如,如果测距校准参数c=1.1是基于当前距离d1=100米所测量得到的,则该测距校准参数c=1.1仅仅能够适用于以当前距离d1=100米为基准确定的一个预定区域内。例如,该预定区域可以是以指向性光束的交点(即,d1=100米)为中心,以某个值(例如,5米)为半径所确定的一个圆形区域,或者更简单地,该预定区域可以是以参考点为中心,以100+5=105米为半径所确定的圆形区域,等等。
在又一实施例中,在基于两对以上的指向性光束的交点来确定两个以上测距校准参数时,一个特定的测距校准参数可以仅仅用于在待测目标落入到与在计算该测距校准参数时的实际距离及其相邻实际距离相关联的一预定区域内的测距结果修正。例如,如果第一测距校准参数c1=1.1是基于当前距离d1=100米所测量得到的,而第二测距校准参数c2=1.2是基于当前距离d2=200米所测量得到的,则该测距校准参数c1=1.1和c2=1.2仅仅能够分别适用于以当前距离d1=100米和d2=200米为基准确定的一个预定区域内。例如,该第一测距校准参数c1=1.1可以适用于以第一对指向性光束的交点(即,d1=100米)为中心,以(200-100)/2=50为半径所确定的一个圆形区域;而该第二测距校准参数c2=1.2可以适用于以第二对指向性光束的交点(即,d2=200米)为中心,以(200-100)/2=50为半径所确定的一个圆形区域;或者更简单地,该第一预定区域可以是以参考点为中心,以100+50=150米为半径所确定的圆形区域,而该第一预定区域可以是以参考点为中心,以100+50=150米和200+50=250米为两条半径所确定的环形区域;等等。
因此,为了获得对整个成像区域内的准确测距结果修正,需要针对不同距离获得一系列的测距校准参数。例如,在实际操作中,可以调整光源的照射角,从而获得从近距离到远距离的一系列交点,若每对指向性光束之间的夹角越小,则交点的距离越远,对于每一个距离,都可以重复上述步骤S110到S140,从而可以获得在全距离范围内的校准值,测试的点数越多,各个点之间的距离越小,则得到的参数越多,校准越精确。
此外,在一个实施例中,可选地,在该步骤S140之后,所述测距校准方法还可以包括:
在步骤S150中,使用所述测距校准参数来对基于所述成像器件的获取图像所得到的测距结果进行校准。
响应于确定出所述测距校准参数,可以使用所述测距校准参数来对所述成像器件的测距结果进行修正。
图4图示了根据本申请实施例的校准测距结果步骤的流程图。
如图4所示,步骤S150可以包括:
在子步骤S151中,接收由所述成像器件获取的关于待测目标的目标图像。
可以在校准之后电子设备的正常运行期间,驱动成像器件获取包含待测目标的目标图像。接下来,可以接收由成像器件获取的目标图像,以用于后续测距处理。
在子步骤S152中,根据所述目标图像来估计所述待测目标与所述参考点之间的目标距离。
例如,在步骤S120中相似地,可以对该目标图像进行分析和处理,使用特征点检测法或机器学习模型来检测电子设备关注区域中的待测目标,并且计算该待测目标与该参考点之间的目标距离d3。
在子步骤S153中,使用所述测距校准参数来对所述目标距离进行修正。
在计算出目标距离d3之后,可以使用在步骤S140中生成的测距校准参数来对所述目标距离d3进行修正,以获得修正距离d3’。例如,可以如公式(3)所示地执行修正:
d3′=d3*c=d3*d1′/d1 公式(3)
例如,当在步骤S140中计算的该测距校准参数为1.1,并且在步骤S152中估计的目标距离d3=200米时,该修正距离d3’=200*1.1=220米。
在一个实施例中,在测距校准参数具有一定适用范围的情况下,子步骤S153可以包括:判断所述目标距离是否落入与所述当前距离相关联的一预定区域内;以及响应于所述目标距离落入所述预定区域内,使用所述测距校准参数来对所述目标距离进行修正。
例如,当第一测距校准参数c1=1.1仅仅可以适用于以参考点为中心,以100+50=150米为半径所确定的圆形区域;而第二测距校准参数c2=1.2仅仅可以适用于以参考点为中心,以100+50=150米和200+50=250米为两条半径所确定的环形区域时,如果在步骤S152中估计的目标距离d3=200米时,该修正距离d3’=200*1.2=240米,而非220米。
由此可见,采用根据本申请实施例的测距校准方法,可以接收由成像器件获取的关于在电子设备的固定位置上设置的光源按照至少一个预定夹角所发出的至少一对指向性光束的测试图像,根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离,获取两点之间的实际距离,并且根据所述当前距离和所述实际距离来确定测距校准参数,以用于对基于所述成像器件的获取图像所得到的测距结果进行校准。因此,与如现有技术中的距离测量技术相比,可以动态地对基于所述成像器件的获取图像所得到的测距结果进行校准,减少了由于运动颠簸等原因对交通工具上装备的成像器件的感知精度造成的影响。
需要说明的是,为了描述简单,上面仅仅以距离上的远近为例进行了说明,但是在实际应用中,根据本申请实施例的测距校准方法除了可以进行距离远近上的一维修正之外,还可以进行待测目标与电子设备的一平面参考方向的偏离角度上的二维修正,或者还可以进行待测目标与电子设备的一空间参考方向的偏离角度上的三维修正。
应用场景示例
下面,将以根据本申请实施例的测距校准方法应用于车辆的应用场景为例来进行描述。
图5图示了根据本申请实施例的测距校准方法在车辆中应用的示意图。
如图5所示,在电子设备是车辆的情况下,该光源可以是矩阵式激光灯。例如,该矩阵式激光灯分为左右两组灯,其每个灯可以发出出4束激光光线。显然,在实际应用中,取决于不同的需求,也可以采用除了4束之外,更多或更少的激光光线。
首先,可以调整矩阵式激光灯的各个激光灯照射角度,使其呈现图示的交角,并投射到尽可能平的地面上,以便于车载摄像头成像。然后,可以预先通过实测,获取在该角度下,各个交点相对于车的实际距离。接下来,在激光灯照射角度不变的情况下,可以利用车载图像传感器拍摄该图像。随后,可以通过该拍摄的图像,计算由图像传感器测得的当前距离,最后,可以将实测获得的实际距离作为正确值,来校准图像传感器的测距参数,使其与实际一致。
如图5所示,左灯和右灯各自按照固定角度发出多组光束,假设左灯发出的光束为L1至L4,右侧发出的光束为R1至R4。其交点将产生16个,例如,P11到P14等等,分布于不同区域,在这里,可以假设由图像传感器测定的各个点:P11与车头的当前距离为D11,其对应的实际距离为D11’;P12与车头的当前距离为D12,其对应的实际距离为D12’;P13与车头的当前距离为D13,其对应的实际距离为D13’;P14与车头的当前距离为D14,其对应的实际距离为D14’。那么,可以根据两组距离的差异确定一个参数。例如,P11对应的测距校准参数为:C11=D11/D11’。
这样就获得了针对不同距离的一组校准参数。在实际操作中,可以调整激光灯的照射角,从而获得从近距离到远距离的一系列交点,若左右灯发出的光线之间的夹角越小,则交点的距离越远,对于每一个距离,都可以重复上述步骤,从而可以获得在全距离范围内的校准值,测试的点数越多,各个点之间的距离越小,则得到的参数越多,校准越精确。例如,在上述操作中,如果各个点之间的距离为2米,则例如,可以规定在P11有效半径1米的范围内,C11均有效,其中,有效半径是各点距离的一半。替换地,如果用于校准的采样点之间的间隔为1米,则有效半径缩小至0.5米。
此后,在实际使用过程中,对于图像传感器所拍摄的图像,对于每个计算出的点的距离,都可以用对应于该距离的参数来校准,假设直接计算出的目标距离为D,则校准后的修正距离为D’=C*D。
因此,利用根据本申请实施例的方法,可以获得一种可靠的动态校准手段。优选地,可以每隔一段时间(例如,一个月)做一次校准,获得一组新的参数,覆盖原来的参数,这样,即使图像传感器随着使用的增加产生了位移,也可以动态地进行摄像头校准,防止误差产生。
示例性装置
下面,参考图6来描述根据本申请实施例的测距校准装置。
图6图示了根据本申请实施例的测距校准装置的框图。
如图6所示,所述测距校准装置100可以包括:图像接收单元110,用于接收由成像器件获取的关于至少一对指向性光束的测试图像,所述至少一对指向性光束由设置在电子设备的固定位置上的光源按照至少一个预定夹角发出;距离估计单元120,用于根据所述测试图像来估计所述至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离;距离获取单元130,用于获取所述交点与所述参考点之间的实际距离;以及参数确定单元140,用于根据所述当前距离和所述实际距离来确定测距校准参数,所述测距校准参数用于对基于所述成像器件的获取图像所得到的测距结果进行校准。
在一个示例中,所述距离估计单元120可以包括:交点确定模块,用于根据所述测试图像来估计所述交点的当前位置;参考点确定模块,用于根据所述测试图像来估计所述参考点的当前位置;以及当前距离估计模块,用于根据所述交点的当前位置和所述参考点的当前位置来确定所述交点与所述参考点之间的当前距离。
在一个示例中,所述距离估计单元120可以包括:交点确定模块,用于根据所述测试图像来估计所述交点的当前位置;参考点获取模块,用于获取所述参考点的预设位置;以及当前距离估计模块,用于根据所述交点的当前位置和所述参考点的预设位置来确定所述交点与所述参考点之间的当前距离。
在一个示例中,所述距离获取单元130可以接收用户输入的关于所述实际距离的当前测量值;或者从存储器中读取关于所述实际距离的先前测量值。
在一个示例中,所述参数确定单元140可以计算所述所述实际距离与所述当前距离之间的比值,并且将所述比值确定为所述测距校准参数。
在一个实施例中,所述测距校准装置100还可以包括:测距校准单元150,用于使用所述测距校准参数来对基于所述成像器件的获取图像所得到的测距结果进行校准。
在一个示例中,所述测距校准单元150可以包括:图像接收模块,用于接收由所述成像器件获取的关于待测目标的目标图像;目标距离估计模块,用于根据所述目标图像来估计所述待测目标与所述参考点之间的目标距离;以及距离修正模块,使用所述测距校准参数来对所述目标距离进行修正。
在一个示例中,所述距离修正模块可以判断所述目标距离是否落入与所述当前距离相关联的一预定区域内;以及响应于所述目标距离落入所述预定区域内,使用所述测距校准参数来对所述目标距离进行修正。
在一个示例中,所述测距校准装置100还可以包括:光源驱动单元(未示出),用于驱动所述光源按照所述至少一个预定夹角发出所述至少一对指向性光束。
在一个示例中,所述光源驱动单元响应于满足以下条件之一,驱动所述光源按照所述至少一个预定夹角发出所述至少一对指向性光束:到达预定的校准时限;接收到用户的校准命令;以及取决于当前状况,需要所述光源按照所述至少一个预定夹角发出所述至少一对指向性光束。
在一个示例中,所述电子设备是车辆,所述光源是所述车辆的照明灯。
上述测距校准装置100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5描述的测距校准方法中详细介绍,并因此,将省略其重复描述。
如上所述,本申请的实施例可以应用于其上装备有成像器件的诸如交通工具、可移动机器人、监控设施之类的电子设备。
相应地,根据本申请实施例的测距校准装置100可以作为一个软件模块和/或硬件模块而集成到该电子设备中,换言之,该电子设备可以包括该测距校准装置100。例如,该测距校准装置100可以是该电子设备的操作系统中的一个软件模块,或者可以是针对于该电子设备所开发的一个应用程序;当然,该测距校准装置100同样可以是该电子设备的众多硬件模块之一。
替换地,在另一示例中,该测距校准装置100与该电子设备也可以是分立的设备(例如,服务器),并且该测距校准装置100可以通过有线和/或无线网络连接到该电子设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图7来描述根据本申请实施例的电子设备。该电子设备可以是其上装备有成像器件的诸如交通工具、可移动机器人、监控设施之类的计算机或服务器或其他设备。
图7图示了根据本申请实施例的电子设备的框图。
如图7所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的测距校准方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如图像数据、距离数据、测距校准参数等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。应当注意,图7所示的电子设备10的组件和结构只是示例性的、而非限制性的,根据需要,电子设备10也可以具有其他组件和结构。
例如,该输入装置13可以是成像器件,用于采集图像数据,所采集的图像数据可以被存储在存储器12中以供其他组件使用。当然,也可以利用其他集成或分立的成像器件来采集该图像数据,并且将它发送到电子设备10。此外,该输入设备13还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。
输出装置14可以向外部(例如,用户或机器学习模型)输出各种信息,包括确定出的至少一对指向性光束的交点与所述电子设备上的一参考点之间的当前距离、所述交点与所述参考点之间的实际距离、测距校准参数、所述待测目标与所述参考点之间的目标距离、修正后的目标距离等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。例如,电子设备10还可以包括:光源(未示出),用于发射指向性光束。在电子设备10是车辆的情况下,该光源可以是任何类型的车载激光光源,其可以固定地设置在车辆的任何位置。在一个示例中,该光源可以是车载激光大灯的光源。例如,该光源可以采用矩阵式激光灯阵列。所谓矩阵式激光灯阵列指的是发光单元的数量很多,可达数十个,它们按照一定的方式排列,形成了一种矩阵。通过控制矩阵内发光单元的开关,以及调节灯组内的反光镜、透镜等部件的角度,可以精准地调整照明光束的角度和范围。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的测距校准方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的测距校准方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。