深度信息确定方法、确定装置、电子装置和车辆与流程

本申请涉及图像处理技术领域，特别涉及一种深度信息确定方法、确定装置、电子装置和车辆。

背景技术：

双目立体视觉是一种常见的计算机视觉应用，用来估计物体在真实世界中的位置，特别是物体的深度信息。在采用双目相机进行深度估计时，通常需要两个相机采用相同或相近的参数设置。在实际工程中，通常无法保证两个相机的严格同步，因而导致存在系统误差，使得所估计的深度信息存在误差。

技术实现要素：

有鉴于此，本申请的实施例提供了一种深度信息确定方法、确定装置和电子装置。

本申请提供了一种深度信息确定方法，用于双目相机，所述双目相机用于获取目标物体的图像，所述双目相机包括第一相机和第二相机，所述深度信息确定方法包括：

根据所述图像确定所述目标物体的运动轨迹；

根据所述运动轨迹确定所述第一相机和所述第二相机的时间延迟；

根据所述时间延迟和所述运动轨迹确定所述目标物体在第一时刻的三维坐标作为所述目标物体在所述第一时刻的深度信息。

在某些实施方式中，所述根据所述图像确定所述目标物体的运动轨迹包括：

分别通过所述第一相机和所述第二相机对所述目标物体进行检测及跟踪以分别获取所述目标物体的第一运动轨迹点集和第二运动轨迹点集；

根据所述第一运动轨迹点集和所述第二运动轨迹点集拟合所述目标物体的第一运动轨迹和第二运动轨迹。

在某些实施方式中，所述根据所述运动轨迹确定所述第一相机和所述第二相机的时间延迟包括：

将所述第一运动轨迹点集与所述第二运动轨迹点集进行时间对齐；

确定对极几何约束条件；

根据所述对极几何约束条件确定所述第一相机和所述第二相机的时间差以确定所述第一相机和所述第二相机的时间延迟。

在某些实施方式中，所述根据所述时间延迟和所述运动轨迹确定所述目标物体在第一时刻的三维坐标作为所述目标物体在所述第一时刻的深度信息包括：

根据所述时间差、所述第一运动轨迹和所述第二运动轨迹确定在所述第一时刻所述目标物体分别在所述第一相机的第一位置信息和所述第二相机中的第二位置信息以到所述目标物体在第一时刻的二维坐标。

在某些实施方式中，其特征在于，所述根据所述时间延迟和所述运动轨迹确定所述目标物体在第一时刻的三维坐标作为所述目标物体在所述第一时刻的深度信息包括：

根据所述目标物体在第一时刻的二维坐标通过三角测量法确定所述目标物体在所述第一时刻的三维坐标；

将所述三维坐标作为所述目标物体在所述第一时刻的深度信息。

本申请提供了一种深度信息的确定装置，用于双目相机，所述双目相机用于获取目标物体的图像，所述双目相机包括第一相机和第二相机，所述确定装置包括：

运动轨迹确定模块，用于根据所述图像确定所述目标物体的运动轨迹；

时间延迟确定模块，用于根据所述运动轨迹确定所述第一相机和所述第二相机的时间延迟；

深度信息确定模块，用于根据所述时间延迟和所述运动轨迹确定所述目标物体在第一时刻的三维坐标作为所述目标物体在所述第一时刻的深度信息。

本申请提供了一种电子装置，包括双目相机和处理器，所述双目相机用于获取目标物体的图像，所述双目相机包括第一相机和第二相机，所述处理器用于：

根据所述图像确定所述目标物体的运动轨迹；

根据所述运动轨迹确定所述第一相机和所述第二相机的时间延迟；

根据所述时间延迟和所述运动轨迹确定所述目标物体在第一时刻的三维坐标作为所述目标物体在所述第一时刻的深度信息。

在某些实施方式中，所述处理器还用于：

分别通过所述第一相机和所述第二相机对所述目标物体进行检测及跟踪以分别获取所述目标物体的第一运动轨迹点集和第二运动轨迹点集；

根据所述第一运动轨迹点集和所述第二运动轨迹点集拟合所述目标物体的第一运动轨迹和第二运动轨迹。

在某些实施方式中，所述处理器还用于：

将所述第一运动轨迹点集与所述第二运动轨迹点集进行时间对齐；

确定对极几何约束条件；

根据所述对极几何约束条件确定所述第一相机和所述第二相机的时间差以确定所述第一相机和所述第二相机的时间延迟。

在某些实施方式中，所述处理器还用于：

根据所述时间差、所述第一运动轨迹和所述第二运动轨迹确定在所述第一时刻所述目标物体分别在所述第一相机的第一位置信息和所述第二相机中的第二位置信息以到所述目标物体在第一时刻的二维坐标。

在某些实施方式中，所述处理器还用于：

根据所述目标物体在第一时刻的二维坐标通过三角测量法确定所述目标物体在所述第一时刻的三维坐标；

将所述三维坐标作为所述目标物体在所述第一时刻的深度信息。

本申请提供了一种车辆，包括双目相机、一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行如上所述的深度信息确定方法的指令。

本申请提供了一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行所述的深度信息确定方法。

本申请实施方式的深度信息确定方法、确定装置、电子装置、车辆及计算机可读存储介质中，通过双目相机对目标物体进行检测及跟踪来获得运动轨迹，增加立体匹配的鲁棒性，根据目标物体的运动轨迹计算深度信息，既有效解决了时间不同步所带来的系统误差，又可以得到目标物体的深度信息，具有更强的可用性，此外，本申请中对双目相机的时间同步无任何要求，可以适用任意型号配置的双目相机。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的深度信息确定方法的流程示意图。

图2是本申请某些实施方式的深度信息确定装置的模块示意图。

图3是本申请某些实施方式的深度信息确定方法的场景示意图。

图4是本申请某些实施方式深度信息确定方法的场景示意图。

图5是本申请某些实施方式的深度信息确定方法的流程示意图。

图6是本申请某些实施方式深度信息确定方法的场景示意图。

图7是本申请某些实施方式的深度信息确定方法的流程示意图。

图8是本申请某些实施方式深度信息确定方法的场景示意图。

图9是本申请某些实施方式的深度信息确定方法的流程示意图。

图10是本申请某些实施方式的深度信息确定方法的流程示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请提供一种深度信息确定方法，用于双目相机。双目相机用于获取目标物体的图像，双目相机包括第一相机和第二相机。确定方法包括：

s10：根据图像确定目标物体的运动轨迹；

s20：根据运动轨迹确定第一相机和所述第二相机的时间延迟；

s30：根据时间延迟和运动轨迹确定目标物体在第一时刻的三维坐标作为目标物体在第一时刻的深度信息。

请参阅图2至图4，本申请实施方式提供了一种电子设备100。电子设备100包括双目相机11和处理器(图未示)。双目相机11包括第一相机11a和第二相机11b。双目相机11用于获取目标物体的图像。处理器(图未示)用于根据图像确定目标物体的运动轨迹，及用于根据运动轨迹确定第一相机11a和第二相机11b的时间延迟，以及用于根据时间延迟和运动轨迹确定目标物体在第一时刻的三维坐标作为目标物体在第一时刻的深度信息。电子设备100可以是工业生产中用于获取高精度三维信息的工业计算机，也可以是日常消费电子设备例如游戏机等设备。

本申请实施方式还提供了一种深度信息确定装置110，本申请实施方式的深度信息确定方法可以由确定装置110实现。

具体地，确定装置110包括运动轨迹确定模块112、时间延迟确定模块114和深度信息确定模块116。s10可以由运动轨迹确定模块112实现，s20可以由时间延迟确定模块114实现，s30可以由深度信息确定模块116实现。或者说，运动轨迹确定模块112用于根据图像确定目标物体的运动轨迹。时间延迟确定模块114根据运动轨迹确定第一相机11a和第二相机11b的时间延迟。深度信息确定模块116用于根据时间延迟和运动轨迹确定目标物体在第一时刻的三维坐标作为目标物体在第一时刻的深度信息。

本申请实施方式的深度信息确定方法、确定装置及电子装置中，通过双目相机11对目标物体进行检测及跟踪来获得运动轨迹，增加立体匹配的鲁棒性，根据目标物体的运动轨迹计算深度信息，既有效解决了时间不同步所带来的系统误差，又可以得到目标物体的深度信息，具有更强的可用性，此外，本申请中对双目相机11的时间同步无任何要求，可以适用任意型号配置的双目相机。

具体地，双目或者多目深度估计是计算机视觉应用中一种常用的视觉感知技术。通过两个安装在不同位置、但相对位置一致的相机对同一物体成像，然后根据同一物体在两个相机中所成像的像素位置差异，进而结合双目相机的相对参数，通过数学计算得到目标物体的三维数据信息。

相关技术中，为了方便处理，一般要求两个相机采用相同或者相近的参数设置，例如，相同的视场角、焦距、像素值、以及在成像时要求两个相机的快门要保持同步。设计和部署两个时间完全同步的相机，需要提供同源的驱动时钟，并且严格控制信号和数据传输的时间延迟。在实际操作中，多数同步双目相机，只是通过在数据端增加时间戳的方式实现，而并非真正的同步，这种方式无法准确估计图像采集和传输的物理延迟，存在较大的时间误差。

因此，实际操作中需要面对的往往是对时间非同步的双目场景进行处理。如图4所示，假设第二相机11b的快门时刻比第一相机11a晚δt，目标物体在这个时间里发生了移动，那么在第二相机11b中所成像的像素位置也将由x'(tk)移动到x'(tk+δt)。如果直接使用x'(tk+δt)和x(tk)的坐标进行三角测量计算，得到的物体三维坐标将是不正确的。

相关技术中，需要匹配双目相机所获取的时间错位的左右图像中的像素点，然后针对当前场景构建像素之间的变换模型，通过时间插值的方式估算左右图像因为时间错位而无法实际测量的像素位置。然而，在存在大量运动目标物体的复杂场景下，相关技术无法简单可靠地进行左右图像的像素匹配，也就无法得到对运动目标物体可靠的深度估计。

本申请的实施方式的深度信息确定方法中，基于目标物体的轨迹跟踪，首先得到目标物体的运动轨迹，然后根据运动轨迹得到出两个图像的时间差也即是第一相机11a和第二相机11b的时间延迟，进而利用得到的时间延迟和运动轨迹插值得到时间校正后的目标的二维坐标信息，最终得到目标的深度信息。

请参阅图5，在某些实施方式中，s10包括：

s11：分别通过第一相机和第二相机对目标物体进行检测及跟踪以分别获取目标物体的第一运动轨迹点集和第二运动轨迹点集；

s12：根据第一运动轨迹点集和第二运动轨迹点集拟合目标物体的第一运动轨迹和第二运动轨迹。

在某些实施方式中，s11和s12可以由运动轨迹确定模块112实现。也即是说，运动轨迹确定模块112用于分别通过第一相机11a和第二相机11b对目标物体进行检测及跟踪以分别获取目标物体的第一运动轨迹点集和第二运动轨迹点集。以及用于并根据第一运动轨迹点集和第二运动轨迹点集拟合目标物体的第一运动轨迹和第二运动轨迹。

在某些实施方式中，处理器(图未示)用于分别通过第一相机11a和第二相机11b对目标物体进行检测及跟踪以分别获取目标物体的第一运动轨迹点集和第二运动轨迹点集。以及用于根据第一运动轨迹点集和第二运动轨迹点集拟合目标物体的第一运动轨迹和第二运动轨迹。

请参阅图6，具体地，本申请中的双目相机11中的第一相机11a和第二相机11b参数、快门时间均可以不同。实际操作中，可采用深度学习目标检测和跟踪的相关算法对目标物体进行实时的检测和跟踪，可根据电子设备的整体配置、资源分配以及成本因素选择复杂度不同的深度学习检测方法，例如在消费性电子产品中，可选择复杂度较低的深度学习检测方法，例如yolo算法、ssd算法等深度神经网络目标检测算法。需要说明的是，目标的检测和跟踪需要分别独立的在两个相机上进行。对于算法的详细说明可参考相关技术的原理以及解释说明，本申请中不在赘述。

经过深度学习的目标检测和跟踪，可以得到目标物体分别在第一相机11a中和第二相机11b中所成图像中的运动轨迹点集，…,x(tk-1),x(tk),x(tk+1),…和…,x'(t'k-1),x'(t'k),x'(t'k+1),…，根据所得到的运动轨迹点集，通过曲线拟合的方法，可以分别得到第一图像和第二图像的二维运动轨迹。可由理解地，通常情况下，物体的运动轨迹都是比较平滑的，因此，可以采用高阶连续多项进行拟合，也即是：

f(t)＝c1φ1(t)+c2φ2(t)+…cmφm(t)；

其中{φi(t)}为特定的函数集合，可以是三角函数{sin(it)}、多项式函数{t^i-1}等。

通过曲线拟合，可以得到该目标物体在第一图像中的第一运动轨迹x(t)和在第二图像中的第二运动轨迹x'(t')。在tk时刻第一图像中目标物体的坐标为x(tk),以及在t'k时刻第二图像中的目标物体的坐标为x'(t'k)，二者分别为落在第一运动轨迹x(t)和第二运动轨迹x'(t')上的点。

如此，本申请实施方式中以图像中的目标物体为对象，通过双目相机分别对目标物体分别进行跟踪得到运动轨迹，因为目标物体检测和跟踪结果本身具备可识别性，相对于相关技术中采用匹配双目相机所获取的时间错位的左右图像中的像素点的方式，增加了立体匹配的鲁棒性。

请参阅图7，在某些实施方式中，s20包括：

s21：将第一运动轨迹点集与第二运动轨迹点集进行时间对齐；

s22：确定对极几何约束条件；

s23：根据对极几何约束条件确定第一相机和第二相机的时间差以确定第一相机和第二相机的时间延迟。

在某些实施方式中，s21-s23可以由时间延迟确定模块114实现，也即是说，时间延迟模块114用于将第一运动轨迹点集与第二运动轨迹点集进行时间对齐，及用于确定对极几何约束条件，以及用于根据对极几何约束条件确定第一相机11a和第二相机11b的时间差以确定第一相机11a和第二相机11b的时间延迟。

在某些实施方式中，处理器(图未示)用于将第一运动轨迹点集与第二运动轨迹点集进行时间对齐，及用于确定对极几何约束条件，以及用于根据对极几何约束条件确定第一相机11a和第二相机11b的时间差以确定第一相机11a和第二相机11b的时间延迟。

请参阅图8，具体地，根据前述步骤中的通过双目相机获得的目标物体的运动轨迹点集，可以进一步地构造双目视觉约束方程。

首先，对于目标物体i，已知它通过第一相机11a获取的运动轨迹点集…,xi(tk-1),xi(tk),xi(tk+1),…和通过第二相机11b获取的轨迹点集…,x'i(t'k-1),x'i(t'k),x'i(t'k+1),…，若要建立它们的双目视觉约束方程，首先需要将两组轨迹点集的时间进行对齐。假设第一相机的帧率是f，第二相机的帧率是f'，那么第一相机11a和第二相机11b的时间延迟为t0，那么tk和t'k可以有如下对应关系：

令可以得到tk＝t0+ρt'k。多数情况下，第一相机11a和第二相机11b的帧率是相同的，以f＝f'为例，即ρ＝1。

根据第一相机11a和第二相机11b中时刻之间的对应关系，可以构造该双目相机11的对极几何约束方程：

xi'(tk)^tfxi(tk)＝0

其中f是双目相机11的基础矩阵，它可以由双目相机11的外参矩阵以及双目相机11的内参矩阵构造出来。例如，若已知第一相机11a的内参矩阵为k，第二相机的内参矩阵为k’，第一相机11a和第二相机11b的外参矩阵也即是第一相机11a和第二相机11b的相对位置姿势变换旋转矩阵r和平移向量t，那么f＝k'^-1r[t]×k^-1。将tk＝t0+ρt'k代入后得到：

xi'(t0+ρt'k)^tfxi(tk)＝0

以ρ＝1为例，可以对上述方程进行泰勒展开，得到：

其中是x'i(t'k)在t'k处的时间导数，结合前述步骤中得到的第二运动轨迹x'(t')，可以通过：

来计算出x'i(t'k)在t'k处的时间导数。

最后，可以构造出一个关于t0的一元一次方程，简单解得：

相类似地，也可以通过目标物体其它时刻的运动轨迹点xi'(tk-1),xi(tk-1),xi'(tk+1),xi(tk+1),xi'(tk+2),xi(tk+2),…求解得到t0，并可以对多次计算出来的取统计平均以降低误差。

对于ρ≠1的情况，与上述构造计算方式相类似，在此不再赘述。

如此，本申请的深度信息计算环节中以目标物体的运动轨迹为单位，有效解决了时间不同步所带来的系统误差。

请参阅图9，在某些实施方式中，s30包括：

s31：根据时间差、第一运动轨迹和第二运动轨迹确定在第一时刻目标物体分别在第一相机的第一位置信息和第二相机中的第二位置信息以到目标物体在第一时刻的二维坐标。

在某些实施方式中，s31可以由深度信息确定模块116实现。或者说，深度信息确定模块116用于根据时间差、第一运动轨迹和第二运动轨迹确定在第一时刻目标物体分别在第一相机11a的第一位置信息和第二相机11b中的第二位置信息以到目标物体在第一时刻的二维坐标。

在某些实施方式中，处理器(图未示)用于根据时间差、第一运动轨迹和第二运动轨迹确定在第一时刻目标物体分别在第一相机11a的第一位置信息和第二相机11b中的第二位置信息以到目标物体在第一时刻的二维坐标。

具体地，请再次参阅图8，得到了第一相机11a和第二相机11b的时间差t0，就可以进一步利用前面得出的运动轨迹xi(t)和x'i(t')，得到tk时刻目标物体在第一相机11a的真实的像素点位置xi(tk)以及在第二相机11b的真实的像素点位置xi'(tk)，从而得到目标物体的二维坐标。

请参阅图10，在某些实施方式中，s30还包括：

s32：根据目标物体在第一时刻的二维坐标通过三角测量法确定目标物体在第一时刻的三维坐标；

s33：将三维坐标作为目标物体在第一时刻的深度信息。

在某些实施方式中，s32、s33可以由深度信息确定模块116实现，或者说，深度信息确定模块116用于根据目标物体在第一时刻的二维坐标通过三角测量法确定目标物体在第一时刻的三维坐标，及用于将三维坐标作为目标物体在第一时刻的深度信息。

在某些实施方式中，处理器(图未示)用于根据目标物体在第一时刻的二维坐标通过三角测量法确定目标物体在第一时刻的三维坐标，及用于将三维坐标作为目标物体在第一时刻的深度信息。

具体地，请再次参阅图8，在得到tk时刻的二维坐标也即是目标物体在第一相机11a的真实的像素点位置xi(tk)以及在第二相机11b的真实的像素点位置xi'(tk)后，可根据立体视觉中的三角测量法来确定tk时刻目标物体的三维坐标xi(tk)，通过该三维坐标xi(tk)可获取目标物体的深度信息。

本申请实施方式还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述任一实施方式的深度信息的确定方法。

本申请实施方式还提供了一种车辆。车辆包括双目相机、存储器及一个或多个处理器，一个或多个程序被存储在存储器中，并且被配置成由一个或多个处理器执行。程序包括用于执行上述任意一项实施方式所述的深度信息的确定方法。

处理器可用于提供计算和控制能力，支撑整个车辆的运行。车辆中的存储器为存储器其中的计算机可读指令运行提供环境。

本申请实施方式的深度信息确定方法应用于车辆中，可用于检测行车环境中车辆周边的其他车辆或人群的深度信息，从而为车辆的自动驾驶、避障等提供相应的信息基础。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。