用于用摄像机阵列生成和/或使用3维信息的系统和方法与流程

本公开一般涉及可以用于使用至少部分从摄像机阵列获得的数据来确定场景信息的设备、系统和/或方法。该场景信息可以是3d信息。相关申请的交叉引用本申请要求2020年4月24日提交的题为“systems and methods for generatingand/or using 3-dimensional information with camera arrays”(利用摄像机阵列生成和/或使用三维信息的系统和方法)的序列号为第63/015,111号的美国临时申请的优先权；以及2020年4月24日提交的题为“systems and methods for generating and/or using3-dimensional information with camera arrays”(利用摄像机阵列生成和/或使用三维信息的系统和方法)的澳大利亚临时申请2020901307号的优先权。这些申请中的每一个都在此引入作为参考。

背景技术：

1、关于3d环境的场景信息对于许多应用是有用的，包括例如在传统道路和高速公路上安全自主驾驶车辆，以及例如导航、测量、环境监测、农作物监测、矿山测量和检查建筑结构的完整性。

2、创建这种场景信息的一种方法是使用一个或多个激光器的设备，这些激光器可能频闪以覆盖场景，发射光脉冲，以及通过测量接收反射脉冲的时间延迟来确定3d场景中表面与激光源的距离——这种设备通常称为激光雷达(lidar)。这种方法有许多缺点，例如：(1)很难实现长距离的横向精度(角分辨率是固定的，因此误差随距离而增加)；(2)当环境中有许多活动的激光器时，激光脉冲可以会干扰(在挤满配备有激光雷达(lidar)的车辆的交通中常见的情况)；(3)返回的脉冲需要在响应方向上来自目标物理表面的合理反射率，以及(4)雨、灰尘和雪通过用潜在的多次反射扰乱场景而造成困难，这打破了光脉冲以直线行进到目标并返回的假设。此外，激光雷达(lidar)不捕捉目标物理表面的视觉外观(通常包含在视觉电磁光谱的红绿蓝(rgb)部分中)，从而限制了一些处理和分析。

3、创建3d场景信息的另一种方法是使用雷达。然而，雷达在角度分辨率上比激光雷达(lidar)更受限制，反射更依赖于目标物理表面特征；例如，金属反射良好，但是人体吸收大部分雷达信号。

4、通过适当的处理，可以使用光学摄像机系统来生成3d场景信息。捕捉成对图像的双目摄像机可以用于基于双目视差(即，场景中固定特征的两个图像中的位置之间的差异)导出3d场景信息，特别是深度信息。通常，双目视差方法匹配由具有已知物理间隔或基线的摄像机捕获的图像对中的局部区域。根据视差，可以基于光学(假设光沿直线传播)和几何三角测量原理来确定匹配区域的深度。双目视差方法在平坦区域中容易出错，在该区域中很少或没有用于识别两个单独视图之间的精确匹配的纹理。双目视差方法还遭受物体周围的模糊，这些物体的部分被一个或两个摄像机遮挡。

5、在本领域中，使用两个以上的摄像机从不同的位置观察场景的光学摄像机系统是已知的；这些系统通常简称为摄像机阵列。这些阵列从多个不同的方向和/或位置捕捉场景的一组2d图像。然后，基于来自摄像机阵列中不同摄像机的图像对之间匹配的局部图像区域的差异，可以使用与双目摄像机类似的原理来获得深度信息。摄像机阵列系统的一种实现是微透镜阵列；即设置在位于微型单个摄像机传感器前面的固定网格中的小透镜阵列。然而，这种阵列中的摄像机对之间的基线通常受到制造过程的尺寸和分辨率的约束，从而限制了深度和角度(空间)分辨率的精度。另一种类型的摄像机阵列是将摄像机布置在单个平面上，通常也具有共同的方向，以便于简化视差的计算。然而，对摄像机系统中摄像机的物理布置的这种限制可以会在某些应用中限制摄像机阵列的实际设计，特别是在需要大基线的情况下。

6、先前的摄像机阵列可以产生大量的数据，然后必须对这些数据进行管理(通常每个摄像机有数百万个像素值)，这需要大量的计算资源来确定精确的深度和其他期望的场景信息。在一种方法中，可能需要为摄像机阵列中的每个摄像机确定三维空间中的采样点和它们对于每个摄像机的外观之间的映射。如果需要以高分辨率覆盖场景的大部分，这种采样点的数量可以非常大。场景中的采样点和来自摄像机阵列中的摄像机的图像数据中的像素之间的映射通常需要大量的计算资源。当乘以阵列中摄像机的数量时，总的计算工作量可以变得不可行。因此，这种系统通常以受限的分辨率或有限的帧速率运行。可以认为，样本点和图像数据中的像素之间的映射可以预先计算(即，在制造期间一次或在系统启动时一次)以节省计算工作量。然而，在这种情况下，必须存储然后应用于变换图像数据的参数的数量可以很大，因此不切实际。在任一情况下，高计算量或大量参数使得难以构建可以以合适的实时帧速率传递精确、高分辨率3d场景信息的系统。

7、本公开旨在克服和/或改善现有技术的至少一个或多个缺点，这将从本文的讨论中变得显而易见。本公开还提供了这里讨论的其他优点和/或改进。

技术实现思路

1、某些实施例涉及可以用于使用至少部分从摄像机阵列获得的数据来确定场景信息的设备、系统和/或方法。该场景信息可以是3d信息。

2、在某些实施例中，该系统可以被配置为实时或基本实时地生成三维信息。

3、在某些实施例中，该系统可以被配置为以实时帧速率或基本实时帧速率生成三维信息。

4、某些实施例涉及使用一个或多个示例性公开的系统来生成三维视频信息的方法。

5、某些实施例针对可以用于估计现实场景中物理表面的速度的系统。

6、某些实施例针对一种用于生成真实生活场景的三维信息的系统，包括：由多个摄像机组成的摄像机阵列，该摄像机阵列被配置为被定位成观看真实生活场景；所述多个摄像机包括：至少第一摄像机，其被配置为从真实生活场景的第一视野收集光谱数据；至少第二摄像机，其被配置为从真实生活场景的第二视野收集光谱数据；至少第三摄像机，其被配置为从真实生活场景的第三视野收集光谱数据；以及至少第四摄像机，其被配置为从真实生活场景的第四视野收集光谱数据；所述第一摄像机被配置为从所述第一视野生成至少第一图像；所述第二摄像机被配置为从所述第二视野生成至少第二图像；所述第三摄像机被配置为从所述第三视野生成至少第三图像；以及第四摄像机被配置为从所述第四视野生成至少第四图像；所述摄像机阵列被配置为将所述第一图像、所述第二图像、所述第三图像以及所述第四图像传输到处理引擎；以及所述处理引擎被配置为：从包括第一摄像机、第二摄像机、第三摄像机和第四摄像机的多个摄像机获得图像数据；通过基于3d体积在至少一个摄像机图像中的投影来提取从至少大部分像素数据中选择的相关像素数据，生成至少部分代表现实场景的一部分的3d体积的指示；以及使用相关像素数据来确定3d体积包含物理表面的可能性。

7、某些实施例涉及使用本公开的系统的方法。

技术特征：

1.一种用于生成真实生活场景的三维信息的系统，包括：

2.根据权利要求1所述的系统，其中一个或多个所述3d体积是一个或多个3d邻域。

3.根据权利要求1或2所述的系统，其中所述3d体积是3d邻域。

4.根据权利要求1至3中任一个所述的系统，其中所述相关像素数据包括3d体积的像素级光谱数据。

5.根据权利要求1至4中任一个所述的系统，其中所述相关像素数据包括光流信息。

6.根据权利要求1至5中任一个所述的系统，其中所述处理引擎被配置为使用所述相关像素数据来确定所述物理表面的估计速度。

7.根据权利要求1至6中任一个所述的系统，其中所述相关像素数据是包括第一3d体积的所述像素级数据的所述像素数据的子集。

8.一种系统，被配置为通过使用权利要求1至7中任一个所述的任一系统处理多个3d体积来确定3d场景中一个或多个表面的存在，以确定表面在至少一个3d体积内的所述可能性，并且将这些结果的至少一部分收集到累积数据集中。

9.根据权利要求8所述的系统，其中所述多个3d体积不重叠。

10.根据权利要求8所述的系统，其中所述多个3d体积至少部分重叠。

11.根据权利要求1至10中任一个所述的系统，其中所述多个3d体积总体上不完全覆盖所述真实生活场景。

12.根据权利要求1至11中任一个所述的系统，其中所述多个3d体积的至少一部分基本上沿着从相对于所述多个摄像机中的一个或多个摄像机的至少一个3d点投影到所述现实场景中的至少一条线对齐。

13.根据权利要求1至12中任一个所述的系统，其中所述多个3d体积的至少一部分基本上沿着从相对于所述多个摄像机中的一个或多个摄像机的至少一个3d点投影到所述现实场景中的多条线对齐。

14.根据权利要求1至13中任一个所述的系统，其中在所述多个3d体积的至少一部分内收集的数据用于确定所述物理表面至少部分包含在所述一个或多个3d邻域内的所述可能性。

15.根据权利要求1至14中任一个所述的系统，其中成本矩阵内已经计算的可能性计算至少部分地用于沿着穿过一个或多个所选图像的至少一条附加线的后续优化计算。

16.根据权利要求1至15中任一个所述的系统，其中3d体积的一部分内的可能性计算产生数字结果，所述数字结果独立于来自从一组图像对导出的交点的至少一部分数据被处理的顺序。

17.根据权利要求1至16中任一个所述的系统，其中对从所选图像对中导出的多条线重复所述优化计算。

18.根据权利要求1至17中任一个所述的系统，其中所述多条线的一部分选自核线。

19.根据权利要求1至18中任一个所述的系统，其中根据从由像素偏移分隔的至少两个矫正图像中提取的所述相关像素数据来计算与交点相关的数据，所述交点被输入到与在至少一个参考表面上基本对齐的3d场景信息相关的一个或多个所述3d邻域的可能性计算中。

20.根据权利要求1至19中任一个所述的系统，其中所述像素偏移是恒定的。

21.根据权利要求1至20中任一个所述的系统，其中在一组3d体积的至少一部分内收集的数据用于确定所述物理表面至少部分包含在所述一组3d体积内的所述可能性。

22.根据权利要求21所述的系统，其中所述一组3d体积代表穿过所述现实生活场景的线。

技术总结
该公开涉及可用于使用至少部分从摄像机阵列获得的数据从真实生活场景确定场景信息的设备、系统和/或方法。示例性系统可以被配置为实时或基本实时地生成三维信息，并且可以用于估计现实场景中的一个或多个物理表面的速度。

技术研发人员：R.A.纽曼
受保护的技术使用者：前瞻机械私人有限公司
技术研发日：
技术公布日：2024/1/14