集束调整方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种集束调整方法及电子设备。

背景技术：

1、随着终端技术的发展和人们处理信息能力的提高，二维图像已经不能满足工作和生 活的需要。相较于二维图像，三维模型对于人类来说是最为直观的结构，并且基于三维角度观察物体和环境可以使得人们高效率地处理信息。因此，三维重建成了图像处理技 术领域的热点之一，其为三维物体建立了适合计算机表示和处理的数学模型，使得电子 设备可以在计算机环境下对物体进行处理、操作和分析。

2、目前，基于运动结构恢复(structurefrom motion，sfm)算法重建物体的三维模型是 一种常用的方式。该方式可以通过搜集一系列无序的图片并从其中提取充足的特征点进 行分析来重建物体的三维模型。其中，集束调整是三维重建中一个重要的环节，用于消除相机位姿和地图点位置的累积误差。然而，当图片数量以及特征点数量增加时，集束 调整的求解时间会呈指数级增加，耗时非常大。

技术实现思路

1、为了解决上述技术问题，本技术实施例提供一种集束调整方法及电子设备。在本方 法中，将集束调整优化分为先优化相机位姿、部分三维点、相机内参，后优化所有地图点位置的两步，极大地减少了集束调整优化的耗时。

2、第一方面，本技术实施例提供一种集束调整方法。该方法包括：电子设备获取待优化的相机位姿、相机内参和所有三维点；电子设备根据预设策略在所有三维点中确定目 标三维点；电子设备对待优化的相机位姿、相机内参，以及目标三维点进行集束调整优 化，得到优化后的相机位姿和相机内参；电子设备将优化后的相机位姿和相机内参作为 定值，对所有三维点进行集束调整优化，得到优化后的所有三维点。

3、这样，电子设备将集束调整优化分为先优化相机位姿、部分三维点、相机内参，后只优化所有地图点位置的两步，极大地减少了集束调整优化的耗时。

4、根据第一方面，目标三维点的数据质量优于所有三维点的数据质量；其中，数据质量用于表征三维点用于三维重建时的精准程度。

5、其中，数据质量可以通过相关指标来标识，例如三维点对应的图像特征点的特征提 取响应值等。

6、这样，在第一步集束调整优化时，电子设备选取一些数据质量较优的三维点，也即选取一些比较重要的三维点，与相机位姿和相机内参一同被集束调整优化，以得到优化 后的相机位姿和相机内参，进而在第二步集束调整优化时将优化后的相机位姿和相机内 参作为定值，只对所有的三维点进行集束调整优化。由此，不仅能够保证优化精度不下 降，而且还极大降低了优化求解的时间。

7、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据预设策略在 所有三维点中确定目标三维点，包括：电子设备遍历待优化的相机位置对应的图像；在与每张图像对应的三维点中，电子设备选取目标三维点；其中，目标三维点对应的图像 特征点的特征提取响应值大于第一阈值。

8、需要指出的是，任意三维点对应的图像特征点是图像中的二维点。

9、这样，电子设备根据三维点对应的图像特征点的特征提取响应值大小，来选取在第 一步集束调整优化时的部分三维点，有效保证了两步优化集束调整方法的优化精度。

10、根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：电子设备将每张图像等分为多个图像网格；其中，每个图像网格中包括的目标特征点的数量不大 于第二阈值；目标特征点为与目标三维点对应的图像特征点。

11、这样，电子设备在选取在第一步集束调整优化时的部分三维点，能够确保这些三维 点分布的均衡性，进而提高两步优化集束调整方法的优化精度。

12、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在与每张图像对 应的三维点中，选取目标三维点，可以包括：电子设备将与每张图像对应的三维点按照特征提取响应值降序(即按照三维点对应的二维图像特征点的特征提取响应值的降序) 进行排列；电子设备按照特征提取响应值降序依次获取一个三维点作为当前三维点；如 果当前三维点对应的图像特征点的特征提取响应值大于第一阈值，且当前图像网格包括 的目标特征点总数量不大于第二阈值，则电子设备将当前三维点作为目标三维点，并更 新当前图像网格包括的目标特征点总数量；其中，当前图像网格为与当前三维点对应的 图像特征点所在的图像网格；电子设备继续按照特征提取响应值降序依次获取一个三维 点作为当前三维点，直至遍历完与每张图像对应的各个三维点，或者直至遍历到当前三 维点对应的图像特征点的特征提取响应值不大于第一阈值。

13、这样，电子设备根据三维点对应的图像特征点的特征提取响应值大小，来选取在第 一步集束调整优化时的部分三维点，并能确保这些三维点分布的均衡性，提高了两步优化集束调整方法的优化精度。而且，针对每张图像，在遍历到当前三维点对应的图像特 征点的特征提取响应值不大于第一阈值时，结束对该张图像对应的三维点的遍历，能够 有效提高在与每张图像对应的三维点中选取目标三维点的效率。

14、根据第一方面，或者以上第一方面的任意一种实现方式，所有三维点的数量与相机 位姿数量的差值大于第一预设数量阈值。

15、根据第一方面，或者以上第一方面的任意一种实现方式，待优化的相机位姿数量大 于第二预设数量阈值。

16、当三维点的数量远大于相机位姿数量时，或者，当用于构建三维模型的图像数量增 大时，相比于已有方法，采用本实施例提供的两步优化集束调整方法，集束调整优化耗时减少得更加明显。

17、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备获取待优化的相 机位姿、相机内参和所有三维点，可以包括：电子设备获取局部集束调整时待优化的相机位姿、相机内参和所有三维点。

18、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备获取待优化的相 机位姿、相机内参和所有三维点，可以包括：电子设备获取全局集束调整时待优化的相机位姿、相机内参和所有三维点。

19、这样，本实施例提供的两步优化集束调整方法适用于局部集束调整优化阶段，也适 用于全局集束调整优化阶段。

20、第二方面，本技术实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器 上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一 方面中任意一项的集束调整方法。

21、第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

22、第三方面，本技术实施例提供一种计算机可读存储介质。该计算机可读存储介质包 括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的集束调整方法。

23、第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

24、第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的集束调整方法。

25、第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

26、第五方面，本技术提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚和该处理电路通过内部连接通路互相通信，该处理电路执行如第一方面或第一方面中任意一项的集束调整方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

27、第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。