空间三维结构信息恢复方法、装置、设备及存储介质与流程

本申请涉及计算机视觉，尤其涉及一种空间三维结构信息恢复方法、装置、设备及存储介质。

背景技术：

1、空间的三维结构信息对增强现实ar、虚拟现实vr以及一些需要利用空间的三维结构信息的任务十分重要，例如基于深度的相机自动对焦、基于空间感知的麦克风音响阵列初始参数估计。彩色相机拍摄得到的图像是三维空间经过透视投影而成的二维信号，因此不能直接从中直接获取到空间的三维结构信息。

2、目前室内空间的三维结构恢复方案主要采用tof(time-of-fl igh)、结构光等深度传感器产生空间的深度信息，同时辅以彩色相机产生rgb颜色信息，并将上述两信息进行标定和配准，最后结合相机的内部参数，将深度信息反投影，从而生成空间三维结构的点云。然而，设置有深度传感器的设备成本相对较高，在工业场景中往往对部件的成本非常敏感，因此，目前亟需一种既能够实现室内空间的三维结构恢复且成本相对较低的方案。

技术实现思路

1、针对上述技术问题，本申请的目的在于提供一种空间三维结构信息恢复方法、装置、设备及存储介质，旨在解决现有室内空间三维结构恢复的实现需要借助设置有深度传感器的设备导致成本相对较高的技术问题。

2、第一方面，本申请实施例提供一种空间三维结构信息恢复方法，包括：

3、获取彩色相机拍摄得到的目标场景图像以及所述彩色相机的内部参数；

4、将所述目标场景图像输入深度估计模型，通过所述深度估计模型估计所述目标场景图像的无尺度深度信息，得到无尺度深度图；

5、对所述无尺度深度图进行尺度恢复，得到有尺度深度图；

6、对所述目标场景图像进行实例分割，得到所述目标场景图像对应的实例分割图；

7、根据像素坐标位置，将所述目标场景图像、所述有尺度深度图以及所述实例分割图进行关联，得到关联图；

8、基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息。

9、进一步的，所述基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息的步骤之后，还包括：

10、根据所述实例分割图中的实例标签，采用点云平面拟合方法对所述初步的空间三维结构信息中各平面类别的点云进行平面拟合，得到优化后的空间三维结构信息。

11、进一步的，所述对所述无尺度深度图进行尺度恢复，包括：

12、采用先验标定物对所述无尺度深度图进行尺度恢复。

13、进一步的，所述采用先验标定物对所述无尺度深度图进行尺度恢复的步骤包括：

14、获取先验标定物实际高度、所述无尺度深度图中所述先验标定物高度的像素数；

15、根据所述先验标定物实际高度、所述无尺度深度图中所述先验标定物高度的像素数以及所述相机的垂直焦距计算所述先验标定物的实际深度；

16、根据所述实际深度以及对应的无尺度深度信息计算尺度因子；

17、根据所述尺度因子对所述无尺度深度图进行尺度恢复。

18、进一步的，所述采用先验标定物对所述无尺度深度图进行尺度恢复的步骤包括：

19、获取先验标定物实际宽度、所述无尺度深度图中所述先验标定物高度的像素数；

20、根据所述先验标定物实际宽度、所述无尺度深度图中所述先验标定物高度的像素数以及所述相机的水平焦距计算所述先验标定物的实际深度；

21、根据所述实际深度以及对应的无尺度深度信息计算尺度因子；

22、根据所述尺度因子对所述无尺度深度图进行尺度恢复。

23、进一步的，所述基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息，包括：

24、利用所述内部参数，对所述关联图进行畸变矫正，得到畸变矫正后的关联图；

25、基于所述畸变矫正后的关联图的像素点坐标、所述内部参数以及所述有尺度深度图的深度信息，利用反投影公式将所述畸变矫正后的关联图反投影到点云空间，得到初步的空间三维结构信息。

26、进一步的，所述相机为鱼眼相机或针孔相机。

27、第二方面，本申请实施例提供一种空间三维结构信息恢复装置，包括：

28、获取模块，用于获取彩色相机拍摄得到的目标场景图像以及所述彩色相机的内部参数；

29、输入模块，用于将所述目标场景图像输入深度估计模型，通过所述深度估计模型估计所述目标场景图像的无尺度深度信息，得到无尺度深度图；

30、尺度恢复模块，用于对所述无尺度深度图进行尺度恢复，得到有尺度深度图；

31、实例分割模块，用于对所述目标场景图像进行实例分割，得到所述目标场景图像对应的实例分割图；

32、关联模块，用于根据像素坐标位置，将所述目标场景图像、所述有尺度深度图以及所述实例分割图进行关联，得到关联图；

33、反投影模块，用于基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息。

34、第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述方法的步骤。

35、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法的步骤。

36、本申请实施例提供的一种空间三维结构信息恢复方法，包括：获取彩色相机拍摄得到的目标场景图像以及所述彩色相机的内部参数；将所述目标场景图像输入深度估计模型，通过所述深度估计模型估计所述目标场景图像的无尺度深度信息，得到无尺度深度图；对所述无尺度深度图进行尺度恢复，得到有尺度深度图；对所述目标场景图像进行实例分割，得到所述目标场景图像对应的实例分割图；根据像素坐标位置，将所述目标场景图像、所述有尺度深度图以及所述实例分割图进行关联，得到关联图；基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息。由此可见，本申请实施例通过采用普通色彩相机结合算法的方案实现了三维结构信息的恢复，相比于基于tof、结构光等硬件实现空间三维结构信息的恢复大大降低了成本，具有极大的优势。此外，通过将目标场景图像、有尺度深度图以及实例分割图进行关联，大大提高了点云着色的效率和精度，还能够高效地获得实例级别的点云。

技术特征：

1.一种空间三维结构信息恢复方法，其特征在于，包括：

2.根据权利要求1所述的空间三维结构信息恢复方法，其特征在于，所述基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息的步骤之后，还包括：

3.根据权利要求1所述的空间三维结构信息恢复方法，其特征在于，所述对所述无尺度深度图进行尺度恢复，包括：

4.根据权利要求3所述的空间三维结构信息恢复方法，其特征在于，所述采用先验标定物对所述无尺度深度图进行尺度恢复的步骤包括：

5.根据权利要求3所述的空间三维结构信息恢复方法，其特征在于，所述采用先验标定物对所述无尺度深度图进行尺度恢复的步骤包括：

6.根据权利要求1所述的空间三维结构信息恢复方法，其特征在于，所述基于所述内部参数，将所述关联图反投影到点云空间，得到初步的空间三维结构信息，包括：

7.根据权利要求1所述的空间三维结构信息恢复方法，其特征在于，所述相机为鱼眼相机或针孔相机。

8.一种空间三维结构信息恢复装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及计算机视觉技术领域，提供一种空间三维结构信息恢复方法、装置、设备及存储介质，方法包括：获取彩色相机拍摄得到的目标场景图像以及彩色相机的内部参数；将目标场景图像输入深度估计模型，通过深度估计模型估计目标场景图像的无尺度深度信息，得到无尺度深度图；对无尺度深度图进行尺度恢复，得到有尺度深度图；对目标场景图像进行实例分割，得到目标场景图像对应的实例分割图；根据像素坐标位置，将目标场景图像、有尺度深度图以及实例分割图进行关联，得到关联图；基于内部参数，将关联图反投影到点云空间，得到初步的空间三维结构信息。本申请通过采用普通色彩相机结合算法的方案即可实现三维结构信息的恢复，成本低。

技术研发人员：李玉鹏,任亮亮,刘宏波
受保护的技术使用者：广州视源电子科技股份有限公司
技术研发日：
技术公布日：2024/12/26