一种图像深度信息补全方法、装置和电子设备与流程

本申请涉及深度计算，具体涉及一种图像深度信息补全方法、装置及电子设备。

背景技术：

1、随着科技的发展，2d成像已经远远不能满足的消费者的需求，所以3d成像应运而生，大多数3d相机所获得的深度信息边缘缺失或者扭曲，这一直是深度重建的难点和重点，现成的一些方法基于深度信息平滑处理或通过边缘检测算法到边缘，再使用边缘补偿方法获取深度信息边缘信息，如此会导致最终的深度边缘信息扭曲不真实或者产生伪边缘。

技术实现思路

1、本申请的目的在于提供了一种图像深度信息补全方法、装置及电子设备，本申请可以较真实的还原环境中物体的几何结构，在环境重建等应用中提供更完整的信息。

2、第一方面，本申请提供了一种图像深度信息补全方法，包括：

3、获取第一图像的rgb图像并进行标注，根据标注后的rgb图像训练语义分割模型；

4、将获取的第二图像的rgb图像输入到训练后的语义分割模型进行语义分割以计算第二图像的rgb图像的边缘点；

5、对所述第二图像的rgb图像的边缘点进行过滤以去除伪边缘区域后，得到有效边缘点；

6、根据所述第二图像的rgb图像的有效边缘点计算补全所述第二图像的深度图像的平均深度值；

7、根据所述第二图像的rgb图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述获取第二图像的深度图像进行补全。

8、作为本申请一优选实施例，所述将获取的第二图像的rgb图像输入到语义分割模型进行语义分割以计算第二图像的rgb图像的边缘点，包括：

9、将第二图像的rgb图像输入到语义分割模型中进行模型推理，获取第二图像的rgb图像语义分割信息；

10、根据所述第二图像的rgb图像语义分割信息计算第二图像的rgb图像的边缘点；

11、假设其中，a表示x方向第二图像的rgb图像的边缘点的卷积核，b表示y方向第二图像的rgb图像的边缘点的卷积核，gx＝a*image，gy＝b*image，image为第二图像的rgb图像语义分割信息，edge1为第二图像的rgb图像的边缘点。

12、作为本申请一优选实施例，所述对所述第二图像的rgb图像的边缘点进行过滤以去除伪边缘区域，包括：

13、以第二图像的rgb图像的每个边缘点为中心，在与第二图像的rgb图像对应的深度图像上取n*n区域，计算所述n*n区域的深度值均值，根据所述n*n区域的深度值均值计算所述n*n区域的深度值均值方差；

14、计算n*n区域的深度图像有效深度值的百分比；

15、若n*n区域某一点的深度值均值方差或有效深度值的百分比小于所述n*n区域的深度值均值方差阈值，且大于n*n区域的有效深度值的百分比阈值，则所述n*n区域某一点为第二图像的rgb图像的伪边缘点，依次轮询去除第二图像所有伪边缘点，得到第三图像。

16、作为本申请一优选实施例，所述根据所述n*n区域的深度值均值计算所述n*n区域的深度值均值方差通过如下公式计算：

17、

18、其中，emean表示n*n区域的深度值均值，vval表示n*n区域的深度值均值方差，pixnm表示n*n区域(n，m)位置处的像素值。

19、作为本申请一优选实施例，所述根据所述第二图像的rgb图像的有效边缘点计算补全深度图像的平均深度值，包括：

20、获取所述第二图像的rgb图像有效边缘点中的a个有效深度点，并计算a个有效深度点的平均值，以所述平均值作为补全缺失深度图像的深度值。

21、作为本申请一优选实施例，所述获取所述第二图像的rgb图像有效边缘点中的a个有效深度值，并计算a个有效深度值的平均值，包括：

22、轮询第三图像上的边缘点，计算第三图像的各边缘点切线方向；

23、在与第二图像的rgb图像对应的深度图像中，以第三图像的边缘点切线方向为边界，在所述边界同一侧确定a个有效深度点，并计算所述a个有效深度点的平均值ed。

24、作为本申请一优选实施例，所述根据所述第二图像的rgb图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述深度图像进行补全，包括：

25、遍历在与第二图像的rgb图像对应的深度图像的所有边缘点，填充所述深度图像的有效深度和空洞，并替换所述深度图像的无效深度。

26、与现有技术相比，本申请提供的一种图像深度信息补全方法，通过将获取的第二图像的rgb图像输入到语义分割模型进行语义分割以计算第二图像的rgb图像的边缘点，对所述第二图像的rgb图像的边缘点进行过滤以去除伪边缘区域；根据所述第二图像的rgb图像的有效边缘点计算补全深度图像的平均深度值；根据所述第二图像的rgb图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值补全边缘缺失的所述深度图像。本申请可以较真实的还原了环境中物体的几何结构，在环境重建等应用中提供更完整的信息。

27、第二方面，本申请还提供了一种图像深度信息补全装置，包括：

28、训练模块，用于获取第一图像的rgb图像并进行标注，根据标注后的rgb图像训练语义分割模型；

29、第一计算模块，用于将获取的第二图像的rgb图像输入到语义分割模型进行语义分割以计算第二图像的rgb图像的边缘点；

30、过滤模块，用于对所述第二图像的rgb图像的边缘点进行过滤以去除伪边缘区域；

31、第二计算模块，用于根据所述第二图像的rgb图像的有效边缘点计算补全深度图像的平均深度值；

32、补全模块，用于根据所述第二图像的rgb图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述深度图像进行补全。

33、作为本申请一优选实施例，所述第一计算模块，具体用于：

34、将第二图像的rgb图像输入到语义分割模型中进行模型推理，获取第二图像的rgb图像语义分割信息；

35、根据所述第二图像的rgb图像语义分割信息计算第二图像的rgb图像的边缘点；

36、假设其中，a表示x方向第二图像的rgb图像的边缘点的卷积核，b表示y方向第二图像的rgb图像的边缘点的卷积核，gx＝a*image，gy＝b*image，image为第二图像的rgb图像语义分割信息，edge1为第二图像的rgb图像的边缘点。

37、与现有技术相比，本申请第二方面提供的一种深度信息边缘检测装置的有益效果与第一方面的有益效果相同，在此不再赘述。

38、第三方面，本申请还提供了一种电子设备，包括第二方面所述的一种图像深度信息补全装置。

39、与现有技术相比，本申请第三方面提供的一种电子设备的有益效果与第一方面的有益效果相同，在此不再赘述。

技术特征：

1.一种图像深度信息补全方法，其特征在于，包括：

2.如权利要求1所述的一种图像深度信息补全方法，其特征在于，所述将获取的第二图像的rgb图像输入到语义分割模型进行语义分割以计算第二图像的rgb图像的边缘点，包括：

3.如权利要求1所述的一种图像深度信息补全方法，其特征在于，所述对所述第二图像的rgb图像的边缘点进行过滤以去除伪边缘区域，包括：

4.如权利要求3所述的一种图像深度信息补全方法，其特征在于，

5.如权利要求3所述的一种图像深度信息补全方法，其特征在于，所述根据所述第二图像的rgb图像的有效边缘点计算补全深度图像的平均深度值，包括：

6.如权利要求5所述的一种图像深度信息补全方法，其特征在于，所述获取所述第二图像的rgb图像有效边缘点中的a个有效深度值，并计算a个有效深度值的平均值，包括：

7.如权利要求1所述的一种图像深度信息补全方法，，其特征在于，所述根据所述第二图像的rgb图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值对所述深度图像进行补全，包括：

8.一种图像深度信息补全装置，其特征在于，包括：

9.如权利要求8所述的一种图像深度信息补全装置，其特征在于，所述第一计算模块，具体用于：

10.一种电子设备，其特征在于，包括如权利要求8或9所述的一种一种图像深度信息补全装置。

技术总结
本申请提供了一种图像深度信息补全方法、装置和电子设备，所述方法包括：获取第一图像的RGB图像并进行标注，根据标注后的RGB图像训练语义分割模型；将获取的第二图像的RGB图像输入到语义分割模型进行语义分割以计算第二图像的RGB图像的边缘点，对所述第二图像的RGB图像的边缘点进行过滤以去除伪边缘区域；根据所述第二图像的RGB图像的有效边缘点计算补全深度图像的平均深度值；根据所述第二图像的RGB图像获取第二图像的深度图像，遍历所述深度图像所有边缘点，通过所述平均深度值补全边缘缺失的所述深度图像。本申请可以较真实的还原环境中物体的几何结构，在环境重建等应用中可以提供更完整的信息。

技术研发人员：毛凤辉,郭振民
受保护的技术使用者：南昌虚拟现实研究院股份有限公司
技术研发日：
技术公布日：2024/1/12