三维重建方法、装置、电子设备和计算机可读存储介质与流程

本发明涉及图像处理领域，具体涉及一种三维重建方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、近年来，随着互联网技术的飞速发展，三维重建技术也越来越成熟。在三维重建中，需要通过立体匹配技术推断出对象的深度信息，从而实现三维重建。现有的三维重建方法往往从0视差开始迭代更新视差图，并基于更新后的视差图进行三维重建。

2、在对现有技术的研究和实践过程中，本技术的发明人发现双目视觉下的图像的视差一般都不为0，将0视差作为初始值与实际视差的差别往往较大，从而增加迭代次数，由于初始值距离最优的目标视差较远，多次迭代往往也会引入较多的噪声，使得估计出的视差图准确度不足，因此，导致三维重建的准确性不足。

技术实现思路

1、本发明实施例提供一种三维重建方法、装置、电子设备和计算机可读存储介质，可以提高三维重建的准确率。

2、一种三维重建方法，包括：

3、获取目标对象的目标图像对，所述目标图像对包括所述目标对象在双目视觉下的对象图像；

4、对所述目标图像对进行特征提取，得到每一对象图像对应的图像特征，并对所述图像特征进行特征解码，以得到所述目标对象的初始视差图；

5、基于所述图像特征和所述初始视差图，确定所述目标对象对应的视差增量；

6、根据所述视差增量，对所述初始视差图进行更新，以得到所述目标对象的目标视差图；

7、基于所述目标视差图，对所述目标对象进行三维重建，得到所述目标对象的三维对象图像。

8、相应的，本发明实施例提供一种三维重建装置，包括：

9、获取单元，用于获取目标对象的目标图像对，所述目标图像对包括所述目标对象在双目视觉下的对象图像；

10、解码单元，用于对所述目标图像对进行特征提取，得到每一对象图像对应的图像特征，并对所述图像特征进行特征解码，以得到所述目标对象的初始视差图；

11、确定单元，用于基于所述图像特征和所述初始视差图，确定所述目标对象对应的视差增量；

12、更新单元，用于根据所述视差增量，对所述初始视差图进行更新，以得到所述目标对象的目标视差图；

13、三维重建单元，用于基于所述目标视差图，对所述目标对象进行三维重建，得到所述目标对象的三维对象图像。

14、在一些实施例中，所述更新单元，具体可以用于根据所述视差增量，对所述初始视差图进行调整，得到调整后视差图；基于所述图像特征，对所述调整后视差图进行迭代更新，得到所述目标对象的目标视差图。

15、在一些实施例中，所述更新单元，具体可以用于在所述初始视差图中识别出所述目标对象的每一像素对应的初始视差值；在所述视差增量中提取出所述目标对象的每一像素对应的视差增量值；将所述视差增量值与对应的所述初始视差值进行融合，以得到调整后视差图。

16、在一些实施例中，所述更新单元，具体可以用于将所述调整后视差图作为所述初始视差图；返回执行所述基于所述图像特征和所述初始视差图，确定所述目标对象对应的视差增量的步骤，直至达到预设迭代次数为止，得到所述目标对象的目标视差图。

17、在一些实施例中，所述三维重建单元，具体可以用于获取所述目标图像对的采集参数；根据所述采集参数和所述目标视差图，确定所述目标对象的点云集合；基于所述点云集合，构建所述目标对象的三维对象图像。

18、在一些实施例中，所述三维重建单元，具体可以用于基于所述目标视差图和所述采集参数，确定所述对象图像中所述目标对象对应的像素深度；将所述像素深度转换为所述目标对象的像素对应的点云坐标，得到所述目标对象的点云集合。

19、在一些实施例中，所述三维重建单元，具体可以用于在所述采集参数中提取出取景参数和每一对象图像对应的采集位置；计算所述采集位置之间的坐标差值，并在所述目标视差图中提取出所述目标对象的每一像素对应的目标视差值；将所述坐标差值、目标视差值和所述取景参数进行融合，得到所述对象图像中所述目标对象对应的像素深度。

20、在一些实施例中，所述三维重建单元，具体可以用于将所述焦距长度和所述基线长度进行融合，得到融合后取景参数；基于所述坐标差值，对所述目标视差值进行调整，得到所述对象图像中所述目标对象的每一像素的调整后视差值；计算所述调整后视差值与所述融合后取景参数之间的比值，得到每一像素的像素深度。

21、在一些实施例中，所述三维重建单元，具体可以用于在所述采集参数中提取出双目采集设备的内参矩阵；在所述对象图像中识别出所述目标对象的每一像素的像素坐标；基于所述内参矩阵和所述像素深度，将所述像素坐标转换为点云坐标，得到所述目标对象的点云集合。

22、在一些实施例中，所述三维重建单元，具体可以用于根据所述像素深度，对所述像素坐标进行调整，得到调整后坐标值；基于所述调整后坐标值和所述像素深度，构建每一像素对应的坐标矩阵；将所述内参矩阵与所述坐标矩阵进行融合，得到每一像素对应的点云齐次坐标，并将每一像素对应的点云齐次坐标作为所述目标对象的点云集合。

23、在一些实施例中，所述解码单元，具体可以用于将所述图像特征进行拼接，得到所述目标对象对应的目标图像特征；采用视差识别模型的解码网络对所述目标图像特征进行特征解码，以得到所述目标对象的初始视差图；所述基于所述图像特征和所述初始视差图，确定所述目标对象对应的视差增量，包括：采用所述视差识别模型的增量预测网络，基于所述图像特征和所述初始视差图，预测出所述目标对象对应的视差增量。

24、在一些实施例中，所述三维重建装置还可以包括训练单元，所述训练单元，具体可以用于获取样本对象的样本图像对，并对所述样本图像对进行特征提取，以得到样本图像特征；采用预设视差识别模型，基于所述样本图像特征，预测出所述样本对象的预测视差图；基于所述预测视差图与所述样本对象的标注视差图，确定视差损失，并根据所述视差损失，对所述预设视差识别模型进行收敛，得到视差识别模型。

25、在一些实施例中，所述训练单元，具体可以用于获取所述样本对象的标注视差图，并对所述标注视差图进行特征提取，得到标注视差特征；对所述预测视差图进行特征提取，得到预测视差特征；计算所述标注视差特征与所述预测视差特征之间的特征距离，以得到视差损失。

26、此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的三维重建方法。

27、此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种三维重建方法中的步骤。

28、此外，本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本技术实施例提供的三维重建方法中的步骤。

29、本发明实施例在获取目标对象在双目标视觉下的目标图像对之后，对目标图像对进行特征提取，得到目标图像对中每一对象图像对应的图像特征，并对图像特征进行特征解码，以得到目标对象的初始视差图，基于图像特征和初始视差图，确定目标对象对应的视差增量，根据视差增量，对初始视差图进行更新，以得到目标对象的目标视差图，基于目标视差图，对目标对象进行三维重建，得到目标对象的三维对象图像；由于该方案可以在双目视觉下的对象图像的图像特征中解码出一个初略的视差图，将解码出的视差图作为后续计算视差图增量的初始视差图，相对于全0的初始视差图而言，更加接近真实视差图，从而可以减少后续迭代更新的次数，并提升计算出的目标视差图的精度，因此，可以提升三维重建的准确率。