图像处理方法、装置、设备及存储介质与流程

本技术涉及计算机，具体涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。

背景技术：

1、随着科技研究的进步，三维空间场景建模技术飞速发展，并被广泛应用在生活中的各个领域；例如，地形模拟、场景复现、游戏等。通过三维空间场景的平面图像集合，即可构建三维空间场景的神经网络模型。三维空间场景的神经网络模型可用于查询三维空间场景中的采样点的渲染属性（如颜色）。研究发现，受平面图像观测条件（如观测方向、观测距离等）等因素的影响，三维空间场景的神经网络模型的预测结果的准确度较低。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、设备及计算机可读存储介质，能够提高三维空间场景的神经网络模型的预测结果的准确度。

2、一方面，本技术实施例提供了一种图像处理方法，包括：

3、获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

4、调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

5、获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

6、基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

7、通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

8、本技术实施例中，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。

9、一方面，本技术实施例提供了一种图像处理方法，包括：

10、获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

11、根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

12、获取第一三维空间场景对应的第一神经网络模型；

13、调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

14、按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

15、本技术实施例中，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。可见，通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。

16、一方面，本技术实施例提供了一种图像处理装置，该图像处理装置包括：

17、获取单元，用于获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

18、处理单元，用于调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

19、获取单元，还用于获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

20、处理单元，还用于基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

21、以及用于通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

22、在一种实施方式中，观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。

23、在一种实施方式中，目标观测条件包括观测方向；处理单元调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码的过程包括：

24、通过观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致；

25、获取第一查询光线上各个采样点的位置信息；

26、调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素；

27、基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。

28、在一种实施方式中，渲染属性包括体积密度；处理单元用于，基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素，具体用于：

29、基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果；

30、根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，预测第一查询光线对应的像素点关联的场景元素。

31、在一种实施方式中，场景元素包括三维空间场景中的空洞点和m个对象，m为正整数；热点向量的维度为m+1，热点向量的前m维与m个对象一一对应，第m+1维与空洞点对应，空洞点为三维空间场景中不属于m个对象的采样点；

32、其中，若目标采样点的热点向量指示目标采样点与m个对象中的第j个对象相关联，则表示目标采样点属于第j个对象；若目标采样点的热点向量指示目标采样点与空洞点相关联，则表示目标采样点为空洞点；目标采样点为三维空间场景中的任一个采样点，j为小于等于m的正整数。

33、在一种实施方式中，三维空间场景中包含m个对象，m为正整数；处理单元用于，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，具体用于：

34、基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值；

35、获取三维空间场景中的各个空洞点的表面分数和空点分数；空洞点是指三维空间场景中不属于m个对象的采样点，目标空洞点的表面分数用于指示目标空洞点的可见度，目标空洞点的空点分数用于指示目标空洞点的透光度，目标空洞点为三维空间场景中的任一个空洞点；

36、基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值；

37、对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

38、在一种实施方式中，目标观测条件包括观测方向和观测位置；处理单元获取三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：

39、通过观测位置和观测方向确定第二查询光线，第二查询光线的方向与观测方向一致，且观测位置位于第二查询光线上；

40、获取第二查询光线经过的对象与观测位置之间的对象距离；

41、通过对象距离，将第二查询光线上位于第二查询光线经过的对象与观测位置之间的采样点确定为空洞点；

42、根据对象距离以及每个空洞点与观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。

43、在一种实施方式中，处理单元用于，获取第二查询光线经过的对象与观测位置之间的对象距离，具体用于：

44、获取第二查询光线上各个采样点的位置信息；

45、调用神经网络模型通过第二查询光线上各个采样点的位置信息和第二查询光线，预测第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素，渲染属性包括体积密度；

46、通过第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的体积密度，预测第二查询光线经过的对象与观测位置之间的对象距离。

47、在一种实施方式中，处理单元用于，基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值，具体用于：

48、获取三维空间场景中的各个空洞点的热点向量；

49、基于三维空间场景中的各个空洞点的表面分数和空点分数，以及三维空间场景中的各个空洞点的热点向量，计算空洞点损失；

50、基于三维空间场景中的各个空洞点的表面分数和三维空间场景中的各个空洞点的热点向量，计算表面损失；

51、对表面损失和空洞点损失进行求和处理，得到第二损失值。

52、一方面，本技术实施例提供了另一种图像处理装置，该图像处理装置包括：

53、获取单元，用于获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

54、处理单元，用于根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

55、获取单元，还用于获取第一三维空间场景对应的第一神经网络模型；

56、处理单元，还用于调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

57、以及用于按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

58、在一种实施方式中，处理单元还用于：

59、获取第二神经网络模型，第二神经网络模型对应第二三维空间场景；第二三维空间场景是基于针对第一三维空间场景中的目标对象的操作信息对第一三维空间场景进行更新后得到的；操作信息包括以下至少一项：目标对象的平移量，目标对象的旋转量，目标对象的缩放量；

60、获取第二查询光线，以及第二三维空间场景中目标采样点的位置，目标采样点是第一三维空间场景和第二三维空间场景中存在差异的采样点；

61、调用第二神经网络模型通过目标采样点的位置信息和第二查询光线，预测目标采样点的热点向量；目标采样点的热点向量用于指示目标采样点在第二三维空间场景中关联的场景元素；

62、根据第二查询光线和目标采样点的位置，确定目标采样点对应的逆向点；逆向点是第一三维空间场景在第二查询光线下的平面图像中与目标采样点在第二查询光线下的投影位置相匹配的像素点；

63、基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像。

64、在一种实施方式中，处理单元用于，基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像，具体用于：

65、若热点向量指示的目标采样点所属的对象与逆向点所属的对象不匹配，则获取第二三维空间场景中在第二查询光线上的各个采样点的渲染属性，渲染属性包括采样点的体积密度和颜色信息；

66、基于第二查询光线上的各个采样点的体积密度和颜色信息，对逆向点进行更新渲染，得到更新后的平面图像。

67、相应地，本技术提供了一种计算机设备，该计算机设备包括：

68、存储器，存储器中存储有计算机程序；

69、处理器，用于加载计算机程序实现上述图像处理方法。

70、相应地，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述图像处理方法。

71、相应地，本技术提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

72、本技术实施例中，一方面，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。另一方面，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。