利用表示不同种类像素的映射创建图像的制作方法

本发明涉及图像渲染，并且更具体地，涉及利用语义表示来渲染图像。

背景技术：

1、使用标准图形技术渲染照片般逼真的图像可能是一个复杂的过程，因为几何形状、材料和光传输是明确模拟的。此外，构建和编辑虚拟环境既昂贵又耗时，因为虚拟世界的每个部分都需要明确建模。结果，期望使用从数据学习的模型来渲染照片般逼真的图像，这可以将渲染图形的过程转换为模型学习和推理问题。因此需要解决与现有技术相关的这些问题和/或其他问题。

技术实现思路

1、本发明涉及一种处理器，包括：一个或更多个电路，其用于训练一个或更多个神经网络以至少部分地基于一个或更多个像素的一个或更多个标签来生成图像。

2、本发明还涉及一种系统，包括：一个或更多个计算机，其具有一个或更多个处理器来训练一个或更多个神经网络以至少部分地基于一个或更多个像素的一个或更多个标签来生成图像。

3、本发明还涉及一种机器可读介质，具有存储在其上的指令集，所述指令集在由一个或更多个处理器执行时，使所述一个或更多个处理器至少：训练一个或更多个神经网络以至少部分地基于一个或更多个像素的一个或更多个标签来生成图像。

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，其中，所述一个或更多个电路进一步用于：

3.如权利要求2所述的处理器，其中，所述一个或更多个电路进一步用于：通过至少部分地基于所述图像与所述第二图像之间的差异来至少调整所述第一神经网络和所述第二神经网络中的一个或更多个节点的一个或更多个值来训练所述一个或更多个神经网络。

4.如权利要求1所述的处理器，其中，所述一个或更多个标签指示所述一个或更多个像素对应的一个或更多个对象的种类。

5.如权利要求1所述的处理器，其中，所述一个或更多个神经网络包括一个或更多个生成器神经网络。

6.如权利要求1所述的处理器，其中，所述一个或更多个电路进一步用于使用至少一个或更多个特征匹配损失函数来训练所述一个或更多个神经网络。

7.如权利要求1所述的处理器，其中，通过语义标签映射表示所述一个或更多个像素的所述一个或更多个标签。

8.一种系统，包括：

9.如权利要求8所述的系统，其中，所述一个或更多个处理器进一步用于：

10.如权利要求9所述的系统，其中，所述图像的第二表示的分辨率大于所述图像的第一表示的分辨率。

11.如权利要求9所述的系统，其中，所述一个或更多个处理器进一步用于通过至少使用鉴别器神经网络处理所述图像和所述图像的第二表示来训练所述一个或更多个神经网络。

12.如权利要求8所述的系统，其中，所述一个或更多个处理器进一步用于使用一个或更多个特征来生成所述图像。

13.如权利要求12所述的系统，其中，所述一个或更多个特征指示所生成的图像的一个或更多个属性。

14.一种处理器，包括：

15.如权利要求14所述的处理器，其中，所述一个或更多个电路进一步用于：

16.如权利要求14所述的处理器，其中，所述一个或更多个电路进一步用于：

17.如权利要求16所述的处理器，其中，所述一个或更多个电路进一步用于使用一个或更多个编码器来生成所述特征集。

18.如权利要求14所述的处理器，其中，通过一个或更多个语义表示指示所述一个或更多个像素的所述一个或更多个标签。

19.如权利要求14所述的处理器，其中，所述一个或更多个电路进一步用于将所述图像输入至自动驾驶车辆的一个或更多个系统以用于物体检测。

20.一种系统，包括：

21.如权利要求20所述的系统，其中，所述一个或更多个处理器进一步用于：

22.如权利要求20所述的系统，其中，所述一个或更多个处理器进一步用于：

23.如权利要求22所述的系统，其中，所述一个或更多个处理器进一步用于使用一个或更多个池化操作来获得所述一个或更多个特征。

24.如权利要求20所述的系统，其中，所述一个或更多个处理器进一步用于将所述图像输入至自动驾驶车辆的一个或更多个系统以用于一个或更多个导航任务。

25.如权利要求21所述的系统，其中，所述第一神经网络和所述第二神经网络是一个或更多个生成性对抗网络的部分。

26.一种机器可读介质，具有存储在其上的指令集，所述指令集在由一个或更多个处理器执行时，使所述一个或更多个处理器至少：

27.如权利要求26所述的机器可读介质，其中，所述指令集进一步包括指令，所述指令如果由所述一个或更多个处理器执行时，使所述一个或更多个处理器：

28.如权利要求27所述的机器可读介质，其中，所述指令集进一步包括指令，所述指令如果由所述一个或更多个处理器执行时，使所述一个或更多个处理器：

29.如权利要求26所述的机器可读介质，其中，所述指令集进一步包括指令，所述指令如果由所述一个或更多个处理器执行时，使所述一个或更多个处理器使用一个或更多个生成性对抗网络的一个或更多个鉴别器部分来训练所述一个或更多个神经网络。

30.如权利要求29所述的机器可读介质，其中，所述一个或更多个鉴别器包括一个或更多个基于补丁的鉴别器。

31.如权利要求26所述的机器可读介质，其中，所述指令集进一步包括指令，所述指令如果由所述一个或更多个处理器执行时，使所述一个或更多个处理器通过至少部分地基于所生成的图像至少调整与所述一个或更多个神经网络相关联的一个或更多个权重值来训练所述一个或更多个神经网络。

32.一种方法，包括：

33.一种方法，包括：

34.一种机器学习模型，包括：

技术总结
公开了一种方法、计算机可读介质和系统，用于利用表示场景内不同种类的特定像素的映射来创建图像。一个或更多个计算系统使用该映射来创建初步图像。然后将该初步图像与用于创建映射的原始图像进行比较。确定初步图像是否与原始图像匹配，并且确定结果用于调整创建初步图像的计算系统，这改善了这种计算系统的性能。然后，调整后的计算系统用于基于表示场景内特定像素的各种对象种类的不同输入映射来创建图像。

技术研发人员：王鼎鈞,刘洺堉,B·C·卡坦扎罗,J·考茨,A·J·陶
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/5/6