基于神经网络的图像照明的制作方法

至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于训练神经网络的处理器或计算系统，以及至少一个实施例涉及根据本文描述的各种新型技术，用于使用神经网络执行推理的处理器或计算系统。

背景技术：

1、数字摄影用于使用由具有不同技能的各种用户操作的具有不同能力的各种设备来捕获各种不同的对象和场景。结果，在各种不同照明条件下捕获的图像可能导致在外观上次优的图像，诸如具有差的照明或图像中存在的不期望的阴影的图像。在其他情况下，最初捕获的对象图像可被充分地照亮，但对图像的背景的调整可使得该照明不再合适或看起来不再自然。由于手动调整可能是昂贵的、耗时的或不准确的，因此某些现有方法已使用机器学习来尝试对图像中的对象执行重新照明。这些现有方法需要使用真实的光照阶段数据来训练机器学习网络，收集这些数据可能是非常昂贵且耗时的。进一步，至少部分地由于所需的费用和时间，这些训练数据集可在照明或对象种类方面受限，这可能会负面地影响推理性能并阻止网络扩展到各种对象类型或照明情形。

技术实现思路

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，其中所述一个或更多个电路用于使用所述合成生成的图像来训练所述一个或更多个神经网络，并且用于使用经捕获的一个或更多个物理对象的图像来进一步仅训练所述一个或更多个神经网络的一部分。

3.如权利要求2所述的处理器，其中所述一个或更多个电路进一步用于使得所述一个或更多个神经网络被训练以使用所述合成生成的图像来预测所述一个或更多个对象的几何结构和反射率。

4.如权利要求3所述的处理器，其中所述一个或更多个电路进一步用于使得所述一个或更多个神经网络的所述一部分被进一步训练以使用所捕获的所述一个或更多个物理对象的图像来预测所述一个或更多个对象的反射率。

5.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于使用损失函数来训练所述一个或更多个神经网络，所述损失函数至少包括一次一灯olat一致性损失项和相对一致性损失项。

6.如权利要求1所述的处理器，其中所述一个或更多个图像是视频序列的帧，并且其中所述一个或更多个神经网络包括用于提供所述帧之间的时间稳定性的一个或更多个残差神经网络。

7.一种系统，包括：

8.如权利要求7所述的系统，其中所述一个或更多个处理器用于使用所述合成生成的图像来训练所述一个或更多个神经网络，并且用于使用经捕获的一个或更多个物理对象的图像来进一步仅训练所述一个或更多个神经网络的一部分。

9.如权利要求8所述的系统，其中所述一个或更多个处理器进一步用于使得所述一个或更多个神经网络被训练以使用所述合成生成的图像来预测所述一个或更多个对象的几何结构和反射率。

10.如权利要求9所述的系统，其中所述一个或更多个处理器进一步用于使得所述一个或更多个神经网络的所述一部分被进一步训练以使用所捕获的所述一个或更多个物理对象的图像来预测所述一个或更多个对象的反射率。

11.如权利要求7所述的系统，其中所述一个或更多个处理器进一步用于使用损失函数来训练所述一个或更多个神经网络，所述损失函数至少包括一次一灯olat一致性损失项和相对一致性损失项。

12.如权利要求7所述的系统，其中所述一个或更多个图像是视频序列的帧，并且其中所述一个或更多个神经网络包括用于提供所述帧之间的时间稳定性的一个或更多个残差神经网络。

13.一种方法，包括：

14.如权利要求13所述的方法，进一步包括：

15.如权利要求14所述的方法，进一步包括：

16.如权利要求15所述的方法，进一步包括：

17.如权利要求13所述的方法，进一步包括：

18.如权利要求13所述的方法，其中所述一个或更多个图像是视频序列的帧，并且其中所述一个或更多个神经网络包括用于提供所述帧之间的时间稳定性的一个或更多个残差神经网络。

19.一种机器可读介质，其上存储有一组指令，所述一组指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

20.如权利要求19所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

21.如权利要求20所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

22.如权利要求21所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

23.如权利要求19所述的机器可读介质，其中所述一个或更多个处理器进一步用于：

24.如权利要求19所述的机器可读介质，其中所述一个或更多个图像是视频序列的帧，并且其中所述一个或更多个神经网络包括用于提供所述帧之间的时间稳定性的一个或更多个残差神经网络。

25.一种图像生成系统，包括：

26.如权利要求25所述的图像生成系统，其中所述一个或更多个处理器用于使用所述合成生成的图像来训练所述一个或更多个神经网络，并且用于使用经捕获的一个或更多个物理对象的图像来进一步仅训练所述一个或更多个神经网络的一部分。

27.如权利要求26所述的图像生成系统，其中所述一个或更多个处理器进一步用于使得所述一个或更多个神经网络被训练以使用所述合成生成的图像来预测所述一个或更多个对象的几何结构和反射率。

28.如权利要求27所述的图像生成系统，其中所述一个或更多个处理器进一步用于使得所述一个或更多个神经网络的所述一部分被进一步训练以使用所捕获的所述一个或更多个物理对象的图像来预测所述一个或更多个对象的反射率。

29.如权利要求25所述的图像生成系统，其中所述一个或更多个处理器进一步用于使用损失函数来训练所述一个或更多个神经网络，所述损失函数至少包括一次一灯olat一致性损失项和相对一致性损失项。

30.如权利要求25所述的图像生成系统，其中所述一个或更多个处理器进一步用于其中所述一个或更多个图像是视频序列的帧，并且其中所述一个或更多个神经网络包括用于提供所述帧之间的时间稳定性的一个或更多个残差神经网络。

技术总结
本发明公开了基于神经网络的图像照明。呈现了用于生成图像数据的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于至少部分地基于一个或更多个图像内的一个或更多个对象的合成生成的图像来使照明效果应用于一个或更多个对象。

技术研发人员：王鼎钧,刘洺堉,长野光希,S·哈米斯,J·考茨
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/22