图像渲染方法、模型训练方法以及装置与流程

本技术实施例涉及图像处理领域，并且更具体地，涉及图像渲染方法、模型训练方法以及装置。

背景技术：

1、近年来，由于手机以其轻薄便携的特点日益成为人们拍摄照片和视频、记录生活的主要工具。受到手机摄像头和传感器物理规格所限，当前应用的各款图像传感器(例如索尼的imx766、imx800等)直接输出的图像，即使分辨率达到乃至超过了4k超高清水准，但画面效果上均较为平淡，缺乏与被拍摄场景中实际物理景深对应的光学虚化效果，不能满足偏好单反相机等专业设备、对画面艺术效果有较高追求的用户。因此，作为拍摄方面的核心功能卖点，多款主流手机机型在不同程度上使用基于软件和/或硬件的方案，尝试在手机图像传感器输出的基础上，模拟背景虚化这一用户在单反相机上感知度最强的图像效果，这类方案在不同品牌和机型上可能被称为“人像模式”、“电影模式”、“单反模式”等，但本质基本一致只是聚焦的目标可能不同。

2、在进行背景虚化时，可以考虑通过机器学习的方式构建用于背景预测任务的模型，进而利用模型来识别和分割图像中的背景区域，然后对识别到的背景区域按照相同的渲染参数对识别的背景区域进行渲染，从而起到凸显图像中的主体(例如人像或物像)的效果。但是，按照相同的渲染参数对识别的背景区域进行渲染时，其渲染效果过差而降低了用户体验。

技术实现思路

1、本技术提供了一种图像渲染方法、模型训练方法以及装置，不仅能够提升图像的渲染效果以及用户体验，还有助于解放硬件配置中的摄像头，使得解放的各个摄像头可以各司其职，进而能够保证各个摄像头的性能。

2、第一方面，本技术实施例提供了一种图像渲染方法，包括：

3、获取待处理图像；

4、以该待处理图像为输入，利用第一预测模型输出背景预测结果并利用第二预测模型输出深度参数预测结果，该背景预测结果用于确定该待处理图像中的背景区域，该深度参数预测结果用于确定该待处理图像中各个像素点的深度参数；

5、基于该待处理图像、该背景区域以及该待处理图像中各个像素点的深度参数，对该待处理图像进行渲染并得到渲染后的目标图像。

6、第二方面，本技术实施例提供了一种模型训练方法，包括：

7、获取样本图像；

8、以该样本图像为输入，对第一预测模型进行训练；该第一预测模型用于输出背景预测结果；该背景预测结果确定该样本图像中的背景区域；

9、将该第一预测模型经过训练后的参数迁移至第二预测模型；

10、以该样本图像为输入，利用第二预测模型输出深度参数预测结果；该深度参数预测结果用于确定该样本图像中各个像素点的深度参数；

11、基于该深度参数预测结果以及该样本图像的标注数据之间的差异，确定第一损失值；

12、基于该第一损失值，训练该第二预测模型。

13、第三方面，本技术实施例提供了一种图像渲染装置，包括：

14、获取单元，用于获取待处理图像；

15、预测单元，用于以该待处理图像为输入，利用第一预测模型输出背景预测结果并利用第二预测模型输出深度参数预测结果，该背景预测结果用于确定该待处理图像中的背景区域，该深度参数预测结果用于确定该待处理图像中各个像素点的深度参数；

16、渲染单元，用于基于该待处理图像、该背景区域以及该待处理图像中各个像素点的深度参数，对该待处理图像进行渲染并得到渲染后的目标图像。

17、第四方面，本技术实施例提供了一种模型训练装置，包括：

18、获取单元，用于获取样本图像；

19、第一预测单元，用于以该样本图像为输入，对第一预测模型进行训练；该第一预测模型用于输出背景预测结果；该背景预测结果确定该样本图像中的背景区域；

20、迁移单元，用于将该第一预测模型经过训练后的参数迁移至第二预测模型；

21、第二预测单元，用于以该样本图像为输入，利用第二预测模型输出深度参数预测结果；该深度参数预测结果用于确定该样本图像中各个像素点的深度参数；

22、确定单元，用于基于该深度参数预测结果以及该样本图像的标注数据之间的差异，确定第一损失值；

23、训练单元，用于基于该第一损失值，训练该第二预测模型。

24、第五方面，本技术实施例提供了一种电子设备，包括：

25、处理器，适于实现计算机指令；以及，

26、计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令适于由处理器加载并执行上文涉及的第一方面或第二方面提供的方法。

27、第六方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上文涉及的第一方面或第二方面提供的方法。

28、第七方面，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上文涉及的第一方面或第二方面提供的方法。

29、针对第一方面提供的图像渲染方法的有益效果如下：

30、本技术实施例中，在第一预测模型的基础上引入了第二预测模型，进而可以根据第一预测模型输出的背景预测结果和第二预测模型输出的深度参数预测结果对待处理图像进行渲染处理，有助于针对不同深度的背景按照不同的渲染参数进行渲染，以使得该目标图像能够产生与光学原理相符的真实效果，进而提升了该目标图像的渲染效果。

31、此外，该图像渲染方法还有助于解放硬件配置中的摄像头，使得解放的各个摄像头可以各司其职，进而能够保证各个摄像头的性能。

32、简言之，本技术提供的图像渲染方法，不仅能够提升图像的渲染效果，还有助于解放硬件配置中其他摄像头，使得硬件配置中的各个摄像头可以各司其职，进而能够保证图像增强的性能以及提升用户体验。

33、针对第二方面提供的模型训练方法的有益效果如下：

34、本技术实施例中，将第一预测模型经过训练后的参数迁移至第二预测模型，进而实现对第二预测模型的训练，相当于，利用第一预测模型示教第二预测模型实现了对第二预测模型的训练，其技术效果可体现在以下方面：

35、1、能够缓解针对单任务模型中存在的对单项任务的过拟合问题，即能够将该第二预测模型拟合到适合背景预测任务和深度参数预测任务的状态，进而提升了该第二预测模型的可解释性、泛化能力以及鲁棒性。

36、2、即便在深度参数预测任务涉及样本图像较少的情况下，也能够保证针对深度参数预测任务的学习性能，即有助于解决用于训练的样本图像较少的新任务的“冷启动问题”。

37、3、与单独训练第一预测模型和第二预测模型的方案相比，不仅能够使得该第二预测模型更加专注于快速学到成熟的第一预测模型的知识，进而提升了第二预测模型的精度，还能够使得该第二预测模型能够快速提升学习曲线，进而能够避免由于低水平训练的时间过长造成难以收敛的问题，提升了第二预测模型的训练效率。

38、4、由于示教的逻辑简明且代码实现容易，只需修改训练时损失函数的计算部分，在模型训练中即可实现即插即用，降低了第二模型训练的训练成本。

39、简言之，本技术提供的模型训练方法，不仅能够提升该第二预测模型的可解释性、泛化能力以及鲁棒性，还能够保证针对深度参数预测任务的学习性能，进而有助于解决用于训练的样本图像较少的新任务的“冷启动问题”。此外，不仅能够提升第二预测模型的训练效率，还能够降低第二模型训练的训练成本。