技术特征：
1.一种光线追踪多帧降噪方法，其特征在于，包括：响应于视频片段的降噪需求，将第一降噪图像帧对齐至所述视频片段的第二图像帧；确定经过对齐处理的第一降噪图像帧的边缘缺失区域；将所述第二图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到对齐图像帧；将所述对齐图像帧与所述第二图像帧进行通道串联，并输入至降噪网络，以对所述第二图像帧进行降噪处理得到第二降噪图像帧；其中，所述第一降噪图像帧为利用所述降噪网络对所述视频片段的第一图像帧进行降噪处理得到的图像帧，所述第一图像帧为所述第二图像帧的上n帧图像，n为正整数。2.如权利要求1所述的光线追踪多帧降噪方法，其特征在于，所述视频片段由光线追踪管线对三维模型进行渲染生成，所述光线追踪管线对所述三维模型进行渲染时还生成所述三维模型的辅助信息，所述通道串联包括下列其中一者：对所述对齐图像帧与所述第二图像帧执行通道串联；对所述对齐图像帧、所述第二图像帧及所述三维模型的辅助信息执行通道串联；其中，所述辅助信息包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。3.如权利要求1或2所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中所述样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，所述第一类型的样本图像帧的每像素采样数(sample per pixel，spp)小于所述第二类型的样本图像帧的spp；将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧；将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，其中所述第一样本降噪图像帧为利用所述预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，所述第一类型的第一样本图像帧为所述第一类型的第二样本图像帧的上m帧图像，m为正整数；计算所述预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用所述损失函数进行梯度反传更新所述预设深度学习网络的模型参数，直至完成对所述预设深度学习网络的训练得到所述降噪网络。4.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述样本视频片段中的每一图像帧均对应有多个第一类型的样本图像帧及一个第二类型的样本图像帧，所述多个第一类型的样本图像帧的spp互不相同，所述方法还包括：从所述多个第一类型的样本图像帧中随机选取一样本图像帧，并与所述第二类型的样
本图像帧组合成样本数据集；其中，所述样本数据集中的第一类型的样本图像帧作为所述预设深度学习网络的训练输入数据，所述样本数据集中的第二类型的样本图像帧作为所述预设深度学习网络的标签数据。5.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述多个样本视频片段由对三维样本模型进行渲染得到，所述对三维样本模型进行渲染时还生成所述三维样本模型的辅助信息，所述将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，包括：将所述样本对齐图像帧、所述三维样本模型的辅助信息及所述第一类型的第二样本图像帧进行通道串联。6.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：对所述样本视频片段中每一图像帧进行预处理；其中，所述预处理包括将所述图像帧中的异常像素值替换为预设像素值，和/或去除所述图像帧中的贴图。7.如权利要求6所述的光线追踪多帧降噪方法，其特征在于，所述对所述样本视频片段中每一图像帧进行预处理，包括：对所述图像帧中的像素值为无穷大的像素进行置零替换；或对所述图像帧中的像素值为无穷大的像素进行最近邻插值替换。8.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧，包括：利用坐标变换确定所述样本视频片段的第一样本降噪图像帧中每一像素在所述样本视频片段的第一类型的第二样本图像帧的位置信息；利用预设图像插值算法对所述样本视频片段的第一样本降噪图像帧中发生位置变化的像素进行插值处理。9.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，包括：缓存每一所述样本视频片段的前一样本降噪图像帧；随机从所述多个样本视频片段中选取一样本视频片段的当前的第一类型的样本图像帧。10.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧，包括：将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域；从经过边缘填充处理的第一样本降噪图像帧中随机选取图像区域，并将所述第一类型的第二样本图像帧中与所述随机选取的图像区域对应的图像信息填充至该图像区域，以得到所述样本对齐图像帧。11.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到
样本对齐图像帧，包括：将默认图像信息填充至所述边缘缺失区域；从经过边缘填充处理的第一样本降噪图像帧中随机选取图像区域，并将所述默认图像信息填充至该图像区域，以得到所述样本对齐图像帧。12.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，包括：将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，得到串联后的图像帧；从所述串联后的图像帧中随机切割预设尺寸的图像区域，并输入至所述预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练。13.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：定义场景镜头的镜头参数，所述镜头参数包括镜头移动轨迹及镜头朝向；利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到所述多个样本视频片段；其中，所述三维样本模型包括静态三维模型或动态三维模型。14.如权利要求13所述的光线追踪多帧降噪方法，其特征在于，所述利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到所述多个样本视频片段，包括：利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到多个样本视频；对所述样本视频进行随机帧采样和/或进行随机帧倒放，以组合得到所述样本视频片段。15.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：利用测试集对所述降噪网络进行测试；当通过所述测试集确定所述降噪网络符合预设降噪要求时，基于所述降噪网络对所述视频片段进行降噪处理；其中，所述测试集中每一测试数据均包括所述第一类型的样本图像帧及所述第二类型的样本图像帧。16.一种光线追踪多帧降噪方法，其特征在于，包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中所述样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，所述第一类型的样本图像帧的spp小于所述第二类型的样本图像帧的spp；将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧；将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，其中所述第一样本降噪
图像帧为利用所述预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，所述第一类型的第一样本图像帧为所述第一类型的第二样本图像帧的上m帧图像，m为正整数；计算所述预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用所述损失函数进行梯度反传更新所述预设深度学习网络的模型参数，直至完成对所述预设深度学习网络的训练得到降噪网络；利用测试集对所述降噪网络进行测试；当通过所述测试集确定所述降噪网络符合预设降噪要求时，基于所述降噪网络对待处理图像帧进行降噪处理。17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。18.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。19.一种芯片，与电子设备中的存储器耦合，其特征在于，所述芯片用于控制所述电子设备执行权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。
技术总结
本申请实施例提供了一种光线追踪多帧降噪方法，涉及终端领域。通过将前一降噪图像帧对齐到当前噪声帧，并将因对齐处理而未采样到图像信息的边缘区域填充为当前噪声帧的内容，使用通道串联的方式将前一降噪图像帧与当前噪声帧合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果。本申请实施例还提供了一种电子设备、芯片及计算机可读存储介质。本申请基于迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，实现利用一次网络推理即同时实现降噪与多帧融合。同时实现降噪与多帧融合。同时实现降噪与多帧融合。
技术研发人员：拜阳 邓瑞喆 孙永杰
受保护的技术使用者：华为技术有限公司
技术研发日：2020.12.30
技术公布日：2022/7/1