图像生成方法和电子设备与流程

本申请实施例涉及图像处理，具体涉及图像生成方法和电子设备。

背景技术：

1、图像超分辨率(image super resolution)，简称图像超分，是提高图像的分辨率的一种技术手段，用于将一幅低分辨率图像或图像序列恢复出高分辨率图像。通过图像超分所得到的图像，可称为超分辨率图像。

2、现有技术中，通常通过传统的差值算法进行超分辨率图像的生成，或者，通过神经网络进行端到端的超分辨率图像生成，这些方式借助的信息有限，导致所生成的超分辨率图像的质量较差。

技术实现思路

1、本申请实施例的目的是提供一种图像生成方法和电子设备，能够提高超分辨率图像的质量。

2、第一方面，本申请实施例提供了一种图像生成方法，该方法包括：获取第一帧图像的图像特征；将第二帧图像对应的超分辨率图像、所述第一帧图像和所述图像特征输入至权重预测模型，得到所述第一帧图像中各像素点的第一权重和所述超分辨率图像中各像素点的第二权重，其中，所述第二帧图像为所述第一帧图像之前的图像帧；基于所述第一权重，对所述第一帧图像进行上采样，得到上采样图像；基于所述第二权重，对所述上采样图像与所述超分辨率图像进行融合，生成所述第一帧图像对应的超分辨率图像。

3、第二方面，本申请实施例提供了一种图像生成装置，该装置包括：获取单元，用于获取第一帧图像的图像特征；处理单元，用于将第二帧图像对应的超分辨率图像、所述第一帧图像和所述图像特征输入至权重预测模型，得到所述第一帧图像中各像素点的第一权重和所述超分辨率图像中各像素点的第二权重，其中，所述第二帧图像为所述第一帧图像之前的图像帧；上采样单元，用于基于所述第一权重，对所述第一帧图像进行上采样，得到上采样图像；生成单元，用于基于所述第二权重，对所述上采样图像与所述超分辨率图像进行融合，生成所述第一帧图像对应的超分辨率图像。

4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

5、第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上述第一方面所描述的方法的步骤。

6、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所描述的方法。

7、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

8、在本申请实施例中，首先获取第一帧图像的图像特征，而后将第二帧图像对应的超分辨率图像、第一帧图像及其图像特征输入至权重预测模型，得到第一帧图像中各像素点的第一权重和超分辨率图像中各像素点的第二权重；之后基于第一权重，对第一帧图像进行上采样，得到上采样图像；最后基于第二权重，对上采样图像与超分辨率图像进行融合，生成第一帧图像对应的超分辨率图像。一方面，由于在第一帧图像对应的超分辨率图像生成过程中，使用权重预测模型结合了第一帧图像的图像特征进行了第一帧图像中各像素点的第一权重的预测，因此第一权重的确定过程考虑到了第一帧图像的图像特征，使得基于第一权重进行上采样时能够有效的保留第一帧图像的细节信息，因此提高了上采样图像的质量，从而提高了所生成的超分辨率图像的质量。另一方面，由于在第一帧图像对应的超分辨率图像生成过程中，使用权重预测模型结合了第一帧图像的图像特征对第二帧图像对应的超分辨率图像中各像素点的第二权重的预测，因此能够在对第二帧图像对应的超分辨率图像与第一帧图像的上采样图像进行融合时，更加准确且充分地复用第二帧图像对应的超分辨率图像中的有效信息，并滤除或弱化第二帧图像对应的超分辨率图像中的无效信息，从而进一步提高了所生成的第一帧图像对应的超分辨率图像的质量。

技术特征：

1.一种图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取第一帧图像的图像特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一权重，对所述第一帧图像进行上采样，得到上采样图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述第二权重，对所述上采样图像与所述超分辨率图像进行融合，生成所述第一帧图像对应的超分辨率图像，包括：

5.根据权利要求1-4之一所述的方法，其特征在于，所述第一帧图像为目标图像序列中除首帧以外的任一视频帧，所述第二帧图像为所述目标图像序列中所述第一帧图像的前一帧图像。

6.一种图像生成装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述获取单元，还用于从几何缓冲区中，获取所述第一帧图像的图像特征。

8.根据权利要求6所述的装置，其特征在于，所述上采样单元，还用于：

9.根据权利要求6所述的装置，其特征在于，所述生成单元，还用于：

10.根据权利要求6-9之一所述的装置，其特征在于，所述第一帧图像为目标图像序列中除首帧以外的任一视频帧，所述第二帧图像为所述目标图像序列中所述第一帧图像的前一帧图像。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的图像生成方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的图像生成方法的步骤。

技术总结
本申请公开了图像生成方法和电子设备。属于图像处理技术领域。该方法的实施例包括：获取第一帧图像的图像特征；将第二帧图像对应的超分辨率图像、第一帧图像和图像特征输入至权重预测模型，得到第一帧图像中各像素点的第一权重和超分辨率图像中各像素点的第二权重，其中，第二帧图像为第一帧图像之前的图像帧；基于第一权重，对第一帧图像进行上采样，得到上采样图像；基于第二权重，对上采样图像与超分辨率图像进行融合，生成第一帧图像对应的超分辨率图像。

技术研发人员：于野,胡梓良
受保护的技术使用者：维沃移动通信有限公司
技术研发日：
技术公布日：2025/2/5