人脸超分网络的相关方法、装置、设备、芯片和存储介质与流程

本申请涉及图像处理，尤其涉及一种人脸超分网络的相关方法、装置、设备、芯片和存储介质。

背景技术：

1、人像拍照是拍照功能的重点应用场景，其中，人脸的清晰和自然程度会直接影响成片率和用户体验。人脸超分技术可以突破硬件成像分辨率的限制，进一步提升成片图像的清晰度，被广泛应用于当前的手机拍照功能中。

2、由于传统卷积结构的局部链接特性，现有的基于卷积神经网络的人脸超分模型的感受野通常具有局部特性，即只能关注局部分一些信息，无法关注全局的语义信息，故可能导致在人脸超分的任务中，输入的噪声被当成细节从而被增强，进而导致超分后的结果出现严重的伪细节。

技术实现思路

1、本申请实施例至少提供一种人脸超分网络的相关方法、装置、设备、芯片和存储介质。

2、本申请的技术方案是这样实现的：

3、第一方面，本申请实施例提供了一种人脸超分网络的训练方法，其中，待训练的人脸超分网络至少包括：待训练的编码子网络、待训练的全局注意力子网络和待训练的解码子网络；该方法包括：采用编码子网络，对训练集中的低质量人脸图像进行多层编码处理，得到低质量人脸图像的多层图像特征；采用全局注意力子网络，提取最后一层图像特征的全局语义信息，得到全局特征；采用解码子网络，结合多层图像特征对全局特征进行多层解码处理，得到低质量人脸图像对应的高质量人脸图像的预测结果；基于预测结果，以及低质量人脸图像对应的真实高质量人脸图像，确定第一损失；基于第一损失，对待训练的人脸超分网络的网络参数进行调整，以使调整后的人脸超分网络输出的损失满足收敛条件而得到目标人脸超分网络。

4、第二方面，本申请实施例提供了一种人脸超分网络的训练方法，该方法包括：采用编码子网络，对目标低质量人脸图像进行多层编码处理，得到目标低质量人脸图像的多层图像特征；采用全局注意力子网络，提取最后一层图像特征的全局语义信息，得到全局特征；采用解码子网络，结合多层图像特征对全局特征进行多层解码处理，得到目标低质量人脸图像对应的高质量人脸图像的预测结果。

5、第三方面，本申请实施例提供了一种人脸超分网络的训练装置，其中，待训练的人脸超分网络至少包括：待训练的编码子网络、待训练的全局注意力子网络和待训练的解码子网络；该装置包括：编码单元，用于采用编码子网络，对训练集中的低质量人脸图像进行多层编码处理，得到低质量人脸图像的多层图像特征；提取单元，用于采用全局注意力子网络，提取最后一层图像特征的全局语义信息，得到全局特征；解码单元，用于采用解码子网络，结合多层图像特征对全局特征进行多层解码处理，得到低质量人脸图像对应的高质量人脸图像的预测结果；确定单元，用于基于预测结果，以及低质量人脸图像对应的真实高质量人脸图像，确定第一损失；调整单元，用于基于第一损失，对待训练的人脸超分网络的网络参数进行调整，以使调整后的人脸超分网络输出的损失满足收敛条件而得到目标人脸超分网络。

6、第四方面，本申请实施例提供了一种人脸超分装置，该装置包括：编码单元，用于采用编码子网络，对目标低质量人脸图像进行多层编码处理，得到目标低质量人脸图像的多层图像特征；提取单元，用于采用全局注意力子网络，提取最后一层图像特征的全局语义信息，得到全局特征；解码单元，用于采用解码子网络，结合多层图像特征对全局特征进行多层解码处理，得到目标低质量人脸图像对应的高质量人脸图像的预测结果。

7、第五方面，本申请实施例提供了一种人脸超分设备，该人脸超分设备包括存储器和处理器；其中，存储器，用于存储计算机可执行指令；处理器，与该存储器连接，用于通过执行该计算机可执行指令，实现如第一方面或第二方面所述的方法。

8、第六方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被至少一个处理器执行时实现如第一方面或第二方面所述的方法。

9、第七方面，本申请实施例提供了一种芯片。该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备执行如第一方面或第二方面所述的方法。

10、本申请实施例中，可采用编码子网络对低质量人脸图像进行多层编码处理，进而采用全局注意力子网络对编码结果进行处理，实现对全局语义信息的提取，得到全局特征，最后再采用解码子网络对得到全局特征进行多层解码处理，从而得到预测的高质量人脸图像。该方法利用全局注意力模块对全局的语义信息进行建模，从而弥补了由于传统卷积结构的局部链接特性所造成的全局语义信息捕获不足的问题，抑制了人脸超分过程中伪细节的产生，进而提升了人脸超分效果。此外，该方法通过对训练集中的低质量人脸图像进行多层编码处理，有利于对低质量人脸图像进行多尺度分析，从而可使得获得的图像特征包含的信息更为丰富。

11、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。

技术特征：

1.一种人脸超分网络的训练方法，其特征在于，待训练的人脸超分网络至少包括：待训练的编码子网络、待训练的全局注意力子网络和待训练的解码子网络；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述编码子网络包括串联的多个编码模块；所述采用所述编码子网络，对训练集中的低质量人脸图像进行多层编码处理，包括：

3.根据权利要求2所述的方法，其特征在于，除最后一个所述编码模块以外的每一所述编码模块包括：第一残差连接子模块和下采样子模块；所述采用第一个所述编码模块，对所述低质量人脸图像经过卷积处理后的卷积结果进行编码处理，包括：

4.根据权利要求3所述的方法，其特征在于，最后一个所述编码模块包括第一残差连接子模块和输出子模块；所述采用除第一个所述编码模块以外的每一所述编码模块，对前一所述编码模块输出的图像特征进行编码处理，包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述全局注意力子网络包括三个卷积单元、第一运算单元和第二运算单元；

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述解码子网络包括串联的多个解码模块，每一所述解码模块对应一个编码模块；所述采用所述解码子网络，结合所述多层图像特征对所述全局特征进行多层解码处理，包括：

7.根据权利要求6所述的方法，其特征在于，每一所述解码模块包括上采样子模块和第二残差连接子模块；

8.根据权利要求7所述的方法，其特征在于，所述采用除第一个所述解码模块以外的每一所述解码模块，结合当前所述解码模块对应的编码模块输出的图像特征，对前一所述解码模块输出的解码结果进行解码处理，包括：

9.根据权利要求6所述的方法，其特征在于，

10.一种人脸超分方法，其特征在于，所述方法包括：

11.一种人脸超分网络的训练装置，其特征在于，待训练的人脸超分网络至少包括：待训练的编码子网络、待训练的全局注意力子网络和待训练的解码子网络；所述装置包括：

12.一种人脸超分装置，其特征在于，所述装置包括：

13.一种人脸超分设备，其特征在于，所述计算机设备包括：

14.一种芯片，其特征在于，所述芯片包括：

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现权利要求1至9中任一项所述的方法，或者，实现权利要求10所述的方法。

技术总结
本申请实施例公开了一种人脸超分网络的相关方法、装置、设备、芯片和存储介质，该方法包括：采用编码子网络，对训练集中的低质量人脸图像进行多层编码处理，得到低质量人脸图像的多层图像特征；采用全局注意力子网络，提取最后一层图像特征的全局语义信息，得到全局特征；采用解码子网络，结合多层图像特征对全局特征进行多层解码处理，得到低质量人脸图像对应的高质量人脸图像的预测结果。该方法利用全局注意力模块对全局的语义信息进行建模，从而弥补了由于传统卷积结构的局部链接特性所造成的全局语义信息捕获不足的问题，有效抑制了人脸超分过程中伪细节的产生，进而提升了人脸超分效果。

技术研发人员：何楠君
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2025/3/3