人脸超分重建检测方法、装置及设备

本技术涉及计算机视觉领域，更具体地说，它涉及一种人脸超分重建检测方法、装置及设备。

背景技术：

1、人脸检测是计算机视觉领域的一个重要分支，是所有人脸图像处理任务(如人脸识别、人脸跟踪、姿态估计等)中的关键第一步。它广泛应用于数字视频处理、人机交互、社交媒体应用以及用户行为分析等多个领域。随着技术的发展，人脸检测的应用背景已经超出了传统的人脸识别系统范畴，成为保障公共安全、提升用户体验的重要工具。

2、在实际应用中，由于拍摄条件(如拍摄距离、光照条件等)的限制，获取到的人脸图像往往质量较低，表现为分辨率低、模糊、噪声多等问题。这些低质量的人脸图像给后续的人脸检测与识别带来了巨大挑战，降低了识别系统的准确性和可靠性。为了克服低质量人脸图像带来的挑战，超分辨率重建技术被引入到人脸检测与识别领域。超分辨率重建技术是一种图像处理技术，它能够通过一系列低分辨率的图像来生成高分辨率的图像。这种方法利用了图像处理中的插值技术、深度学习等技术手段，通过对低分辨率图像进行插值或学习，得到高分辨率图像中的像素值，从而使图像的细节更加清晰。传统的超分辨率重建方法主要依赖于插值算法或重建滤波器，这些方法虽然能够一定程度上提高图像的分辨率，但往往无法有效地恢复图像中的高频细节信息，导致重建图像的质量受限。

3、esrgan(enhanced super-resolution generative adversarial network)是一种基于生成对抗网络(gan)的图像超分辨率算法，旨在将低分辨率(lr)图像转化为高分辨率(hr)图像，同时保持甚至提升图像的质量。但esrgan对于包括复杂纹理、细节或动态场景的图像，可能难以准确重建所有高频信息，特别是在边缘、纹理细节等区域，可能出现伪影或模糊现象，这影响了生成图像的质量(如模糊、锯齿等)。

技术实现思路

1、本技术提供了一种人脸超分重建检测方法、装置及设备，解决了现有技术提供的esrgan网络在重建图像分辨率的过程中，仍存在一定的噪声和伪影，这影响了生成图像的质量的问题。

2、本技术的第一方面，提供了一种人脸超分重建检测方法，方法包括：

3、检测低分辨率图像是否存在待确认人脸区域；

4、在检测出低分辨率图像存在待确认人脸区域时，将待确认人脸区域的图像输入至人脸超分重建网络中进行超分辨率重建，以确认出图像中的人脸区域；其中，由生成器和鉴别器构建的增强型生成对抗网络作为所述人脸超分重建网络，且生成器的db残差密集块被替换为多个堆叠的swin transformer块结构，鉴别器的重建损失函数被引入用于判别是否为人脸区域的交叉熵损失函数。

5、在一些实施例中，通过以下方式来检测低分辨率图像是否存在待确认人脸区域：调用人脸检测网络对低分辨率图像进行检测，获得人脸检测区域；

6、对人脸检测区域按照置信度阈值进行划分，若大于第一置信度阈值，则人脸检测区域为确认人脸区域，若小于第一置信度阈值大于第二置信度阈值，则人脸检测区域为待确认人脸区域，若小于第二置信度阈值，则人脸检测区域为非人脸区域。

7、在一些实施例中，所述生成器包括浅层特征提取网络和深层特征提取网络；

8、所述浅层特征提取网络为一个3×3大小的卷积层，用于将待确认人脸区域的图像映射为大小为c×w×h的第一特征图；其中c为通道数，w和h分别是图像的宽度和高度

9、所述深层特征提取网络包括多个堆叠的swin transformer块结构、多个3×3大小的卷积层、上采样层和至少一个激活函数层。

10、在一些实施例中，每个所述swin transformer块结构包括第一swin transformer子块结构、第一卷积层、第二swin transformer子块结构和第二卷积层；其中，第一swintransformer子块结构和第二swin transformer子块结构均是由三个swin transformer块依次连接构成的；

11、第一swin transformer子块结构通过三个swin transformer块的自注意力机制与相对位置编码捕获所述第一特征图的局部特征和上下文信息，获得大小为2c×w×h的第二特征图；

12、第一卷积层用于将第一特征图与第二特征图融合，获得大小为2c×w×h的第三特征图；

13、第二swin transformer子块结构通过三个swin transformer块的自注意力机制与相对位置编码捕获所述第三特征图的局部特征和上下文信息，获得大小为3c×w×h的第四特征图；

14、第二卷积层用于将第一特征图、第三特征图和第四特征图归一化到大小为c×w×h的第五特征图。

15、在一些实施例中，所述swin transformer块是由两个层归一化层、多头自注意力机制模块和多层感知机模块构成的；

16、其中，第一特征图作为一个层归一化层的输入，一个层归一化层的输出作为多头自注意力机制模块的输入，多头自注意力机制模块的输出和第一特征图融合所得的第一融合结果作为另一个层归一化层的输入，另一个层归一化层的输出作为多层感知机模块的输入，多层感知机模块的输出和第一融合结果融合所得的第二融合结果，作为一个所述swintransformer块的输出。

17、在一些实施例中，所述重建损失函数包括像素损失函数和对抗损失函数，其中所述像素损失函数采用均方差损失函数。

18、在一些实施例中，所述鉴别器的网络结构包括八个3×3大小的卷积层、lrelu激活函数层和批归一化层构成；其中八个3×3大小的卷积层的卷积核的数量依次为64、128、128、128、256、256、512、512；最后一个卷积核数量为512的卷积层连接一个全连接层，全连接层的输出连接lrelu激活函数层，在lrelu激活函数层的输出再连接两个全连接层，以构建一个二分类网络，所述二分类网络分别用于判断输入的待确认人脸区域的图像是否为高分辨率图像，判断输入的待确认人脸区域的图像是否是人脸区域。

19、本技术第二方面，提供了一种人脸超分重建检测装置，装置包括：

20、人脸区域检测模块，用于检测低分辨率图像是否存在待确认人脸区域；

21、人脸区域重建模块，用于在检测出低分辨率图像存在待确认人脸区域时，将待确认人脸区域的图像输入至人脸超分重建网络中进行超分辨率重建，以确认出图像中的人脸区域；其中，由生成器和鉴别器构建的增强型生成对抗网络作为所述人脸超分重建网络，且生成器的db残差密集块被替换为多个堆叠的swin transformer块结构，鉴别器的重建损失函数被引入用于判别是否为人脸区域的交叉熵损失函数。

22、在一些实施例中，人脸区域检测模块，包括：

23、检测模块，用于调用人脸检测网络对低分辨率图像进行检测，获得人脸检测区域；

24、区域确认模块，用于对人脸检测区域按照置信度阈值进行划分，若大于第一置信度阈值，则人脸检测区域为确认人脸区域，若小于第一置信度阈值大于第二置信度阈值，则人脸检测区域为待确认人脸区域，若小于第二置信度阈值，则人脸检测区域为非人脸区域。

25、本技术的第三方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如本技术的第一方面提供的一种人脸超分重建检测方法。

26、与现有技术相比，本技术具有以下有益效果：

27、在本技术提供的一种人脸超分重建检测方法中，将esrgan的生成器与swintransformer深度整合，以构建出人脸超分重建网络。具体的，swin transformer的分层结构和局部注意力机制使得模型能够在不同尺度上提取特征，并通过跨层连接进行多尺度特征融合。有助于减少这些伪影的产生，从而提高图像质量。同时swin transformer具有更强的特征提取能力，因此它能够更好地恢复人脸图像中的细节信息，如皮肤纹理、发丝等。这使得超分辨率重建后的人脸图像更加真实、自然。swin transformer通过自注意力机制能够捕获图像中的全局上下文信息，如人脸图像中的细节(如眼睛、鼻子、嘴巴等)与整个人脸面部的结构关系，全局信息的引入有助于更好地恢复这些细节，从而提升了人脸超分重建网络的特征提取能力和重建质量，保证了生成图像的图像质量。