图像增强方法、装置、存储介质及电子设备与流程

本申请涉及图像处理，具体涉及一种图像增强方法、装置、存储介质及电子设备。

背景技术：

1、图像增强可以对图像的分辨率进行增强，使得图像更加清晰，以便于后续进一步的图像处理，比如图像识别、图像分类等处理。而相关技术中，对图像进行分辨率增强后得到的图像清晰度较低。

技术实现思路

1、本申请实施例提供一种图像增强方法、装置、存储介质及电子设备，能够提高图像的清晰度。

2、第一方面，本申请实施例提供一种图像增强方法，包括：

3、获取待处理图像，以及参考图像，所述参考图像为所述待处理图像本身；

4、对所述待处理图像进行特征编码，得到所述待处理图像的第一编码特征；

5、对所述参考图像进行特征编码，得到所述参考图像的第二编码特征；

6、获取所述第一编码特征和所述第二编码特征的初步对齐特征；

7、根据所述第一编码特征和所述初步对齐特征，获取深度对齐特征；

8、根据所述第一编码特征和所述深度对齐特征，获取所述待处理图像的增强图像，所述增强图像与所述待处理图像的图像内容相同，且所述增强图像的分辨率大于所述待处理图像的分辨率。

9、第二方面，本申请实施例还提供一种图像增强装置，包括：

10、第一获取模块，用于获取待处理图像，以及参考图像，所述参考图像为所述待处理图像本身；

11、第一编码模块，用于对所述待处理图像进行特征编码，得到所述待处理图像的第一编码特征；

12、第二编码模块，用于对所述参考图像进行特征编码，得到所述参考图像的第二编码特征；

13、第二获取模块，用于获取所述第一编码特征和所述第二编码特征的初步对齐特征；

14、第三获取模块，用于根据所述第一编码特征和所述初步对齐特征，获取深度对齐特征；

15、图像处理模块，用于根据所述第一编码特征和所述深度对齐特征，获取所述待处理图像的增强图像，所述增强图像与所述待处理图像的图像内容相同，且所述增强图像的分辨率大于所述待处理图像的分辨率。

16、第三方面，本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述计算机执行如本申请任一实施例提供的图像增强方法。

17、第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像增强方法。

18、本申请实施例提供的技术方案，获取待处理图像，以及参考图像，参考图像为待处理图像本身，对待处理图像进行特征编码，得到待处理图像的第一编码特征，对参考图像进行特征编码，得到参考图像的第二编码特征，获取第一编码特征和第二编码特征的初步对齐特征，根据第一编码特征和初步对齐特征，获取深度对齐特征，根据第一编码特征和深度对齐特征，获取待处理图像的增强图像，增强图像与待处理图像的图像内容相同，且增强图像的分辨率大于待处理图像的分辨率，以此，本申请根据待处理图像自身图像的相似特征，对待处理图像进行特征对齐处理，并根据特征对齐处理得到的对齐特征对待处理图像进行图像增强，使得图像的清晰度有较大程度的提高。

技术特征：

1.一种图像增强方法，其特征在于，包括：

2.如权利要求1所述的图像增强方法，其特征在于，所述获取所述第一编码特征和所述第二编码特征的初步对齐特征，包括：

3.如权利要求2所述的图像增强方法，其特征在于，所述核偏离程度学习结构包括依次连接的第一下采样模块，第二下采样模块、第三下采样模块，第一全局特征相关程度提取模块，第一上采样模块、第二全局特征相关程度提取模块、第二上采样模块，第三全局特征相关程度提取模块，第三上采样模块，所述将所述第一融合编码特征输入核偏离程度学习结构，得到所述第一编码特征和所述第二编码特征的第一偏移矢量，包括：

4.如权利要求3所述的图像增强方法，其特征在于，所述第一下采样模块包括依次连接的第一卷积层和第一激活函数层，所述将所述第一融合编码特征输入所述第一下采样模块，得到第一下采样编码特征，包括：

5.如权利要求3或4任一项所述的图像增强方法，其特征在于，所述第一下采样模块、所述第二下采样模块以及所述第三下采样模块的组成和结构均相同。

6.如权利要求3所述的图像增强方法，其特征在于，所述第一全局特征相关程度提取模块、第二全局特征相关程度提取模块以及第三全局特征相关程度提取模块均用于捕获输入的编码特征中不同区域特征的相关程度。

7.如权利要求3所述的图像增强方法，其特征在于，所述第一上采样模块包括依次连接的第一反卷积层和第二激活函数层，所述将所述第一子融合编码特征输入所述第一上采样模块，得到第一上采样编码特征，包括：

8.如权利要求3或7任一项所述的图像增强方法，其特征在于，所述第一上采样模块、所述第二上采样模块以及所述第三上采样模块的组成和结构均相同。

9.如权利要求2所述的图像增强方法，其特征在于，所述根据所述第一偏移失量对所述第二编码特征进行偏移处理，得到所述初步对齐特征，包括：

10.如权利要求9所述的图像增强方法，其特征在于，所述不规则采样模块包括依次连接的l个不规则采样子模块，l为正整数，所述将所述第一偏移矢量和所述第二编码特征输入不规则采样模块，得到所述初步对齐特征，包括：

11.如权利要求10所述的图像增强方法，其特征在于，所述不规则采样子模块包括可变形卷积层，所述将所述第一偏移矢量以及所述第二编码特征输入第1个不规则采样子模块，得到1级不规则采样特征，包括：

12.如权利要求1所述的图像增强方法，其特征在于，所述根据所述第一编码特征和所述初步对齐特征，获取深度对齐特征，包括：

13.如权利要求12所述的图像增强方法，其特征在于，所述根据所述第二偏移矢量对所述初步对齐特征进行偏移处理，得到所述深度对齐特征，包括：

14.如权利要求1所述的图像增强方法，其特征在于，所述根据所述第一编码特征和所述深度对齐特征，获取所述待处理图像的增强图像，包括：

15.如权利要求14所述的图像增强方法，其特征在于，所述图像重建网络包括第四上采样模块、第一特征提取模块、第一特征融合模块、第四下采样模块、以及图像重建模块，将所述第二融合编码特征输入图像重建网络，得到所述增强图像，包括：

16.如权利要求15所述的图像增强方法，其特征在于，所述第一特征提取模块包括n个依次残差连接的特征提取子模块，n为正整数，所述将所述第四上采样编码特征输入所述第一特征提取模块，得到第三编码特征，包括：

17.如权利要求16所述的图像增强方法，其特征在于，所述特征提取子模块包括依次连接的第二卷积层、第一权重归一化层以及第三激活函数层，所述将所述第四上采样编码特征输入第1个特征提取子模块，得到1级编码子特征，包括：

18.如权利要求15所述的图像增强方法，其特征在于，所述第四上采样模块包括依次连接的第三卷积层以及第四卷积层，所述将所述第二融合编码特征输入所述第四上采样模块，得到第四上采样编码特征，包括：

19.如权利要求15所述的图像增强方法，其特征在于，所述第四下采样模块包括依次连接的第二反卷积层以及第三反卷积层，所述将所述第三融合编码特征输入所述第四下采样模块，得到第四下采样编码特征，包括：

20.如权利要求15所述的图像增强方法，其特征在于，所述图像重建模块包括第五卷积层，所述将所述第四下采样编码特征输入所述图像重建模块，得到所述增强图像，包括：

21.如权利要求1所述的图像增强方法，其特征在于，所述对所述待处理图像进行特征编码，得到所述待处理图像的第一编码特征，包括：

22.如权利要求21所述的图像增强方法，其特征在于，所述特征提取网络包括第二特征融合模块以及m个依次残差连接的第二特征提取模块，m为正整数，所述将所述待处理图像输入特征提取网络，得到所述第一编码特征，包括：

23.如权利要求22所述的图像增强方法，其特征在于，所述第二特征提取模块包括依次连接的第六卷积层、第二权重归一化层以及第四激活函数层，所述将所述m级编码特征输入所述第二特征融合模块，得到所述第一编码特征，包括：

24.如权利要求1所述的图像增强方法，其特征在于，所述获取待处理图像，包括：

25.如权利要求24所述的图像增强方法，其特征在于，所述将所述拍摄图像作为所述待处理图像，包括：

26.如权利要求25所述的图像增强方法，其特征在于，所述待拍摄对象包括人体，所述对所述拍摄图像中的待拍摄对象进行检测，得到所述待拍摄对象的检测框，包括：

27.一种图像增强装置，其特征在于，包括：

28.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在处理器上运行时，使得所述计算机执行如权利要求1至26任一项所述的图像增强方法。

29.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至26任一项所述的图像增强方法。

技术总结
本申请公开了一种图像增强方法、装置、存储介质及电子设备，其中，本申请通过获取待处理图像，并将待处理图像本身作为参考图像，对待处理图像和参考图像分别进行特征编码，分别对应得到第一编码特征以及第二编码特征，获取第一编码特征和第二编码特征的初步对齐特征，根据第一编码特征和初步对齐特征，获取深度对齐特征，根据第一编码特征和深度对齐特征，获取待处理图像的增强图像，以此，本申请根据待处理图像自身图像的相似特征，对待处理图像进行特征对齐处理，并根据特征对齐处理得到的对齐特征对待处理图像进行图像增强，使得图像的清晰度有较大程度的提高。

技术研发人员：綦晨晓,霰心培
受保护的技术使用者：TCL科技集团股份有限公司
技术研发日：
技术公布日：2024/1/14