一种图像修复方法和系统

本说明书涉及机器学习，特别涉及一种图像修复方法和系统。

背景技术：

1、图像修复是指对损坏或缺失的图像进行修复和恢复的过程。这个过程通常涉及到对图像进行分析、处理、修改和合成，以恢复其完整性和视觉效果，在对于图像进行修复时，需要应用到图像修复方法。

2、cn113516604a公开了一种图像修复方法，该方法着眼于图像超分辨率重建中对目标局部细节的修复效果，能够提升目标局部细节的修复效果。现如今的图像修复方法虽然也能够对于图像进行修复处理，但修复方法并未在内建立transformer模型，在进行图像修复时，无法提升图像修复的效率，针对于修复区域需要进行大量的计算与推导，极大影响工作效率，同时单次只能对于单块图像区域进行修复，修复效果不佳，整体方法的实际应用效果不佳。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种图像修复方法和系统提高了图像的修复效率和质量。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、s1：对待修复图像进行预处理，得到图像修复区域样本；

4、s2：构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；

5、s3：基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。

6、本发明有益效果为：对待修复图像进行预处理，利用联合损失函数得到训练好的自注意力模型。通过这种方式得到的自注意力模型，无需进行大量复杂的运算与推定实现对于图像的修复，且能够同时对于不同区域进行同步图像修复，大大提高对于图像的修复效率和修复质量；通过对图像修复区域进行取样并进行特征提取，使修复后的图像与原图像的重合度提高，得到更好的应用效果。

7、进一步地：所述s1包括：

8、利用标记线对所述待修复图像进行划分，得到图像修复区域样本。

9、进一步地：所述s2中自注意力模型结构包括编码器和解码器：

10、所述编码器，包括至少一个自注意力编码器，用于提取图像修复区域样本的多尺度特征，得到特征向量；

11、所述解码器，包括马尔科夫全局判别器，用于基于所述特征向量，对图像进行重建，得到修复后的图像。

12、进一步地有益效果为：更好地从不规则边界捕获信息，得到更复杂的特征向量；用了马尔可夫全局判别器能够更好地保证区域结构与整体结构的一致性，在不增加计算复杂度的情况下，提高窗口间的信息聚合和分类，有效地获取到图像远距离依赖关系，解决卷积运算受限于局部特征提取的问题。

13、进一步地：所述自注意力编码器包括卷积核和交叉窗口聚合模块：

14、所述卷积核，用于提取图像修复区域样本的多尺度特征；

15、所述交叉窗口聚合模块，用于对所述多尺度特征进行聚合和分类，得到特征向量。

16、进一步地：所述交叉窗口聚合模块具体包括窗口聚合层、多层感知层、残差层和归一化层：

17、所述窗口聚合层包括矩形窗口自注意力机制和局部互补机制，用于对所述多尺度特征进行加权卷积，得到卷积结果；

18、所述多层感知层，用于对所述多尺度特征进行分类处理，得到分类结果；

19、所述残差层，用于对所有的卷积结果进行残差连接以及对所有的分类结果进行残差连接；

20、所述归一化层，用于对所述卷积结果和分类结果进行归一化处理，得到特征向量。

21、进一步地：所述s3包括：

22、s310：将图像修复区域样本划分为训练集、验证集和测试集；其中，所述验证集用于验证自注意力模型的可行性，所述测试集用于评估模型的性能；

23、s320：通过将训练集输入自注意力模型，利用联合损失函数训练自注意力模型，得到训练好的自注意力模型：

24、；

25、；

26、其中，表示自注意力模型，表示激活函数，、和分别表示自注意力模型的键、值和对参数，表示相对位置偏差，表示头部编号为 k的尺寸，表示的转置矩阵，表示通道维度，表示头部编号。

27、进一步地有益效果为：通过自注意力模型对图像修复区域样本进行处理，可以考虑到多种损失情况，减少训练环节的损失，使预测结果更准确。

28、进一步地：所述联合损失函数的表达式为：

29、；

30、其中，表示联合损失函数，α、β、γ和λ表示超参数，表示重建损失，表示感知损失，表示风格损失，表示对抗损失。

31、本说明书一个或多个实施例提供一种图像修复系统，包括预处理模块、模型构建模块和训练模块：

32、所述预处理模块，用于对待修复图像进行预处理，得到图像修复区域样本；

33、所述模型构建模块，用于构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；

34、所述训练模块，用于基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。

35、进一步地，所述图像修复系统位于修复装置的中心盒内，所述修复装置包括：机壳，所述机壳的顶面上固定安装有提手，所述机壳的一侧外壁上设置有显示屏与控制面板，所述显示屏位于控制面板的上方。

技术特征：

1.一种图像修复方法，其特征在于，包括：

2.根据权利要求1所述的图像修复方法，其特征在于，所述s1包括：

3.根据权利要求1所述的图像修复方法，其特征在于，所述s2中自注意力模型结构包括编码器和解码器：

4.根据权利要求3所述的图像修复方法，其特征在于，所述自注意力编码器包括卷积核和交叉窗口聚合模块：

5.根据权利要求4所述的图像修复方法，其特征在于，所述交叉窗口聚合模块具体包括窗口聚合层、多层感知层、残差层和归一化层：

6.根据权利要求1所述的图像修复方法，其特征在于，所述s3包括：

7.根据权利要求6所述的图像修复方法，其特征在于，所述联合损失函数的表达式为：

8.一种图像修复系统，用于执行如权利要求1~7任一项所述图像修复方法,其特征在于，包括预处理模块、模型构建模块和训练模块：

9.根据权利要求8所述的图像修复系统，其特征在于，所述图像修复系统位于修复装置的中心盒内，所述修复装置包括：机壳（2），所述机壳（2）的顶面上固定安装有提手（1），所述机壳（2）的一侧外壁上设置有显示屏（3）与控制面板（4），所述显示屏（3）位于控制面板（4）的上方。

技术总结
本发明提供一种图像修复方法和系统，涉及机器学习技术领域，该方法为对待修复图像进行预处理，得到图像修复区域样本；构建自注意力模型；自注意力模型包括自注意力编码器和解码器；基于所述图像修复区域样本和联合损失函数，对自注意力模型进行训练，得到训练好的自注意力模型；自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。本发明提高了图像的修复效率和质量。

技术研发人员：刘婷婷,陈明举,段正旭,崔安乐,兰中孝,易思航
受保护的技术使用者：四川轻化工大学
技术研发日：
技术公布日：2024/4/29