一种基于生成对抗网络的文物图像超分辨率方法

1.本发明涉及图像超分辨率领域，具体涉及一种基于生成对抗网络的文物图像超分辨率方法。
技术背景
2.文物的数字化保护与分类识别是当前图像处理研究的热点之一。其中，分辨率是文物图像的重要特征，高分辨率的文物图像对后续的处理有着重要影响。但由于客观条件或硬件设备的限制，现实得到的文物图像的分辨率往往会受到影响，存在纹理细节不突出的问题。此时，可采用文物图像超分辨率技术，将低分辨率文物图像处理为高分辨率文物图像。
3.现有先进的文物图像超分辨率技术通常只利用低分辨率文物图像信息来映射重建高分辨文物图像，忽略了原始高分辨率文物图像中的高频信息，且随着尺度因子的增大，网络模型对图像特征信息的利用率降低。这种情况下，重建图像缺乏纹理细节、边缘模糊。因此，文物图像超分辨，尤其是在大尺度因子下，仍然是一个具有挑战性的问题。


技术实现要素：

4.本发明提供了一种基于生成对抗网络的文物图像超分辨率方法，实现了文物图像的超分辨率重建。
5.本发明技术方案为一种基于生成对抗网络的文物图像超分辨率方法，所述方法包括以下步骤：
6.s1：采集文物图像，并对其进行处理得到文物数据集；
7.s2：采用信息块提取策略，提取高分辨率文物图像中的高频信息块组成信息池；
8.s3：将信息池的高频信息块在线随机加载到低分辨率文物图像中，随后用加载高频信息块的低分辨率文物图像和高分辨率文物图像训练基于金字塔型生成对抗网络的文物图像超分辨率算法pigan；
9.s4：将低分辨率文物图像输入训练完成的网络模型中，输出重建高分辨率文物图像。
10.所述步骤s1的操作过程如下：
11.s11：在互联网上获取大量不同种类的文物图像，进行简易处理，作为高分辨率文物图像x
h
；
12.s12：对高分辨率文物图像xh进行四倍降采样得到对应的低分辨率文物图像x
l
；
13.s13：高分辨率文物图像xh和低分辨率文物图像xl组成图像对，构成文物数据集rcdata，包含训练集和测试集。
14.所述步骤s2的操作过程如下：
15.s21：训练集的高分辨率文物图像x
hx
中，设p
i
是大小为m
×
m的全局块，是大小为n
×
n的局部块，每一个p
i
是经步长s
m
扫描整幅图像所得，是在p
i
的基础上经步长s
n
扫描所
得；
16.s22：若满足如下公式条件，则将pi视为高频信息块；：若满足如下公式条件，则将pi视为高频信息块；v(p
i
)＜v
max
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：m(
·
)和v(
·
)分别为计算均值和方差，α，β∈(0，1)，v
max
表示最大方差，设置α＝0.05，β＝0.1，v
max
＝50，m＝128，n＝32，s
m
＝64，s
n
＝32；
17.s23：将满足上述条件的高频信息块n
i
组成信息池n。
18.所述步骤s3的操作过程如下：
19.s31：将训练集中的高分辨率文物图像x
hx
和低分辨率文物图像x
lx
分别裁剪为128
×
128和32
×
32的块，得到对应的高分辨率文物图像块x
hxi
和低分辨率文物图像块x
lxi
；
20.s32：对信息池n中的高频信息块ni进行数据增强，并裁剪为32
×
32的块；
21.s33：将裁剪后的高频信息块随机加载到低分辨率文物图像块x
lxi
中，得到新的低分辨率文物图像块x
lxj
；
22.s34：将低分辨率文物图像块x
lxj
输入超分算法pigan的生成网络g中，网络提取学习图像的特征信息，通过上采样得到重建高分辨率图像块x
sri
，随后拼接为重建高分辨率图像x
sr
；
23.s35：将高分辨率文物图像块x
hxi
和重建高分辨率图像块x
sri
输入超分算法pigan的鉴别网络d中，判别高分辨率文物图像x
hx
比重建高分辨率图像x
sr
更真实的概率，鉴别网络采用vgg网络；
24.s36：循环训练，得到最优的pigan算法模型；
25.s37：超分算法pigan的生成网络g由两个分支构成，分别为超分辨率分支(sr branch)和梯度分支，sr分支用于lr图像的特征提取学习，并将上采样得到的特征信息与结构先验知识融合，随后生成sr图像；梯度分支将lr图像的梯度图转换为重建梯度图作为辅助提供结构先验知识，并集成到sr分支中。
26.所述步骤s4的操作过程如下：
27.s41：将文物数据集rcdata中测试集的低分辨率文物图像x
lc
输入训练好的pigan网络模型中，得到重建高分辨率图像x
sr
。
28.本发明提供的技术方案的有益效果是：
29.1、采用的信息块提取策略，可以判别高分辨率文物图像中哪些信息为高频信息，完成信息块的提取，有效解决了高分辨率文物图像中高频信息利用率低的问题。
30.2、采用的基于金字塔型生成对抗网络的文物图像超分辨率算法pigan，可以更充分地提取学习图像特征信息，重建高分辨率文物图像质量更优。
31.3、实现了文物图像的超分辨率重建，有利于文物的数字化保护复原等研究的进步发展。
附图说明
32.图1为文物图像超分辨总体框架图。
33.图2为pigan算法生成网络结构图。
34.图3为输入pigan网络进行测试的低分辨率文物图。
35.图4为四倍尺度因子下不同算法超分辨率结果示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
37.本发明示例提供了一种基于生成对抗网络的文物图像超分辨率方法，参见图1，该方法包括以下步骤：
38.s1：采集文物图像，并对其进行处理得到文物数据集；
39.s2：采用信息块提取策略，提取高分辨率文物图像中的高频信息块组成信息池；
40.s3：将信息池的高频信息块在线随机加载到低分辨率文物图像中，随后用加载高频信息块的低分辨率文物图像和高分辨率文物图像训练基于金字塔型生成对抗网络的文物图像超分辨率算法pigan；
41.s4：将低分辨率文物图像输入训练完成的网络模型中，输出重建高分辨率文物图像。
42.所述步骤s1的操作过程如下：
43.s11：在互联网上获取大量不同种类的文物图像，进行简易处理，作为高分辨率文物图像x
h
；
44.s12：对高分辨率文物图像x
h
进行四倍降采样得到对应的低分辨率文物图像x
l
；
45.s13：高分辨率文物图像x
h
和低分辨率文物图像x
l
组成图像对，构成文物数据集rcdata，包含训练集和测试集。
46.所述步骤s2的操作过程如下：
47.s21：训练集的高分辨率文物图像x
hx
中，设pi是大小为m
×
m的全局块，是大小为n
×
n的局部块，每一个p
i
是经步长s
m
扫描整幅图像所得，是在p
i
的基础上经步长s
n
扫描所得；
48.s22：若满足如下公式条件，则将p
i
视为高频信息块；视为高频信息块；v(p
i
)＜v
max
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：m(
·
)和v(
·
)分别为计算均值和方差，α，β∈(0，1)，v
max
表示最大方差，设置α＝0.05，β＝0.1，v
max
＝50，m＝128，n＝32，s
m
＝64，s
n
＝32；
49.s23：将满足上述条件的高频信息块ni组成信息池n。
50.所述步骤s3的操作过程如下：
51.s31：将训练集中的高分辨率文物图像x
hx
和低分辨率文物图像x
lx
分别裁剪为128
×
128和32
×
32的块，得到对应的高分辨率文物图像块x
hxi
和低分辨率文物图像块x
lxi
；
52.s32：对信息池n中的高频信息块ni进行数据增强，并裁剪为32
×
32的块；
53.s33：将裁剪后的高频信息块随机加载到低分辨率文物图像块x
lxi
中，得到新的低分辨率文物图像块x
lxj
；
54.s34：将低分辨率文物图像块x
lxj
输入超分算法pigan的生成网络g中，网络提取学习图像的特征信息，通过上采样得到重建高分辨率图像块x
sri
，随后拼接为重建高分辨率图像x
sr
；
55.s35：将高分辨率文物图像块x
hxi
和重建高分辨率图像块x
sri
输入超分算法pigan的鉴别网络d中，判别高分辨率文物图像x
hx
比重建高分辨率图像x
sr
更真实的概率，鉴别网络采用vgg网络；
56.s36：循环训练，得到最优的pigan算法模型；
57.s37：超分算法pigan的生成网络g由两个分支构成，分别为超分辨率分支(sr branch)和梯度分支，sr分支用于lr图像的特征提取学习，并将上采样得到的特征信息与结构先验知识融合，随后生成sr图像；梯度分支将lr图像的梯度图转换为重建梯度图作为辅助提供结构先验知识，并集成到sr分支中。
58.所述步骤s4的操作过程如下：
59.s41：将文物数据集rcdata中测试集的低分辨率文物图像xlc输入训练好的pigan网络模型中，得到重建高分辨率图像x
sr
。
60.本发明的评价指标采用峰值信噪比(psnr)、结构相似性(ssim)和学习感知图像块相似性(lpips)，按照本发明方法对rcdata数据集进行4倍文物图像超分辨率重建，并对超分结果计算指标，表1给出了本发明与其他超分辨算法在rcdata数据集上的比较结果，本发明的指标值均优于其他算法。表1与其他超分辨算法在rcdata数据集上的比较结果
61.图4表示在rcdata数据集上，四倍尺度因子下，本发明与其他文物图像超分辨算法的比较图，可以看出本发明的重建图像与原始高分辨率图像更为接近。
62.综上所述，本实施例的一种基于生成对抗网络的文物图像超分辨率方法，皆优于其他文物图像超分辨率算法，由此可以证明本发明提出方法的有效性，能够充分利用高分辨率文物图像中的高频信息，且网络提取学习图像特征信息的能力进一步提升，重建图像质量更优，纹理细节更为精细。
63.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。