本技术涉及计算机,尤其涉及一种图像转换方法、装置、电子设备及存储介质。
背景技术:
1、目前,在将文档图像(例如pdf文档图像)转换成可编辑电子文档(例如word文档)的过程中,一般将文档图像中可编辑元素(例如文字、表格)结构化后还原到可编辑电子文档,将文档图像中不可编辑元素(例如图片、公式),从文档图像中扣下来贴到可编辑电子文档。
2、这种文档图像转换方式虽然能较好的实现文档图像到可编辑电子文档的转换,但是存在背景丢失的问题,即经文档图像转换而来的可编辑电子文档的背景变为白底,丢失了文档图像原来的背景,导致可编辑性大大降低。
技术实现思路
1、为了解决上述这种文档图像转换方式虽然能较好的实现文档图像到可编辑电子文档的转换,但是存在背景丢失的问题,即经文档图像转换而来的可编辑电子文档的背景变为白底,丢失了文档图像原来的背景,导致可编辑性大大降低的技术问题,本技术实施例提供了一种图像转换方法、装置、电子设备及存储介质。具体技术方案如下:
2、在本技术实施例的第一方面,首先提供了一种图像转换方法,所述方法包括:
3、获取待转换图像,并确定所述待转换图像对应的掩膜;
4、根据所述待转换图像及所述掩膜,确定所述待转换图像的背景图像;
5、通过所述背景图像,生成所述待转换图像对应的可编辑电子文档。
6、在一个可选的实施方式中,所述确定所述待转换图像对应的掩膜,包括:
7、识别所述待转换图像中的可编辑元素以及不可编辑元素;
8、将所述待转换图像中所述可编辑元素相应的第一区域的像素的像素值设置为预设第一数值;
9、将所述待转换图像中所述不可编辑元素相应的第二区域的像素的像素值设置为所述预设第一数值;
10、将所述待转换图像中除所述第一区域、所述第二区域之外的其余区域的像素的像素值设置为预设第二数值,得到所述待转换图像对应的掩膜;
11、所述通过所述背景图像,生成所述待转换图像对应的可编辑电子文档,包括:
12、将所述不可编辑元素还原到所述背景图像中,得到所述待转换图像对应的底图;
13、通过所述可编辑元素以及所述底图,生成所述待转换图像对应的可编辑电子文档。
14、在一个可选的实施方式中,所述根据所述待转换图像及所述掩膜,确定所述待转换图像的背景图像,包括:
15、将所述待转换图像与所述掩膜进行拼接,得到图像拼接结果;
16、将所述图像拼接结果输入至预训练的背景图像重建网络,得到所述待转换图像的背景图像。
17、在一个可选的实施方式中,所述预训练的背景图像重建网络包括预训练的生成网络和预训练的判别网络;
18、所述将所述图像拼接结果输入至预训练的背景图像重建网络,得到所述待转换图像的背景图像,包括:
19、将所述图像拼接结果输入至所述预训练的生成网络,得到所述待转换图像的背景图像。
20、在一个可选的实施方式,所述方法还包括:
21、将所述背景图像输入至所述预训练的判别网络,得到所述背景图像对应的真实概率;
22、其中,所述真实概率表征所述背景图像为所述待转换图像中背景的概率。
23、在一个可选的实施方式中,所述预训练的生成网络包括预训练的编码网络、预训练的特征深化网络、预训练的解码网络以及预训练的输出网络;
24、所述将所述图像拼接结果输入至所述预训练的生成网络,得到所述待转换图像的背景图像,包括:
25、将所述图像拼接结果输入至所述预训练的编码网络,得到编码特征矩阵;
26、将所述编码特征矩阵输入至所述预训练的特征深化网络,得到深化特征矩阵;
27、将所述深化特征矩阵输入至所述预训练的解码网络,得到解码特征矩阵;
28、将所述解码特征矩阵输入至所述预训练的输出网络,得到所述待转换图像的背景图像。
29、在一个可选的实施方式中,所述预训练的编码网络包括m个预训练的下采样网络和m个预训练的编码器,所述m为正整数;
30、所述将所述图像拼接结果输入至所述预训练的编码网络,得到编码特征矩阵,包括:
31、迭代执行以下操作,直至得到第m个第一特征矩阵时停止下述操作:
32、将第i个编码特征图输入至第i个所述预训练的下采样网络,得到第i个下采样结果;
33、将所述第i个下采样结果输入至第i个所述预训练的编码器,得到第i个第一特征矩阵;
34、其中,所述第i个第一特征矩阵是第i+1个编码特征图,所述i依次为1,2,3,……,m,第1个编码特征图为所述图像拼接结果,第m个第一特征矩阵为所述编码特征矩阵。
35、在一个可选的实施方式中,所述预训练的编码器包括n个预训练的词符混合网络、1个预训练的第一归一化网络、1个预训练的通道混合网络以及1个预训练的第二归一化网络,所述n为正整数;
36、所述将所述第i个下采样结果输入至第i个所述预训练的编码器,得到第i个第一特征矩阵,包括:
37、迭代执行以下操作,直至得到第n个词符特征矩阵时停止下述操作:将第j个词符特征图输入至第i个所述预训练的编码器中的第j个所述预训练的词符混合网络,得到第j个词符特征矩阵;其中,所述第j个词符特征矩阵是第j+1个词符特征图,所述j依次为1,2,3,……,n,第1个词符特征图为所述第i个下采样结果;
38、将所述第n个词符特征矩阵输入至第i个所述预训练的编码器中的所述预训练的第一归一化网络,得到第一归一化结果;
39、将所述第i个下采样结果与所述第一归一化结果进行拼接,得到第一拼接结果;
40、将所述第一拼接结果输入至第i个所述预训练的编码器中的所述预训练的通道混合网络,得到通道特征矩阵;
41、将所述通道特征矩阵输入至第i个所述预训练的编码器中的所述预训练的第二归一化网络,得到第二归一化结果;
42、将所述第二归一化结果与所述第一拼接结果进行拼接,得到第二拼接结果,确定所述第二拼接结果为所述第i个第一特征矩阵。
43、在一个可选的实施方式中,所述预训练的词符混合网络包括预训练的第一全连接层、预训练的第二全连接层、预训练的第一组卷积层、预训练的第一卷积层、预训练的第二卷积层;
44、所述将第j个词符特征图输入至第i个所述预训练的编码器中的第j个所述预训练的词符混合网络,得到第j个词符特征矩阵,包括:
45、将所述第j个词符特征图输入至所述预训练的第一全连接层,得到第一全连接结果;
46、将所述第一全连接结果输入至所述预训练的第二全连接层,得到第二全连接结果;
47、将所述第j个词符特征图与所述第二全连接结果进行拼接,得到第三拼接结果;
48、将所述第三拼接结果输入至所述预训练的第一组卷积层,得到第一组卷积结果;
49、将所述第一组卷积结果输入至所述预训练的第一卷积层,得到第一卷积结果;
50、将所述第一卷积结果输入至所述预训练的第二卷积层,得到第二卷积结果,确定所述第二卷积结果为所述第j个词符特征矩阵。
51、在一个可选的实施方式中,所述预训练的通道混合网络包括预训练的第三卷积层、预训练的第二组卷积层、预训练的第四卷积层;
52、所述将所述第一拼接结果输入至第i个所述预训练的编码器中的所述预训练的通道混合网络,得到通道特征矩阵,包括:
53、将所述第一拼接结果输入至所述预训练的第三卷积层,得到第三卷积结果;
54、将所述第三卷积结果输入至所述预训练的第二组卷积层,得到第二组卷积结果;
55、将所述第二组卷积结果输入至所述预训练的第四卷积层,得到第四卷积结果,确定所述第四卷积结果为所述通道特征矩阵。
56、在一个可选的实施方式中,所述预训练的特征深化网络包括l个预训练的残差网络,所述l为正整数;
57、所述将所述编码特征矩阵输入至所述预训练的特征深化网络,得到深化特征矩阵,包括:
58、迭代执行以下操作,直至得到第l个第二特征矩阵时停止下述操作:
59、将第k个深化特征图输入至第k个所述预训练的残差网络,得到第k个第二特征矩阵;
60、其中,所述第k个第二特征矩阵是第k+1个深化特征图,所述k依次为1,2,3,……,l,第1个深化特征图为所述编码特征矩阵,第l个第二特征矩阵为所述深化特征矩阵。
61、在一个可选的实施方式中,所述预训练的残差网络包括预训练的第五卷积层、预训练的第六卷积层;
62、所述将第k个深化特征图输入至第k个所述预训练的残差网络,得到第k个第二特征矩阵,包括:
63、将第k个深化特征图输入至第k个所述预训练的残差网络中的所述预训练的第五卷积层,得到第五卷积结果;
64、将所述第五卷积结果输入至第k个所述预训练的残差网络中的所述预训练的第六卷积层,得到第六卷积结果;
65、确定所述第六卷积结果为所述第k个第二特征矩阵。
66、在一个可选的实施方式中,所述预训练的解码网络包括o个预训练的解码器,所述o为正整数;
67、所述将所述深化特征矩阵输入至所述预训练的解码网络,得到解码特征矩阵,包括:
68、迭代执行以下操作,直至得到第o个第三特征矩阵时停止下述操作:
69、将第p个解码特征图输入至第p个所述预训练的解码器,得到第p个第三特征矩阵;
70、其中,所述第p个第三特征矩阵是第p+1个解码特征图,所述p依次为1,2,3,……,o,第1个解码特征图为所述深化特征矩阵,第o个第三特征矩阵为所述解码特征矩阵。
71、在一个可选的实施方式中,所述预训练的解码器为预训练的转置卷积层;
72、所述将第p个解码特征图输入至第p个所述预训练的解码器,得到第p个第三特征矩阵,包括:
73、将第p个解码特征图输入至第p个所述预训练的转置卷积层,得到第p个第三特征矩阵。
74、在一个可选的实施方式中,所述预训练的输出网络为预训练的第六卷积层;
75、所述将所述解码特征矩阵输入至所述预训练的输出网络,得到所述待转换图像的背景图像,包括:
76、将所述解码特征矩阵输入至所述预训练的第六卷积层,得到所述待转换图像的背景图像。
77、在一个可选的实施方式中,在执行所述方法之前,还包括:
78、获取样本图像,并确定所述样本图像对应的样本掩膜;
79、将所述样本图像与所述样本掩膜进行拼接,得到样本图像拼接结果;
80、将所述样本图像拼接结果输入至背景图像重建网络,得到所述样本图像对应的预测背景图像;
81、根据所述预测背景图像对所述背景图像重建网络进行训练,并在所述预测背景图像满足预设条件的情况下,停止训练,得到预训练的背景图像重建网络。
82、在一个可选的实施方式中,所述确定所述样本图像对应的样本掩膜,包括:
83、识别所述样本图像中的样本可编辑元素以及样本不可编辑元素;
84、将所述样本图像中所述样本可编辑元素相应的第一样本区域的像素的像素值设置为预设第一数值;
85、将所述样本图像中所述样本不可编辑元素相应的第二样本区域的像素的像素值设置为所述预设第一数值;
86、将所述样本图像中除所述第一样本区域、所述第二样本区域之外的其余样本区域的像素的像素值设置为预设第二数值,得到所述样本图像对应的样本掩膜。
87、在一个可选的实施方式中,所述背景图像重建网络包括生成网络和判别网络;
88、所述将所述样本图像拼接结果输入至背景图像重建网络,得到所述样本图像对应的预测背景图像,包括:
89、将所述样本图像拼接结果输入至所述生成网络,得到所述样本图像对应的预测背景图像;
90、将所述预测背景图像输入至所述判别网络,得到所述预测背景图像对应的预测真实概率;
91、其中,所述预测真实概率表征所述预测背景图像为所述样本图像中背景的概率;
92、所述根据所述预测背景图像对所述背景图像重建网络进行训练,并在所述预测背景图像满足预设条件的情况下,停止训练,得到预训练的背景图像重建网络,包括:
93、确定所述预测背景图像与所述样本图像对应的样本背景图像之间的图像损失,并根据所述图像损失对所述生成网络进行训练;
94、在所述图像损失损失满足预设条件的情况下,停止训练,得到预训练的生成网络;
95、确定所述预测真实概率与样本真实概率之间的真实概率损失,并根据所述真实概率损失对所述判别网络进行训练;
96、在所述真实概率损失满足预设条件的情况下,停止训练,得到预训练的判别网络;
97、由所述预训练的生成网络和所述预训练的判别网络构成预训练的背景图像重建网络。
98、在一个可选的实施方式中,所述生成网络包括编码网络、特征深化网络、解码网络以及输出网络;
99、所述将所述样本图像拼接结果输入至所述生成网络,得到所述样本图像对应的预测背景图像,包括:
100、将所述样本图像拼接结果输入至所述编码网络,得到编码预测特征矩阵;
101、将所述编码预测特征矩阵输入至所述特征深化网络,得到深化预测特征矩阵;
102、将所述深化预测特征矩阵输入至所述解码网络,得到解码预测特征矩阵;
103、将所述解码预测特征矩阵输入至所述输出网络,得到所述样本图像对应的预测背景图像。
104、在一个可选的实施方式中,所述编码网络包括m个下采样网络和m个编码器,所述m为正整数;
105、所述将所述样本图像拼接结果输入至所述编码网络,得到编码预测特征矩阵,包括:
106、迭代执行以下操作,直至得到第m个第一预测特征矩阵时停止下述操作:
107、将第i个编码预测特征图输入至第i个所述下采样网络,得到第i个预测下采样结果;
108、将所述第i个预测下采样结果输入至第i个所述编码器,得到第i个第一预测特征矩阵;
109、其中,所述第i个第一预测特征矩阵是第i+1个编码预测特征图,所述i依次为1,2,3,……,m,第1个编码预测特征图为所述样本图像拼接结果,第m个第一预测特征矩阵为所述编码预测特征矩阵。
110、在一个可选的实施方式中,所述编码器包括n个词符混合网络、1个第一归一化网络、1个通道混合网络以及1个第二归一化网络,所述n为正整数;
111、所述将所述第i个预测下采样结果输入至第i个所述编码器,得到第i个第一预测特征矩阵,包括:
112、迭代执行以下操作,直至得到第n个词符预测特征矩阵时停止下述操作:将第j个词符预测特征图输入至第i个所述编码器中的第j个所述词符混合网络,得到第j个词符预测特征矩阵;其中,所述第j个词符预测特征矩阵是第j+1个词符预测特征图,所述j依次为1,2,3,……,n,第1个词符预测特征图为所述第i个预测下采样结果;
113、将所述第n个词符预测特征矩阵输入至第i个所述编码器中的所述第一归一化网络,得到第一预测归一化结果;
114、将所述第i个预测下采样结果与所述第一预测归一化结果进行拼接,得到第一预测拼接结果;
115、将所述第一预测拼接结果输入至第i个所述编码器中的所述通道混合网络,得到通道预测特征矩阵;
116、将所述通道预测特征矩阵输入至第i个所述编码器中的所述第二归一化网络,得到第二预测归一化结果;
117、将所述第二预测归一化结果与所述第一预测拼接结果进行拼接,得到第二预测拼接结果;
118、确定所述第二预测拼接结果为所述第i个第一预测特征矩阵。
119、在一个可选的实施方式中,所述词符混合网络包括第一全连接层、第二全连接层、第一组卷积层、第一卷积层、第二卷积层;
120、所述将第j个词符预测特征图输入至第i个所述编码器中的第j个所述词符混合网络,得到第j个词符预测特征矩阵,包括:
121、将所述第j个词符预测特征图输入至所述第一全连接层,得到第一预测全连接结果;
122、将所述第一预测全连接结果输入至所述第二全连接层,得到第二预测全连接结果;
123、将所述第j个词符预测特征图与所述第二预测全连接结果进行拼接,得到第三预测拼接结果;
124、将所述第三预测拼接结果输入至所述第一组卷积层,得到第一预测组卷积结果;
125、将所述第一预测组卷积结果输入至所述第一卷积层,得到第一预测卷积结果;
126、将所述第一预测卷积结果输入至所述第二卷积层,得到第二预测卷积结果,确定所述第二预测卷积结果为所述第j个词符预测特征矩阵。
127、在一个可选的实施方式中,所述通道混合网络包括第三卷积层、第二组卷积层、第四卷积层;
128、所述将所述第一预测拼接结果输入至第i个所述编码器中的所述通道混合网络,得到通道预测特征矩阵,包括:
129、将所述第一预测拼接结果输入至所述第三卷积层,得到第三预测卷积结果;
130、将所述第三预测卷积结果输入至所述第二组卷积层,得到第二预测组卷积结果;
131、将所述第二预测组卷积结果输入至所述第四卷积层,得到第四预测卷积结果,确定所述第四预测卷积结果为所述通道预测特征矩阵。
132、在一个可选的实施方式中,所述特征深化网络包括l个残差网络,所述l为正整数;
133、所述将所述编码预测特征矩阵输入至所述特征深化网络,得到深化预测特征矩阵,包括:
134、迭代执行以下操作,直至得到第l个第二预测特征矩阵时停止下述操作:
135、将第k个深化预测特征图输入至第k个所述残差网络,得到第k个第二预测特征矩阵;
136、其中,所述第k个第二预测特征矩阵是第k+1个深化预测特征图,所述k依次为1,2,3,……,l,第1个深化预测特征图为所述编码预测特征矩阵,第l个第二预测特征矩阵为所述深化预测特征矩阵。
137、在一个可选的实施方式中,所述残差网络包括第五卷积层、第六卷积层;
138、所述将第k个深化预测特征图输入至第k个所述残差网络,得到第k个第二预测特征矩阵,包括:
139、将第k个深化预测特征图输入至第k个所述残差网络中的所述第五卷积层,得到第五预测卷积结果;
140、将所述第五预测卷积结果输入至第k个所述残差网络中的所述第六卷积层,得到第六预测卷积结果;
141、确定所述第六预测卷积结果为所述第k个第二预测特征矩阵。
142、在一个可选的实施方式中,所述解码网络包括o个解码器,所述o为正整数;
143、所述将所述深化预测特征矩阵输入至所述解码网络,得到解码预测特征矩阵,包括:
144、迭代执行以下操作,直至得到第o个第三预测特征矩阵时停止下述操作:
145、将第p个解码预测特征图输入至第p个所述解码器,得到第p个第三预测特征矩阵;
146、其中,所述第p个第三预测特征矩阵是第p+1个解码预测特征图,所述p依次为1,2,3,……,o,第1个解码预测特征图为所述深化预测特征矩阵,第o个第三预测特征矩阵为所述解码预测特征矩阵。
147、在一个可选的实施方式中,所述解码器为转置卷积层;
148、所述将第p个解码预测特征图输入至第p个所述解码器,得到第p个第三预测特征矩阵,包括:
149、将第p个解码预测特征图输入至第p个所述转置卷积层,得到第p个第三预测特征矩阵。
150、在一个可选的实施方式中,所述输出网络为第六卷积层;
151、所述将所述解码预测特征矩阵输入至所述输出网络,得到所述样本图像对应的预测背景图像,包括:
152、将所述解码预测特征矩阵输入至所述第六卷积层,得到所述样本图像对应的预测背景图像。
153、在本技术实施例的第二方面,还提供了一种图像转换装置,所述装置包括:
154、图像获取模块,用于获取待转换图像;
155、掩膜确定模块,用于确定所述待转换图像对应的掩膜;
156、背景图像确定模块,用于根据所述待转换图像及所述掩膜,确定所述待转换图像的背景图像;
157、文档生成模块,用于通过所述背景图像,生成所述待转换图像对应的可编辑电子文档。
158、在一个可选的实施方式中,所述掩膜确定模块具体用于:
159、识别所述待转换图像中的可编辑元素以及不可编辑元素;
160、将所述待转换图像中所述可编辑元素相应的第一区域的像素的像素值设置为预设第一数值;
161、将所述待转换图像中所述不可编辑元素相应的第二区域的像素的像素值设置为所述预设第一数值;
162、将所述待转换图像中除所述第一区域、所述第二区域之外的其余区域的像素的像素值设置为预设第二数值,得到所述待转换图像对应的掩膜;
163、所述文档生成模块具体用于:
164、将所述不可编辑元素还原到所述背景图像中,得到所述待转换图像对应的底图;
165、通过所述可编辑元素以及所述底图,生成所述待转换图像对应的可编辑电子文档。
166、在一个可选的实施方式中,所述背景图像确定模块具体包括:
167、图像、掩膜拼接子模块,用于将所述待转换图像与所述掩膜进行拼接,得到图像拼接结果;
168、背景图像确定子模块,用于将所述图像拼接结果输入至预训练的背景图像重建网络,得到所述待转换图像的背景图像。
169、在一个可选的实施方式中,所述预训练的背景图像重建网络包括预训练的生成网络和预训练的判别网络;
170、所述背景图像确定子模块具体用于:
171、将所述图像拼接结果输入至所述预训练的生成网络,得到所述待转换图像的背景图像。
172、在一个可选的实施方式中,所述装置还包括:
173、背景图像验证模块,用于将所述背景图像输入至所述预训练的判别网络,得到所述背景图像对应的真实概率;
174、其中,所述真实概率表征所述背景图像为所述待转换图像中背景的概率。
175、在一个可选的实施方式中,所述预训练的生成网络包括预训练的编码网络、预训练的特征深化网络、预训练的解码网络以及预训练的输出网络;所述背景图像确定子模块具体包括:
176、图像拼接结果输入单元,用于将所述图像拼接结果输入至所述预训练的编码网络,得到编码特征矩阵;
177、编码特征矩阵输入单元,用于将所述编码特征矩阵输入至所述预训练的特征深化网络,得到深化特征矩阵;
178、深化特征矩阵输入单元,用于将所述深化特征矩阵输入至所述预训练的解码网络,得到解码特征矩阵;
179、解码特征矩阵输入单元,用于将所述解码特征矩阵输入至所述预训练的输出网络,得到所述待转换图像的背景图像。
180、在一个可选的实施方式中,所述预训练的编码网络包括m个预训练的下采样网络和m个预训练的编码器,所述m为正整数;所述图像拼接结果输入单元具体包括:
181、迭代子单元,用于迭代执行以下操作,直至得到第m个第一特征矩阵时停止下述操作:
182、编码特征图输入子单元,用于将第i个编码特征图输入至第i个所述预训练的下采样网络,得到第i个下采样结果;
183、下采样结果输入子单元,用于将所述第i个下采样结果输入至第i个所述预训练的编码器,得到第i个第一特征矩阵;
184、其中,所述第i个第一特征矩阵是第i+1个编码特征图,所述i依次为1,2,3,……,m,第1个编码特征图为所述图像拼接结果,第m个第一特征矩阵为所述编码特征矩阵。
185、在一个可选的实施方式中,所述预训练的编码器包括n个预训练的词符混合网络、1个预训练的第一归一化网络、1个预训练的通道混合网络以及1个预训练的第二归一化网络,所述n为正整数;所述下采样结果输入子单元具体用于:
186、迭代执行以下操作,直至得到第n个词符特征矩阵时停止下述操作:将第j个词符特征图输入至第i个所述预训练的编码器中的第j个所述预训练的词符混合网络,得到第j个词符特征矩阵;其中,所述第j个词符特征矩阵是第j+1个词符特征图,所述j依次为1,2,3,……,n,第1个词符特征图为所述第i个下采样结果;
187、将所述第n个词符特征矩阵输入至第i个所述预训练的编码器中的所述预训练的第一归一化网络,得到第一归一化结果;
188、将所述第i个下采样结果与所述第一归一化结果进行拼接,得到第一拼接结果;
189、将所述第一拼接结果输入至第i个所述预训练的编码器中的所述预训练的通道混合网络,得到通道特征矩阵;
190、将所述通道特征矩阵输入至第i个所述预训练的编码器中的所述预训练的第二归一化网络,得到第二归一化结果;
191、将所述第二归一化结果与所述第一拼接结果进行拼接,得到第二拼接结果,确定所述第二拼接结果为所述第i个第一特征矩阵。
192、在一个可选的实施方式中,所述预训练的词符混合网络包括预训练的第一全连接层、预训练的第二全连接层、预训练的第一组卷积层、预训练的第一卷积层、预训练的第二卷积层;所述下采样结果输入子单元具体用于:
193、将所述第j个词符特征图输入至所述预训练的第一全连接层,得到第一全连接结果;
194、将所述第一全连接结果输入至所述预训练的第二全连接层,得到第二全连接结果;
195、将所述第j个词符特征图与所述第二全连接结果进行拼接,得到第三拼接结果;
196、将所述第三拼接结果输入至所述预训练的第一组卷积层,得到第一组卷积结果;
197、将所述第一组卷积结果输入至所述预训练的第一卷积层,得到第一卷积结果;
198、将所述第一卷积结果输入至所述预训练的第二卷积层,得到第二卷积结果,确定所述第二卷积结果为所述第j个词符特征矩阵。
199、在一个可选的实施方式中,所述预训练的通道混合网络包括预训练的第三卷积层、预训练的第二组卷积层、预训练的第四卷积层;所述下采样结果输入子单元具体用于:
200、将所述第一拼接结果输入至所述预训练的第三卷积层,得到第三卷积结果;
201、将所述第三卷积结果输入至所述预训练的第二组卷积层,得到第二组卷积结果;
202、将所述第二组卷积结果输入至所述预训练的第四卷积层,得到第四卷积结果,确定所述第四卷积结果为所述通道特征矩阵。
203、在一个可选的实施方式中,所述预训练的特征深化网络包括l个预训练的残差网络,所述l为正整数;所述编码特征矩阵输入单元具体包括:
204、迭代子单元,用于迭代执行以下操作,直至得到第l个第二特征矩阵时停止下述操作:
205、深化特征图输入子单元,用于将第k个深化特征图输入至第k个所述预训练的残差网络,得到第k个第二特征矩阵;
206、其中,所述第k个第二特征矩阵是第k+1个深化特征图,所述k依次为1,2,3,……,l,第1个深化特征图为所述编码特征矩阵,第l个第二特征矩阵为所述深化特征矩阵。
207、在一个可选的实施方式中,所述预训练的残差网络包括预训练的第五卷积层、预训练的第六卷积层;所述深化特征图输入子单元具体用于:
208、将第k个深化特征图输入至第k个所述预训练的残差网络中的所述预训练的第五卷积层,得到第五卷积结果;
209、将所述第五卷积结果输入至第k个所述预训练的残差网络中的所述预训练的第六卷积层,得到第六卷积结果;
210、确定所述第六卷积结果为所述第k个第二特征矩阵。
211、在一个可选的实施方式中,所述预训练的解码网络包括o个预训练的解码器,所述o为正整数;所述深化特征矩阵输入单元具体包括:
212、迭代子单元,用于迭代执行以下操作,直至得到第o个第三特征矩阵时停止下述操作:
213、解码特征图输入子单元,用于将第p个解码特征图输入至第p个所述预训练的解码器,得到第p个第三特征矩阵;
214、其中,所述第p个第三特征矩阵是第p+1个解码特征图,所述p依次为1,2,3,……,o,第1个解码特征图为所述深化特征矩阵,第o个第三特征矩阵为所述解码特征矩阵。
215、在一个可选的实施方式中,所述预训练的解码器为预训练的转置卷积层;所述解码特征图输入子单元具体用于:
216、将第p个解码特征图输入至第p个所述预训练的转置卷积层,得到第p个第三特征矩阵。
217、在一个可选的实施方式中,所述预训练的输出网络为预训练的第六卷积层;所述解码特征矩阵输入单元具体用于:
218、将所述解码特征矩阵输入至所述预训练的第六卷积层,得到所述待转换图像的背景图像。
219、在一个可选的实施方式中,所述装置包括:
220、样本图像获取模块,用于获取样本图像;
221、样本掩膜确定模块,用于确定所述样本图像对应的样本掩膜;
222、样本图像、样本掩膜拼接模块,用于将所述样本图像与所述样本掩膜进行拼接,得到样本图像拼接结果;
223、样本图像拼接结果输入模块,用于将所述样本图像拼接结果输入至背景图像重建网络,得到所述样本图像对应的预测背景图像;
224、网络训练模块,用于根据所述预测背景图像对所述背景图像重建网络进行训练,并在所述预测背景图像满足预设条件的情况下,停止训练,得到预训练的背景图像重建网络。
225、在一个可选的实施方式中,所述样本掩膜确定模块具体用于:
226、识别所述样本图像中的样本可编辑元素以及样本不可编辑元素;
227、将所述样本图像中所述样本可编辑元素相应的第一样本区域的像素的像素值设置为预设第一数值;
228、将所述样本图像中所述样本不可编辑元素相应的第二样本区域的像素的像素值设置为所述预设第一数值;
229、将所述样本图像中除所述第一样本区域、所述第二样本区域之外的其余样本区域的像素的像素值设置为预设第二数值,得到所述样本图像对应的样本掩膜。
230、在一个可选的实施方式中,所述背景图像重建网络包括生成网络和判别网络;所述样本图像拼接结果输入模块具体包括:
231、样本图像拼接结果输入子模块,用于将所述样本图像拼接结果输入至所述生成网络,得到所述样本图像对应的预测背景图像;
232、预测背景图像输入子模块,用于将所述预测背景图像输入至所述判别网络,得到所述预测背景图像对应的预测真实概率;
233、其中,所述预测真实概率表征所述预测背景图像为所述样本图像中背景的概率;
234、所述网络训练模块具体用于:
235、确定所述预测背景图像与所述样本图像对应的样本背景图像之间的图像损失,并根据所述图像损失对所述生成网络进行训练;
236、在所述图像损失损失满足预设条件的情况下,停止训练,得到预训练的生成网络;
237、确定所述预测真实概率与样本真实概率之间的真实概率损失,并根据所述真实概率损失对所述判别网络进行训练;
238、在所述真实概率损失满足预设条件的情况下,停止训练,得到预训练的判别网络;
239、由所述预训练的生成网络和所述预训练的判别网络构成预训练的背景图像重建网络。
240、在一个可选的实施方式中,所述生成网络包括编码网络、特征深化网络、解码网络以及输出网络;所述样本图像拼接结果输入子模块具体包括:
241、样本图像拼接结果输入单元,用于将所述样本图像拼接结果输入至所述编码网络,得到编码预测特征矩阵;
242、编码预测特征矩阵输入单元,用于将所述编码预测特征矩阵输入至所述特征深化网络,得到深化预测特征矩阵;
243、深化预测特征矩阵输入单元,用于将所述深化预测特征矩阵输入至所述解码网络,得到解码预测特征矩阵;
244、解码预测特征矩阵输入单元,用于将所述解码预测特征矩阵输入至所述输出网络,得到所述样本图像对应的预测背景图像。
245、在一个可选的实施方式中,所述编码网络包括m个下采样网络和m个编码器,所述m为正整数;所述样本图像拼接结果输入单元具体包括:
246、迭代子单元,用于迭代执行以下操作,直至得到第m个第一预测特征矩阵时停止下述操作:
247、编码预测特征图输入子单元,用于将第i个编码预测特征图输入至第i个所述下采样网络,得到第i个预测下采样结果;
248、预测下采样结果输入子单元,用于将所述第i个预测下采样结果输入至第i个所述编码器,得到第i个第一预测特征矩阵;
249、其中,所述第i个第一预测特征矩阵是第i+1个编码预测特征图,所述i依次为1,2,3,……,m,第1个编码预测特征图为所述样本图像拼接结果,第m个第一预测特征矩阵为所述编码预测特征矩阵。
250、在一个可选的实施方式中,所述编码器包括n个词符混合网络、1个第一归一化网络、1个通道混合网络以及1个第二归一化网络,所述n为正整数;所述预测下采样结果输入子单元具体用于:
251、迭代执行以下操作,直至得到第n个词符预测特征矩阵时停止下述操作:将第j个词符预测特征图输入至第i个所述编码器中的第j个所述词符混合网络,得到第j个词符预测特征矩阵;其中,所述第j个词符预测特征矩阵是第j+1个词符预测特征图,所述j依次为1,2,3,……,n,第1个词符预测特征图为所述第i个预测下采样结果;
252、将所述第n个词符预测特征矩阵输入至第i个所述编码器中的所述第一归一化网络,得到第一预测归一化结果;
253、将所述第i个预测下采样结果与所述第一预测归一化结果进行拼接,得到第一预测拼接结果;
254、将所述第一预测拼接结果输入至第i个所述编码器中的所述通道混合网络,得到通道预测特征矩阵;
255、将所述通道预测特征矩阵输入至第i个所述编码器中的所述第二归一化网络,得到第二预测归一化结果;
256、将所述第二预测归一化结果与所述第一预测拼接结果进行拼接,得到第二预测拼接结果;
257、确定所述第二预测拼接结果为所述第i个第一预测特征矩阵。
258、在一个可选的实施方式中,所述词符混合网络包括第一全连接层、第二全连接层、第一组卷积层、第一卷积层、第二卷积层;所述预测下采样结果输入子单元具体用于:
259、将所述第j个词符预测特征图输入至所述第一全连接层,得到第一预测全连接结果;
260、将所述第一预测全连接结果输入至所述第二全连接层,得到第二预测全连接结果;
261、将所述第j个词符预测特征图与所述第二预测全连接结果进行拼接,得到第三预测拼接结果;
262、将所述第三预测拼接结果输入至所述第一组卷积层,得到第一预测组卷积结果;
263、将所述第一预测组卷积结果输入至所述第一卷积层,得到第一预测卷积结果;
264、将所述第一预测卷积结果输入至所述第二卷积层,得到第二预测卷积结果,确定所述第二预测卷积结果为所述第j个词符预测特征矩阵。
265、在一个可选的实施方式中,所述通道混合网络包括第三卷积层、第二组卷积层、第四卷积层;所述预测下采样结果输入子单元具体用于:
266、将所述第一预测拼接结果输入至所述第三卷积层,得到第三预测卷积结果;
267、将所述第三预测卷积结果输入至所述第二组卷积层,得到第二预测组卷积结果;
268、将所述第二预测组卷积结果输入至所述第四卷积层,得到第四预测卷积结果,确定所述第四预测卷积结果为所述通道预测特征矩阵。
269、在一个可选的实施方式中,所述特征深化网络包括l个残差网络,所述l为正整数;所述编码预测特征矩阵输入单元具体包括:
270、迭代子单元,用于迭代执行以下操作,直至得到第l个第二预测特征矩阵时停止下述操作:
271、深化预测特征图输入子单元,用于将第k个深化预测特征图输入至第k个所述残差网络,得到第k个第二预测特征矩阵;
272、其中,所述第k个第二预测特征矩阵是第k+1个深化预测特征图,所述k依次为1,2,3,……,l,第1个深化预测特征图为所述编码预测特征矩阵,第l个第二预测特征矩阵为所述深化预测特征矩阵。
273、在一个可选的实施方式中,所述残差网络包括第五卷积层、第六卷积层;所述深化预测特征图输入子单元具体用于:
274、将第k个深化预测特征图输入至第k个所述残差网络中的所述第五卷积层,得到第五预测卷积结果;
275、将所述第五预测卷积结果输入至第k个所述残差网络中的所述第六卷积层,得到第六预测卷积结果;
276、确定所述第六预测卷积结果为所述第k个第二预测特征矩阵。
277、在一个可选的实施方式中,所述解码网络包括o个解码器,所述o为正整数;所述深化预测特征矩阵输入单元具体包括:
278、迭代子单元,用于迭代执行以下操作,直至得到第o个第三预测特征矩阵时停止下述操作:
279、解码预测特征图输入子单元,用于将第p个解码预测特征图输入至第p个所述解码器,得到第p个第三预测特征矩阵;
280、其中,所述第p个第三预测特征矩阵是第p+1个解码预测特征图,所述p依次为1,2,3,……,o,第1个解码预测特征图为所述深化预测特征矩阵,第o个第三预测特征矩阵为所述解码预测特征矩阵。
281、在一个可选的实施方式中,所述解码器为转置卷积层;所述解码预测特征图输入子单元具体用于:
282、将第p个解码预测特征图输入至第p个所述转置卷积层,得到第p个第三预测特征矩阵。
283、在一个可选的实施方式中,所述输出网络为第六卷积层;所述解码预测特征矩阵输入单元具体用于:
284、将所述解码预测特征矩阵输入至所述第六卷积层,得到所述样本图像对应的预测背景图像。
285、在本技术实施例的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
286、存储器,用于存放计算机程序;
287、处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一所述的图像转换方法。
288、在本技术实施例的第四方面,还提供了一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中任一所述的图像转换方法。
289、在本技术实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的图像转换方法。
290、本技术实施例提供的技术方案,获取待转换图像,并确定待转换图像对应的掩膜,根据待转换图像及掩膜,确定待转换图像的背景图像,通过背景图像,生成待转换图像对应的可编辑电子文档。
291、通过待转换图像及其对应的掩膜,确定待转换图像的背景图像,通过背景图像,生成待转换图像对应的可编辑电子文档,如此经待转换图像转换而来的可编辑电子文档保留了图像原来的背景,大大提高了可编辑性。