图像高清化处理方法和装置、电子设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像高清化处理方法和装置、电子设备。


背景技术：

2.随着计算机信息技术的不断发展，我国的互联网信息技术也走过了四个阶段。从信息建立与传输阶段，到信息应用与网民崛起，再到社交与移动崛起，目前来到了应用与概念并行，智能化兴起阶段。大数据、人工智能、物联网等技术开始扮演越来越重要的角色，与实体经济的不断融合催生出目前的产业发展方向。
3.随时人工智能技术的发展，对图像处理技术也是一个重要的促进，例如对档案的处理也逐步从数字化向智能化迈进，以克服扫描档案中存在的诸多复杂的情况。例如，档案在扫描的过程中会遇到各式各样的档案，存在纸张发黄，污损的情况，扫描得到的原始图片中包含噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息。另外，文档有用信息也存在不同程度的字符、线框等有用细节信息缺失现象。这些存在的问题给生成电子化的高清档案造成了很大的阻碍。在现有的基于人工处理的档案数字化的过程中，需要花费大量的人力成本进行手工高清化处理，并且图像处理的效率较低。


技术实现要素：

4.本发明提供一种图像高清化处理方法和装置、电子设备，用以解决现有技术中通过人工手动对图像处理时人工成本高、效率低的技术问题。
5.一方面，本发明提供一种图像高清化处理方法，包括：
6.获取待处理的原始图像；
7.将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
8.根据本发明提供的一种图像高清化处理方法，所述图像处理模型包括浅层特征抽取网络和双层密集残差模块组；
9.所述浅层特征抽取网络用于对输入的原始图像进行浅层特征提取，获取所述原始图像从浅层到深层的语义信息，同时增加所述原始图像的特征通道数，以得到所述原始图像的第一融合特征图；
10.所述双层密集残差模块组用于对所述融合特征图进行融合特征提取，获取所述原始图像深层的多尺度多通道的融合语义信息，以得到包括所述融合语义信息的第二融合特征图。
11.根据本发明提供的一种图像高清化处理方法，所述图像处理模型还包括上采样网络；
12.所述上采样网络用于对所述第二融合特征图进行分辨率放大处理，得到所述目标图像。
13.根据本发明提供的一种图像高清化处理方法，所述对所述第二融合特征图分辨率放大处理，得到所述目标图像包括：
14.采用最近值插值法对所述第二融合特征图进行差值处理，并采用卷积层和leakyrelu激活函数对差值处理后的第二融合特征图进行处理，以放大所述第二融合特征图的分辨率；
15.根据本发明提供的一种图像高清化处理方法，所述双层密集残差模块组包括多个依次级联的双层密集残差模块；每个双层密集残差模块包括多个密集残差模块和一个残差边；所述每个密集残差模块包括多个卷积层和多个leakyrelu层。
16.根据本发明提供的一种图像高清化处理方法，所述图像处理模型通过以下方法训练获取：
17.获取多张原始图像；
18.对所述多张原始图像分别进行模糊化、缩放、添加噪音和图像分辨率压缩处理，得到低分辨率图像；所述低分辨率作为用于训练所述图像处理模型的输入数据；
19.对所述多张原始图像进行去噪、修复和分辨率放大处理得到标注后的高分辨率图像，所述高分辨率图像作为用于训练所述图像处理模型的输出数据；
20.采用所述输入数据和输出数据对所述图像处理模型进行训练，直到所述图像处理模型的性能满足预设要求，以得到所述训练好的图像处理模型。
21.根据本发明提供的一种图像高清化处理方法，所述对输入的待处理图像进行去噪和修复处理包括以下处理方式中的一种或多种：
22.去除所述原始图像中的噪声；
23.去除所述原始图像中的污迹；
24.去除所述原始图像中的杂线；
25.去除所述原始图像中纸张背面透过的干扰内容；
26.恢复和/或补全所述原始图像中缺失字符；
27.恢复和/或补全所述原始图像中缺失的线框；
28.加深所述原始图像中字符的笔画；
29.加粗所述原始图像中字符的颜色；
30.修改所述原始图像的背景颜色。
31.另一方面，本发明还提供一种图像高清化处理装置，包括：
32.图像获取模块，用于获取待处理的原始图像；
33.图像处理模块，用于将所述待处理的原始图像输入到预先训练好的图像处理模型中，所述图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述图像高清化处理方法。
35.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像高清化处理方法。
36.依据本发明提供的图像高清化处理方法，获取待处理的原始图像后，将待处理的
原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。本发明的方法和现有的人工手动处理方法相比，对原始图像的处理效率更高，且处理成本更低。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的图像高清化处理方法流程图；
39.图2是本发明提供的图像处理模型总体结构示意图；
40.图3是本发明提供的图像处理模型训练方法流程图；
41.图4是本发明提供的图像处理模型的具体结构示意图；
42.图5是本发明提供的双层密集残差模块的具体结构示意图；
43.图6是本发明提供的图像高清化处理装置结构示意图；
44.图7是本发明提供的电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本发明提供一种图像高清化处理方法，尤其针对档案的扫描图像进行处高清化处理，以获得高清化的电子图像，方便电子存档。具体的，本发明基于网络模型对获取的原始图像进行处理，预先通过大量的图像对设计的网络模型进行训练，直到网络模型的收敛性和处理效果均满足要求，然后采用训练好的图像处理模型对采集的原始图像进行高清化处理，例如对原始图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
47.实施例一：
48.本实施例提供一种图像高清化处理方法，如图1，本实施例的处理方法包括：
49.步骤101：获取待处理的原始图像。
50.本实施例中以旧档案为例，例如通过扫描机对旧档案进行扫描以获取的档案的原始图像。例如，本实施例中对档案进行扫描获取档案的电子图像作为待处理的原始图像。
51.步骤102：将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
52.在一种实施例中，在将待处理的原始图像输入到预先训练好的图像处理模型中之前还包括：对待处理的原始图像进行预处理，例如，本实施例的原始图像为用户使用规定配置的扫描仪扫描得到的档案图片。扫描的过程中，档案在扫描仪中放置的位置并不完全固定，扫描的到的图像可能是倾斜的。因此本实施例的预处理方法具体包括：对档案图片的位置进行纠偏和对原始图像进行裁切提取档案的关键区域图。例如，通过对档案图片进行一
定角度的旋转，可以使得档案的主体区域处于水平线上；然后从旋转后的档案图片中裁切提取档案的关键区域，即去掉原始图像中的非关键信息，以保留关键信息，可以提高图像的处理效率。这样可以降低超分辨率生成对抗网络模型学习的复杂度并且提升模型推理的效果。
53.其中，本实施例中对输入的待处理图像进行去噪和修复处理具体包括以下处理方式中的一种或多种：
54.去除所述原始图像中的噪声；
55.去除所述原始图像中的污迹；
56.去除所述原始图像中的杂线；
57.去除所述原始图像中纸张背面透过的干扰内容；
58.恢复和/或补全所述原始图像中缺失字符；
59.恢复和/或补全所述原始图像中缺失的线框；
60.加深原始图像中字符的笔画；
61.加粗原始图像中字符的颜色；
62.修改原始图像的背景颜色。
63.例如，在一种实施例中，首先去除原始图像中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息，然后对原有字符的笔画进行加深、加粗为黑色或深蓝色，图片背景色统一为rgb颜色为(254，246，197)。
64.优选的，本实施例的中训练好的图像处理模型应该同时包括以上各个处理功能，在实际处理过程中，图像处理模型根据输入的原始图像的缺陷进行对应的处理，以提高原始图像的清晰度和分辨率。
65.如图2，本实施例的图像处理模型包括浅层特征抽取网络201、双层密集残差模块组202和上采样网络203。
66.其中，浅层特征抽取网络201用于对输入的原始图像进行浅层特征提取，获取原始图像从浅层到深层的语义信息，同时增加原始图像的特征通道数，以得到原始图像的第一融合特征图。由于档案图像的种类具有多样性，使用固定的特征提取方式难以涵盖所有的文档类型。因此，本实施例将预处理后的档案原始图像输入选用的浅层特征抽取网络201以及双层密集残差模块组202中进行处理，获得不同深度以及相应尺度的经过融合的第一融合特征图，作为档案图像的编码特征。在特征提取的过程中，不断通过卷积模块、残差瓶颈模块等模块的多种排列组合方式进行特征提取，通过不断融合前层特征图的方式获取图像从浅层到深层的语义信息。
67.其中，本实施例的图像处理模型的结构如图4所示。原始图像进入由1个卷积层和relu(线性整流)函数的浅层特征抽取网络，提取图像的浅层特征，将原始图像由3通道调整为64通道数的第一融合特征图。双层密集残差模块组202用于对融合特征图进行融合特征提取，获取原始图像深层的多尺度多通道的融合语义信息，从而得到包括融合语义信息的第二融合特征图。具体的，本实施例的双层密集残差模块组202包含20个rrdb(residual in residual dense block)双层密集残差模块的网络结构。其中，双层密集残差模块的网络结构如图5所示，每个双层密集残差模块包含然3个rdb(residual dense block)密集残差块和一个残差边，每个密集残差块都包含5个卷积层和4个leakyrelu层，每一个卷积层和
leakyrelu层的输出都依次输入给后面的卷积层leakyrelu层。通过密集连通卷积层提取丰富的局部特征，将先前(即上一层)的rdb的输出直接连接到当前rdb的所有层的输入，然后利用rdb的局部特征融合自适应地从先前和当前的局部特征中学习更有效的特征，使训练更加稳定。该双层密集残差模块组模型容量大，删除了常用于其他网络的bn层，可使梯度有效回传易于训练，易于学习到图像的细节纹理特征。上述过程解决了档案图像形式多样性带来的特征多样难以有效提取的问题。
68.上采样网络203用于对第二融合特征图进行分辨率放大处理，得到高清化的目标图像。具体的，本实施例中采用最近值插值法对第二融合特征图进行差值处理，并采用卷积层和leakyrelu激活函数对差值处理的第二融合特征图进行处理，以放大第二融合特征图的分辨率。例如对输出深层的多尺度多通道的融合语义信息输出结果采用最近值插值法将图像的分辨率放大2倍，并使用1个卷积层和leakyrelu激活函数对插值后的特征图进行处理，得到宽高放大2倍后的特征图。将上述处理方法进行2次，即可获得高宽均为输入的原始图像四倍的高清化的目标图像。
69.依据本实施例的图像处理模型，可以提升对图像中不同尺度大小的纹理细节的感知能力，可以更加精确地去除原始图片中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息。
70.其中，如图3，本实施例的图像处理模型通过以下方法训练获取：
71.步骤301：获取多张原始图像。
72.步骤302：对多张原始图像分别进行模糊化、缩放、添加噪音和图像分辨率压缩处理，得到低分辨率图像；低分辨率作为用于训练图像处理模型的输入数据。本实施例中低和高都是相对的概念，均是相对于原始图像而言，没有具体的限定作用。例如，本实施例的低分辨率图片的宽和高为对应的原始图像的1/4大小，对原始图像采用模糊化、缩放、加噪声、图像压缩4种算法依次进行处理，得到用于训练图像处理模型的输入数据。
73.具体的，本实施例使用各项同性(isotropic)和各向异性(anisotropic)的高斯模糊核，来实现对原始图像的模糊化处理；对于图像尺寸的缩小操作，常用的方法有：双三次插值、双线性插值、区域插值。在执行图像缩小操作时，本实施例从提到的3种插值方式中随机选择一种；对于加入噪声操作，本方法同时加入高斯噪声和服从泊松分布的噪声。同时，根据待超分图像的通道数，加入噪声的操作可以分为对彩色图像添加噪声和对灰度图像添加噪声。图像压缩采用jpeg压缩，本实施例通过从[0,100]范围中随机选择压缩质量，对图像进行jpeg压缩，其中0表示压缩后的质量最差，100表示压缩后的质量最好。
[0074]
步骤303：对多张原始图像进行去噪、修复和分辨率放大处理得到标注后的高分辨率图像，高分辨率图像为用于作为训练图像处理模型的输出数据。本实施例通过人工对多张原始图像进行手动标注，以得到用于作为训练图像处理模型的输出数据。例如，对原始图像进行去除原始图片中的噪声、污迹、杂线、纸张背面透过的干扰内容等无用信息，恢复或补全缺失字符、线框等缺失有用细节信息。对原有字符的笔画进行加深、加粗为黑色或深蓝色，图片背景色的rgb颜色统一为(254，246，197)。
[0075]
步骤304：采用输入数据和输出数据对图像处理模型进行训练，直到图像处理模型的性能满足预设要求，以得到训练好的图像处理模型。
[0076]
具体的，本实施例的网络模型包括判别器(即判别模块)和生成器(即图像处理模
块)两部分，判别器采用u-net结构网络模型，判别器用于在模型训练时，对训练的结果在对图像的整体以及像素两个角度进行真假判断，这能够在保证生成图像在宏观上真实的情况下同时注重生成图像细节，以保证模型的训练精度。生成器用于将低分辨率图片(即原始图像)进行处理得到与其对应的高分辨率且大尺寸的高清化图片。
[0077]
本实施例中，原始gan(generative adversarial network)生成对抗网络鉴别器分类网络判别器分类网络作为u-net网络的编码器部分，采用超分辨率生成对抗网络模型的生成器作为u-net网络的解码器部分。生成器和解码器通过瓶颈结构和跳跃连接进行连接，可以从编码器的不同层级的特征图复制并拼接至解码器的不同层级的特征。u-net编码器部分将输入图片整体作真实和虚假判别，u-net解码器部分将输入图片的每一个像素作真实和虚假判别，对输入图片分割出真假区域。
[0078]
将低分辨率图片通过超分辨率生成对抗网络模型的生成器生成与对应的高分辨率且尺寸相同的图片，将生成器生成的高分辨率图片与标签高分辨率图片(即人工标注的训练数据)输入超分辨率生成对抗网络模型的判别器进行真假判别联合训练，并在训练过程中通过梯度反向传播不断优化判别器以及生成器中的参数，从而得到具备更佳参数的生成器。
[0079]
本实施例使用扫描仪扫描纸质档案，对档案图片进行纠偏、裁切提取档案的关键区域原始图像，以档案的关键区域子图作为模型的输入，图像处理模型的生成器对其进行超高清化处理。图像处理模型的生成器和判别器，需要使用训练文档图片数据进行联合训练，最终使用生成器部分对新的文档关键区域的原始图片进行超高清化处理。经过测试，采用本实施例的图像处理模型对档案图像进行超高清化处理，可大大节省文档高清化过程中的人力和时间成本。
[0080]
实施例二：
[0081]
下面对本发明提供的高清化处理装置进行描述，下文描述的高清化处理装置与上文描述的高清化处理方法可相互对应参照。
[0082]
本实施例提供一种图像高清化处理装置，其包括：图像获取模块401和图像处理模块402。
[0083]
其中，图像获取模块401用于获取待处理的原始图像。图像处理模块402用于将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
[0084]
本实施例的上述各个功能模块的实现方法以及技术效果和上述实施例一中的高清化处理方法类似，本实施例中不再赘述。
[0085]
实施例三：
[0086]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
[0087]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0088]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
[0089]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像高清化处理方法，该方法包括：获取待处理的原始图像，将待处理的原始图像输入到预先训练好的图像处理模型中，图像处理模型用于对输入的待处理图像进行去噪、修复和分辨率放大处理，得到高清化的目标图像。
[0090]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0091]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0092]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。