一种基于改进的Transformer的文档伪影去除方法与流程

本发明涉及ocr，具体为一种基于改进的transformer的文档伪影去除方法。

背景技术：

1、随着自然语言处理(nlp)和自然语言理解(nlu)的重要性不断增强，强大的语言模型为优化过时的流程创造了广泛的可能性。

2、现有技术中，这些过时的流程包括处理扫描的文档、印刷品和传真等非完全数字化的数据。然而，提取这些扫描文档中的文本信息并获得高质量的ocr结果并不总是容易的。文档扫描过程中可能存在各种错误和质量问题，改进文档质量是一项具有挑战性的任务。因此，通常采用纠正提取后文本中的错误的方法来解决这个问题，而不是直接提高文档质量。这种方法可以帮助提升自然语言模型的性能，并提高对文档中重要信息的准确提取能力。但是，这些方法无法纠正新实体，例如罕见的姓名、地址或联系方式(电话、传真、电子邮件地址)，而这些实体对于信息提取任务非常重要。

3、为了应对上述问题，一些方法已经提出，例如利用生成对抗网络(gan)或基于卷积层的自动编码器来改善文档中的文本质量。这些方法旨在提高ocr结果的准确性和文本的可读性，从而为信息提取和其他相关任务提供更可靠的基础。通过这些技术的应用，可以更好地处理文档中的文本信息，识别和纠正错误，使得文本更易于理解和分析。但是，这些研究主要关注去除噪声背景产生的伪影，使用的数据集相对较小且数据变异性较低。除了噪声之外，ocr识别结果通常还会受到压缩错误、图像降采样和字符模糊等问题的影响。

技术实现思路

1、本发明的目的在于提供一种基于改进的transformer的文档伪影去除方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于改进的transformer的文档伪影去除方法，所述方法包括如下步骤：

3、s1、在u-net网络中引入swin transformer构成su-net网络；

4、s2、将su-net网络中的跳跃连接替换为多头交叉注意力连接；

5、s3、构建数据集训练改进后的su-net网络。

6、优选的，在u-net网络中引入swin transformer构成su-net网络的具体操作包括：

7、在su-net中，使用3×3卷积来获得输入图像浅层特征，通过u-net网络进行特征提取，将swin transform block作为基本提取模块来替换u-net中的普通卷积层并获取高级语义信息，使用3×3卷积来恢复重建的图。

8、优选的，在u-net网络中引入swin transformer构成su-net网络时，提出双重上采样模块，双重上采样模块结合双线性插值和像素重排，避免产生棋盘伪影。

9、优选的，在u-net中，跳跃连接是通过将编码器的特征图与解码器对应层的特征图进行连接实现。

10、优选的，构建数据集训练改进后的su-net网络时，训练模型时同时拥有包含伪影和其清晰对应物的文档。

11、优选的，构建数据集训练改进后的su-net网络时，创建合成数据集，干净的真实文档来自publaynet数据集，数据集用于文档布局分析任务，具有多种文档结构、字体和字号，通过合成添加包括压缩错误、文字中的像素化错误和噪声构建包含伪影的对比图像。

12、与现有技术相比，本发明的有益效果是：

13、本发明提出的基于改进的transformer的文档伪影去除方法，通过su-net在引入多头交叉注意力模块，使得模型能够在解码器和编码器之间建立关联，并选择性地传递重要的上下文信息。这种设计允许模型更好地理解图像中的相关性，从而更有效地处理扫描文档中的关键信息。特别是在处理包含文本的图像时，模型能够专注于处理接近文本区域的伪影和错误，提高对重要信息的识别能力。此外，将编码器的信息传递到解码器的深层状态中，为模型提供了访问从编码器中提取的像素和特征的机会，进一步增强了模型的表达能力和性能。

技术特征：

1.一种基于改进的transformer的文档伪影去除方法，其特征在于：所述方法包括如下步骤：

2.根据权利要求1所述的一种基于改进的transformer的文档伪影去除方法，其特征在于：在u-net网络中引入swin transformer构成su-net网络的具体操作包括：

3.根据权利要求2所述的一种基于改进的transformer的文档伪影去除方法，其特征在于：在u-net网络中引入swin transformer构成su-net网络时，提出双重上采样模块，双重上采样模块结合双线性插值和像素重排，避免产生棋盘伪影。

4.根据权利要求1所述的一种基于改进的transformer的文档伪影去除方法，其特征在于：在u-net中，跳跃连接是通过将编码器的特征图与解码器对应层的特征图进行连接实现。

5.根据权利要求1所述的一种基于改进的transformer的文档伪影去除方法，其特征在于：构建数据集训练改进后的su-net网络时，训练模型时同时拥有包含伪影和其清晰对应物的文档。

6.根据权利要求1所述的一种基于改进的transformer的文档伪影去除方法，其特征在于：构建数据集训练改进后的su-net网络时，创建合成数据集，干净的真实文档来自publaynet数据集，数据集用于文档布局分析任务，具有多种文档结构、字体和字号，通过合成添加包括压缩错误、文字中的像素化错误和噪声构建包含伪影的对比图像。

技术总结
本发明涉及OCR技术领域，具体为一种基于改进的Transformer的文档伪影去除方法，包括如下步骤：在U‑Net网络中引入Swin Transformer构成SU‑Net网络；将SU‑Net网络中的跳跃连接替换为多头交叉注意力连接；构建数据集训练改进后的SU‑Net网络；有益效果为：本发明提出的基于改进的Transformer的文档伪影去除方法，通过SU‑Net在引入多头交叉注意力模块，使得模型能够在解码器和编码器之间建立关联，并选择性地传递重要的上下文信息。这种设计允许模型更好地理解图像中的相关性，从而更有效地处理扫描文档中的关键信息。

技术研发人员：刘玉国,段强,宁方刚,姜凯
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：
技术公布日：2024/1/15