表格图像的处理方法及设备与流程

本申请涉及图像识别，尤其涉及一种表格图像的处理方法及设备。

背景技术：

1、表格是文档中最常见也最直观的一种信息组织形式，包含了用户的很多结构化的信息，获取这些结构化信息有助于构建庞大的数据库来进行数据的存储和管理。通过光学字符识别技术(optical character recognition，ocr)对表格图像进行ocr识别，基于ocr识别结果可以实现表格内容的识别。

技术实现思路

1、本申请实施例提供一种表格图像的处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高表格图像的表格识别准确性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种表格图像的处理方法，包括：

4、对表格图像进行切分，得到m个具有目标尺寸的子表格图像，所述m为大于1的整数，所述目标尺寸为表格识别模型对应的图像输入尺寸；

5、对所述表格图像进行尺寸调整，得到具有所述目标尺寸的目标表格图像；

6、对所述m个子表格图像进行编码，得到m个子表格图像特征，以及对所述目标表格图像进行编码，得到目标表格图像特征；

7、通过所述表格识别模型，对所述目标表格图像特征和所述m个子表格图像特征进行表格识别，得到所述表格图像的表格识别结果。

8、本申请实施例还提供一种表格图像的处理装置，包括：

9、切分模块，用于对表格图像进行切分，得到m个具有目标尺寸的子表格图像，所述m为大于1的整数，所述目标尺寸为表格识别模型对应的图像输入尺寸；

10、调整模块，用于对所述表格图像进行尺寸调整，得到具有所述目标尺寸的目标表格图像；

11、编码模块，用于对所述m个子表格图像进行编码，得到m个子表格图像特征，以及对所述目标表格图像进行编码，得到目标表格图像特征；

12、表格识别模块，用于通过所述表格识别模型，对所述目标表格图像特征和所述m个子表格图像特征进行表格识别，得到所述表格图像的表格识别结果。

13、本申请实施例还提供一种电子设备，包括：

14、存储器，用于存储计算机可执行指令；

15、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的表格图像的处理方法。

16、本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令或计算机程序，所述计算机可执行指令或计算机程序被处理器执行时，实现本申请实施例提供的表格图像的处理方法。

17、本申请实施例还提供一种计算机程序产品，包括计算机可执行指令或计算机程序，所述计算机可执行指令或计算机程序被处理器执行时，实现本申请实施例提供的表格图像的处理方法。

18、本申请实施例具有以下有益效果：

19、应用本申请实施例，首先对表格图像进行切分，得到m个具有目标尺寸的子表格图像，并对表格图像进行尺寸调整，得到具有目标尺寸的目标表格图像，该目标尺寸为表格识别模型对应的模型输入尺寸；然后对m个子表格图像进行编码，得到m个子表格图像特征，并对目标表格图像进行编码，得到目标表格图像特征；最后通过表格识别模型，对目标表格图像特征和m个子表格图像特征进行表格识别，得到表格图像的表格识别结果。

20、这里，(1)利用一个表格识别模型实现了表格图像的表格识别，无需依赖ocr识别技术，避免了ocr识别误差对于表格识别的影响；(2)采用表格识别模型的图像输入尺寸对表格图像进行切分以使得子表格图像具有目标尺寸，能够适应表格识别模型的输入尺寸，避免了为使表格识别模型处理表格图像的图像特征，而将表格图像压缩到目标尺寸所带来的压缩形变，从而保证表格图像的图像特征能够更好地保留；(3)通过表格识别模型对目标表格图像特征和m个子表格图像特征进行表格识别，使得表格识别模型能够关注到表格图像的局部特征(即每个子表格图像特征)和表格图像的整体特征(即目标表格图像特征)间的关系。如此，通过本申请实施例能够提高表格图像的表格识别准确性。

技术特征：

1.一种表格图像的处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述对表格图像进行切分，得到m个具有目标尺寸的子表格图像，包括：

3.如权利要求1所述的方法，其特征在于，所述对所述m个子表格图像进行编码，得到m个子表格图像特征，包括：

4.如权利要求1所述的方法，其特征在于，所述对所述m个子表格图像进行编码，得到m个子表格图像特征，包括：

5.如权利要求4所述的方法，其特征在于，所述对所述m个子表格图像进行视觉特征提取，得到m个第三视觉特征，包括：

6.如权利要求4所述的方法，其特征在于，所述对所述m个子表格图像进行语义特征提取，得到m个第一语义特征，包括：

7.如权利要求1所述的方法，其特征在于，所述表格识别模型的训练过程包括：

8.如权利要求7所述的方法，其特征在于，所述初始表格识别模型包括第一表格识别子模型和第二表格识别子模型，所述第一表格识别子模型的模型参数的参数量多于所述第二表格识别子模型的模型参数的参数量；

9.如权利要求1所述的方法，其特征在于，所述通过所述表格识别模型，对所述目标表格图像特征和所述m个子表格图像特征进行表格识别，得到所述表格图像的表格识别结果，包括：

10.一种表格图像的处理装置，其特征在于，所述装置包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，存储有计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时，实现权利要求1至9任一项所述的表格图像的处理方法。

13.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时，实现权利要求1至9任一项所述的表格图像的处理方法。

技术总结
本申请提供了一种表格图像的处理方法及设备，表格图像的处理方法包括：对表格图像进行切分，得到M个具有目标尺寸的子表格图像，所述M为大于1的整数，所述目标尺寸为表格识别模型对应的图像输入尺寸；对所述表格图像进行尺寸调整，得到具有所述目标尺寸的目标表格图像；对所述M个子表格图像进行编码，得到M个子表格图像特征，以及对所述目标表格图像进行编码，得到目标表格图像特征；通过所述表格识别模型，对所述目标表格图像特征和所述M个子表格图像特征进行表格识别，得到所述表格图像的表格识别结果；通过本申请，能够提高表格图像的表格识别准确性。

技术研发人员：王雷
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/9/19