表格结构的解析方法和装置与流程

本申请涉及图像识别，尤其涉及一种表格结构的解析方法和装置。

背景技术：

1、表格作为一种可视化的交流模式和数据组织整理的常用方法，通常以照片或电子扫描图片或pdf的形式呈现，常出现在报刊杂志、科学文献、财务报表等各类文档中。由于表格中通常包含重要的文字和数据等信息，因此，有效提取表格中的信息至关重要。

2、在相关技术中，在提取表格中的信息时，通常需要对表格的结构进行解析，以得到表格中的单元格及对应的坐标信息。然而，在实际场景中，表格的结构往往比较复杂，比如，表格中常出现跨行和跨列的单元格，或者同一表格中的表格线长度不一致等，这样就会导致在对表格的结构进行解析时，解析难度较大，解析得到的表格结构的准确度较低。

技术实现思路

1、本申请实施例提供一种表格结构的解析方法和装置，用于解决目前在对表格的结构进行解析时，解析得到的表格结构的准确度较低的问题。

2、为解决上述技术问题，本申请实施例是这样实现的：

3、第一方面，提出一种表格结构的解析方法，包括：

4、获取包含目标表格的表格图像；

5、获取预先训练的表格识别模型，所述表格识别模型包括特征提取层、特征合并层、编码层、解码层和输出层；

6、使用所述表格识别模型对所述表格图像进行识别，得到所述目标表格的横线识别结果和竖线识别结果；

7、根据所述目标表格的横线识别结果和竖线识别结果，确定所述目标表格的表格结构。

8、第二方面，提出一种表格结构的解析装置，包括：

9、第一获取模块，获取包含目标表格的表格图像；

10、第二获取模块，获取预先训练的表格识别模型，所述表格识别模型包括特征提取层、特征合并层、编码层、解码层和输出层；

11、识别模块，使用所述表格识别模型对所述表格图像进行识别，得到所述目标表格的横线识别结果和竖线识别结果；

12、确定模块，根据所述目标表格的横线识别结果和竖线识别结果，确定所述目标表格的表格结构。

13、第三方面，提供一种电子设备，包括：

14、处理器；

15、用于存储所述处理器可执行指令的存储器；

16、其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法。

17、第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的方法。

18、本申请实施例采用的上述至少一个技术方案能够达到以下技术效果：

19、本申请实施例可以预先训练用于识别表格中横竖线（即行列线）的表格识别模型，该表格识别模型包括特征提取层、特征合并层、编码层、解码层和输出层，在对表格的结构进行解析时，可以使用预先训练的表格识别模型识别表格图像中目标表格的横线和竖线，然后基于横竖线的识别结果确定目标表格的表格结构。由于表格识别模型中包括特征提取层、特征合并层、编码层、解码层和输出层，因此，在对表格图像进行识别时，能够充分挖掘表格图像中目标表格的浅层和深层特征，提高识别到的横竖线的准确度，进而在基于识别到的横竖线确定表格结构时，能够得到准确度较高的表格结构，有效改善表格结构的解析效果。此外，由于在对表格结构进行解析的过程中，可以不依赖于图像处理技术和文本检测技术，也无需对表格图像进行格式转换，因此能够适用于各种不同类型的表格，具有较强的鲁棒性和泛化性。

技术特征：

1.一种表格结构的解析方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述表格识别模型通过以下方式训练得到：

3.如权利要求1或2所述的方法，其特征在于，所述特征提取层包括第一特征提取模块和第二特征提取模块；

4.如权利要求3所述的方法，其特征在于，所述第一特征提取模块的数量为3，所述第二特征提取模块的数量为1，所述特征提取层用于输出4组特征，一个特征提取模块对应输出一组特征，所述特征合并层用于对所述特征提取层输出的4组特征进行合并。

5.如权利要求1或2所述的方法，其特征在于，所述编码层包括依次连接且输出通道数依次成倍递增的第一编码模块、第二编码模块、第三编码模块、第四编码模块和第五编码模块；

6.如权利要求5所述的方法，其特征在于，所述解码层包括依次连接且包含卷积层的第一解码模块、第二解码模块、第三解码模块和第四解码模块；

7.如权利要求6所述的方法，其特征在于，所述输出层包括第一输出结果、第二输出结果、第三输出结果和第四输出结果；

8.如权利要求7所述的方法，其特征在于，在训练所述表格识别模型的过程中，所述表格识别模型的损失函数基于所述第一输出结果的损失函数、所述第二输出结果的损失函数、所述第三输出结果的损失函数以及所述第四输出结果的损失函数确定。

9.如权利要求7所述的方法，其特征在于，所述使用所述表格识别模型对所述表格图像进行识别，得到所述目标表格的横线识别结果和竖线识别结果，包括：

10.如权利要求1所述的方法，其特征在于，所述根据所述目标表格的横线识别结果和竖线识别结果，确定所述目标表格的表格结构，包括：

11.如权利要求10所述的方法，其特征在于，所述对所述横线识别结果进行后处理得到目标横线，包括：

12.如权利要求11所述的方法，其特征在于，所述根据所述候选横线确定目标横线，包括：

13.如权利要求10所述的方法，其特征在于，所述根据所述目标横竖线，确定所述目标表格中的单元格以及所述单元格的坐标信息，包括：

14.一种表格结构的解析装置，其特征在于，包括：

15.一种电子设备，其特征在于，包括：

16.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至13中任一项所述的方法。

技术总结
本申请公开了一种表格结构的解析方法和装置，该方法包括：获取包含目标表格的表格图像；获取预先训练的表格识别模型，所述表格识别模型包括特征提取层、特征合并层、编码层、解码层和输出层；使用所述表格识别模型对所述表格图像进行识别，得到所述目标表格的横线识别结果和竖线识别结果；根据所述目标表格的横线识别结果和竖线识别结果，确定所述目标表格的表格结构。本申请实施例在对表格图像进行识别时，能够充分挖掘表格图像中目标表格的浅层和深层特征，提高识别到的横竖线的准确度，进而在基于识别到的横竖线确定表格结构时，能够得到准确度较高的表格结构，有效改善表格结构的解析效果。

技术研发人员：杨烨,范峻植,冉承祥,夏粉,蒋宁
受保护的技术使用者：北京中关村科金技术有限公司
技术研发日：
技术公布日：2024/1/12