页面结构化数据提取方法、终端设备及存储介质与流程

本发明涉及页面处理技术领域，尤其涉及一种页面结构化数据提取方法、终端设备及存储介质。

背景技术：

目前一般通过对html标签的解析实现对页面展示内容的提取，但是由于目标页面动态生成，导致并不能及时获取目标页面的实际代码结构，由此基于html标签的提取技术存在以下问题：

1、无法在获取目标页面结构说明时就进行调整，必须获取到真实页面以后才可以。

2、由于html结构的复杂性和随意性，即便进行配置，配置量也很庞大，导致硬编码可能成本更低，由此调试和修改周期大大延长。

3、算法同提取逻辑高度耦合，维护成本高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种页面结构化数据提取方法、终端设备及存储介质，旨在解决现有技术中页面结构化数据提取不及时、调试和修改周期延长、以及维护成本高的技术问题。

为实现上述目的，本发明提供一种页面结构化数据提取方法，所述方法包括以下步骤：

接收html页面报文；

对所述html页面报文进行预处理，获得文本序列；

对所述文本序列进行分段处理；

从分段处理后的文本序列中提取所需文本作为结构化数据。

优选地，所述对所述html页面报文进行预处理，获得文本序列，具体包括：

通过结构化配置对所述html页面报文进行预处理，获得文本序列。

优选地，所述通过结构化配置对所述html页面报文进行预处理，获得文本序列，具体包括：

通过所述结构化配置去除所述html页面报文中的注释；

通过所述结构化配置去除所述html页面报文的报文头；

将所述html页面报文中的预设标签替换为空白字符；

对所述html页面报文中的空白字符进行去重处理；

通过html标签对所述html页面报文进行切割，获得字符串数组；

取出所述字符串数组中仅含有空白字符的元素；

去除所述字符串数组中的非空白元素的空白字符，获得文本序列。

优选地，所述从分段处理后的文本序列中提取所需文本作为结构化数据，具体包括：

根据本段落关键字及下一段落关键字配置，从所述分段处理后的文本序列中提取待结构化分段；

根据各待结构化分段的偏移量配置，从各待结构化分段中获取对应的数据信息；

从各待结构化分段中通过列宽度循环提取列表数据；

从各待结构化分段中根据预设关键字列为基准提取带合并单元格的列表；

将提取的数据信息、列表数据及带合并单元格的列表作为所述结构化数据。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的页面结构化数据提取程序，所述页面结构化数据提取程序配置为实现如上所述的页面结构化数据提取方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有页面结构化数据提取程序，所述页面结构化数据提取程序被处理器执行时实现如上所述的页面结构化数据提取方法的步骤。

本发明基于页面展示效果进行解析，而非基于html语法结构进行解析，有效解决了结构化算法对目标页面的依赖性，在获取页面展示需求时，即可开始进行结构化配置，增加了目标页面的数据搜集方式的灵活性，页面说明、照片等材料均可提供有效配置依据，有效提升了结构化配置效率，并降低了后期维护成本。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；

图2为本发明一种实施例的页面结构化数据提取方法的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图。

如图1所示，该终端设备可以包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键或触摸屏。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及页面结构化数据提取程序。

在图1所示的终端设备中，网络接口1004主要用于与外网进行数据通信；用户接口1003主要用于接收用户输入的操作指令；所述终端设备通过处理器1001调用存储器1005中存储的页面结构化数据提取程序，并执行以下操作：

接收html页面报文；

对所述html页面报文进行预处理，获得文本序列；

对所述文本序列进行分段处理；

从分段处理后的文本序列中提取所需文本作为结构化数据。

进一步地，处理器1001可以调用存储器1005中存储的页面结构化数据提取程序，还执行以下操作：

通过结构化配置对所述html页面报文进行预处理，获得文本序列。

进一步地，处理器1001可以调用存储器1005中存储的页面结构化数据提取程序，还执行以下操作：

通过所述结构化配置去除所述html页面报文中的注释；

通过所述结构化配置去除所述html页面报文的报文头；

将所述html页面报文中的预设标签替换为空白字符；

对所述html页面报文中的空白字符进行去重处理；

通过html标签对所述html页面报文进行切割，获得字符串数组；

取出所述字符串数组中仅含有空白字符的元素；

去除所述字符串数组中的非空白元素的空白字符，获得文本序列。

进一步地，处理器1001可以调用存储器1005中存储的页面结构化数据提取程序，还执行以下操作：

根据本段落关键字及下一段落关键字配置，从所述分段处理后的文本序列中提取待结构化分段；

根据各待结构化分段的偏移量配置，从各待结构化分段中获取对应的数据信息；

从各待结构化分段中通过列宽度循环提取列表数据；

从各待结构化分段中根据预设关键字列为基准提取带合并单元格的列表；

将提取的数据信息、列表数据及带合并单元格的列表作为所述结构化数据。

本实施例通过上述方案，基于页面展示效果进行解析，而非基于html语法结构进行解析，有效解决了结构化算法对目标页面的依赖性，在获取页面展示需求时，即可开始进行结构化配置，增加了目标页面的数据搜集方式的灵活性，页面说明、照片等材料均可提供有效配置依据，有效提升了结构化配置效率，并降低了后期维护成本。

基于上述硬件结构，提出本发明页面结构化数据提取方法实施例。

参照图2，图2为本发明页面结构化数据提取方法第一实施例的流程示意图。

在第一实施例中，所述页面结构化数据提取方法包括以下步骤：

s10：接收html页面报文；

s20：对所述html页面报文进行预处理，获得文本序列；

可理解的是，为便于对所述html页面报文进行预处理，可通过结构化配置对所述html页面报文进行预处理。

在具体实现中，所述结构化配置可如下表所示：

在具体实现中，通过结构化配置对所述html页面报文进行预处理，获得文本序列，可具体包括以下步骤(1)～步骤(7)：

(1)、通过所述结构化配置去除所述html页面报文中的注释；这是由于通常html页面报文中存在大量注释，但这些注释对html页面展示没有帮助，需要去除；

(2)、通过所述结构化配置去除所述html页面报文的报文头；这是由于html页面报文的报文头对报文结构化没有意义，需要去除；

(3)、将所述html页面报文中的预设标签替换为空白字符；这是由于<br>、&nbsp；等标签需要替换为空白字符，作为空白字符处理；

(4)、对所述html页面报文中的空白字符进行去重处理；这是由于html对空白字符的显示同实际报文文本不一致，需要将报文文本中多余的空白字符替换掉；

(5)、通过html标签对所述html页面报文进行切割，获得字符串数组；

(6)、取出所述字符串数组中仅含有空白字符的元素；这是由于切割后生成的字符串数组中，将存在大量仅含有空白字符的元素，需要去除。

(7)、去除所述字符串数组中的非空白元素的空白字符，获得文本序列；这是由于剩余的非空白元素中，仍然存在前后的空白字符，需要去除。

s30：对所述文本序列进行分段处理；

s40：从分段处理后的文本序列中提取所需文本作为结构化数据。

在具体实现中，从分段处理后的文本序列中提取所需文本作为结构化数据，可具体包括以下步骤(1)～步骤(5)：

(1)、根据本段落关键字及下一段落关键字配置，从所述分段处理后的文本序列中提取待结构化分段；

(2)、根据各待结构化分段的偏移量配置，从各待结构化分段中获取对应的数据信息；

(3)、从各待结构化分段中通过列宽度循环提取列表数据；

(4)、从各待结构化分段中根据预设关键字列为基准提取带合并单元格的列表；

(5)、将提取的数据信息、列表数据及带合并单元格的列表作为所述结构化数据。

本发明基于页面展示效果进行解析，而非基于html语法结构进行解析，有效解决了结构化算法对目标页面的依赖性，在获取页面展示需求时，即可开始进行结构化配置，增加了目标页面的数据搜集方式的灵活性，页面说明、照片等材料均可提供有效配置依据，有效提升了结构化配置效率，并降低了后期维护成本。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有页面结构化数据提取程序，所述页面结构化数据提取程序被处理器执行时实现如下操作：

接收html页面报文；

对所述html页面报文进行预处理，获得文本序列；

对所述文本序列进行分段处理；

从分段处理后的文本序列中提取所需文本作为结构化数据。

进一步地，所述页面结构化数据提取程序被处理器执行时还实现如下操作：

通过结构化配置对所述html页面报文进行预处理，获得文本序列。

进一步地，所述页面结构化数据提取程序被处理器执行时还实现如下操作：

通过所述结构化配置去除所述html页面报文中的注释；

通过所述结构化配置去除所述html页面报文的报文头；

将所述html页面报文中的预设标签替换为空白字符；

对所述html页面报文中的空白字符进行去重处理；

通过html标签对所述html页面报文进行切割，获得字符串数组；

取出所述字符串数组中仅含有空白字符的元素；

去除所述字符串数组中的非空白元素的空白字符，获得文本序列。

进一步地，所述页面结构化数据提取程序被处理器执行时还实现如下操作：

根据本段落关键字及下一段落关键字配置，从所述分段处理后的文本序列中提取待结构化分段；

根据各待结构化分段的偏移量配置，从各待结构化分段中获取对应的数据信息；

从各待结构化分段中通过列宽度循环提取列表数据；

从各待结构化分段中根据预设关键字列为基准提取带合并单元格的列表；

将提取的数据信息、列表数据及带合并单元格的列表作为所述结构化数据。

本实施例通过上述方案，基于页面展示效果进行解析，而非基于html语法结构进行解析，有效解决了结构化算法对目标页面的依赖性，在获取页面展示需求时，即可开始进行结构化配置，增加了目标页面的数据搜集方式的灵活性，页面说明、照片等材料均可提供有效配置依据，有效提升了结构化配置效率，并降低了后期维护成本。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，终端设备，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。