一种基于Xpath技术实现数据统计可视化的控制方法及装置与流程

一种基于xpath技术实现数据统计可视化的控制方法及装置
技术领域
1.本发明属于数据统计领域，特别是一种基于xpath技术实现数据统计可视化的控制方法及装置。


背景技术：

2.当前是数据的时代，各种各样的数据堆积成山，如何在这些杂乱无章的数据中找出有规律的、基于某些统计字段的统计数据显得越来越重要。统计报表数据能够为决策、研究、分析等提供重要依据，但是，目前对于数据的统计处理可扩展性较差，效率低且成本较高。
3.xpath即为xml路径语言（xml path language），它是一种用来确定xml文档中某部分位置的语言。xpath基于xml的树状结构，提供在数据结构树中找寻节点的能力。起初xpath的提出的初衷是将其作为一个通用的、介于xpointer与xsl间的语法模型。但是xpath很快的被开发者采用来当作小型查询语言。
4.统计报表是指各级企事业、行政单位按规定的表格形式、内容、时间要求报送程序，自上而下统一布置，提供统计资料的一种统计调查方式。它是我国取得国民经济和社会发展情况基本统计资料的一种重要手段。目前最常用的做法是各种统计报表，这种报表和页面元素脱离单独展现，所以不直观。
5.如何将xpath与统计报表相结合并通过xpath来展现元素数据，如何直观地看到页面每一个位置的点击数据成为了目前亟待解决的技术问题，而目前，并没有一种能够解决上述技术问题的技术方案，具体地，并没有一种基于xpath技术实现数据统计可视化的控制方法及装置。


技术实现要素：

6.针对现有技术存在的技术缺陷，本发明的目的是提供一种基于xpath技术实现数据统计可视化的控制方法及装置，根据本发明的一个方面，提供了一种基于xpath技术实现数据统计可视化的控制方法，包括如下步骤：a对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定；b.在满足第二触发监控交互条件时将所述统计数据展现在所述xpath所对应的待统计元素上。
7.优选地，所述步骤a包括如下步骤：a1：通过后台脚本抓取业务页面的待统计元素；a2.基于所述后台脚本解析所述的待统计元素的xpath,并获取所述待统计元素的统计参数；a3.基于所述后台脚本以及所述统计参数确定所述待统计元素的统计数据，并将所述统计数据与所述待统计元素的xpath进行关联绑定。
8.优选地，所述待统计元素包括所述业务页面内所有与用户交互的元素，至少包括图片、链接、标签、按钮、输入框。
9.优选地，所述第一触发监控交互条件至少包括鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互。
10.优选地，所述第二触发监控交互条件至少包括：在执行鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互后，所述业务页面在第一阈值时间内未接收其他用户行为，所述第一阈值的取值范围为0～1s。
11.优选地，所述步骤a2包括如下步骤：-基于所述后台脚本将抓取到的待统计元素解析成dom tree;-遍历所述dom tree，调用xpath解析函数，生成所述待统计元素的xpath；-读取或生成所述待统计元素的统计参数，依次保存到关系型数据库管理系统的数据表中。
12.优选地，所述步骤a3包括如下步骤：-基于后台脚本读取保存在关系型数据库管理系统数据表中的统计参数，生成大数据查询语句；-将大数据查询语句提交至大数据集群进行运算，得到所述待统计元素的统计数据；-将所述统计数据更新到关系型数据库管理系统的数据表中对应的元素行，并与所述待统计元素的xpath进行关联绑定。
13.优选地，在所述步骤b中，当所述业务页面的所述待统计元素为动态加载时，所述待统计元素的内容加载完成时展现所述待统计元素的所述统计数据。
14.优选地，在所述步骤b中，所述业务页面调用后端数据接口，将所述统计数据展现在xpath对应的所述待统计元素上，其展现形式为：-半透明形式；或者-浮层覆盖在所述待统计元素位置的上方或者附近。
15.根据本发明的另一个方面，提供了一种基于xpath技术实现数据统计可视化的控制装置，包括：第一处理装置：对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定；第二处理装置：在满足第二触发监控交互条件时将所述统计数据展现在所述xpath所对应的待统计元素上。
16.优选地，所述第一处理装置包括：第三处理装置：通过后台脚本抓取业务页面的待统计元素；第四处理装置：基于所述后台脚本解析所述的待统计元素的xpath,并获取所述待统计元素的统计参数；第五处理装置：基于所述后台脚本以及所述统计参数确定所述待统计元素的统计数据，并将所述统计数据与所述待统计元素的xpath进行关联绑定。
17.本技术通过脚本解析所需页面内所有统计元素的xpath，通过元素的xpath，获取
元素的数据统计参数，通过后台脚本运算，自动运算所有统计参数得到元素的相关统计数据，如：pv，uv，并与xpath进行关联；前端通过调用数据接口，将数据展现在xpath所对应的元素上面，展现形式可以是透明、覆盖在元素上，也可以在元素的旁边，所以展现形式不限；如果页面中的元素内容为动态加载，即页面内容是按需加载的，只有用户需要它展现的瞬间才开始加载，可视化报表也会自动判断内容是否已加载，并且会一直监听内容加载是否完成，如果完成，则立即展现元素相关数据；如果页面中的元素为tab切换/轮播图等形式，在其tab切换到前台显示时，相关元素的统计数据才展现。所以可视化数据报表的统计数据并不会影响页面的整体结构和内容。
18.本发明提供了一种基于xpath技术实现业务页面数据统计可视化的方法，对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定；在满足第二触发监控交互条件时将所述统计数据展现在所述xpath所对应的待统计元素上。本发明需要获取每个元素的统计参数，且将所述统计参数和元素的位置绑定，而在现有技术中的报表则不需要位置信息，它只需反映元素的点击量，但这个元素在哪个位置，传统报表并不关注，所以本技术采用xpath来定位元素。由于页面内容有懒加载机制，以及通过鼠标划过、下拉时才展现或加载内容，所以这些元素在没有展现之前，统计数据是无法进行关联绑定，在本技术中优选地增加事件监控，监控到这些元素内容展现后，就立即将统计数据绑定上去，并展现。由于给元素绑定数据、增加元素的事件监控等动作会改变页面内容，但这并不影响原页面的样式布局以及原页面的任何功能。本技术结构简单，使用方便，功能强大，具有极高的商业价值。
附图说明
19.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1示出了本发明的具体实施方式的，一种基于xpath技术实现数据统计可视化的控制方法的具体流程示意图；图2示出了本发明的第一实施例的，对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定的具体流程示意图；以及图3示出了本发明的另一具体实施方式的，一种基于xpath技术实现数据统计可视化的控制装置的模块连接示意图。
具体实施方式
20.为了更好地使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.图1示出了本发明的具体实施方式的，一种基于xpath技术实现数据统计可视化的控制方法的具体流程示意图，具体地，包括如下步骤：
首先，进入步骤s101，对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定，本领域技术人员理解，所述用户行为即为用户在使用智能终端时进行的一系列操作，其包括但不限于鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互，进一步地，所述第一触发监控交互条件即为所述用户行为的一部分，其至少包括鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互，即当满足第一触发监控交互条件时，获取基于页面待统计元素所确定的统计数据，获取基于页面待统计元素所确定的xpath，并将两者进行绑定，所述xpath是页面元素的相对路径或绝对路径的代码，本技术将在后述实施例中对关联绑定进行具体描述，在此不予赘述。
22.然后，进入步骤s102，在满足第二触发监控交互条件时将所述统计数据展现在所述xpath所对应的待统计元素上，所述第二触发监控交互条件至少包括：在执行鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互后，所述业务页面在第一阈值时间内未接收其他用户行为，所述第一阈值的取值范围为0～1s，在这样的实施例中，所述其他用户行为将被理解为执行鼠标点击、鼠标滑过、鼠标停留、鼠标滚动、触摸交互等操作，而从较大的层面理解，所述其他用户行为还可以是任意终端指令，本技术步骤s102的技术方案旨在描述一种情境，即用户在满足第一触发监控交互条件后，系统完成了统计数据与xpath的关联绑定，而当用户进一步地给出需要了解可视化数据统计的具体分析的需求时，其可以是鼠标停留、鼠标点击、长按屏幕甚至是通过视觉捕捉技术捕捉到的眼睛视线停留等等，将所述统计数据展现在所述xpath所对应的待统计元素上。
23.进一步地，所述待统计元素包括所述业务页面内所有与用户交互的元素，包括但不限于图片、链接、标签、按钮、输入框。
24.进一步地，在所述步骤s102中，当所述业务页面的所述待统计元素为动态加载时，所述待统计元素的内容加载完成时展现所述待统计元素的所述统计数据。
25.进一步地，在所述步骤s102中，所述业务页面调用后端数据接口，将所述统计数据展现在xpath对应的所述待统计元素上，其展现形式可以为半透明形式，而在其他的实施例中，还可以为浮层覆盖在所述待统计元素位置的上方或者附近这样的形式。
26.图2示出了本发明的第一实施例的，对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定的具体流程示意图，所述图2即为所述步骤s101的流程细化，具体地，所述步骤s101包括如下步骤：首先，进入步骤s1011，通过后台脚本抓取业务页面的待统计元素，所述待统计元素即为可以视线页面数据统计可视化的一些元素，可以为图片、链接、标签、按钮、输入框等等。
27.然后，进入步骤s1012，基于所述后台脚本解析所述的待统计元素的xpath,并获取所述待统计元素的统计参数，首先基于所述后台脚本将抓取到的待统计元素解析成dom tree，然后遍历所述dom tree，调用xpath解析函数，生成所述待统计元素的xpath，最后读取或生成所述待统计元素的统计参数，依次保存到关系型数据库管理系统的数据表中，在这样的实施例中，由于有些参数是由预先设置在页面中的，故读取或生成所述待统计元素的统计参数。
28.最后，进入步骤s1013，基于所述后台脚本以及所述统计参数确定所述待统计元素的统计数据，并将所述统计数据与所述待统计元素的xpath进行关联绑定。本领域技术人员理解，首先基于后台脚本读取保存在关系型数据库管理系统数据表中的统计参数，生成大数据查询语句，然后将大数据查询语句提交至大数据集群进行运算，得到所述待统计元素的统计数据，最后将所述统计数据更新到关系型数据库管理系统的数据表中对应的元素行，并与所述待统计元素的xpath进行关联绑定，其中，所述大数据的范围包括且不限于spark、hive、presto。
29.本领域技术人员理解，本技术通过后台脚本抓取业务的需要统计的页面内容，页面内容包括：所有可以与用户交互的元素，如图片、链接、标签、按钮、输入框等元素，交互方式可以是鼠标点击、鼠标滑过、鼠标停留、鼠标滚动等，或者触摸交互，后台脚本解析页面内所有元素的xpath，后台抓取到页面后，将页面元素解析成dom tree，通过遍历dom tree，调用xpath解析函数，生成元素xpath，并根据统计规则生成元素的统计参数，依次保存到mysql数据表中，并获取元素的数据统计参数，所述统计参数预先标识在元素上，或由特定的规则自动分配；然后通过后台脚本运算，自动运算所有统计参数得到元素的相关统计数据，并与元素的xpath进行关联绑定，在大数据运算服务器上，脚本读取保存在mysql数据表中的统计参数，生成大数据查询语句，如：spark-sql/hive/presto等，在本技术中采用的是spark-sql，并提交至大数据集群进行运算，运算完成后，将结果集更新到mysql表中对应的元素行；再然后前端通过调用后端数据接口，页面调用后端数据接口，将数据展现在xpath所对应的元素上面，展现形式可以是半透明、浮层等形式覆盖在元素位置上，展现形式不限；如果页面中的元素内容为动态加载，即页面内容是按需加载的，只有用户触发它展现的瞬间才开始加载，可视化报表会自动判断内容是否已加载，加载完成则立即展现元素相关统计数据；可视化数据报表的统计数据不会影响页面的整体结构，也不会影响页面的任何功能。
30.图3示出了本发明的另一具体实施方式的，一种基于xpath技术实现数据统计可视化的控制装置的模块连接示意图，本技术所述的基于xpath技术实现数据统计可视化的控制装置采用图1至图2所述的控制方法，包括第一处理装置1：对用户行为进行监控，以使得在满足第一触发监控交互条件时将基于页面待统计元素所确定的统计数据与基于页面待统计元素所确定的xpath进行关联绑定，所述第一处理装置1的工作原理可以参考前述步骤s101，在此不予赘述。
31.进一步地，还包括第二处理装置2：在满足第二触发监控交互条件时将所述统计数据展现在所述xpath所对应的待统计元素上，所述第二处理装置2的工作原理可以参考前述步骤s102，在此不予赘述。
32.进一步地，所述第一处理装置1包括第三处理装置11：通过后台脚本抓取业务页面的待统计元素，所述第三处理装置11的工作原理可以参考前述步骤s1011，在此不予赘述。
33.进一步地，所述第一处理装置1还包括第四处理装置12：基于所述后台脚本解析所述的待统计元素的xpath,并获取所述待统计元素的统计参数，所述第四处理装置12的工作原理可以参考前述步骤s1012，在此不予赘述。
34.进一步地，所述第一处理装置1还包括第五处理装置13：基于所述后台脚本以及所述统计参数确定所述待统计元素的统计数据，并将所述统计数据与所述待统计元素的
xpath进行关联绑定，所述第五处理装置13的工作原理可以参考前述步骤s1013，在此不予赘述。
35.需要说明的是，上述各装置实施例的具体实施方式与前述对应方法实施例的具体实施方式相同，在此不再赘述。
36.在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
37.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实施例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
38.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
39.此外，本领域技术人员理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
40.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域技术人员理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
41.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。
42.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。