一种数据请求统计方法、服务端、终端及系统与流程

文档序号:31312882发布日期:2022-08-31 00:01阅读:59来源:国知局
一种数据请求统计方法、服务端、终端及系统与流程

1.本技术涉及信息技术领域,尤其涉及一种数据请求统计方法、服务端、终端及系统。


背景技术:

2.页面访问量,是指用户在单位时间内对网站的访问的数量。例如,某网站由三个页面组成a.htm、b.htm以及c.htm。假设每个页面中均设置有访问量统计代码,某一用户在单位时间内依次访问a.htm两次、访问b.htm一次以及访问c.htm一次,那么,该用户在该网站页面的访问量为四次。在相关技术中,在检测到任一形式的页面刷新操作时,客户端就立即向服务器发送页面访问量统计请求,并由服务端对接收到的页面访问量进行统计。然而,这种无条件的、对任一页面访问量都进行统计的方法,增大了服务端和数据库对数据处理的压力。


技术实现要素:

3.本技术提供了一种数据请求统计方法、服务端、终端、数据请求统计系统以及计算机可读存储介质。
4.本技术提供的数据请求统计方法中,服务端在检测到数据请求时,能够对任一数据请求进行解析,并在数据请求为指定类型的情况下才对数据请求进行统计,从而缓解了服务端以及数据库对每一数据请求均进行统计产生的压力。
5.本技术提供的技术方案是这样的:
6.一种数据请求统计方法,所述方法应用于服务端中;所述服务端与终端之间建立有通信连接;所述方法包括:
7.对所述终端通过所述通信连接发送的数据请求进行解析,得到解析结果;其中,所述解析结果,包括所述数据请求包含的至少一种头域信息;
8.对所述解析结果进行处理,确定所述数据请求的触发方式;
9.在所述触发方式的类型为指定类型的情况下,对所述数据请求进行统计。
10.在一些实施方式中,所述对所述解析结果进行处理,确定所述数据请求的触发方式,包括:
11.确定域值权重信息;其中,所述域值权重信息,包括每一所述头域信息的权重;
12.基于所述域值权重信息以及所述解析结果,确定所述触发方式。
13.在一些实施方式中,所述基于所述域值权重信息以及所述解析结果,确定所述触发方式,包括:
14.确定所述数据请求对应的触发条件属性区间;
15.获取第二阈值;其中,所述第二阈值,为所述数据请求的前一数据请求对应的触发条件属性区间的最大值或最小值;
16.基于所述第一决策树算法、所述触发条件属性区间以及所述第二阈值,确定所述
第一阈值;其中,所述第一阈值,为所述数据请求对应的触发条件属性区间的最大值或最小值;
17.基于所述域值权重信息、所述解析结果以及所述第一阈值,确定所述触发方式。
18.在一些实施方式中,所述基于所述第一决策树算法、所述触发条件属性区间以及所述第二阈值,确定所述第一阈值,包括:
19.在所述第二阈值小于所述触发条件属性区间的最小值的情况下,基于所述第一决策树算法,确定所述第一阈值为所述触发条件属性区间的最小值;
20.在所述第二阈值大于所述触发条件属性区间的最大值的情况下,基于所述第一决策树算法,确定所述第一阈值为所述触发条件属性区间的最大值;
21.在所述第二阈值处于所述触发条件属性区间之内的情况下,基于所述第一决策树算法,确定所述第一阈值为所述第二阈值。
22.在一些实施方式中,所述对所述终端通过所述通信连接发送的数据请求进行解析,得到解析结果,包括:
23.确定时间间隔信息;其中,所述时间间隔信息,为所述数据请求的前一数据请求的触发时刻、与所述数据请求的触发时刻之间的时间间隔;
24.基于所述数据请求的类型和/或所述数据请求的触发时间,确定时间间隔阈值;
25.在所述时间间隔信息大于所述时间间隔阈值的情况下,对所述数据请求进行解析,得到所述解析结果。
26.本技术还提供了一种数据请求统计方法,所述方法应用于终端,所述终端与服务端之间建立有通信连接;所述方法包括:
27.检测数据请求;
28.在检测到数据请求的情况下,通过所述通信连接,将所述数据请求发送至所述服务端;其中,所述数据请求,用于供所述服务端对所述数据请求进行解析,得到解析结果,以及对所述解析结果进行处理,确定所述数据请求的触发方式、并在所述触发方式的类型为指定类型的情况下,对所述数据请求进行统计;所述解析结果,包括所述数据请求包含的至少一种头域信息。
29.在一些实施方式中,所述将所述数据请求发送至所述服务端,包括:
30.基于第二决策树算法对所述数据请求进行判断,得到判断结果;在所述判断结果表示所述数据请求满足第一条件或第二条件的情况下,通过所述通信连接,将所述数据请求发送至所述服务端;其中,所述第一条件,表示所述数据请求为由用户手动触发的点赞请求;所述第二条件,表示时间间隔信息大于或等于时间间隔阈值,且所述数据请求为非点赞请求;所述时间间隔信息,表示从所述数据请求的前一数据请求的触发时刻、至所述数据请求的触发时刻之间的时间差。
31.本技术还提供了一种服务端,所述服务端与终端之间建立有通信连接;所述服务端包括:第一接收模块,第一处理模块、第一统计模块;其中:
32.所述第一接收模块,用于接收所述终端通过所述通信连接发送的数据请求;
33.所述第一处理模块,用于对所述数据请求进行解析,得到解析结果;还用于对所述解析结果进行处理,确定所述数据请求的触发方式;其中,所述解析结果,包括所述数据请求包含的至少一种头域信息;
34.所述第一统计模块,用于在所述触发方式的类型为指定类型的情况下,对所述数据请求进行统计。
35.本技术还提供了一种服务端,所述服务端与终端之间建立有通信连接;所述服务端包括:第一处理器、第一存储器以及第一通信总线,其中:
36.所述第一通信总线,用于实现所述第一处理器与所述第一存储器之间的通信连接;所述第一处理器,用于实现所述第一存储器中存储的计算机程序,以实现如前任一所述的数据请求统计方法。
37.本技术还提供了一种终端,所述终端与所述服务端之间建立有通信连接;所述终端包括:第二接收模块以及第一发送模块;其中:
38.所述第二接收模块,用于检测数据请求;
39.所述第一发送模块,用于在检测到所述数据请求的情况下,通过所述通信连接,将所述数据请求发送至所述服务端;其中,所述数据请求,用于供所述服务端对所述数据请求进行解析,得到解析结果、以及对所述解析结果进行处理,确定所述数据请求的触发方式、并在所述触发方式为指定类型的情况下,对所述数据请求进行统计;所述解析结果,包括所述数据请求包含的至少一种头域信息。
40.本技术还提供了一种终端,所述终端与所述服务端之间建立有通信连接;所述终端包括:第二处理器、第二存储器以及第二通信总线,其中:
41.所述第二通信总线,用于实现所述第二处理器与所述第二存储器之间的通信连接;所述第二处理器,用于实现所述第二存储器中存储的计算机程序,以实现如前任一所述的数据请求统计方法。
42.本技术还提供了一种数据请求统计系统,所述系统包括如前任一所述的服务端以及如前任一所述的终端。
43.本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序;所述计算机程序能够被处理器执行,以实现如前任一所述的应用于服务端的数据请求统计方法、或如前任一所述的应用于终端的数据请求统计方法。
44.由以上可知,本技术提供的应用于服务端的数据请求统计方法,在接收到任一数据请求时,先解析数据请求得到解析结果,再基于解析结果确定数据请求的触发方式,只有在数据请求的触发方式为指定类型的情况下,才对数据请求进行统计。因此,采用本技术提供的应用于服务端的数据请求统计方法,服务端能够对任一数据请求进行解析处理和过滤,只有在数据请求的触发方式满足指定条件时才统计该数据请求,相对于相关技术中对每一数据请求均统计的方法,能够降低对服务端和数据库数据更新和存储的压力。
附图说明
45.图1为本技术提供的一种应用于服务端的数据请求统计方法的流程示意图;
46.图2为本技术提供的第一种应用于服务端的访问量记录请求统计方法的流程示意图;
47.图3为本技术提供的第二种应用于服务端的访问量记录请求统计方法的流程示意图;
48.图4为本技术提供的一种应用于终端的数据请求统计方法的流程示意图;
49.图5为本技术提供的第一种应用于客户端的访问量记录请求统计方法的流程示意图;
50.图6为本技术提供的第二种应用于客户端的访问量记录请求统计方法的流程示意图;
51.图7为本技术提供的第一种服务端的结构示意图;
52.图8为本技术提供的第一种终端的结构示意图;
53.图9为本技术提供的数据请求统计系统的结构示意图。
具体实施方式
54.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
55.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
56.本技术涉及信息技术领域,尤其涉及一种数据请求统计方法、服务端、终端、数据请求统计系统以及计算机可读存储介质。
57.在相关技术中,终端在检测到任一种类型的页面刷新操作时,就立即向服务端发起一次页面访问量统计请求,这种无条件的对任一页面访问量都进行统计的方法,加大了服务端和数据库数据存储和更新的压力。并且,这样的访问量统计方法,并未剔除冗余访问量和虚假访问量,也未区分当前访问量是否为同一用户频繁操作的结果,更无法防止恶意访问以刷新访问量的访问操作。
58.基于此,本技术实施例提供了一种应用于服务端的数据请求统计方法,使得服务端在接收到任一数据请求时,能够首先对数据请求进行解析,在确定数据请求的触发方式的类型为指定类型的情况下,才对数据请求进行统计,从而降低了对任一数据请求均进行统计、而对服务端和数据库产生的数据存储和更新的压力,也能够实现对数据请求中的冗余访问、虚假访问的过滤。
59.在本技术实施例中,服务端与终端之间建立有通信连接。
60.在一种实施方式中,服务端,可以包括数据库。
61.在一种实施方式中,服务端,可以是服务器所在的端点,还可以包括服务器的前端设备。示例性地,服务端的数量可以有多个。
62.在一种实施方式中,终端,可以是具备页面显示功能的设备,示例性地,可以是安装有应用程序的设备。
63.在一种实施方式中,服务端可以同时与多个终端建立通信连接。
64.需要说明的是,本技术实施例提供的数据请求统计方法,可以是通过服务端的处理器来实现的,上述处理器可以为特定用途集成电路(application specific integrated circuit,asic)、数字信号处理器(digital signal processor,dsp)、数字信号处理装置(digital signal processing device,dspd)、可编程逻辑装置(programmable logic device,pld)、现场可编程逻辑门阵列(field programmable gate array,fpga)、中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器中的至少一种。
65.图1为本技术实施例提供的一种应用于服务端的数据请求统计方法的流程示意图。如图1所示,该数据请求统计方法可以包括步骤101至步骤103:
66.步骤101、对终端通过通信连接发送的数据请求进行解析,得到解析结果。
67.其中,解析结果,包括数据请求包含的至少一种头域信息。
68.在一种实施方式中,数据请求,可以是终端检测到的任一数据请求。
69.在一种实施方式中,解析结果,可以是通过以下任一方式得到的:
70.对数据请求所携带的全部字段数据、或者部分字段数据进行解析,得到解析结果;对数据请求中的指定字段信息进行解析,得到解析结果;对目标类型的数据请求进行解析,得到解析结果;对目标时段内的数据请求进行解析,得到解析结果;对指定的终端发送的数据请求进行解析,得到解析结果。
71.在一种实施方式中,头域信息,可以包括general headers、request headers、,response headers以及entity headers任一头域信息。
72.在一种实施方式中,解析结果中所包含的至少一种头域信息,可以包括请求方法头域、cache头域、client头域、cookie/login头域、entity头域、miscellaneous头域、transport头域中的一个或多个。示例性地,在本技术实施例中,可以将上述各个头域信息依次记为a域至g域。
73.步骤102、对解析结果进行处理,确定数据请求的触发方式。
74.在一种实施方式中,数据请求的触发方式,可以为以下任意方式:页面刷新触发、手动触发、通过自动化工具的自动触发、基于脚本的自动触发、通过指定端口的触发、基于指定终端类型的触发、通过指定平台的触发。
75.在一种实施方式中,触发方式,可以是通过对解析结果中的每一头域信息或指定头域信息进行量化,然后再根据量化结果确定的。
76.步骤103、在触发方式的类型为指定类型的情况下,对数据请求进行统计。
77.在一种实施方式中,在触发方式的类型为非指定类型的情况下,可以不对数据请求进行统计。
78.在一种实施方式中,在确定不对数据请求进行统计的情况下,服务端还可以向终端返回不对该数据请求进行统计的理由,或者统计失败的理由。
79.在一种实施方式中,指定类型,表示数据请求属性信息满足以下任一:触发频率小于指定频率、数据请求的来源为特定类型终端、触发数据请求的端口为指定端口、触发数据请求的平台为指定平台、触发数据请求的时段为指定时段、手动触发类型等。
80.在一种实施方式中,对数据请求进行统计,可以是将数据请求所在页面的访问量更新请求发送至数据库,并在数据库中更新对该页面的访问量。
81.在相关技术中,对页面访问量的统计,通常通过网络设备服务商和应用系统提供商提供的统计管理工具实现。但这些统计管理工具中的数据统计的规则是由网络设备服务商以及应用系统提供商预设的,且无法根据实际数据统计的需求而灵活调整。因此,为了实现对数据请求的按需统计,还需要相关工作人员对统计结果进行筛选和汇总整合,从而导致人力成本耗费较大;并且,人工统计过程中容易出现遗漏统计的情况,因此人工统计的准确度较低。
82.由以上可知,本技术实施例提供的应用于服务端的数据请求统计方法,在接收到任一数据请求时,先解析数据请求得到解析结果,再基于解析结果确定数据请求的触发方式,只有在数据请求的触发方式为指定类型的情况下,才对数据请求进行统计。因此,采用
本技术实施例提供的应用于服务端的数据请求统计方法,服务端能够对任一数据请求进行解析处理和过滤,只有在数据请求的触发方式满足指定条件时才统计该数据请求,相对于相关技术中对每一数据请求均统计的方法,能够降低服务端和数据库数据更新和存储的压力。
83.在本技术实施例中,步骤101,可以通过步骤a1至步骤a3来实现:
84.步骤a1、确定时间间隔信息。
85.其中,时间间隔信息,为数据请求的前一数据请求的触发时刻、与数据请求的触发时刻之间的时间间隔。
86.步骤a2、确定时间间隔阈值。
87.在本技术实施例中,基于数据请求的类型和/或数据请求的触发时间,可以确定时间间隔阈值。
88.在本技术实施例中,步骤a1与步骤a2的顺序可以先后调整,本技术实施例对此不做限定。
89.步骤a3、在时间间隔信息大于时间间隔阈值的情况下,对数据请求进行解析,得到解析结果。
90.相应地,在时间间隔信息小于或等于时间间隔阈值的情况下,可以不对解析结果处理,示例性地,还可以向终端返回不对该数据请求处理的理由。
91.在本技术实施例中,若数据请求是由同一用户发起的,且时间间隔信息小于或等于时间间隔阈值,则可以确定该数据请求为冗余数据请求。
92.在本技术实施例中,若时间间隔信息大于时间间隔阈值,可以表明数据请求较大概率地为用户手动触发的,如此,通过判断时间间隔信息,能够过滤掉一部分由脚本触发或自动化测试工具触发的数据请求。
93.在本技术实施例中,在步骤a3之后,还可以执行如下操作:
94.通过通信连接,将时间间隔阈值发送至终端。
95.将时间间隔阈值发送至终端,以供终端对数据请求初步过滤使用。
96.在本技术实施例中,步骤a1还可以通过步骤b1至步骤b3来实现:
97.步骤b1、获取数据请求的地址、以及数据请求对应的用户身份信息。
98.在一种实施方式中,数据请求的地址,可以是以下任一种:
99.发起数据请求的端口号、发起数据请求的互联网协议(internet protocol,ip)地址、发起数据请求的终端的设备标识等。
100.在一种实施方式中,数据请求对应的用户身份信息,可以是携带在数据请求的指定字段中的、或者存储在cookie中的。示例性地,当服务端接收到任一终端发送的数据请求时,为了对数据请求的发起者进行身份识别,会进行session跟踪,进而建立cookie。
101.步骤b2、基于数据请求的地址以及用户身份信息,确定数据请求是否可信。
102.在一种实施方式中,确定数据请求是否为无条件信任请求,可以是根据数据请求的地址以及数据请求对应的用户身份信息确定的。
103.示例性地,在服务端中,针对每一数据请求地址以及数据请求对应的用户身份信息,可以设置是否为无条件信任请求的标识位。当接收到任一数据请求之后,可以根据数据请求地址以及数据请求对应的用户身份信息,查找该数据请求对应的标识位,并通过该标
识位判断该数据请求是否为无条件信任请求。
104.示例性地,在数据请求为无条件信任请求的条件下,可以执行步骤b3;相应地,在数据请求不为无条件信任请求的条件下,可以结束当前执行过程,并向终端返回数据请求不为无条件信任请求的信息。
105.如此,通过基于数据请求的地址以及用户身份信息的初步筛选,可以确定是否对数据请求执行后续的解析和统计操作,从而能够节约服务端的运算资源。
106.步骤b3、在数据请求为可信数据请求的情况下,确定时间间隔信息。
107.相应地,在数据请求为非可信数据请求的情况下,则不需要确定时间间隔信息,且可以结束对数据请求的当前处理流程。示例性地,可以向终端返回数据请求不统计或统计失败的消息,在该消息中,还可以携带数据请求不统计或统计失败的原因数据。
108.相应地,基于以上说明,本技术实施例中确定数据请求是否为冗余数据请求,还可以通过以下方式实现:
109.服务端统计每一数据请求对应的历史地址以及历史用户身份信息,示例性地,历史地址以及历史用户身份信息可以为历史ip+cookie;当接收到新的数据请求时,确定新的数据请求的当前地址以及当前用户身份信息,比如,当前ip+cookie;服务端基于当前ip+cookie、与历史ip+cookie进行匹配,确定匹配成功次数,在单位时间内的匹配成功次数大于或等于指定次数时,确定当前数据请求为冗余数据请求。相应地,在单位时间内的匹配成功的次数小于指定次数时,确定当前数据请求为非冗余数据请求。在本技术实施例中,步骤102可以通过步骤c1至步骤c2来实现:
110.步骤c1、确定域值权重信息。
111.其中,域值权重信息,包括每一头域信息的权重。
112.在一种实施方式中,域值权重信息,可以是根据第一决策树算法确定的。
113.示例性地,第一决策树算法中所包含的状态节点、决策点以及结果节点的数量,可以是根据终端发送的历史数据请求进行分析得到的。
114.在一种实施方式中,对第一决策树算法的调整和训练,可以是基于从终端发送的数据请求样本进行的。
115.在一种实施方式中,在调整和训练的初始阶段,第一决策树算法处理终端发送的历史数据请求时,其准确度可以是较低的,但是随着终端发送的数据请求数量的增多,通过这些数据请求对第一决策树算法进行训练,会逐渐提升第一决策树算法的决策准确度。
116.在一种实施方式中,域值权重信息,可以是根据对终端的数据请求统计的需要而灵活调整的。示例性地,域值权重信息中每一头域信息的权重之和,可以为一常数,比如1。
117.在本技术实施例中,在数据请求为非点赞请求的情况下,确定域值权重信息。示例性地,由于点赞请求的优先级较高,因此,在数据请求为点赞类型的情况下,可以直接统计该点赞请求,而当数据请求为非点赞请求的情况下,再确定域值权重信息。
118.如此,本技术实施例提供的应用于服务端的数据请求统计方法,可以针对点赞请求的高优先级而进行快速判断,从而缩短了对点赞请求的处理时间。
119.步骤c2、基于域值权重信息以及解析结果,确定触发方式。
120.在一种实施方式中,确定触发方式之前,可以先对解析结果中的每一域值信息进行量化。
121.在一种实施方式中,解析结果每一头域信息中,还可以仅包含有一种类型信息,比如a域为单因子,则a域对应的头域信息仅包括一项信息。
122.在一种实施方式中,解析结果的每一头域信息中,可以包含有多种类型信息,比如,b域可以包含有if-modified-since、if-none-match、pragma、cache-control等几个子分类;c域accept、accept-encodig、accept-language、user-accept、accept-chareset等几个子分类。此时,对不同的子分类信息,可以设定对应的权重数据,示例性地,每一头域信息中各个子分类对应的权重之和为1,每一权重数据均位于区间(0,1]中。
123.示例性地,在本技术实施例中,利用域值权重信息,可以对数据请求的解析结果进行处理,从而获取数据请求的触发条件参数,如式(1)所示:
[0124][0125]
在式(1)中,μ为数据请求的触发条件参数;在式(1)中,μ为数据请求的触发条件参数;以及分别为第a域至第g域的第j头域信息;在式(1)中,0.4、0.05、0.05、0.35、0.05、0.05以及0.05分别为第a域至第g域对应的域值权重信息。
[0126]
在一种实施方式中,触发方式,还可以是基于第一决策树算法中的状态节点、决策点以及结果节点,对触发条件参数进行分析判断而确定的。
[0127]
在本技术实施例中,步骤c2可以通过以下方式实现:
[0128]
基于域值权重信息、解析结果以及第一阈值,确定触发方式。
[0129]
示例性地,第一阈值可以是从第一决策树算法中获取的。示例性地,第一决策树算法中的第一阈值,可以根据终端的类型、数据请求的触发端口等而灵活调整。
[0130]
在本技术实施例中,第一阈值,可以通过步骤d1至步骤d3实现:
[0131]
步骤d1、确定数据请求对应的触发条件属性区间。
[0132]
在一种实施方式中,触发条件属性区间,可以是第一决策树算法中预先设定的一个区间。示例性地,触发条件属性区间,可以是在服务端的系统启动时写入配置文件中,并在第一决策树算法调整中不断调整的。
[0133]
在一种实施方式中,触发条件属性区间,可以是从服务端的配置文件中读取的。示例性地,触发条件属性区间,可以根据服务端对数据请求分析的需要而灵活设定。
[0134]
步骤d2、获取第二阈值。
[0135]
其中,第二阈值,为数据请求的前一数据请求对应的触发条件属性区间的最大值或最小值。
[0136]
在一种实施方式中,第二阈值,可以是第一数据与第二数据之间的比值;其中,第二数据,表示服务端接收到前一数据请求时,从首个数据请求至前一数据请求的数据请求
的总量;第一数据,表示第二数据中所包含的非指定类型的数据请求的数量。
[0137]
示例性地,第二阈值,可以通过式(2)计算得到:
[0138][0139]
在式(2)中,p2为第二阈值,d1为第一数据;d2为第二数据。
[0140]
在本技术实施例中,步骤d1与步骤d2的先后顺序可以调整,本技术实施例对此不做限定。
[0141]
步骤d3、基于第一决策树算法、触发条件属性区间以及第二阈值,确定第一阈值。
[0142]
其中,第一阈值,为数据请求对应的触发条件属性区间的最大值或最小值。
[0143]
在一种实施方式中,第一阈值,可以是基于第一决策树算法,对触发条件属性区间以及第二阈值进行比较而确定的。
[0144]
在一种实施方式中,第一阈值,可以是基于第一决策树算法,根据触发条件属性区间对第二阈值进行更新而确定的。
[0145]
示例性地,步骤d3可以通过以下方式实现:
[0146]
在第二阈值小于触发条件属性区间的最小值的情况下,基于第一决策树算法,确定第一阈值为触发条件属性区间的最小值;在第二阈值大于触发条件属性区间的最大值的情况下,基于第一决策树算法,确定第一阈值为触发条件属性区间的最大值;在第二阈值处于触发条件属性区间之内的情况下,基于第一决策树算法,确定第一阈值为第二阈值。
[0147]
在本技术实施例中,当终端发送的数据请求数量较少时,可以依据触发条件属性区间以及历史数据请求对应的第二阈值,动态干预调整当前数据请求对应的第一阈值;而当终端发送的数据请求数量较多时,第一决策树算法的准确性会有所提升。示例性地,在第一决策树算法调整完成之后,每一第一阈值以及每一第二阈值都可以稳定在触发条件属性区间内。
[0148]
在本技术实施例中,在触发条件参数小于第一阈值的情况下,可以确定数据请求的触发方式为指定类型。相应地,在触发条件参数大于或等于第一阈值的情况下,可以确定数据请求的触发方式为非指定类型。
[0149]
图2为本技术实施例提供的第一种应用于服务端的访问量记录请求统计方法的流程示意图。如图2所示,该数据请求统计流程,可以包括以下步骤:
[0150]
步骤201、流程开始。
[0151]
示例性地,流程开始阶段,可以包括服务端软件硬件环境的初始化、以及服务端中的第一决策树算法中各种参数的初始化操作。
[0152]
步骤202、服务端接收到访问量记录请求,针对该请求执行ip+cookie筛选。
[0153]
步骤202中的访问量记录请求,可以是前述实施例中所述的数据请求。
[0154]
示例性地,对该请求执行ip+cookie筛选,可以是如前述实施例所述的基于数据请求的地址以及用户身份信息,确定访问量记录请求是否为冗余请求。
[0155]
步骤203、判断是否为冗余请求。
[0156]
示例性地,步骤203中判断访问量记录请求是否为冗余请求,是基于步骤202中的筛选结果进行的。若判断该访问量记录请求为冗余请求,则执行步骤204;反之,执行步骤205。
[0157]
步骤204、流程结束。
[0158]
步骤205、确定触发方式的类型。
[0159]
示例性地,确定触发方式的类型,可以是通过前述实施例中的第一决策树算法,对访问量记录请求的解析结果进行处理而确定的。
[0160]
示例性地,在确定触发方式的类型之后,可以执行步骤206。
[0161]
步骤206、判断是否统计。
[0162]
示例性地,在触发方式的类型为指定类型的情况下,确定需要统计,则执行步骤207;反之,则执行步骤204。
[0163]
步骤207、统计入库。
[0164]
示例性地,统计入库,可以是对当前访问量记录请求进行统计,并将统计的结果更新至数据库中,并执行步骤208。
[0165]
步骤208、流程结束,返回新的必要参数。
[0166]
示例性地,新的必要参数,可以包括如前述实施例所述的时间间隔阈值。
[0167]
经过以上各个流程的操作,本技术实施例提供的应用于服务端的访问量记录请求方法,在接收到任一访问量记录请求时,都能够对该访问量记录请求进行多重筛选判断,一方面减少了服务端对每一访问量记录请求都统计更新的数据量,另一方面也能够实现对访问量记录请求的灵活统计。
[0168]
图3为本技术实施例提供的第二种应用于服务端的访问量记录请求统计方法的流程示意图。在图3中,杂质类型,可以为前述实施例中所述的非指定类型。如图3所述,该统计方法可以包括以下步骤:
[0169]
步骤301、流程开始。
[0170]
示例性地,步骤301中可以包括对第一决策树算法的初始化操作。
[0171]
步骤302、获取ip+cookie对应的配置数据。
[0172]
示例性地,ip+cookie,可以为前述实施例所述的数据请求的地址以及用户身份信息。在本技术实施例中,ip+cookie可以是在服务端接收到终端发送的访问量记录请求的条件下,从访问量记录请求中获取的。相应地,ip+cookie对应的配置数据,可以是在服务端首次接收到任一访问量记录请求时,就为该访问量记录请求对应的ip+cookie配置的。
[0173]
步骤303、判断是否无条件信任。
[0174]
示例性地,判断是否为无条件信任,可以通过ip+cookie对应的配置数据来确定,在该访问量记录请求为无条件信任的条件下,可以通过步骤308响应当前的统计请求。在该访问量记录请求不为无条件信任的情况下,可以执行步骤304。
[0175]
步骤304、判断是否为点赞请求。
[0176]
在实际应用中,由于点赞请求的优先级较高,因此,若访问量记录请求为点赞请求的情况下,可以执行步骤308;若访问量记录请求不为点赞请求,则执行步骤305。
[0177]
步骤305、判断是否为杂质类型。
[0178]
在步骤305中,杂质类型,可以表示访问量记录请求为非指定类型。相应地,本技术实施例中的指定类型的数据请求,可以为非杂质请求,非杂质请求,可以表示服务端可以接收并期望统计的数据请求。示例性地,数据请求的若干指定字段携带有目标数据时,该数据请求,可以为非杂质请求;相应地,若干字段中未携带有目标字段的数据请求,可以将该数
据请求划分为杂质请求。
[0179]
示例性地,还可以基于服务端设定的终端使用的操作系统、或者终端的版本等,对服务端接收到的访问量记录请求分析过滤;还可以将从指定版本或操作系统发送的访问量记录请求确定为非杂质请求,而从非指定版本或非指定操作系统发送的访问量记录请求确定为杂质请求。也就是说,在本技术实施例中,通过设定杂质类型过滤条件,可以实现对任一数据请求的灵活过滤。
[0180]
在访问量记录请求为杂质类型的情况下,可以执行步骤307;在访问量统计记录为非杂质类型的情况下,可以执行步骤306。
[0181]
步骤306、判断请求时间间隔是否大于时间间隔阈值。
[0182]
在请求时间间隔小于或等于时间间隔阈值的情况下,可以表示当前访问量记录请求的发送频率过高,此时可以执行步骤307;而在请求时间间隔大于时间间隔阈值的情况下,可以表示当前访问量记录请求的发送频率较低,此时可以执行步骤308。
[0183]
步骤307、不响应当前统计请求。
[0184]
示例性地,在确定不响应当前统计请求的情况下,还可以向终端返回不响应当前统计请求的原因,然后执行步骤309。
[0185]
步骤308、响应当前统计请求。
[0186]
示例性地,在确定响应当前统计请求的情况下,可以向数据库发送页面访问量更新的请求,然后执行步骤309。
[0187]
步骤309、流程结束。
[0188]
在对本次访问量记录请求处理结束之后,服务端的第一决策树算法等待下一个访问量记录请求。
[0189]
需要说明的是,步骤301至步骤309,可以均通过第一决策树算法来实现。
[0190]
通过以上步骤,本技术实施例提供的应用于服务端的访问量记录请求统计方法,能够实现对发送至服务端的任一访问量记录统计请求的层层过滤和筛选,从而实现了对访问量记录请求的针对性的统计,进而减少了运算量。
[0191]
基于前述实施例,本技术实施例提供了一种应用于终端的数据请求统计方法。其中,终端与服务端之间建立有通信连接。需要说明的是,本技术实施例提供的应用于终端的数据请求统计方法,可以是通过终端的处理器来实现的。上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
[0192]
图4为本技术实施例提供的一种应用于终端的数据请求统计方法的流程示意图。如图4所示,该数据请求统计方法可以包括步骤401-步骤402:
[0193]
步骤401、检测数据请求。
[0194]
步骤402、在检测到数据请求的情况下,通过通信连接,将数据请求发送至服务端。
[0195]
其中,数据请求,用于供服务端对数据请求进行解析,得到解析结果、以及对解析结果进行处理,确定数据请求的触发方式、并在触发方式的类型为指定类型的情况下,对数据请求进行统计;解析结果,包括数据请求包含的至少一种头域信息;指定类型,至少包括手动触发类型。
[0196]
在一种实施方式中,在检测到数据请求的情况下,终端可以立即通过通信连接,将数据请求发送至服务端。示例性地,在终端检测到的数据请求时,可以先对数据请求进行判
断,并根据判断的结果确定是否向服务端发送数据请求。
[0197]
由以上可知,本技术实施例提供的应用于终端的数据请求统计方法,在终端检测到的数据请求发送至服务端之后,服务端能够对数据请求进行解析,进而基于解析结果确定数据请求的触发方式,在触发方式的类型为指定类型的情况下,才对数据请求进行统计,从而实现了对数据请求的有条件统计,减少了对任一数据请求均统计的运算量。
[0198]
在本技术实施例中,步骤402可以通过步骤e1至步骤e2实现。
[0199]
步骤e1、基于第二决策树算法,对数据请求进行判断。
[0200]
在本技术实施例中,第二决策树算法,可以是基于终端接收到的历史数据请求以及时间间隔阈值训练得到的。
[0201]
在一种实施方式中,第二决策树算法中的状态节点、决策点、结果节点的数量以及层级结构,可以是基于终端接收到的历史数据请求以及时间间隔阈值训练得到的。
[0202]
步骤e2、在数据请求满足第一条件或第二条件的情况下,通过通信连接,将数据请求发送至服务端。
[0203]
示例性地,本技术实施例提供的应用于终端的数据请求统计方法,还可以包括以下步骤:
[0204]
在未接收到服务端发送的时间间隔阈值的情况下,将时间间隔阈值设定为初始时间间隔;在接收到服务端发送的时间间隔阈值的情况下,将时间间隔阈值设定为服务端发送的时间间隔阈值;基于终端接收的历史数据请求以及时间间隔阈值调整第二决策树算法。
[0205]
在一种实施方式中,终端中存储有预先设置的初始时间间隔。
[0206]
示例性地,在终端接收到数据请求的数量较少的情况下,第二决策树算法对数据请求处理的精度是不够的,但是随着终端接收到数据请求的数量的增多,第二决策树算法对数据请求分析和顾虑的精度会有所提高。
[0207]
示例性地,在本技术实施例中,终端可以是客户端。
[0208]
图5为本技术实施例提供的第一种应用于客户端的访问量记录请求统计方法的流程示意图。如图5所示,该方法可以包括步骤501至步骤506:
[0209]
步骤501、流程开始。
[0210]
在步骤501中,可以是对终端以及第二决策树算法的初始化。
[0211]
步骤502、客户端首次接收到数据请求,立即发送访问量记录请求至服务端。
[0212]
在一种实施方式中,判断客户端接收到的数据请求是否为首次收到的数据请求,可以是通过对客户端中的配置参数进行判断得到的,示例性地,该配置参数可以为boolean类型的,在本技术实施例中,可以将该配置参数记为isvisited。在客户端首次启动时,isvisited的值为false,当客户端接收到首次数据请求并将该访问量记录请求发送至服务端之后,isvisited的值可以设置为true。
[0213]
示例性地,服务端接收到该访问量记录请求之后,对访问量记录请求进行解析,得到解析结果,并根据解析结果确定访问量记录请求对应的数据请求的触发方式类型是否为指定类型,若为指定类型,则统计该访问量记录请求,并返回时间间隔阈值至客户端。
[0214]
步骤503、客户端接收必要参数存储本地存储。
[0215]
示例性地,在步骤503中,客户端接收的必要参数,可以包括服务端返回的时间间
隔阈值。
[0216]
示例性地,在客户端未接收到服务端返回的时间间隔阈值的情况下,可以是如前述实施例所述的将初始时间间隔作为时间间隔阈值。
[0217]
步骤504、再次接收到访问量请求记录。
[0218]
步骤505、确定是否发送访问量记录请求。
[0219]
示例性地,可以通过第二决策树算法可以判断访问量记录请求发送的时间、请求类型等参数,以确定是否应该发送该访问量记录请求至服务端。示例性地,此处的第二决策树算法,可以是处于已经调整结束的状态。
[0220]
若需要发送访问量记录请求至服务端,则执行步骤506;反之,则执行步骤504,继续检测和等待下一次数据请求。
[0221]
步骤506、发送请求。
[0222]
示例性地,步骤506可以是发送请求至服务端。
[0223]
通过以上方式,客户端在首次接收到数据请求时,直接向服务端发送该数据请求,而在接收到后续数据请求时,均由客户端先对数据请求进行前期过滤和判断,从而减少了发送至服务端的数据请求的数量,减缓了服务端对数据请求分析统计的压力。
[0224]
基于前述实施例,本技术实施例提供了客户端过滤判断数据请求的流程。图6为本技术实施例提供的第二种应用于客户端的访问量记录请求统计方法的流程示意图。如图6所示,该流程可以包括以下步骤:
[0225]
步骤601、流程开始。
[0226]
在步骤601中,可以是对终端以及第二决策树算法的初始化。
[0227]
步骤602、判断是否为点赞请求。
[0228]
在本技术实施例中,由于点赞请求属于优先级较高的请求,因此,首先判断数据请求是否为点赞请求。
[0229]
示例性的,若为点赞请求,则执行步骤603;若非点赞请求,则执行步骤607。
[0230]
步骤603、判断是否为用户触发。
[0231]
在一种实施方式中,客户端可以通过对javascript的event.istrusted属性,判断点赞请求是否为用户手动触发的。其中,event.istrusted是一个boolean类型的变量,当点赞请求是由用户手动触发时,该变量的值为true;反之,在点赞请求是通过脚本创建、修改、或者通过eventtarget.dispatchevent()派发的情况下,该变量的值为false。示例性地,若为用户触发,则执行步骤604;若不为用户触发,则执行步骤605。
[0232]
步骤604、发送请求至服务端。
[0233]
示例性地,服务端接收到该请求之后,可以对该请求进行分析处理确定该请求的触发方式是否为指定类型。
[0234]
步骤605、不发送请求。
[0235]
步骤606、流程结束。
[0236]
步骤607、判断时间间隔信息是否小于时间间隔阈值。
[0237]
示例性地,判断时间间隔信息是否小于时间间隔阈值,可以是通过前述实施例所述的判断时间间隔信息、与时间间隔阈值之间的大小关系的方式进行的。
[0238]
示例性地,若时间间隔信息小于时间间隔阈值,则执行步骤605;反之,则执行步骤
604。
[0239]
需要说明的是,步骤601至步骤607的所有判断,可以是通过第二决策树算法来实现的。
[0240]
通过以上实施方式可知,在本技术实施例提供的应于用客户端的访问量记录请求判断过滤方法,在客户端检测到任一访问量记录请求时,都可以对访问量记录请求进行初步过滤,并自动计算出上报访问量的合适时机,从而减少了对服务器和数据库的压力。
[0241]
由以上可知,本技术实施例提供的应用于终端的数据请求统计方法,能够基于第二决策树算法,对检测到的数据请求进行过滤筛选,再确定是否将数据请求发送至服务端,从而降低了服务端对数据请求统计的压力。并且,在第二决策树算法的调整过程中可以灵活设定调整条件,从而在对数据请求过滤的过程中,还可以渗入人工干预,从而使得终端对数据请求的过滤更加灵活,提高了数据请求过滤筛选的针对性和灵活度。
[0242]
基于前述实施例,本技术实施例还提供了第一种服务端7,图7为本技术实施例提供的一种服务端7的结构示意图。如图7所示,服务端7可以包括:第一接收模块701,第一处理模块702、第一统计模块703;其中:
[0243]
第一接收模块701,用于接收终端通过通信连接发送的数据请求;
[0244]
第一处理模块702,用于对数据请求进行解析,得到解析结果;还用于对解析结果进行处理,确定数据请求的触发方式;其中,解析结果,包括数据请求包含的至少一种头域信息;
[0245]
第一统计模块703,用于在触发方式的类型为指定类型的情况下,对数据请求进行统计。
[0246]
在一些实施方式中,第一处理模块702,用于确定域值权重信息;其中,域值权重信息,包括每一头域信息的权重。
[0247]
第一处理模块702,还用于基于域值权重信息以及解析结果,确定触发方式。
[0248]
在一些实施方式中,第一处理模块702,用于确定数据请求对应的触发条件属性区间;获取第二阈值;基于第一决策树算法、触发条件属性区间以及第二阈值,确定第一阈值;其中,第二阈值,为数据请求的前一数据请求对应的触发条件属性区间的最大值或最小值;第一阈值,为数据请求对应的触发条件属性区间的最大值或最小值。
[0249]
第一处理模块702,用于基于域值权重信息、解析结果以及第一阈值,确定触发方式。
[0250]
在一些实施方式中,第一处理模块702,用于在第二阈值小于触发条件属性区间的最小值的情况下,基于第一决策树算法,确定第一阈值为触发条件属性区间的最小值;在第二阈值大于触发条件属性区间的最大值的情况下,基于第一决策树算法,确定第一阈值为触发条件属性区间的最大值;在第二阈值处于触发条件属性区间之内的情况下,基于第一决策树算法,确定第一阈值为第二阈值。
[0251]
在一些实施方式中,第一处理模块702,用于确定时间间隔信息;其中,时间间隔信息,为数据请求的前一数据请求的触发时刻、与数据请求的触发时刻之间的时间间隔;
[0252]
第一处理模块702,还用于基于数据请求的类型和/或数据请求的触发时间,确定时间间隔阈值;在时间间隔信息大于时间间隔阈值的情况下,对数据请求进行解析,得到解析结果。
[0253]
需要说明的是,第一接收模块701、第一处理模块702以及第一统计模块703,可以利用电子设备中的处理器实现,上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
[0254]
由以上可知,本技术实施例提供的服务端7,在接收到任一数据请求时,先解析数据请求得到解析结果,再基于解析结果确定数据请求的触发方式,只有在数据请求的触发方式为指定类型的情况下,才对数据请求进行统计。因此,采用本技术实施例提供的服务端7,能够对任一数据请求进行解析处理和过滤,只有在数据请求的触发方式满足指定条件时才统计该数据请求,相对于相关技术中对每一数据请求均统计的方法,能够降低服务端和数据库数据更新和存储的压力。
[0255]
基于前述实施例,本技术实施例提供了第二种服务端。该服务端可以包括:第一处理器、第一存储器以及第一通信总线,其中:
[0256]
第一通信总线,用于实现第一处理器与第一存储器之间的通信连接;
[0257]
第一处理器,用于实现第一存储器中存储的计算机程序,以实现如前任一实施例所述应用于服务端的数据请求统计方法。
[0258]
其中,上述第一处理器可以为特定用途集成电路asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地,用于实现上述处理器功能的电子器件还可以为其它,本发明实施例不作具体限定。
[0259]
上述第一存储器,可以是易失性存储器(volatile memory),例如ram;或者非易失性存储器(non-volatile memory),例如rom,快闪存储器(flash memory,硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);或者上述种类的存储器的组合,并向处理器提供指令和数据。
[0260]
基于前述实施例,本技术实施例提供了第一种终端8,图8为本技术实施例提供的第一种终端8的结构示意图。如图8所示,终端8可以包括:第二接收模块801以及第一发送模块802。其中:
[0261]
第二接收模块801,用于检测数据请求。
[0262]
第一发送模块802,用于在检测到数据请求的情况下,通过通信连接,将数据请求发送至服务端;其中,数据请求,用于供服务端对数据请求进行解析,得到解析结果、以及对解析结果进行处理,确定数据请求的触发方式、并在触发方式为指定类型的情况下,对数据请求进行统计;解析结果,包括数据请求包含的至少一种头域信息。
[0263]
在一种实施方式中,终端8还包括第二处理模块;其中,第二处理模块,用于基于第二决策树算法对数据请求进行判断。
[0264]
第一发送模块802,用于在数据请求满足第一条件或第二条件的情况下,通过通信连接,将数据请求发送至服务端;其中,第一条件,表示数据请求为由用户手动触发的点赞请求;第二条件,表示时间间隔信息大于或等于时间间隔阈值,且数据请求为非点赞请求;时间间隔信息,表示从数据请求的前一数据请求的触发时刻、至数据请求的触发时刻之间的时间差。
[0265]
需要说明的是,第二接收模块801以及第一发送模块802,可以利用电子设备中的处理器实现,上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
programmable read-only memory,eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory,eeprom)、磁性随机存取存储器(ferromagnetic random access memory,fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory,cd-rom)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
[0278]
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0279]
上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
[0280]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本技术各个实施例所描述的方法。
[0281]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0282]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0283]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0284]
以上仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1