一种系统限流的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种系统限流的方法和装置。


背景技术：

2.为应对突发性并发请求对系统运行的影响，现有通常采用限流方式限制并发量，如漏桶算法、令牌桶算法、预借令牌算法和优先级令牌桶算法。
3.在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
4.对于漏桶算法和令牌桶算法，当令牌桶中的令牌不足时，无法满足优先级高的请求优先处理的目的。
5.对于预借令牌算法，虽可以针对不同优先级的请求设置不同的预借令牌数量，但预借令牌易引起当前时间窗口的请求超限问题。
6.对于优先级令牌桶算法，各令牌桶中的令牌数量固定，当优先级低的桶中令牌不足、而优先级高的桶中还有充足的令牌时，优先级低的请求得不到执行，导致令牌浪费。


技术实现要素：

7.有鉴于此，本发明实施例提供一种系统限流的方法和装置，至少能够解决现有技术中令牌分配不协调导致利用效率较低的现象。
8.为实现上述目的，根据本发明实施例的一个方面，提供了一种系统限流的方法，包括第一令牌桶和第二令牌桶，且所述第一令牌桶的优先级低于所述第二令牌桶的优先级：
9.接收请求，判断所述第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
10.若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
11.若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量。
12.可选的，所述获取处理所述请求的优先级等级，包括：根据所述请求中的入参，确定处理所述请求的优先级等级；
13.在将所述第二令牌桶中的计数器加1之前，还包括：判断所述第二令牌桶中是否存有令牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则，阻塞所述请求。
14.可选的，所述判断第一令牌桶中是否存有令牌，包括：
15.根据所述请求中的入参，确定处理所述请求的优先级等级；
16.若所述优先级等级与所述第一令牌桶对应，则判断所述第一令牌桶中是否存有令牌；或
17.若所述优先级等级与所述第二令牌桶对应，则判断所述第二令牌桶中是否存有令
牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则判断所述第一令牌桶中是否存有令牌。
18.可选的，还包括：基于预定周期生产令牌，确定本次生产的令牌的总数量，获取所述第二令牌桶中计数器所统计的请求量；
19.将数值较小的所述总数量或所述请求量，作为对所述第二令牌桶可添加令牌的数量，确定所述总数量去除所述数量后的剩余数量；
20.确定所述第一令牌桶当前的令牌容量，将数值较小的所述剩余数量或所述令牌容量，作为对所述第一令牌桶可添加令牌的数量；其中，令牌容量为桶中预定令牌容量阈值与当前剩余令牌数量的差值；
21.基于所确定的令牌数量，分别向所述第一令牌桶和所述第二令牌桶中添加令牌。
22.可选的，在所述分别向所述第一令牌桶和所述第二令牌桶中添加令牌之后，还包括：
23.优先唤醒处于阻塞状态的请求，以将所述请求由阻塞状态更改为处理状态；
24.将与所述优先级等级对应的令牌桶中的计数器减1，以从令牌桶中获取令牌；其中，令牌桶为所述第一令牌桶或所述第二令牌桶。
25.可选的，在所述从令牌桶中获取令牌之前，还包括：确定对所述请求的接收时间，判断所述接收时间与当前时间的时间差是否大于或等于预定超时时间，若大于或等于，则直接熔断所述请求。
26.为实现上述目的，根据本发明实施例的另一方面，提供了一种系统限流的装置，包括第一令牌桶和第二令牌桶，且所述第一令牌桶的优先级低于所述第二令牌桶的优先级：
27.接收模块，用于接收请求，判断所述第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
28.判断模块，用于若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
29.计数模块，用于若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量。
30.可选的，所述判断模块，用于：根据所述请求中的入参，确定处理所述请求的优先级等级；
31.所述计数模块，还用于：判断所述第二令牌桶中是否存有令牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则，阻塞所述请求。
32.可选的，所述接收模块，用于：根据所述请求中的入参，确定处理所述请求的优先级等级；
33.若所述优先级等级与所述第一令牌桶对应，则判断所述第一令牌桶中是否存有令牌；或
34.若所述优先级等级与所述第二令牌桶对应，则判断所述第二令牌桶中是否存有令牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则判断所述第一令牌桶中是否存有令牌。
35.可选的，还包括令牌分配模块，用于：基于预定周期生产令牌，确定本次生产的令
牌的总数量，获取所述第二令牌桶中计数器所统计的请求量；
36.将数值较小的所述总数量或所述请求量，作为对所述第二令牌桶可添加令牌的数量，确定所述总数量去除所述数量后的剩余数量；
37.确定所述第一令牌桶当前的令牌容量，将数值较小的所述剩余数量或所述令牌容量，作为对所述第一令牌桶可添加令牌的数量；其中，令牌容量为桶中预定令牌容量阈值与当前剩余令牌数量的差值；
38.基于所确定的令牌数量，分别向所述第一令牌桶和所述第二令牌桶中添加令牌。
39.可选的，还包括唤醒模块，用于：优先唤醒处于阻塞状态的请求，以将所述请求由阻塞状态更改为处理状态；
40.将与所述优先级等级对应的令牌桶中的计数器减1，以从令牌桶中获取令牌；其中，令牌桶为所述第一令牌桶或所述第二令牌桶。
41.可选的，所述唤醒模块，还用于：
42.确定对所述请求的接收时间，判断所述接收时间与当前时间的时间差是否大于或等于预定超时时间，若大于或等于，则直接熔断所述请求。
43.为实现上述目的，根据本发明实施例的再一方面，提供了一种系统限流的电子设备。
44.本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的系统限流的方法。
45.为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的系统限流的方法。
46.根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：包括令牌生产、令牌消费以及请求唤醒三个流程，旨在解决当某一时间段内令牌不足时，优先级高的请求可以得到优先处理，不会触发请求超频；不同优先级的请求可以充分协调利用令牌，不会引起令牌浪费。
47.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
48.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
49.图1是根据本发明实施例的一种系统限流的方法的主要流程示意图；
50.图2是一种具体地的系统限流的方法的流程示意图；
51.图3是另一种具体地的系统限流的方法的流程示意图；
52.图4是根据本发明实施例的一种可选的系统限流的方法的流程示意图；
53.图5是根据本发明实施例的另一种可选的系统限流的方法的流程示意图；
54.图6是根据本发明实施例的一种系统限流的装置的主要模块示意图；
55.图7是本发明实施例可以应用于其中的示例性系统架构图；
56.图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
57.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
58.对于现有提及的算法进行解释：
59.1)漏桶算法：先将请求放入桶中，以固定速率从桶中取出请求并处理，当桶中请求数量达到最大值时，对新请求进行熔断处理。
60.2)令牌桶算法：以一定速率向桶中添加令牌，在桶中请求数量达到上限时暂停添加令牌。请求必须拿到令牌才能够被处理，但若拿取令牌的速度大于添加速度时，桶中令牌不足，对于新请求则需等待或直接熔断。
61.3)预借令牌算法：作为上述3)的一种扩展，在桶中令牌不足的情况下，若在可预借令牌范围内，新的请求可以通过预借令牌进行执行，预借的令牌在下次生产令牌时归还，且在下次添加令牌时需先减去预借的令牌数量。
62.4)优先级令牌桶算法：使用不同优先级的多个桶，生产令牌时分别向所有桶中放入固定数量的令牌，优先级高的请求可以使用不低于请求优先级的令牌桶中的令牌。
63.需要说明的是，令牌不区分优先级，但令牌所在的桶有优先级等级区分。例如，酒店的查询报价和可订检查通常使用同一个系统，共同占用系统资源。但可订检查请求转换为订单的比例相比查询报价请求转换为订单的比例高很多倍，因此，当系统资源不足时，应优先选择处理可订检查请求。查询报价请求只可以使用普通桶中令牌，可订检查请求既可以使用普通桶中的令牌，也可以使用高优先级桶中的令牌。
64.参见图1，示出的是本发明实施例提供的一种系统限流的方法的主要流程图，包括如下步骤：
65.s101：接收请求，判断第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
66.s102：若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
67.s103：若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量。
68.上述实施方式中，对于步骤s101～s103，本方案针对不同优先级等级设置不同的令牌桶，但统共分为两类，分别为第一令牌桶(即普通优先级令牌桶)和第二令牌桶(即高优先级令牌桶)。
69.通常情况下，一个令牌桶可容纳的令牌数远远大于限流系统满负荷工作时所需要的令牌数，因此令牌桶设置的最大令牌数量取决于系统的处理能力，通常针对一个优先级等级设置一个令牌桶就可以满足要求，且不需要分流，设计简单，系统稳定性高；避免当桶中令牌不足时循环访问同等级其它令牌桶所引发的系统消耗问题，效率更高。但当请求并发度过高，频繁引起获取令牌冲突时，可以考虑针对同一优先级设置多个令牌桶，以限低获取令牌冲突。
70.针对令牌桶的使用选择，可以采用不同操作流程处理：
71.实施例一：按照优先级等级使用相应令牌桶
72.s201：接收请求，根据所述请求中的入参，确定处理所述请求的优先级等级；
73.s202：若所述优先级等级与第一令牌桶对应，则判断所述第一令牌桶中是否存有令牌；
74.s203：若所述优先级等级与第二令牌桶对应，则判断所述第二令牌桶中是否存有令牌；
75.s204：若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则判断所述第一令牌桶中是否存有令牌；
76.s205：若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
77.s206：若不存在且优先级等级与第二令牌桶对应，则将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量；
78.s207：若不存在且优先级等级与第一令牌桶对应，则将所述第一令牌桶中的计数器加1。
79.上述实施步骤中，需按照处理请求的优先级等级，使用相应的令牌桶。若等级较低，只可以在较低等级的第一令牌桶中获取令牌，而对于高等级请求，若相应第二令牌桶中无令牌，还可以继续在低等级令牌桶中获取令牌。且每个桶中维护一个计数器，用以记录当桶中令牌不足时，等待获取令牌的请求数量，和现有仅统计接收请求数量的计数器操作方式不同。
80.需要说明的是，高等级请求仍是优选通过第二令牌桶处理，因此即使在第一令牌桶中未获取到令牌，此时所累加的数值，是累加到第二令牌桶中的计数器上的。
81.另外，请求被阻塞后就进入了等待令牌的状态，只有等到下一个时间区间生产令牌后才可能由机会执行，具体参见后续图5所示描述。
82.实施例一：先使用第一令牌桶，后使用第二令牌桶
83.s301：接收请求，判断第一令牌桶中是否存有令牌；
84.s302：若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
85.s303：若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
86.s304：若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1；
87.s305：若不对应，则判断所述第二令牌桶中是否存有令牌；
88.s306：若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑；
89.s307：否则，阻塞所述请求，将第二令牌桶中的计数器加1。
90.上述实施步骤中，首先不考虑处理请求的优先级等级，直接从低等级的第一令牌桶中获取令牌，以优先消耗第一令牌桶中的令牌。只有在第一令牌桶中无令牌、且处理请求的优先级等级较高时，才使用第二令牌桶处理。
91.针对不同业务设置的接口不同，同一接口可以提供单一服务，也可以提供多种服务。针对不同服务对整个系统的重要程度，预先设置有不同的优先级等级。系统在收到请求时，根据请求中携带的服务标识，确定相应服务所处的优先级等级，并将该优先级等级作为处理该请求的优先级等级。
92.同样以查询报价请求和可订检查请求为例，大多酒店使用同一接口接收这两个请求，但请求的入参中直接携带有服务标识，以直接确定其处理等级。但若两个请求使用不同的接口，此时除了上述方式外，也可以按照接口所处的等级进行区分。
93.上述实施例所提供的方法，普通令牌桶中的令牌可被所有请求共用，使其令牌可以得到充分利用，而高优先级令牌桶只有高优先级请求可以获得，保证当令牌不足时，高优先级级请求可优先获取得令牌执行。
94.参见图4，示出了根据本发明实施例的一种可选的系统限流的方法流程示意图，包括如下步骤：
95.s401：接收请求，判断所述第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
96.s402：若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
97.s403：若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量；
98.s404：基于预定周期生产令牌，确定本次生产的令牌的总数量，获取所述第二令牌桶中计数器所统计的请求量；
99.s405：将数值较小的所述总数量或所述请求量，作为对所述第二令牌桶可添加令牌的数量，确定所述总数量去除所述数量后的剩余数量；
100.s406：确定所述第一令牌桶当前的令牌容量，将数值较小的所述剩余数量或所述令牌容量，作为对所述第一令牌桶可添加令牌的数量；其中，令牌容量为桶中预定令牌容量阈值与当前剩余令牌数量的差值；
101.s407：基于所确定的令牌数量，分别向所述第一令牌桶和所述第二令牌桶中添加令牌。
102.上述实施方式中，对于步骤s401～s403，可参见图1所示步骤s101～s103的描述，在此不再赘述。
103.上述实施方式中，对于步骤s404～s407，令牌生产就是按一定速度向桶中添加令牌。令牌桶的使用有两种，一种是请求过来获取令牌，请求结束归还令牌，此方式不需要生产令牌。另一种是请求结束后令牌丢弃，此方式需要生产令牌。本方案以请求结束丢弃令牌进行描述。
104.系统每隔一段时间生产固定数量的令牌(即系统的限流阈值)，之后按照一定的规则将令牌分别分配至不同令牌桶中：
105.1)优先分配至高优先级令牌桶(即第二令牌桶)中
106.获取第二令牌桶中计数器所统计的数值，计算可添加令牌数＝min(计数器统计的数值，生产的令牌数)，之后向第二令牌桶中添加令牌，但若可添加的令牌数为0，则可略过此步骤。
107.令牌数为0的情况，分有初始阶段和运行阶段。初始阶段未处理请求，按照上述方式计算到的可添加令牌数即为0。运行阶段若请求的优先级等级均较低、或较高情况下载第一令牌桶中获取到令牌，则第二令牌桶中计数器统计的数值即为0。
108.2)接着分配至普通优先级令牌桶(即第一令牌桶)中
109.①
计算本次生产的令牌减去已分配至第二令牌桶后的剩余令牌数；
110.②
计算第一令牌桶中当前可承载的令牌容量。实际操作中，每个令牌桶可承载的令牌数量有限，且通常不超过一次生产的令牌总数。若桶中仍有剩余令牌数时，计算当前令牌容量时需要减去这部分数量。
111.③
计算第一令牌桶中可添加的令牌数＝min(剩余令牌数，桶当前的令牌容量)。
112.④
从剩余令牌中，提取上述可添加的令牌数并添加到第一令牌桶中。
113.上述实施例所提供的方法，相比现有前置预分配令牌方式，本方案采用后置方式，在已知有请求被阻塞后再指定分配令牌，而非预借令牌，保证请求流量永远在限制的流量范围内；分配时优先并严格按照高优先级令牌桶中阻塞的请求数量分配令牌，使得其桶中令牌完全利用，不造成浪费，解决了预借令牌算法引起的超频问题。
114.参见图5，示出了根据本发明实施例的另一种可选的系统限流的方法流程示意图，包括如下步骤：
115.s501：基于预定周期生产令牌，确定本次生产的令牌的总数量，获取所述第二令牌桶中计数器所统计的请求量；
116.s502：将数值较小的所述总数量或所述请求量，作为对所述第二令牌桶可添加令牌的数量，确定所述总数量去除所述数量后的剩余数量；
117.s503：确定所述第一令牌桶当前的令牌容量，将数值较小的所述剩余数量或所述令牌容量，作为对所述第一令牌桶可添加令牌的数量；其中，令牌容量为桶中预定令牌容量阈值与当前剩余令牌数量的差值；
118.s504：基于所确定的令牌数量，分别向所述第一令牌桶和所述第二令牌桶中添加令牌；
119.s505：优先唤醒处于阻塞状态的请求，以将所述请求由阻塞状态更改为处理状态；
120.s506：将与所述优先级等级对应的令牌桶中的计数器减1，以从令牌桶中获取令牌；其中，令牌桶为所述第一令牌桶或所述第二令牌桶。
121.上述实施方式中，对于步骤s501～s504可参见图4所示步骤s404～s407的描述，在此不再赘述。
122.上述实施方式中，对于步骤s505和s506，在添加令牌至第一令牌桶和第二令牌桶后，优先通知处于阻塞状态的请求再次尝试获取令牌，以使阻塞请求更快得到执行。
123.对于请求而言，收到唤醒通知后，由阻塞状态进入处理状态，需将与其优先级等级对应的令牌桶中的计数器减1。例如，请求a由于令牌不足进入阻塞状态，下次生产令牌后，通知此请求再次处理。
124.对于处于处理状态的请求，继续尝试从与其优先级等级对应的令牌桶中获取令牌，若获取成功，则直接执行请求逻辑，否则，若该请求优先级等级较高，则从第一令牌桶中获取令牌，但若获取失败，则阻塞此请求，并将与优先级等级对应的令牌桶中的计数器加1。
125.另外，有些请求可能已超过其处理时限了，由此在再次尝试获取令牌之前，还需要判断是否超时，具体地：获取对该请求的接收时间，即请求到达的时间，判断接收时间与当前时间的时间差是否大于或等于预定超时时间。若未超过，则继续处理，否则，将请求熔断处理。
126.假设请求的预定超时时间设置为1.5秒，1秒生产一次令牌。请求a处于阻塞状态，但由于下1秒请求数量过多，此请求a又未获得令牌而进入等待状态，在再一次生产令牌时获取到了令牌，而此时已经过去2秒，超过1.5秒，则再处理请求a已无意义，直接熔断处理。
127.上述实施例所提供的方法，在分配令牌至令牌桶后，优先触发处于阻塞状态的请求再次尝试获取令牌，以使阻塞请求更快得到执行。
128.参见图6，示出了本发明实施例提供的一种系统限流的装置600的主要模块示意图，包括第一令牌桶和第二令牌桶，且所述第一令牌桶的优先级低于所述第二令牌桶的优先级：
129.接收模块601，用于接收请求，判断所述第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
130.判断模块602，用于若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
131.计数模块603，用于若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量。
132.本发明实施装置中，所述判断模块602，用于：根据所述请求中的入参，确定处理所述请求的优先级等级；
133.所述计数模块603，还用于：判断所述第二令牌桶中是否存有令牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则，阻塞所述请求。
134.本发明实施装置中，所述接收模块601，用于：
135.根据所述请求中的入参，确定处理所述请求的优先级等级；
136.若所述优先级等级与所述第一令牌桶对应，则判断所述第一令牌桶中是否存有令牌；或
137.若所述优先级等级与所述第二令牌桶对应，则判断所述第二令牌桶中是否存有令牌，若存在，则从所述第二令牌桶中分配一令牌至所述请求，以执行请求逻辑，否则判断所述第一令牌桶中是否存有令牌。
138.本发明实施装置还包括令牌分配模块604(图中未标出)，用于：
139.基于预定周期生产令牌，确定本次生产的令牌的总数量，获取所述第二令牌桶中计数器所统计的请求量；
140.将数值较小的所述总数量或所述请求量，作为对所述第二令牌桶可添加令牌的数量，确定所述总数量去除所述数量后的剩余数量；
141.确定所述第一令牌桶当前的令牌容量，将数值较小的所述剩余数量或所述令牌容量，作为对所述第一令牌桶可添加令牌的数量；其中，令牌容量为桶中预定令牌容量阈值与当前剩余令牌数量的差值；
142.基于所确定的令牌数量，分别向所述第一令牌桶和所述第二令牌桶中添加令牌。
143.本发明实施装置还包括唤醒模块605(图中未标出)，用于：
144.优先唤醒处于阻塞状态的请求，以将所述请求由阻塞状态更改为处理状态；
145.将与所述优先级等级对应的令牌桶中的计数器减1，以从令牌桶中获取令牌；其中，令牌桶为所述第一令牌桶或所述第二令牌桶。
146.本发明实施装置中，所述唤醒模块605，还用于：确定对所述请求的接收时间，判断所述接收时间与当前时间的时间差是否大于或等于预定超时时间，若大于或等于，则直接熔断所述请求。
147.另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
148.图7示出了可以应用本发明实施例的示例性系统架构700。
149.如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
150.用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用。
151.终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，服务器705可以是提供各种服务的服务器。
152.需要说明的是，本发明实施例所提供的方法一般由服务器705执行，相应地，装置一般设置于服务器705中。
153.应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
154.下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
155.如图8所示，计算机系统800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有系统800操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
156.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
157.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本发明的系统中限定的上述功能。
158.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不
限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
159.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
160.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、判断模块、计数模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，计数模块还可以被描述为“计数和执行模块”。
161.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括第一令牌桶和第二令牌桶，且所述第一令牌桶的优先级低于所述第二令牌桶的优先级：
162.接收请求，判断所述第一令牌桶中是否存有令牌，若存在，则从所述第一令牌桶中分配一令牌至所述请求，以执行请求逻辑；
163.若不存在，则获取处理所述请求的优先级等级，判断所述优先级等级是否与所述第一令牌桶对应；
164.若对应，则阻塞所述请求，并将所述第一令牌桶中的计数器加1，否则，将所述第二令牌桶中的计数器加1；其中，计数器用于记录在令牌桶中无令牌时等待获取令牌的请求数量。
165.根据本发明实施例的技术方案，包括令牌生产、令牌消费以及请求唤醒三个流程，
相比现有技术，至少存在如下有益效果：
166.1)相比现有前置预分配令牌方式，本方案采用后置方式，在已知有请求被阻塞后再指定分配令牌，而非预借令牌，保证请求流量永远在限制的流量范围内；
167.2)分配时优先并严格按照高优先级令牌桶中阻塞的请求数量分配令牌，对于普通优先级令牌桶，则通过比对剩余令牌数量和其最大容量确定；
168.3)当某一时间段内令牌不足时，优先级高的请求可以得到优先处理，且对于桶中令牌可以完全利用，不会触发请求超频；不同优先级的请求可以充分协调利用令牌，不会引起令牌浪费；
169.4)在分配令牌至令牌桶后，优先触发处于阻塞状态的请求再次尝试获取令牌，以使阻塞请求更快得到执行。
170.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。