本发明涉及计算机领域，具体地涉及处理定时任务的方法、系统、电子设备和计算机可读介质。
背景技术：
在现有技术中，处理定时任务通过定时地扫描mysql表来进行，在该方法中，需要扫描出mysql表中的每条数据，判断时间戳，所以该方法的效率非常低；而且通过定时worker不断查询数据库，对mysql的压力也大，可用性不高；此外，现有技术中，server端和worker端同步执行，这对处理定时任务的效率来说也存在不利的影响。技术实现要素：有鉴于此，本发明实施例提供一种处理定时任务的方法、系统、电子设备和计算机可读介质，其不需要扫描mysql表中的每条数据，而是利用redis数据库的包括key、score、value的zset优先级队列来实现对定时任务的处理，每次只需要扫描队列的第一个位置的数据。而且将server端(服务器端)和worker端分离，使它们异步执行，从而提高了定时任务处理的可靠性、成功率和伸缩性。根据本发明实施例的一个方面，提供一种基于优先级队列处理定时任务的方法。本发明实施例的一种处理定时任务的方法包括：工程worker按照预设频率扫描已添加到redis的优先级队列中的定时任务，将符合预设执行条件的定时任务通过消息队列发送至服务器，以供服务器执行所述定时任务。可选地，所述优先级队列为基于redis的zset有序集合，定时任务以key、value以及score的形式、依据score排序有序地存储在所述优先级队列中，其中，以定时任务队列类型作为key、以定时任务的具体内容作为value，以定时任务的时间戳作为score。可选地，将符合预设执行条件的定时任务通过消息队列发送至服务器包括：扫描所述优先级队列，判断位于队列首位的定时任务的时间戳是否已早于当前时间，若早于，则将所述优先级队列中所有早于当前时间的定时任务通过消息队列发送至服务器，否则不予发送。可选地，在将符合预设执行条件的定时任务通过消息队列发送至服务器之后，所述方法还包括：将所述优先级队列中已通过消息队列发送至服务器的符合预设执行条件的定时任务进行删除。可选地，所述方法还包括：所述已添加到redis的优先级队列中的定时任务，在添加到所述优先级队列中的同时，一并存入mysql中。可选地，所述方法还包括：所述已添加到redis的优先级队列中的定时任务，在添加到所述优先级队列中的同时，一并在redis中为各定时任务设置预设重试阈值，以便当所述定时任务重试处理的次数超过预设重试阈值之后，将所述定时任务从优先级队列中永久删除。可选地，所述方法中，服务器分布式、负载均衡地执行所述定时任务。根据本发明实施例的另一方面，提供另一种处理定时任务的方法。本发明实施例的一种处理定时任务的方法包括：服务器接收工程worker通过消息队列发送来的符合预设执行条件的定时任务，其中，所述定时任务利用基于redis的优先级队列进行存储；执行所述定时任务。可选地，所述优先级队列为基于redis的zset有序集合，定时任务以key、value以及score的形式、依据score排序有序地存储在所述优先级队列中，其中，以定时任务队列类型作为key、以定时任务的具体内容作为value，以定时任务的时间戳作为score。可选地，工程worker通过消息队列发送来的符合预设执行条件的定时任务包括：工程worker按照预设频率扫描所述优先级队列，判断出位于队列首位的定时任务的时间戳已早于当前时间之后，通过消息队列选择发送至服务器的所述优先级队列中所有早于当前时间的定时任务。可选地，在服务器接收工程worker通过消息队列发送来的符合预设执行条件的定时任务之后，所述方法还包括：工程worker将所述优先级队列中已通过消息队列发送至服务器的符合预设执行条件的定时任务进行删除。可选地，所述方法还包括：所述定时任务除了利用基于redis的优先级队列进行存储以外，还利用mysql进行备份存储。可选地，所述方法还包括：所述定时任务除了利用基于redis的优先级队列进行存储以外，redis中还存储有为各定时任务设置的预设重试阈值。可选地，所述方法中，服务器分布式、负载均衡地执行所述定时任务。可选地，所述方法还包括：若服务器执行所述定时任务失败，则将所述定时任务重新添加到优先级队列中，进行重试处理，若重试处理的次数超过预设重试阈值，则将所述定时任务从所述优先级队列中永久删除。可选地，在服务器接收工程worker通过消息队列发送来的符合预设执行条件的定时任务之后，所述方法还包括：服务器根据当前执行定时任务的数量上限n，将未能及时执行的定时任务加入到等待队列中，当当前执行的n个的定时任务执行完成之后，再根据fifo的原则选择所述等待队列中的不大于n个的定时任务进行执行。根据本发明实施例的另一方面，提供一种基于优先级队列处理定时任务的系统。本发明实施例的一种处理定时任务的系统，包括：客户端、工程worker以及服务器，其中：客户端用于将定时任务添加到redis的优先级队列中；工程worker用于按照预设频率扫描已添加到redis的优先级队列中的定时任务，并将符合预设执行条件的定时任务通过消息队列发送至服务器；服务器用于接收工程worker通过消息队列发送来的符合预设执行条件的定时任务，并执行所述定时任务。根据本发明的再一方面，提供了一种电子设备终端，包括：一个或多个处理器；用于存储一个或多个程序的存储装置，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本发明所提供的处理定时任务的方法。根据本发明的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的处理定时任务的方法。上述发明中的一个实施例具有如下优点或有益效果：因为采用将定时任务存储在优先级队列中的技术手段，所以克服了需要扫描数据库中的每条数据以判断时间戳的效率低下的技术问题，进而达到提高定时任务扫描效率的技术效果；因为采用了按照预设频率扫描定时任务，并将符合预设执行条件的定时任务通过消息队列发送至服务器端的技术手段，从而可以避免扫描数据表与任务处理的过程同步，造成任务等待、不利于扩展的技术问题，从而达到了worker端和服务器端分离、非阻塞、异步化地处理定时任务的技术效果；因为采用服务端分布式、负载均衡的执行定时任务的方法，从而可以实现定时任务处理的高可用性、使得任务处理的性能可伸缩；通过利用处理异常重试机制，从而可以提高定时任务处理的可靠性，保证处理的成功率的同时，保障处理的性能；通过工程worker将所述优先级队列中已通过消息队列发送至服务器的符合预设执行条件的定时任务进行删除，从而可以防止处理的定时任务过重，避免了当工程woker的下一扫描时间到来时定时任务还没处理完成会重复通过消息队列发送任务的弊端；通过利用mysql进行定时任务备份存储，从而可以保障当redis宕机时，可从mysql中进行任务恢复；通过在服务器上根据当前执行定时任务的数量上限n，维持一等待队列，将未能及时执行的定时任务加入到等待队列中，从而可以保证高可用的同时，保障服务器的处理性能。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明图1是本发明实施例可以应用于其中的示例性系统架构图；图2是根据本发明实施例的一种处理定时任务的方法的主要步骤的示意图；图3是根据本发明实施例的另一种处理定时任务的方法的主要步骤的示意图；图4是根据本发明实施例的处理定时任务的方法中定时任务的时间戳；图5是根据本发明实施例的处理定时任务的方法的流程图；图6是根据本发明实施例的处理定时任务的系统的主要部分的示意图；和图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。图1示出了可以应用本发明实施例的处理定时任务的方法或处理定时任务的装置的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。需要说明的是，本发明实施例所提供的处理定时任务的方法一般由服务器105执行，相应地，处理定时任务的装置一般设置于服务器105中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。以下是本发明实施例中涉及的若干技术用语的解释：redis：是一个开源(bsd许可)的、内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、lua脚本、lru收回、事务以及不同级别磁盘持久化功能，同时通过redissentinel提供高可用，通过rediscluster提供自动分区；worker：是一种服务型工程，本发明实施例中使用其进行定时扫描zset；mq：消息队列，用来实现worker和server端的通信，实现非阻塞架构，提高可靠性；zset：实质是redis中存储的一种数据结构，是一个有序集合，在本发明中用作优先级队列，由key，score，value三部分组成，根据每个zset的score值排序，worker只需要扫描队列前端的数据。zset是redis中set数据结构的一个升级版本，它在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。可以对指定键的值进行排序权重的设定，它应用排名模块比较多。zset集合可以完成有序执行、按照优先级执行的情况。图2是根据本发明实施例的一种处理定时任务的方法的主要步骤的示意图。如图2所示，本发明实施例的一种处理定时任务的方法主要包括如下步骤：步骤s201：工程worker按照预设频率扫描已添加到redis的优先级队列中的定时任务，将符合预设执行条件的定时任务通过消息队列发送至服务器，以供服务器执行所述定时任务。本发明实施例中，优先级队列可以是基于redis的zset有序集合，在zset优先级队列中，定时任务以key、value以及score的形式、依据score排序有序地存储在所述优先级队列中，其中，以定时任务队列类型作为key、以定时任务的具体内容作为value，以定时任务的时间戳作为score。前述步骤中，将符合预设执行条件的定时任务通过消息队列发送至服务器主要可以包括：扫描所述优先级队列，判断位于队列首位的定时任务的时间戳是否已早于当前时间，若早于，则将所述优先级队列中所有早于当前时间的定时任务通过消息队列发送至服务器，否则不予发送。此外，在将符合预设执行条件的定时任务通过消息队列发送至服务器之后，本发明实施例的处理定时任务的方法还可以包括：将所述优先级队列中已通过消息队列发送至服务器的符合预设执行条件的定时任务进行删除。另外，已添加到redis的优先级队列中的定时任务，在添加到所述优先级队列中的同时，还可以一并存入mysql中，还可以一并在redis中为各定时任务设置预设重试阈值，以便当所述定时任务重试处理的次数超过预设重试阈值之后，将所述定时任务从优先级队列中永久删除。本发明实施例中，服务器进行分布式、负载均衡地执行所述定时任务，以便于有效地扩容。图3是根据本发明实施例的另一种处理定时任务的方法的主要步骤的示意图。如图3所示，本发明实施例的另一种处理定时任务的方法主要包括如下步骤：步骤s301服务器接收工程worker通过消息队列发送来的符合预设执行条件的定时任务，其中，所述定时任务利用基于redis的优先级队列进行存储。步骤s302：执行所述定时任务。其中，工程worker通过消息队列发送来的符合预设执行条件的定时任务主要包括：工程worker按照预设频率扫描所述优先级队列，判断出位于队列首位的定时任务的时间戳已早于当前时间之后，通过消息队列选择发送至服务器的所述优先级队列中所有早于当前时间的定时任务。该方法中，服务器分布式、负载均衡地执行所述定时任务。此外，若服务器执行所述定时任务失败，则可以将所述定时任务重新添加到优先级队列中，进行重试处理，若重试处理的次数超过预设重试阈值(可预先根据实际情况而定，例如设置为3次)，则将所述定时任务从所述优先级队列中永久删除。另外，在服务器接收工程worker通过消息队列发送来的符合预设执行条件的定时任务之后，本发明实施例的处理定时任务的方法还可以包括：服务器根据当前执行定时任务的数量上限n，将未能及时执行的定时任务加入到等待队列中，当当前执行的n个的定时任务执行完成之后，再根据fifo的原则选择所述等待队列中的不大于n个的定时任务进行执行。图4是根据本发明实施例的处理定时任务的方法中定时任务的时间戳；图5是根据本发明实施例的处理定时任务的方法的流程图。图6是根据本发明实施例的处理定时任务的系统的主要部分的示意图。本发明实施例中，主要解决的问题如下：1、不用扫描数据库中表的每一条的数据，造成对数据库表的压力，而是使用优先级队列来实现每次只需要扫描队列第一个位置的数据；2、解决扫描表的过程与定时任务处理的过程同步，造成的经常的定时任务等待也不利于扩展的问题，使得worker端与server端分离，异步化处理，提高可靠性和成功率，使得处理定时任务的机制可伸缩。如图6所示，本发明实施例中用于实现处理定时任务的方法的处理定时任务的系统600主要包括如下部分：客户端601、工程worker602以及服务器603，其中：客户端601用于将定时任务添加到redis的优先级队列中；工程worker602用于按照预设频率扫描已添加到redis的优先级队列中的定时任务，并将符合预设执行条件的定时任务通过消息队列发送至服务器603；服务器603用于接收工程worker通过消息队列发送来的符合预设执行条件的定时任务，并执行所述定时任务。以下结合图4、图5以及图6，对本发明实施例的处理定时任务的方法的流程进行详细说明。具体而言，本发明实施例的处理定时任务的完整技术方案从客户端(client端)、工程worker、服务器(server端)进行阐述。客户端(client端)：client端的主要工作是对定时任务的添加和删除，当client端向zset添加一个定时任务时，zset中的key是用来表示此处存放的是定时任务队列(这个队列里面有所有的定时任务信息)，是用来区分redis中的其他key，zset中的score存放了这个定时任务的时间信息，即时间戳，而value存放的是定时任务相关的处理信息。优先级队列中定时任务的数据结构如下表所示意：需要说明的是，将定时任务存入优先级队列的同时，一并写一份到mysql表中作为灾备，如此，当redis挂掉时，可从其中恢复定时任务。定时任务的删除也是同样的过程。worker：当client端不断的将定时任务存入zset中的时候，zset会根据score将其插入到对应的位置，worker只需要判断队列首位的定时任务即可，因为位于队列后面的定时任务的时间戳都是晚于队列首位。为了扫描的效率，可以但不限于将worker的扫描频率设置为1分钟一次。本发明实施例中，worker扫描时，会判断队列首位数据的score值即时间戳是否已经在当前时间之前，如果是就可触发管线pipeline处理，worker会将所有早于当前时间的zset中的定时任务通过消息队列mq发送到server端处理；当mq发送后，worker会立即删除掉zset中的数据，删除动作没有放在server端处理的定时任务完成后再删除，是基于防止处理的定时任务过重的考虑。因为当woker的下一扫描时间戳到来时，若定时任务还没处理完成，就会重复发送mq。定时任务删除后是否已处理完成的机制会在下文，通过server端的异常处理和重试机制来完善。server端：woker端发送了mq，接下来就需要server端执行定时任务。如果所有的定时任务都分配到同一个server上，可能会对server的其他业务造成影响，当并发很高时，若负载不均匀，会造成某一台服务器压力大，可能会宕掉这一台server，因此，此处通过mq将定时任务分发到不同server上，实现负载均衡。具体而言，实现负载均衡的逻辑如下利用broker(broker是一个消息的中转机构，相当于一种服务器)，其上可认为存在一种存放消息的队列，worker扫描出来的一系列定时任务会通过mq以消息的形式将推送到broker，broker的消息队列会以一定的策略(即负载均衡策略，如随机算法、轮询算法等)将这些消息均衡的分发到不同的执行定时任务的server端。此外，在每个server上可以维护了一个等待队列，当某一server处理的定时任务到达上限的时候，后面分配来的定时任务会加入到这个等待队列中。采用先进先出fifo的原则，当server处理完一定预设上限数量(此处可以用n表示，n为大于0的正整数，可以根据server的实际处理能力而定)的定时任务后，会再将队列中的n个定时任务放入server中执行处理。本发明实施例中，server端还设置了异常和重试机制。如前所述，由于worker端发送mq后就会将zset中的定时任务数据删除，并不能保证后续定时任务是否执行成功。因此，当定时任务执行失败后，server端会将这个定时任务重新加入到zset和mysql表中，通过worker触发，让定时任务重试。当然，为了保障系统的性能，避免不必要的性能浪费，每个定时任务会设置一个重试次数限制。此处重试次数限制，即预设重试阈值是在当客户端往zset中加入一个定时任务时，客户端会在redis中创建一个定时任务对应的重试key，用于执行定时任务的所有server共享该重试key，具体而言，该重试key用以存放重试次数，保存在redis中。每次server执行当前定时任务时会做原子扣减，当重试次数用完后，不管定时任务处理的成功或者失败，都会永久的从zset中删除掉该条定时任务数据。redis中重试次数的数据结构如下表所示意：定时任务1+重试重试次数定时任务2+重试重试次数定时任务3+重试重试次数根据本发明实施例的处理定时任务的方法，因为采用将定时任务存储在优先级队列中的技术手段，所以克服了需要扫描数据库中的每条数据以判断时间戳的效率低下的技术问题，进而达到提高定时任务扫描效率的技术效果；因为采用了按照预设频率扫描定时任务，并将符合预设执行条件的定时任务通过消息队列发送至服务器端的技术手段，从而可以避免扫描数据表与任务处理的过程同步，造成任务等待、不利于扩展的技术问题，从而达到了worker端和服务器端分离、非阻塞、异步化地处理定时任务的技术效果；因为采用服务端分布式、负载均衡的执行定时任务的方法，从而可以实现定时任务处理的高可用性、使得任务处理的性能可伸缩；通过利用处理异常重试机制，从而可以提高定时任务处理的可靠性，保证处理的成功率的同时，保障处理的性能；通过工程worker将所述优先级队列中已通过消息队列发送至服务器的符合预设执行条件的定时任务进行删除，从而可以防止处理的定时任务过重，避免了当工程woker的下一扫描时间到来时定时任务还没处理完成会重复通过消息队列发送任务的弊端；通过利用mysql进行定时任务备份存储，从而可以保障当redis宕机时，可从mysql中进行任务恢复；通过在服务器上根据当前执行定时任务的数量上限n，维持一等待队列，将未能及时执行的定时任务加入到等待队列中，从而可以保证高可用的同时，保障服务器的处理性能。下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：按照预设频率扫描已添加到redis的优先级队列中的定时任务，将符合预设执行条件的定时任务通过消息队列发送至服务器，以供服务器执行所述定时任务。根据本发明实施例的技术方案，不需要扫描mysql表中的每条数据，而是利用redis数据库的包括key、score、value的zset优先级队列来实现对定时任务的处理，每次只需要扫描队列的第一个位置的数据。而且将server端和worker端分离，使它们异步执行，从而提高了定时任务处理的可靠性、成功率和伸缩性。上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。尽管结合附图详细描述了本发明的实施例，但实施例仅用于解释和说明本发明，而不是用于限制本发明。本发明的范围由权利要求书来限定，其中某些要素的改变、替换等是显而易见的。当前第1页12