一种群用户查询大数据的处理方法及装置与流程

本发明涉及大数据应用技术领域，特别是涉及一种群用户查询大数据的处理方法及装置。

背景技术：

目前用于用户查询访问大数据的平台工具，可实现大量用户登录查询数据，但在大量用户生成查询访问任务时因为应用限制或数据库限制，导致只能实现少数用户同时获取查询访问结果，而其他用户访问则会提示访问失败，同时造成访问的数据库锁表，影响其他应用对于大数据的访问。另外在执行用户任务的过程中，多数技术采用了在线处理的方式，即用户离线后，任务会自动中断。部分技术也支持离线处理任务，采用邮件形式发送，但由于邮箱附件的大小限制，也限制了可查询访问结果不能是大量数据。当用户访问获取的数据量很大时，目前技术可通过csv(comma-separatedvalues，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号)或其他文件格式下载数据，但是下载数据后，用户因传统查看处理工具的限制，如查看工具为excel，则无法打开数据量超大的文件，处理十分困难。在大数据的查询访问限制方面，现有技术是采用程序代码的方式实现，需要配置人员具有程序代码编译能力，灵活度不错，但使用要求高。

技术实现要素：

本发明实施例提供一种群用户查询大数据的处理方法及装置，以解决现有技术中的以下问题：大量用户群同时查询大数据时，造成数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作。

为解决上述技术问题，本发明实施例采用的第一技术方案如下：

一种群用户查询大数据的处理方法，其包括：接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；若是，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。

可选地，若当前的下载任务队列内的目标任务的数量没有达到所述预设任务数量，包括：按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理，直至所述下载任务队列内的所述目标任务的数量等于所述预设数量为止。

可选地，所述按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理之后，包括：获取所述目标任务对应的所述目标数据；根据预设存储规则，获取所述目标数据对应的目标存储地址；根据所述目标存储地址，将所述目标数据下载至指定地址。

可选地，所述根据所述目标存储地址，将所述目标数据下载至指定地址之后，包括：判断是否接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号；若是，则进一步判断下载所述目标数据的用户是否具备下载所述目标数据的权限；若是，则将用户要查询的所述目标数据下载到客户端对应的本地数据库，并对下载的所述目标数据进行压缩打包处理。

可选地，所述对下载的所述目标数据进行压缩打包处理，包括：判断下载的所述目标数据的数据量是否大于预设数据量；若是，则将所述目标数据分为若干份待压缩文件，且每份所述待压缩文件的数据量小于或等于所述预设数据量；将每份所述待压缩文件进行压缩和打包形成数据包，并将全部的所述数据包进行存储。

可选地，所述将所述目标数据分为若干份待压缩文件，包括：将所述目标数据分为若干份格式为excel的待压缩文件。

可选地，所述将下载每个用户对应的所述目标数据作为一个目标任务之前，包括：判断下载所述目标数据的用户是否具备下载所述目标数据的权限；若是，则将下载每个具备下载权限的用户对应的所述目标数据作为一个所述目标任务。

为解决上述技术问题，本发明实施例采用的第二技术方案如下：

一种群用户查询大数据的处理装置，其包括：任务生成模块，用于接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务；数量判断模块，用于判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量；任务处理模块，用于当当前的所述下载任务队列内的所述目标任务的数量已经达到预设任务数量时，按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。

为解决上述技术问题，本发明实施例采用的第三技术方案如下：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的群用户查询大数据的处理方法。

为解决上述技术问题，本发明实施例采用的第四技术方案如下：

一种计算机设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的群用户查询大数据的处理方法。

本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

附图说明

图1是本发明实施例一的群用户查询大数据的处理方法一实施方式的实施流程图；

图2是本发明实施例二的群用户查询大数据的处理装置一实施方式的部分结构框架图；

图3是本发明实施例三的计算机可读存储介质一实施方式的部分结构框架图；

图4是本发明实施例四的计算机设备一实施方式的部分结构框架图。

具体实施方式

实施例一

请参阅图1，图1是本发明实施例的群用户查询大数据的处理方法的实施流程图，结合图1可以得到，本发明的一种群用户查询大数据的处理方法，包括：

步骤s101：接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务。在本步骤中，不同的用户在客户端对应的下载界面下载目标数据，而对应的处理服务器只能同时处理预设数量的下载任务，该预设数量即为处理服务器同时处理下载任务的上限数量。

步骤s102：判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量。

步骤s103：若当前的下载任务队列内的所述目标任务的数量已经达到预设任务数量，则按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。

步骤s104：当当前的下载任务队列内的目标任务的数量没有达到所述预设任务数量时，则按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理，直至所述下载任务队列内的所述目标任务的数量等于所述预设数量为止。

在本实施例中，可选地，所述按照所述目标任务生成的时间先后顺序，将排在最前面的所述目标任务拉入所述下载任务队列内进行处理之后，包括：

第一，获取所述目标任务对应的所述目标数据。

第二，根据预设存储规则，获取所述目标数据对应的目标存储地址，其中该预设存储规则在生成所述目标任务之前已经设计完成。

第三，根据所述目标存储地址，将所述目标数据下载至指定地址。

在本实施例中，可选地，所述根据所述目标存储地址，将所述目标数据下载至指定地址之后，包括：

第一，判断是否接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号。

第二，若接收到用户在所述指定地址对应的查询界面下载所述目标数据的信号，则进一步判断下载所述目标数据的用户是否具备下载所述目标数据的权限。

第三，若下载所述目标数据的用户具备下载所述目标数据的权限，则将用户要查询的所述目标数据下载到客户端对应的本地数据库，并对下载的所述目标数据进行压缩打包处理。

在本实施例中，可选地，所述对下载的所述目标数据进行压缩打包处理，包括：

第一，判断下载的所述目标数据的数据量是否大于预设数据量。

第二，若下载的所述目标数据的数据量大于预设数据量，则将所述目标数据分为若干份待压缩文件，且每份所述待压缩文件的数据量小于或等于所述预设数据量。其中，预设数据量是一个压缩打包的上限数据量，超过这个上限数据量的压缩文件，用传统的工具如excel就很难打开。可选地，预设数据量可设为50万条数据，从而方便用户下载处理，提供用户的便利操作和体验。

第三，将每份所述待压缩文件进行压缩和打包形成数据包，并将全部的所述数据包进行存储。

在本实施例中，可选地，所述将所述目标数据分为若干份待压缩文件，包括：

将所述目标数据分为若干份格式为excel的待压缩文件，将所述目标数据的格式定为excel格式，可以避免用户无法打开其它格式的文件，造成处理困难的问题。

在本实施例中，可选地，所述将下载每个用户对应的所述目标数据作为一个目标任务之前，包括：

第一，判断下载所述目标数据的用户是否具备下载所述目标数据的权限。

第二，若下载所述目标数据的用户具备下载所述目标数据的权限，则将下载每个具备下载权限的用户对应的所述目标数据作为一个所述目标任务。

本发明实施例通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

实施例二

请参阅图2，图2是本发明实施例的群用户查询大数据的处理装置100的部分结构框架图，结合图2可以得到，本发明的一种群用户查询大数据的处理装置100，包括：

任务生成模块110，用于接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的所述目标数据作为一个目标任务。

数量判断模块120，用于判断当前的下载任务队列内的所述目标任务的数量是否已经达到预设任务数量，所述预设任务数量为任务处理的上限数量。

任务处理模块130，用于当当前的所述下载任务队列内的所述目标任务的数量已经达到预设任务数量时，按照所述目标任务生成的时间先后顺序，将当前所述下载任务队列外的全部所述目标任务进行排队，待所述下载任务队列内的所述目标任务的数量少于所述预设任务数量后，按照排队顺序将符合条件的所述目标任务拉入所述下载任务队列内进行处理。

本发明实施例通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

实施例三

请参阅图3，参考图3可以看到，本发明实施例的一种计算机可读存储介质10，所述的计算机可读存储介质10，如：rom/ram、磁碟、光盘等，其上存储有计算机程序11，所述计算机程序11被执行时实现如实施例一所述的群用户查询大数据的处理方法。由于该群用户查询大数据的处理方法已经在实施例一进行了详细的说明，在此不再重复说明。

本发明实施例实现的群用户查询大数据的处理方法，通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

实施例四

请参阅图4，参考图4可以看到，本发明实施例的一种计算机设备20，其包括处理器21、存储器22及存储于所述存储器22上并可在所述处理器21上运行的计算机程序221，所述处理器21执行所述计算机程序221时实现如实施例一所述的群用户查询大数据的处理方法。由于该群用户查询大数据的处理方法已经在实施例一进行了详细的说明，在此不再重复说明。

本发明实施例实现的群用户查询大数据的处理方法，通过接收多个用户下载与其对应的目标数据的信号，并将下载每个用户对应的目标数据作为一个目标任务，判断当前的下载任务队列内的目标任务的数量是否已经达到预设任务数量，若是则按照目标任务生成的时间先后顺序，将当前下载任务队列外的全部目标任务进行排队，待下载任务队列内的目标任务的数量少于预设任务数量后，按照排队顺序将符合条件的目标任务拉入下载任务队列内进行处理，解决了大量用户群同时查询大数据时，造成的数据库访问压力大、数据库锁表甚至瘫痪以及离线不能操作的问题。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。