数据处理方法、装置、计算机设备及存储介质与流程

文档序号:18301659发布日期:2019-07-31 10:13阅读:167来源:国知局
数据处理方法、装置、计算机设备及存储介质与流程

本申请涉及大数据技术领域,尤其涉及一种数据处理方法、装置、计算机设备及存储介质。



背景技术:

随着移动互联网业务和用户数量的快速增长,各类公司处理的用户数量和用户相关信息也越来越多。当大量用户同时发送请求时,对应用户信息也要插入数据库,同时也会占用大量的链接,有时会导致链接无响应,进而影响数据处理效率。



技术实现要素:

本申请实施例的目的在于提出一种数据处理方法、装置、计算机设备及存储介质,能够解决因大数量的用户请求而导致链接撑爆的问题。

为了解决上述技术问题,本申请实施例提供一种数据处理方法,应用于计算机设备,采用了如下所述的技术方案:该包括下述步骤:

启动第一线程,并通过所述第一线程扫描用户请求数据;

若扫描到所述用户请求数据,则判断所述用户请求数据中是否包括预设的请求数据;

当判定所述用户请求数据中包括预设的请求数据时,将所述用户请求数据存入到所述第一线程的列表中;

按照所述列表中的顺序将所述用户请求数据插入至数据库。

进一步的,所述通过所述第一线程扫描用户请求数据的步骤具体包括:

设置时间间隔参数;

所述第一线程每隔所述时间间隔参数的时间,对所述用户请求数据进行扫描。

进一步的,所述将所述用户请求数据存入到所述第一线程的列表中的步骤之前,还包括:

当判定所述用户请求数据中包括预设的请求数据时,判断所述用户请求数据的数据量是否达到预设的数据量阈值;

当判定所述用户请求数据的数据量达到预设的数据量阈值,则进一步判断所述第一线程的数量是一个还是一个以上。

进一步的,所述将所述用户请求数据存入到所述第一线程的列表中的步骤具体包括:

当判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个以上时,则按照预设规则,将所述用户请求数据存入至少两个的所述第一线程的列表中。

进一步的,所述将所述用户请求数据存入到所述第一线程的列表中的步骤具体包括:

当判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个时,划分所述用户请求数据的数据量为至少两个子数据包,其中,每个子数据包的数据量小于或者等于所述数据量阈值;

将一个子数据包存入所述第一线程的列表中。

进一步的,在将所述用户请求数据存入到所述第一线程的列表中之后,所述方法还包括:

重新启动至少一个第二线程;

将所述用户请求数据中减去所述一个子数据包的数据存入所述至少一个第二线程的列表中。

进一步的,在按照所述列表中的顺序将所述用户请求数据插入至数据库的步骤之后,所述方法还包括:

当接收暂停插入的指令或者关闭指令时,则在指令下达的时刻停止将数据插入至所述数据库,直至接收恢复插入的指令,将剩余的未插入的预设数据插入至数据库。

为了解决上述技术问题,本申请实施例还提供一种数据处理装,采用了如下所述的技术方案:所述装置包括:

启动模块,用于启动第一线程,并通过所述第一线程扫描用户请求数据;

判断模块,用于若扫描到所述用户请求数据,则判断所述用户请求数据中是否包括预设的请求数据;

存储模块,用于当判定所述用户请求数据中包括预设的请求数据时,将所述用户请求数据存入到所述第一线程的列表中;

数据插入模块,用于按照所述列表中的顺序将所述用户请求数据插入至数据库。

为了解决上述技术问题,本申请实施例提供一种计算机设备,采用了如下所述的技术方案:计算机设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述的数据处理方法的步骤。

为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的数据处理方法的步骤。

与现有技术相比,本申请实施例主要有以下有益效果:

启动第一线程,并通过第一线程扫描用户请求数据,若扫描到用户请求数据且用户请求数据中包括预设的请求数据时,将用户请求数据存入到所述第一线程的列表中,再按照列表中的顺序将用户请求数据插入至数据库。采用本申请的数据处理方法、装置、计算机设备及存储介质,能够根据用户请求数据与预设数据的匹配情况,利用线程将用户请求插入至数据库,避免链接无响应的情形发生,进而有效提高数据处理速度,即使在大数据量同时并发的情况下,也能够确保链接正常运行。

附图说明

为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图;

图2是根据本申请的数据处理方法的一个实施例的流程图;

图3是图2中步骤s201的一种具体实施方式的流程图;

图4是根据本申请的数据处理方法的另一个实施例的流程图;

图5是图2中步骤s203的一种具体实施方式的流程图;

图6是根据本申请的数据处理装置的一个实施例的结构示意图;

图7是图6所示启动模块一种具体实施方式的结构示意图;

图8是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是,本申请实施例所提供的数据处理方法一般由服务器/终端设备执行,相应地,数据处理装置一般设置于服务器/终端设备中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

继续参考图2,示出了根据本申请的数据处理方法的一个实施例的流程图。所述的数据处理方法,包括以下步骤:

步骤201,启动第一线程,并通过所述第一线程扫描用户请求数据。

具体的,在本实施例中,数据处理方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收用户的请求。需要指出的是,上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。

请继续参考图3,示出了根据本申请的数据处理方法的一个实施例的子流程图,步骤201进一步包括:

步骤301,设置时间间隔参数。

步骤302,所述第一线程每隔所述时间间隔参数的时间,对所述用户请求数据进行扫描。

更具体的,在第一线程中开启定时器,根据定时器设定的时间间隔参数,定期扫描用户请求,检测是否存在用户请求,若存在用户请求,则获取用户请求数据。其中,该用户请求可以是进入网页的加载请求,也可以是触发功能按键的请求,例如:提交保单等。

线程的数量可以是一个,也可以是多个。若线程的数量为一个,则按照如下方法启动一个线程,通过thread.start()的方式启动一个线程。如果线程的数量为至少两个,则按照如下方法启动其它第一线程:通过在线程操作的地方写入thread.adduserdata(userdata)启动其它第一线程。

在其他实施例中,还可以先判断在当前时刻用户请求的数量是否大于预设的数量,若是,再进入步骤201,若否,则按照正常的流程处理数据。预设的数量可以是一百条、两百条、三百条或者任意条数。也就是说,本发明的数据处理方法能够适用于较多用户同时发出请求数据的情况。

步骤202,若扫描到所述用户请求数据,则判断所述用户请求数据中是否包括预设的请求数据。若是,则进入步骤203,若否,则流程结束。

具体的,判断用户请求数据中是否包括预设的请求数据,预设的请求数据是指定的数据内容。例如,预设的请求数据可以是网页的加载请求。

步骤203,将所述用户请求数据存入到所述第一线程的列表中。

具体的,当用户请求数据中包括预设的请求数据时,将用户的数据存入到第一线程的列表list<userdate>中。

步骤204,按照所述列表中的顺序将所述用户请求数据插入至数据库。

具体的,通过定义好的sql(structuredquerylanguage,结构化查询语言)语句将用户数据逐条插入到数据库中。

请参考图4,示出了根据本申请的数据处理方法的另一个实施例的流程图,在步骤202和步骤203之间,所述数据处理方法还可以包括:

步骤401,判断所述用户请求数据的数据量是否达到预设的数据量阈值。

具体的,步骤401与前述步骤判断用户请求数据量是否达到预设的数量存在不同,步骤401中的数据量阈值大于步骤201提到的预设的数量。在步骤401中,当用户请求数据量大于或者等于数据量阈值,说明用户请求过多、数据量过大、会占用大量链接,通过判断用户请求数据的数据量与数据量阈值之间的关系,来确定是否要启动多线程对数据进行处理。

若用户请求的数据量小于数据量阈值,说明还能够承受当前的数据量,则按照正常的流程处理数据,即:可以将用户请求的数据通过链接插入数据库。

步骤402,当判定所述用户请求数据的数据量达到预设的数据量阈值,则进一步判断所述第一线程的数量是一个还是一个以上。

具体的,当用户请求数据的数据量达到预设的数据量阈值时,进一步判断第一线程的数量是一个还是一个以上。当判定第一线程的数量是一个以上时,则启动一个以上第一线程的过程可以是:通过在线程操作的地方写入thread.adduserdata(userdata)启动一个以上第一线程。

在本实施例中,根据用户请求数据的数据量和线程的数量,步骤203的过程也存在不同,具体为,请参考图5,示出了根据本申请的数据处理方法中将所述用户请求数据存入到所述第一线程的列表中的步骤具体包括:

步骤501,当判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个时,划分所述用户请求数据的数据量为至少两个子数据包,其中,每个子数据包的数据量小于或者等于所述数据量阈值;

步骤503,将一个子数据包存入所述第一线程的列表中。

具体的,通过比较用户请求数据量与数据量阈值,可以确定用户请求数据量对应的数量区间,根据对应的数量区间,确定将预设数据的数据量分割成多个子数据包,先将一个子数据包分配至第一线程的列表中进行数据处理。

优选的,多个子数据包中,每个子数据包的数据量可以相同也可以不同,确保每个子数据包的数据量都小于或者等于数据量阈值即可。

当子数据包的数据量小于或等于所述预设数据量阈值时,则步骤503为:将所述用户请求数据中等于所述数据量阈值的数据存入所述第一线程的列表中。

进一步的,在将所述用户请求数据存入到所述第一线程的列表中之后,本申请实施例的数据处理方法还包括:

重新启动至少一个第二线程;

将所述用户请求数据中减去所述一个子数据包的数据存入所述至少一个第二线程的列表中。

当子数据包的数据量大于所述预设数据量阈值时,则该步骤为:将所述用户请求数据中减去所述数据量阈值的数据存入所述至少一个第二线程的列表中。

本实施例的数据处理方法,能够将用户请求数据分割成多个子数据包,并将多个子数据包分配至多个线程进行数据处理。

在其他实施例中,也可以省去划分子数据包的步骤,而是随机分配用户请求至多个线程同步进行数据处理。

本申请实施例中,将用户请求存入多个线程的具体过程为:当线程的数量为多个时,也就是多线程数据处理的情况,则存入每个用户的数据至线程的列表,从而得到列表list<userdata>集合,并再重新启动一个线程,同时将列表集合传入到重新启动的线程列表中。

在其他实施例中,还可以根据不同线程的承载能力,将用户请求的数据包对应分配至多个线程进行数据处理。

进一步的,当判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个以上时,则将所述用户请求数据存入至少两个的所述第一线程的列表中。

进一步的,当判定用户的数据量未达到预设的数据量阈值,则可以将用户请求存入当前的第一线程的列表中,第一线程可以是一个线程,也可以上一个以上的线程,本申请实施例不作具体限制。

进一步的,请再次参考图2,本申请实施例的数据处理方法中的步骤204具体包括:

将列表内的预设数据进行分组,可以按照条数分组,也可以按照数据量大小进行分组,分成第一组数据、第二组数据等等。先将第一组数据插入数据库,再将第二组数据插入数据库,直至所有组的数据插入数据库成功。

在其他实施例中,可以不按照分组进行数据插入,而是根据数据量去划分。也就是说,先将数据划分为第一数量的数据、第二数量的数据,并先将第一数量的数据插入数据库,并判断列表中是否存在未上传的预设数据,若是,则再将第二数量的数据插入数据库(第二数量可以等于第一数量,也可以大于或者小于第一数量),再判断列表中是否存在未上传的预设数据,若是,则再将第三数量的数据插入数据库(第三数量可以等于第一数量,也可以大于或者小于第一数量),…,直至判断列表中的待处理数据为零,即完成上传。

在每次插入一次数据之后,都判断该次插入的数据是否插入成功,若是,则进行接下来的数据上传。若没有成功,则重新上传。

在本申请一种可选的实施例中,在每次将数据插入数据库之后都删除相应组的数据,例如,在插入第一组数据至数据库之后,则删除第一组数据,以此类推。本领域技术人员可以理解的是,在其他实施例中,也可以不删除第一组数据,可以根据设置,定期清理全部缓存数据。

在本申请另一种可选的实施例中,可以根据预设数据的重要级别,进行相应的处理。具体地,将重要性低的数据进行删除,将重要性高的数据进行备份。

对于多线程的情况,新启动的第二线程将列表集合中的预设数据插入到数据库中,从而实现了通过一个连接就可以将预设数据插入到数据库中。

在本申请实施例中,当判定用户请求数据中不包括预设的数据,则流程结束。

进一步的,本申请的数据处理方法,在按照所述列表中的顺序将所述用户请求数据插入至数据库的步骤之后,所述方法还包括:

当接收暂停插入的指令或者关闭指令时,则在指令下达的时刻停止将数据插入至所述数据库,直至接收恢复插入的指令,将剩余的未插入的预设数据插入至数据库。

具体的,当接收到用户发起的暂停插入的指令或者关闭指令时,则在指令下达的时刻停止将数据插入至数据库,直至接收到用户发起的恢复插入的指令,将剩余未插入的预设数据插入至数据库。

本申请实施例的数据处理方法,当启动第一线程,并通过第一线程扫描用户请求数据,若扫描到用户请求数据且用户请求数据中包括预设的请求数据时,将用户请求数据存入到所述第一线程的列表中,再按照列表中的顺序将用户请求数据插入至数据库。采用本申请的数据处理方法,能够根据用户请求数据与预设数据的匹配情况,利用线程将用户请求插入至数据库,避免链接无响应的情形发生,进而有效提高数据处理速度,即使在大数据量同时并发的情况下,也能够确保链接正常运行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(randomaccessmemory,ram)等。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图6,作为对上述图2所示方法的实现,本申请提供了一种数据处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图6所示,本实施例所述的数据处理装置600包括:启动模块601、判断模块602、存储模块603以及数据插入模块604。其中:

启动模块601,用于启动第一线程,并通过所述第一线程扫描用户请求数据。

参阅图7,为启动模块601模块一种具体实施方式的结构示意图,启动模块601模块包括设置子模块6011以及扫描子模块6012。其中,

设置子模块6011,用于设置时间间隔参数。

扫描子模块6012,用于所述第一线程每隔所述时间间隔参数的时间,对所述用户请求数据进行扫描。

更具体的,在第一线程中开启定时器,根据定时器设定的时间间隔参数,定期扫描用户请求,扫描子模块6012检测是否存在用户请求,若存在用户请求,则获取用户请求数据。其中,该用户请求可以是进入网页的加载请求,也可以是触发功能按键的请求,例如:提交保单等。

线程的数量可以是一个,也可以是多个。若线程的数量为一个,则按照如下方法启动一个线程,通过thread.start()的方式启动一个线程。如果线程的数量为至少两个,则按照如下方法启动其它第一线程:通过在线程操作的地方写入thread.adduserdata(userdata)启动其它第一线程。

在其他实施例中,还可以先判断在当前时刻用户请求的数量是否大于预设的数量,若是,再触发启动模块601,若否,则按照正常的流程处理数据。预设的数量可以是一百条、两百条、三百条或者任意条数。也就是说,本发明的数据处理方法能够适用于较多用户同时发出请求数据的情况。

判断模块602,若扫描到所述用户请求数据,则用于判断所述用户请求数据中是否包括预设的请求数据。

具体的,判断用户请求数据中是否包括预设的请求数据,预设的请求数据是指定的数据内容。例如,预设的请求数据可以是网页的加载请求。

存储模块603,用于当判定所述用户请求数据中包括预设的请求数据时,将所述用户请求数据存入到所述第一线程的列表中。

具体的,当用户请求数据中包括预设的请求数据时,将用户的数据会存入到第一线程的列表list<userdate>中。

数据插入模块604,用于按照所述列表中的顺序将所述用户请求数据插入至数据库。

具体的,通过定义好的sql(structuredquerylanguage,结构化查询语言)语句将用户数据逐条插入到数据库中。

进一步的,判断模块602,还用于判断所述用户请求数据的数据量是否达到预设的数据量阈值。

具体的,数据量阈值与判断模块602判断用户请求数据量是否达到预设的数量存在不同,数据量阈值大于预设的数量。当用户请求数据量大于或者等于数据量阈值,说明用户请求过多、数据量过大、会占用大量链接,通过判断用户请求数据的数据量与数据量阈值之间的关系,来确定是否要启动多线程对数据进行处理。

若用户请求的数据量小于数据量阈值,说明还能够承受当前的数据量,则按照正常的流程处理数据,即:可以将用户请求的数据通过链接插入数据库。

当判定所述用户请求数据的数据量达到预设的数据量阈值,则判断模块602,还用于进一步判断所述第一线程的数量是一个还是一个以上。

具体的,当用户请求数据的数据量达到预设的数据量阈值时,进一步判断第一线程的数量是一个还是一个以上。当判定第一线程的数量是一个以上时,则启动一个以上第一线程的过程可以是:通过在线程操作的地方写入thread.adduserdata(userdata)启动一个以上第一线程。

在本实施例中,根据用户请求数据的数据量和线程的数量,存储模块603的作用也不同。具体地,存储模块603具体用于:

当判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个时,划分所述用户请求数据的数据量为至少两个子数据包,其中,每个子数据包的数据量小于或者等于所述数据量阈值;将一个子数据包存入所述第一线程的列表中。

具体的,通过比较用户请求数据量与数据量阈值,可以确定用户请求数据量对应的数量区间,根据对应的数量区间,确定将预设数据的数据量分割成多个子数据包,先将一个子数据包分配至第一线程的列表中进行数据处理。

优选的,多个子数据包中,每个子数据包的数据量可以相同也可以不同,确保每个子数据包的数据量都小于或者等于数据量阈值即可。

当子数据包的数据量小于或等于所述预设数据量阈值时,则存储模块603具体用于:重新启动至少一个第二线程,并将所述用户请求数据中等于所述数据量阈值的数据存入所述第一线程的列表中。

进一步的,在将所述用户请求数据存入到所述第一线程的列表中之后,存储模块603,还用于:

将所述用户请求数据中减去所述一个子数据包的数据存入所述至少一个第二线程的列表中。

当子数据包的数据量大于所述预设数据量阈值时,则存储模块603,还用于:将所述用户请求数据中减去所述数据量阈值的数据存入所述至少一个第二线程的列表中。

本实施例的数据处理装置600,能够将用户请求数据分割成多个子数据包,并将多个子数据包分配至多个线程进行数据处理。

在其他实施例中,也可以省去划分子数据包的步骤,而是随机分配用户请求至多个线程同步进行数据处理。

本申请实施例中,存储模块603将用户请求存入多个线程的具体过程为:当线程的数量为多个时,也就是多线程数据处理的情况,则存入每个用户的数据至线程的列表,从而得到列表list<userdata>集合,并再重新启动一个线程,同时将列表集合传入到重新启动的线程列表中。

在其他实施例中,还可以根据不同线程的承载能力,将用户请求的数据包对应分配至多个线程进行数据处理。

进一步的,当判断模块602判定所述用户数据的数据量达到预设的数据量阈值,且所述第一线程的数量为一个以上时,则存储模块603将所述用户请求数据存入至少两个的所述第一线程的列表中。

进一步的,当判断模块602判定用户的数据量未达到预设的数据量阈值,则存储模块603可以将用户请求存入当前的第一线程的列表中,第一线程可以是一个线程,也可以上一个以上的线程,本申请实施例不作具体限制。

进一步的,数据插入模块604具体用于:

将列表内的预设数据进行分组,可以按照条数分组,也可以按照数据量大小进行分组,分成第一组数据、第二组数据等等。先将第一组数据插入数据库,再将第二组数据插入数据库,直至所有组的数据插入数据库成功。

在其他实施例中,可以不按照分组进行数据插入,而是根据数据量去划分。也就是说,先将数据划分为第一数量的数据、第二数量的数据,并先将第一数量的数据插入数据库,并判断列表中是否存在未上传的预设数据,若是,则再将第二数量的数据插入数据库(第二数量可以等于第一数量,也可以大于或者小于第一数量),再判断列表中是否存在未上传的预设数据,若是,则再将第三数量的数据插入数据库(第三数量可以等于第一数量,也可以大于或者小于第一数量),…,直至判断列表中的待处理数据为零,即完成上传。

在每次插入一次数据之后,都判断该次插入的数据是否插入成功,若是,则进行接下来的数据上传。若没有成功,则重新上传。

在本申请一种可选的实施例中,在每次将数据插入数据库之后都删除相应组的数据,例如,在插入第一组数据至数据库之后,则删除第一组数据,以此类推。本领域技术人员可以理解的是,在其他实施例中,也可以不删除第一组数据,可以根据设置,定期清理全部缓存数据。

在本申请另一种可选的实施例中,可以根据预设数据的重要级别,进行相应的处理。具体地,将重要性低的数据进行删除,将重要性高的数据进行备份。

对于多线程的情况,新启动的第二线程将列表集合中的预设数据插入到数据库中,从而实现了通过一个连接就可以将预设数据插入到数据库中。

当接收暂停插入的指令或者关闭指令时,则数据插入模块604在指令下达的时刻停止将数据插入至所述数据库,直至接收恢复插入的指令,数据插入模块604将剩余的未插入的预设数据插入至数据库。

具体的,当接收到用户发起的暂停插入的指令或者关闭指令时,则数据插入模块604在指令下达的时刻停止将数据插入至数据库,直至接收到用户发起的恢复插入的指令,数据插入模块604将剩余未插入的预设数据插入至数据库。

本申请实施例的数据处理装置600,当启动模块601启动第一线程,并通过第一线程扫描用户请求数据,若扫描到用户请求数据且判断模块602判定用户请求数据中包括预设的请求数据时,存储模块603将用户请求数据存入到所述第一线程的列表中,数据插入模块604再按照列表中的顺序将用户请求数据插入至数据库。采用本申请的数据处理装置,能够根据用户请求数据与预设数据的匹配情况,利用线程将用户请求插入至数据库,避免链接无响应的情形发生,进而有效提高数据处理速度,即使在大数据量同时并发的情况下,也能够确保链接正常运行。

为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图8,图8为本实施例计算机设备基本结构框图。

所述计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是,图中仅示出了具有组件81-83的计算机设备8,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程门阵列(field-programmablegatearray,fpga)、数字处理器(digitalsignalprocessor,dsp)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器81至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器81可以是所述计算机设备8的内部存储单元,例如该计算机设备8的硬盘或内存。在另一些实施例中,所述存储器81也可以是所述计算机设备8的外部存储设备,例如该计算机设备8上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。当然,所述存储器81还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中,所述存储器81通常用于存储安装于所述计算机设备8的操作系统和各类应用软件,例如数据处理方法的程序代码等。此外,所述存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器82在一些实施例中可以是中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制所述计算机设备8的总体操作。本实施例中,所述处理器82用于运行所述存储器81中存储的程序代码或者处理数据,例如运行所述数据处理方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口,该网络接口63通常用于在所述计算机设备8与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有数据处理程序,所述数据处理程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的数据处理方法的步骤。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1