一种数据更新方法、装置及服务器与流程

本发明涉及大数据处理技术领域，具体而言，涉及一种数据更新方法、装置及服务器。

背景技术：

大数据在现如今的社会生产生活中扮演着越来越重要的角色，人们可以利用大数据进行多种多样的业务处理。常见的基于大数据的业务处理机制为请求响应机制：业务终端向大数据服务器发起业务处理请求，大数据服务器响应业务处理请求并进行相应的数据业务处理，然后将处理结果返回给业务终端。但随着大数据服务器对接的业务终端数量的增加，业务终端在向大数据服务器发送了业务处理请求之后，难以及时地获得大数据服务器返回的处理结果。

技术实现要素：

为了改善上述问题，本发明提供了一种数据更新方法、装置及服务器。

本发明实施例的第一方面，提供了一种数据更新方法，应用于服务器，所述服务器与业务终端通信，所述方法包括：

按照设定时长间隔从运行日志中读取业务终端的至少部分第一业务请求，确定每个第一业务请求的业务类型，所述第一业务请求为业务终端在当前时刻之前向服务器发送的业务请求，所述业务类型用于表征所述第一业务请求对应的数据业务处理类型；

确定每个业务类型在至少部分业务类型中的占比，按照所述占比的由大到小顺序对所述业务类型进行排序得到第一排序序列；

从预设的数据集合中确定每个业务类型对应的数据组，并按照所述第一排序序列为每个数据组进行排序得到第二排序序列；

根据每个数据组在所述第二排序序列中的相对位置，为每个数据组分配数据恢复频率；

按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组；

将至少部分目标数据集更新至业务数据区间并返回按照所述数据恢复频率将至少部分数据组调取至数据恢复线程的步骤以实现所述业务数据区间内的业务数据组的循环更新。

可选地，所述按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组，包括：

根据每个数据组对应的数据恢复频率对所述数据组进行聚类得到多个类别，每个类别下包括至少两个数据组；

根据每个类别下包括的数据组的数据恢复频率为每个类别分配类别标识，所述类别标识具有从高到低的层级顺序；

确定所述数据恢复线程的负载容量，所述负载容量用于表征同时进行数据恢复的数据组的最大数量；

根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程以通过所述数据恢复线程对至少一个类别下的数据组进行数据恢复得到至少一个类别下的数据组对应的业务数据组。

可选地，所述根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程，包括：

根据所述负载容量对应的同时进行数据恢复的数据组的最大数量，对所述类别标识进行区间划分得到多个类别区间，每个类别区间对应的数据组的累计数量小于等于所述最大数量；

根据每个类别区间中的类别对应的类别标识的均值为每个类别区间设置区间标识；

按照区间标识由大到小的顺序循环地将每个类别区间中的数据组调取至所述数据恢复线程。

可选地，所述通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组，包括：

针对至少部分数据组中的每个数据组，根据该数据组中数据串的数据特征，获得该数据组的特征分布；

确定所述特征分布中每个特征节点在所述特征分布中的位置权重，所述位置权重用于表征每个特征节点与特征分布的中心节点之间的距离；

根据所述位置权重由大到小的顺序将该数据组中的数据串依次加载至所述数据恢复线程中以得到每个数据串的特征向量；

运行所述数据恢复线程以对每个特征向量中的每个向量值确定关联值，所述关联值与向量值之间的匹配度大于等于设定值，根据每个特征向量对应的关联值得到关联向量并基于所述关联向量对每个特征向量进行扩维处理得到目标向量；从所述数据恢复线程中抽取每个目标向量并基于预设的向量值数据库确定每个目标向量中的每个目标向量值对应的业务数据串；按照所述目标向量中的目标向量值的排布顺序将所述业务数据串组合成该数据组的对应业务数据组。

本发明实施例的第二方面，提供了一种数据更新装置，应用于服务器，所述服务器与业务终端通信，所述装置包括：

类型确定模块，用于按照设定时长间隔从运行日志中读取业务终端的至少部分第一业务请求，确定每个第一业务请求的业务类型，所述第一业务请求为业务终端在当前时刻之前向服务器发送的业务请求，所述业务类型用于表征所述第一业务请求对应的数据业务处理类型；

第一排序模块，用于确定每个业务类型在至少部分业务类型中的占比，按照所述占比的由大到小顺序对所述业务类型进行排序得到第一排序序列；

第二排序模块，用于从预设的数据集合中确定每个业务类型对应的数据组，并按照所述第一排序序列为每个数据组进行排序得到第二排序序列；

频率分配模块，用于根据每个数据组在所述第二排序序列中的相对位置，为每个数据组分配数据恢复频率；

数据调取模块，用于按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组；

循环更新模块，用于将至少部分目标数据集更新至业务数据区间并返回按照所述数据恢复频率将至少部分数据组调取至数据恢复线程的步骤以实现所述业务数据区间内的业务数据组的循环更新。

可选地，所述数据调取模块，具体用于：

根据每个数据组对应的数据恢复频率对所述数据组进行聚类得到多个类别，每个类别下包括至少两个数据组；

根据每个类别下包括的数据组的数据恢复频率为每个类别分配类别标识，所述类别标识具有从高到低的层级顺序；

确定所述数据恢复线程的负载容量，所述负载容量用于表征同时进行数据恢复的数据组的最大数量；

根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程以通过所述数据恢复线程对至少一个类别下的数据组进行数据恢复得到至少一个类别下的数据组对应的业务数据组。

可选地，所述数据调取模块，具体用于：

根据所述负载容量对应的同时进行数据恢复的数据组的最大数量，对所述类别标识进行区间划分得到多个类别区间，每个类别区间对应的数据组的累计数量小于等于所述最大数量；

根据每个类别区间中的类别对应的类别标识的均值为每个类别区间设置区间标识；

按照区间标识由大到小的顺序循环地将每个类别区间中的数据组调取至所述数据恢复线程。

可选地，所述数据调取模块，具体用于：

针对至少部分数据组中的每个数据组，根据该数据组中数据串的数据特征，获得该数据组的特征分布；

确定所述特征分布中每个特征节点在所述特征分布中的位置权重，所述位置权重用于表征每个特征节点与特征分布的中心节点之间的距离；

根据所述位置权重由大到小的顺序将该数据组中的数据串依次加载至所述数据恢复线程中以得到每个数据串的特征向量；

运行所述数据恢复线程以对每个特征向量中的每个向量值确定关联值，所述关联值与向量值之间的匹配度大于等于设定值，根据每个特征向量对应的关联值得到关联向量并基于所述关联向量对每个特征向量进行扩维处理得到目标向量；从所述数据恢复线程中抽取每个目标向量并基于预设的向量值数据库确定每个目标向量中的每个目标向量值对应的业务数据串；按照所述目标向量中的目标向量值的排布顺序将所述业务数据串组合成该数据组的对应业务数据组。

本发明实施例的第三方面，提供了一种服务器，包括：处理器以及与所述处理器连接的存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，以执行上述的数据更新方法。

本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的数据更新方法。

本发明实施例所提供的数据更新方法、装置及服务器，能够按照每个业务类型在至少部分业务类型中的占比由大到小顺序对业务类型进行排序得到第一排序序列，并按照第一排序序列对每个业务类型对应的数据组进行排序得到第二排序序列，从而根据每个数据组在第二排序序列中的相对位置为每个数据组分配数据恢复频率，以实现基于数据恢复频率对业务数据组进行恢复和更新。如此，无需服务器根据目标业务请求去查找对应的数据组然后进行业务数据组的恢复，能够根据业务终端的历史业务请求对存储的与业务终端对应的数据进行动态恢复和更新，进而减少服务器根据业务处理请求查找数据以及恢复数据的时长，确保业务终端向大数据服务器发送了业务处理请求之后，能够及时地获得大数据服务器返回的处理结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的一种数据更新方法的流程图。

图2为本发明实施例所提供的一种数据更新装置的功能模块框图。

图3为本发明实施例所提供的一种服务器的产品模块示意图。

图标：

200-服务器；

201-数据更新装置；2011-类型确定模块；2012-第一排序模块；2013-第二排序模块；2014-频率分配模块；2015-数据调取模块；2016-循环更新模块；

211-处理器；212-存储器；213-总线。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

随着大数据服务器对接的业务终端数量的增加以及大数据服务器所存储的数据量的增加，为了提高数据存储效率，大数据服务器通常将同一业务终端对应的各类业务数据进行压缩存储，并在接收到业务终端的业务处理请求时从压缩存储的数据中恢复对应的数据进行处理，在从压缩存储的数据中查找数据以及对查找到的数据进行恢复会需要较长的时间。

为此，本发明实施例提供了一种数据更新方法、装置及服务器，能够根据业务终端的历史业务请求对存储的与业务终端对应的数据进行动态恢复和更新，进而减少服务器根据业务处理请求查找数据以及恢复数据的时长，确保业务终端向大数据服务器发送了业务处理请求之后，能够及时地获得大数据服务器返回的处理结果。

为实现上述目的，本发明实施例提供了一种应用于服务器的数据更新方法，该服务器与业务终端通信，该方法具体可以包括以下内容。

步骤s21，按照设定时长间隔从运行日志中读取业务终端的至少部分第一业务请求，确定每个第一业务请求的业务类型。

在本实施例中，所述第一业务请求为业务终端在当前时刻之前向服务器发送的业务请求，所述业务类型用于表征所述第一业务请求对应的数据业务处理类型。

在本实施例中，设定时长间隔可以根据业务终端与服务器的通信频率确定，通信频率越高则设定时长间隔越短，通信频率越低则设定时长间隔越长。其中，通信频率可以是业务终端与服务器之间的单向通信行为或者双向通信行为。

步骤s22，确定每个业务类型在至少部分业务类型中的占比，按照所述占比的由大到小顺序对所述业务类型进行排序得到第一排序序列。

步骤s23，从预设的数据集合中确定每个业务类型对应的数据组，并按照所述第一排序序列为每个数据组进行排序得到第二排序序列。

在本实施例中，数据集合中的每个数据组为经服务器压缩之后的数据组，这些数据组保留了压缩之前的业务数据的特征和溯源性，能够通过服务器的数据恢复线程将数据组恢复到压缩之前的业务数据。

步骤s24，根据每个数据组在所述第二排序序列中的相对位置，为每个数据组分配数据恢复频率。

在本实施例中，相对位置可以是每个数据组在第二排序序列中的排序位置，数据恢复频率用于表征单位时间内将数据组恢复为压缩之前的业务数据的次数，数据组的排序位置越靠前，则数据组的数据恢复频率越大。

步骤s25，按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组。

步骤s26，将至少部分目标数据集更新至业务数据区间并返回按照所述数据恢复频率将至少部分数据组调取至数据恢复线程的步骤以实现所述业务数据区间内的业务数据组的循环更新。

在步骤s25和步骤s26中，服务器可以按照每个数据组的数据恢复频率对至少部分数据组进行业务数据组的恢复并将恢复之后的业务数据组更新至业务数据区间中。其中，业务数据区间是服务器根据业务请求执行业务数据处理的区间。

进一步地，由于业务数据区间内的业务数据组是根据数据恢复频率更新的，这样，当用户终端再次发送目标业务请求时，能够增大目标业务请求对应的请求类型与业务数据区间中的业务数据组匹配对应的概率。

如此，无需服务器根据目标业务请求去查找对应的数据组然后进行业务数据组的恢复，能够根据业务终端的历史业务请求对存储的与业务终端对应的数据进行动态恢复和更新，进而减少服务器根据业务处理请求查找数据以及恢复数据的时长，确保业务终端向大数据服务器发送了业务处理请求之后，能够及时地获得大数据服务器返回的处理结果。

可以理解，基于步骤s21-步骤s26，能够按照每个业务类型在至少部分业务类型中的占比由大到小顺序对业务类型进行排序得到第一排序序列，并按照第一排序序列对每个业务类型对应的数据组进行排序得到第二排序序列，从而根据每个数据组在第二排序序列中的相对位置为每个数据组分配数据恢复频率，以实现基于数据恢复频率对业务数据组进行恢复和更新。如此，无需服务器根据目标业务请求去查找对应的数据组然后进行业务数据组的恢复，能够根据业务终端的历史业务请求对存储的与业务终端对应的数据进行动态恢复和更新，进而减少服务器根据业务处理请求查找数据以及恢复数据的时长，确保业务终端向大数据服务器发送了业务处理请求之后，能够及时地获得大数据服务器返回的处理结果。

在具体实施时，为了确保数据恢复的顺畅性，在步骤s25中，所述按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组，具体可以包括以下内容。

步骤s251，根据每个数据组对应的数据恢复频率对所述数据组进行聚类得到多个类别，每个类别下包括至少两个数据组。

步骤s252，根据每个类别下包括的数据组的数据恢复频率为每个类别分配类别标识，所述类别标识具有从高到低的层级顺序。

步骤s253，确定所述数据恢复线程的负载容量，所述负载容量用于表征同时进行数据恢复的数据组的最大数量。

步骤s254，根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程以通过所述数据恢复线程对至少一个类别下的数据组进行数据恢复得到至少一个类别下的数据组对应的业务数据组。

在本实施例中，可以按照类别标识由高到低的顺序将每个类别下的数据组调取至数据恢复线程以实现数据恢复，如此，能够确保数据恢复的顺畅性。

在具体实施时，在步骤s254中，所述根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程，具体可以包括以下内容。

步骤s2541，根据所述负载容量对应的同时进行数据恢复的数据组的最大数量，对所述类别标识进行区间划分得到多个类别区间，每个类别区间对应的数据组的累计数量小于等于所述最大数量。

步骤s2542，根据每个类别区间中的类别对应的类别标识的均值为每个类别区间设置区间标识。

步骤s2543，按照区间标识由大到小的顺序循环地将每个类别区间中的数据组调取至所述数据恢复线程。

可以理解，通过上述内容，能够实现调取至数据恢复线程的数据组的数量最大化，从而提高数据恢复线程的运行效率。

在具体实施时，在步骤s25中，通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组，具体可以包括以下内容。

(1)针对至少部分数据组中的每个数据组，根据该数据组中数据串的数据特征，获得该数据组的特征分布。

(2)确定所述特征分布中每个特征节点在所述特征分布中的位置权重，所述位置权重用于表征每个特征节点与特征分布的中心节点之间的距离。

(3)根据所述位置权重由大到小的顺序将该数据组中的数据串依次加载至所述数据恢复线程中以得到每个数据串的特征向量。

(4)运行所述数据恢复线程以对每个特征向量中的每个向量值确定关联值，所述关联值与向量值之间的匹配度大于等于设定值，根据每个特征向量对应的关联值得到关联向量并基于所述关联向量对每个特征向量进行扩维处理得到目标向量；从所述数据恢复线程中抽取每个目标向量并基于预设的向量值数据库确定每个目标向量中的每个目标向量值对应的业务数据串；按照所述目标向量中的目标向量值的排布顺序将所述业务数据串组合成该数据组的对应业务数据组。

可以理解，通过上述内容，能够基于数据恢复线程和预设的向量值数据库准确确定出数据组对应的业务数据组。

在一种可替换的实施方式中，在步骤s21中，所述按照设定时长间隔从运行日志中读取业务终端的至少部分第一业务请求，具体可以包括以下内容。

步骤s211，将所述运行日志的日志内容列出，建立日志内容网络拓扑，所述日志内容网络拓扑中包括多个日志内容节点，每个日志内容节点对应一个时间权重，所述时间权重具有由高到低的排序，所述时间权重用于表征每个日志内容节点在所述运行日志中被调用的次数。

步骤s212，按照时间权重由高到低的顺序依次确定每个日志内容节点与业务终端之间的活跃度，并在确定出当前日志内容节点的第一活跃度的情况下根据当前日志内容节点的第一活跃度为当前日志内容节点对应的下一个日志内容节点分配调整系数以实现在确定当前日志内容节点对应的下一个日志内容节点的第二活跃度时通过所述调整系数对所述第二活跃度进行调整。

步骤s213，确定每个日志内容节点对应的活跃度中的中位数，根据所述中位数确定出至少部分目标日志内容节点并根据至少部分目标日志内容节点确定所述业务终端的至少部分第一业务请求。

在本实施例中，通过上述内容，能够从运行日志中准确读取业务终端的至少部分第一业务请求。

在上述基础上，请结合参阅图2，为本发明实施例所提供的一种数据更新装置201的模块框图，该数据更新装置201可以包括以下模块。

类型确定模块2011，用于按照设定时长间隔从运行日志中读取业务终端的至少部分第一业务请求，确定每个第一业务请求的业务类型，所述第一业务请求为业务终端在当前时刻之前向服务器发送的业务请求，所述业务类型用于表征所述第一业务请求对应的数据业务处理类型；

第一排序模块2012，用于确定每个业务类型在至少部分业务类型中的占比，按照所述占比的由大到小顺序对所述业务类型进行排序得到第一排序序列；

第二排序模块2013，用于从预设的数据集合中确定每个业务类型对应的数据组，并按照所述第一排序序列为每个数据组进行排序得到第二排序序列；

频率分配模块2014，用于根据每个数据组在所述第二排序序列中的相对位置，为每个数据组分配数据恢复频率；

数据调取模块2015，用于按照所述数据恢复频率将至少部分数据组调取至数据恢复线程以通过所述数据恢复线程对至少部分数据组进行数据恢复得到至少部分业务数据组；

循环更新模块2016，用于将至少部分目标数据集更新至业务数据区间并返回按照所述数据恢复频率将至少部分数据组调取至数据恢复线程的步骤以实现所述业务数据区间内的业务数据组的循环更新。

可选地，所述数据调取模块2015，具体用于：

根据每个数据组对应的数据恢复频率对所述数据组进行聚类得到多个类别，每个类别下包括至少两个数据组；根据每个类别下包括的数据组的数据恢复频率为每个类别分配类别标识，所述类别标识具有从高到低的层级顺序；确定所述数据恢复线程的负载容量，所述负载容量用于表征同时进行数据恢复的数据组的最大数量；根据所述负载容量以及所述类别标识将至少一个类别下的数据组调取至所述数据恢复线程以通过所述数据恢复线程对至少一个类别下的数据组进行数据恢复得到至少一个类别下的数据组对应的业务数据组。

可选地，所述数据调取模块2015，具体用于：

根据所述负载容量对应的同时进行数据恢复的数据组的最大数量，对所述类别标识进行区间划分得到多个类别区间，每个类别区间对应的数据组的累计数量小于等于所述最大数量；根据每个类别区间中的类别对应的类别标识的均值为每个类别区间设置区间标识；按照区间标识由大到小的顺序循环地将每个类别区间中的数据组调取至所述数据恢复线程。

可选地，所述数据调取模块2015，具体用于：

针对至少部分数据组中的每个数据组，根据该数据组中数据串的数据特征，获得该数据组的特征分布；确定所述特征分布中每个特征节点在所述特征分布中的位置权重，所述位置权重用于表征每个特征节点与特征分布的中心节点之间的距离；根据所述位置权重由大到小的顺序将该数据组中的数据串依次加载至所述数据恢复线程中以得到每个数据串的特征向量；运行所述数据恢复线程以对每个特征向量中的每个向量值确定关联值，所述关联值与向量值之间的匹配度大于等于设定值，根据每个特征向量对应的关联值得到关联向量并基于所述关联向量对每个特征向量进行扩维处理得到目标向量；从所述数据恢复线程中抽取每个目标向量并基于预设的向量值数据库确定每个目标向量中的每个目标向量值对应的业务数据串；按照所述目标向量中的目标向量值的排布顺序将所述业务数据串组合成该数据组的对应业务数据组。

本发明实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的数据更新方法。

本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的数据更新方法。

请结合参阅图3，本发明实施例还提供了一种服务器200，包括处理器211，以及与处理器211连接的存储器212和总线213。其中，处理器211和存储器212通过总线213完成相互间的通信。处理器211用于调用存储器212中的程序指令，以执行上述的数据更新方法。

综上，本发明实施例所提供的一种数据更新方法、装置及服务器，能够按照每个业务类型在至少部分业务类型中的占比由大到小顺序对业务类型进行排序得到第一排序序列，并按照第一排序序列对每个业务类型对应的数据组进行排序得到第二排序序列，从而根据每个数据组在第二排序序列中的相对位置为每个数据组分配数据恢复频率，以实现基于数据恢复频率对业务数据组进行恢复和更新。如此，无需服务器根据目标业务请求去查找对应的数据组然后进行业务数据组的恢复，能够根据业务终端的历史业务请求对存储的与业务终端对应的数据进行动态恢复和更新，进而减少服务器根据业务处理请求查找数据以及恢复数据的时长，确保业务终端向大数据服务器发送了业务处理请求之后，能够及时地获得大数据服务器返回的处理结果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者云服务器不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者云服务器所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者云服务器中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。