本发明涉及计算机
技术领域：
：，更具体地说，涉及一种数据处理方法、装置、设备及可读存储介质。
背景技术：
：：在现有技术中，当需要从存储系统读写数据时，一般由存储系统中的主节点确定当前请求对应的存储节点。例如：分布式文件系统hdfs(hadoopdistributedfilesystem)，其由主节点和从节点构成，主节点用于管理各个从节点(如执行打开，关闭，重命名等操作)，从节点用于存储数据。其中，分布式文件系统中的确定存储节点的方式主要包括：当访问请求为读请求时，依据当前读请求对应的数据的存储路径确定存储节点，继而将数据返回至客户端；当访问请求为写请求时，依据当前系统的可用存储资源和需要存储的数据随机确定存储节点。其中，不管是读请求还是写请求，由于主节点确定存储节点的方式依赖于经验和当前处理的数据量，缺乏可支撑的处理规则。因此当数据处理量较大时，数据处理的效率自然较低，响应时间也比较长，即读或写操作的延时时间较长，从而无法给用户提供良好的服务体验。因此，如何提高数据处理效率，降低延时时间，是本领域技术人员需要解决的问题。技术实现要素：本发明的目的在于提供一种数据处理方法、装置、设备及可读存储介质，以提高数据处理效率，降低延时时间。为实现上述目的，本发明实施例提供了如下技术方案：一种数据处理方法，包括：接收客户端发送的访问请求；根据所述访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定所述访问请求对应的目的节点，所述访问请求的类型至少包括读请求和写请求，所述数据处理模型通过稀疏降维方法和q-learning算法训练获得；将所述访问请求传输至所述目的节点进行相应处理。其中，所述将所述访问请求传输至所述目的节点进行相应处理，包括：当所述访问请求的类型为读请求时，从所述目的节点读取所述读请求对应的数据，并将所述数据返回至所述客户端。其中，所述将所述访问请求传输至所述目的节点进行相应处理，包括：当所述访问请求的类型为写请求时，将所述写请求对应的数据存储至所述目的节点。其中，所述接收客户端发送的访问请求，包括：接收所述客户端发送的写请求，并返回所述写请求对应的响应信息，以使所述客户端根据所述响应信息将所述写请求对应的数据切分为多个数据块。其中，所述数据处理模型的训练过程包括：获取当前系统的历史数据信息，将所述历史数据信息作为训练样本；利用所述稀疏降维方法对所述训练样本进行处理，获得目标样本；通过所述q-learning算法训练所述目标样本，若当前获得的反馈信息与所述当前获得的反馈信息的前一次反馈信息的差值小于预设的阈值，则训练完成，获得所述数据处理模型。其中，所述通过所述q-learning算法训练所述目标样本，包括：在通过所述q-learning算法训练所述目标样本的过程中，调整所述q-learning算法的学习率和折扣率，并确定所述学习率和所述折扣率的最优值。其中，所述利用所述稀疏降维方法对所述训练样本进行处理，获得目标样本，包括：根据zipf定律确定所述训练样本中出现频率低于预设阈值的数据；将所述出现频率低于预设阈值的数据从所述训练样本中剔除，获得所述目标样本。一种数据处理装置，包括：接收模块，用于接收客户端发送的访问请求；确定模块，用于根据所述访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定所述访问请求对应的目的节点，所述访问请求的类型至少包括读请求和写请求，所述数据处理模型通过稀疏降维方法和q-learning算法训练获得；处理模块，用于将所述访问请求传输至所述目的节点进行相应处理。一种数据处理设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述任意一项所述的数据处理方法的步骤。一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据处理方法的步骤。通过以上方案可知，本发明实施例提供的一种数据处理方法，包括：接收客户端发送的访问请求；根据所述访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定所述访问请求对应的目的节点，所述访问请求的类型至少包括读请求和写请求，所述数据处理模型通过稀疏降维方法和q-learning算法训练获得；将所述访问请求传输至所述目的节点进行相应处理。可见，所述方法在接收到访问请求时，根据所述访问请求的类型、当前系统的配置信息和通过稀疏降维方法和q-learning算法训练获得的数据处理模型，从而确定出当前访问请求对应的目的节点，最后将访问请求传输至目的节点进行相应处理。其中，由于本方法使用的数据处理模型通过稀疏降维方法和q-learning算法训练获得，其中的稀疏降维方法能够提高q-learning算法的收敛速度，降低延时时间，从而提高了数据处理模型的处理效率；即：本方案依据q-learning算法处理访问请求，当数据处理量较大时，数据处理的效率也不会降低，且由于稀疏降维方法能够提高q-learning算法的收敛速度，降低读写延时时间，所以访问请求的响应时间也比较短，从而给用户带来了良好的服务体验。相应地，本发明实施例提供的一种数据处理装置、设备及可读存储介质，也同样具有上述技术效果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例公开的一种数据处理方法流程图；图2为本发明实施例公开的另一种数据处理方法流程图；图3为本发明实施例公开的一种数据处理装置示意图；图4为本发明实施例公开的一种数据处理设备示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例公开了一种数据处理方法、装置、设备及可读存储介质，以提高数据处理效率，降低延时时间。参见图1，本发明实施例提供的一种数据处理方法，包括：s101、接收客户端发送的访问请求；s102、根据访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定访问请求对应的目的节点，访问请求的类型至少包括读请求和写请求，数据处理模型通过稀疏降维方法和q-learning算法训练获得；当访问请求的类型为读请求时，目的节点即为存储当前读请求对应的数据的存储节点。当访问请求的类型为写请求时，目的节点即为将要存储当前写请求对应的数据的存储节点。具体的，在针对读请求在确定目的节点时，还需要按照当前读请求对应的元数据查找存储节点的地址列表，进而在存储节点的地址列表中确定目的节点。具体的，当前系统的配置信息包括：当前系统中各存储节点的可用存储空间、数据保护级别、存储性能指标、使用状态和其他相关信息。数据处理模型即为利用稀疏降维方法和q-learning算法训练得到的处理模型，而在利用q-learning算法训练数据之前，首先利用稀疏降维方法对数据进行了降维处理，以降低延时时间。s103、将访问请求传输至目的节点进行相应处理。优选地，当所述访问请求的类型为读请求时，从所述目的节点读取所述读请求对应的数据，并将所述数据返回至所述客户端。需要说明的是，目的节点的数量可以为多个。可见，本实施例提供了一种数据处理方法，所述方法在接收到访问请求时，根据所述访问请求的类型、当前系统的配置信息和通过稀疏降维方法和q-learning算法训练获得的数据处理模型，从而确定出当前访问请求对应的目的节点，最后将访问请求传输至目的节点进行相应处理。其中，由于本方法使用的数据处理模型通过稀疏降维方法和q-learning算法训练获得，其中的稀疏降维方法能够提高q-learning算法的收敛速度，降低延时时间，从而提高了数据处理模型的处理效率；即：本方案依据q-learning算法处理访问请求，当数据处理量较大时，数据处理的效率也不会降低，且由于稀疏降维方法能够提高q-learning算法的收敛速度，降低延时时间，所以访问请求的响应时间也比较短，从而给用户带来了良好的服务体验。本发明实施例公开了另一种数据处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2，本发明实施例提供的另一种数据处理方法，包括：s201、接收客户端发送的写请求，并返回写请求对应的响应信息，以使客户端根据响应信息将写请求对应的数据切分为多个数据块；具体的，当接收到客户端发送的写请求时，即需要存储某些数据至当前系统。那么需要首先检查当前系统中是否存在需要存储的数据，然后将检查结果返回至客户端。若当前系统中存在需要存储的数据时，说明当前写操作为更新操作，即修改操作；若当前系统中不存在需要存储的数据时，说明当前写操作为增加操作。其中，检查结果中携带有是否可以传输数据的指令以及相关内容。客户端在接收到可以传输数据的指令后，首先对需要存储的数据进行切分。例如：当数据为300m，且一个数据块128m，那么数据会被切分为128m、128m和44m这三个数据块。其中，对于每个数据块，可以分别请求存储，例如首先请求存储第一个数据块，之后再请求存储第二个数据块，其他以此类推；还可以一次性请求存储所有数据块，或者利用多线程进行处理，以提高效率。s202、根据访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定访问请求对应的目的节点，访问请求的类型至少包括读请求和写请求，数据处理模型通过稀疏降维方法和q-learning算法训练获得；s203、将写请求对应的数据存储至目的节点。在本实施例中，当接收到客户端发送写请求时，同时还接收到了需要存储的数据，为了使数据适应当前系统，需要对数据进行切分，进而再存储切分得到的数据块。若当前系统为分布式文件系统，则是由其中的主节点确定存储数据的目的节点，并切分数据；进而将数据从主节点传输至目的节点进行存储。其中，当确定访问请求对应的目的节点后，将目的节点的信息返回至客户端，以使客户端建立与目的节点的数据传输通道，进而通过此数据传输通道将数据传输至目的节点进行存储，同时将数据从目的节点传输至预设的备份节点进行备份。需要说明的是，每个存储节点预设有对应的备份节点，当数据存入存储节点时，同时会将该数据处理至备份节点。备份节点也是系统中的存储节点，即每个存储节点都可以作为备份节点。可见，本实施例提供了另一种数据处理方法，所述方法在接收到写请求时，根据写请求、当前系统的配置信息和通过稀疏降维方法和q-learning算法训练获得的数据处理模型，从而确定出当前写请求对应的目的节点，最后将写请求对应的数据存储至目的节点。其中，由于本方法使用的数据处理模型通过稀疏降维方法和q-learning算法训练获得，其中的稀疏降维方法能够提高q-learning算法的收敛速度，降低延时时间，从而提高了数据处理模型的处理效率；即：本方案依据q-learning算法处理写请求，当数据处理量较大时，数据处理的效率也不会降低，且由于稀疏降维方法能够提高q-learning算法的收敛速度，降低写入延时时间，所以写请求的响应时间也比较短，从而给用户带来了良好的服务体验。基于上述任意实施例，需要说明的是，所述数据处理模型的训练过程包括：获取当前系统的历史数据信息，将所述历史数据信息作为训练样本；利用所述稀疏降维方法对所述训练样本进行处理，获得目标样本；通过所述q-learning算法训练所述目标样本，若当前获得的反馈信息与所述当前获得的反馈信息的前一次反馈信息的差值小于预设的阈值，则训练完成，获得所述数据处理模型。具体的，所述历史数据信息记录了以前写入当前系统的数据类型、数据量、写入时间戳、写入频率等信息；以及从当前系统读取的数据类型、数据量、读取时间戳、读取频率等信息。其中，所述反馈信息可以看作系统主节点在确定目的节点后给整个系统带来的影响。具体为：将主节点视为一个受训实体，每一次选择存储节点就被视为这个实体的一个动作，动作会对存储环境造成一个影响，环境接受该动作后系统状态发生变化，该变化即为奖励，将此奖励反馈给实体，实体根据奖励再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大，直到这个奖励的增长不再明显。其中，所述通过所述q-learning算法训练所述目标样本，包括：在通过所述q-learning算法训练所述目标样本的过程中，调整所述q-learning算法的学习率和折扣率，并确定所述学习率和所述折扣率的最优值。具体的，学习率和折扣率是q-learning算法中的两个重要参数，请参见公式：q(s,a)←(1-α)*q(s,a)+α*[r+γ*maxaq(s',a)]。其中，q(s,a)是当前下状态(s,status)采取动作(a,action)的奖励，r为眼前奖励(当次动作的奖励)，maxaq(s',a)是根据以往经验预测到的奖励，s'是下一个状态，α为学习率(learningrate)，γ为折扣率(discountfactor)。可见，学习率α越大，保留之前训练的效果就越少；折扣率γ越大，maxaq(s',a)所起到的作用就越大。为了确定学习率和折扣率的最优值，首先固定学习率为0.75，折扣率在[0.6,0.9]范围变化；进行多次实验，并记录实验结果。综合分析实验后得出结论：折扣率在0.8左右时，收敛速度最快，奖励最高，因此将折扣率的最优值确定为0.8。然后固定折扣率为0.75，学习率在[0.6,0.9]范围变化，进行多次实验，并记录实验结果。综合分析实验后得出结论：学习率在0.8左右时，收敛速度最快，奖励最高，因此将学习率的最优值确定为0.8。需要说明的是，学习率和折扣率均需要一定的调整范围，因此将学习率α的取值范围设定为：[0.7,0.8]，将折扣率γ的取值范围设定为：[0.7,0.8]，以提高q-learning算法的训练效率和训练质量。其中，所述利用所述稀疏降维方法对所述训练样本进行处理，获得目标样本，包括：根据zipf定律确定所述训练样本中出现频率低于预设阈值的数据；将所述出现频率低于预设阈值的数据从所述训练样本中剔除，获得所述目标样本。具体的，q-learning算法的核心是q-table。q-table的行和列分别表示state和action的值，q-table的值q(s,a)衡量当前states采取action的收益。q-table存在一个问题，真实情况的state可能无穷多，采取的动作也可能很多，这样q-table会无限大。假设已知有32个节点node，n个数据data。例如f2，1代表的是data2在节点node1出现的频率，然后得到一个矩阵a。根据数据的zipf定律，也就是二八原则。总有一些数据的出现频率很高，但又占少数。其他的数据频率可能很小，但占多数。我们要找到这些数据。具体方法如下：1)计算矩阵ai行的最大值记为fmax，矩阵a如表1所示：表12)然后计算i行各个元素的频率fi,j与第i行的fmax的距离(方差)，如果满足(fmax-fi，j)2＜d，这个d根据实际运行来设定。我们就将fi,j视为“活跃的”数据，记录下来。反之如果(fmax-fi，j)2＞d，将这个数据视为“惰性的”，用0来代表。3)最后会得到如下矩阵其中k<n，0代表datai在dataj上不频繁出现。这样就实现了q-learning的输入空间稀疏化，如表2所示，将矩阵中非零的部分作为输入。表2frequencynode1node2…node32data10g1,2…0data2g2,10…g2,32……………datak00…gk,32通过稀疏化后，特征选择完成，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摒弃。需要说明的是，本发明还可以应用于大数据网络中心，例如：无线传感器的控制台、边缘计算中的数据处理等，以优化数据部署，降低数据读写响应延迟。下面对本发明实施例提供的一种数据处理装置进行介绍，下文描述的一种数据处理装置与上文描述的一种数据处理方法可以相互参照。参见图3，本发明实施例提供的一种数据处理装置，包括：接收模块301，用于接收客户端发送的访问请求；确定模块302，用于根据所述访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定所述访问请求对应的目的节点，所述访问请求的类型至少包括读请求和写请求，所述数据处理模型通过稀疏降维方法和q-learning算法训练获得；处理模块303，用于将所述访问请求传输至所述目的节点进行相应处理。其中，所述处理模块具体用于：当所述访问请求的类型为读请求时，从所述目的节点读取所述读请求对应的数据，并将所述数据返回至所述客户端。其中，所述处理模块具体用于：当所述访问请求的类型为写请求时，将所述写请求对应的数据存储至所述目的节点。其中，所述接收模块具体用于：接收所述客户端发送的写请求，并返回所述写请求对应的响应信息，以使所述客户端根据所述响应信息将所述写请求对应的数据切分为多个数据块。其中，还包括训练模块，所述训练模块用于训练数据处理模型，包括：获取单元，用于获取当前系统的历史数据信息，将所述历史数据信息作为训练样本；降维单元，用于利用所述稀疏降维方法对所述训练样本进行处理，获得目标样本；训练单元，用于通过所述q-learning算法训练所述目标样本，若当前获得的反馈信息与所述当前获得的反馈信息的前一次反馈信息的差值小于预设的阈值，则训练完成，获得所述数据处理模型。其中，所述训练单元具体用于：在通过所述q-learning算法训练所述目标样本的过程中，调整所述q-learning算法的学习率和折扣率，并确定所述学习率和所述折扣率的最优值。其中，所述降维单元具体用于：根据zipf定律确定所述训练样本中出现频率低于预设阈值的数据；将所述出现频率低于预设阈值的数据从所述训练样本中剔除，获得所述目标样本。可见，本实施例提供了一种数据处理装置，包括：接收模块、确定模块以及处理模块。首先由接收模块接收客户端发送的访问请求；然后确定模块根据所述访问请求的类型、当前系统的配置信息和预设的数据处理模型，确定所述访问请求对应的目的节点，所述访问请求的类型至少包括读请求和写请求，所述数据处理模型通过稀疏降维方法和q-learning算法训练获得；最后处理模块将所述访问请求传输至所述目的节点进行相应处理。如此各个模块之间分工合作，各司其职，提高了数据处理效率，降低了延时时间，也给用户带来了良好的服务体验。下面对本发明实施例提供的一种数据处理设备进行介绍，下文描述的一种数据处理设备与上文描述的一种数据处理方法及装置可以相互参照。参见图4，本发明实施例提供的一种数据处理设备，包括：存储器401，用于存储计算机程序；处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据处理方法的步骤。下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据处理方法、装置及设备可以相互参照。一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据处理方法的步骤。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页12当前第1页12