一种大数据处理系统的制作方法

1.本发明涉及大数据处理技术领域，特别涉及一种大数据处理系统。


背景技术：

2.以目前移动互联网的现状来看，移动数据流量呈增加的趋势，海量数据需要进行处理和传输，在进行数据处理的过程中，需要多个分节点对数据进行处理，然后将处理后的数据进行存储，然而，每个分节点的状态不同，在处理数据任务的效率也不相同，在没有合理的分配方式的前提下，会严重影响整体的数据处理效率，且分节点还存在数据传输受到干扰的情况，也会极大的降低数据处理效率，严重的话还会造成数据安全隐患，造成数据失真。


技术实现要素：

3.为了至少解决或部分解决上述问题，提供一种大数据处理系统，采用智能分配技术进行智能分配，解决目前数据处理效率降低的技术问题，同时利用深度强化学习模型来应对动态变化的节点运行速率，提高数据任务分配的准确性，且利用数据分类模块对传输数据进行检测，减少数据干扰，提高数据传输的安全性。
4.为了解决上述技术问题，本发明提供了如下的技术方案：
5.本发明一种大数据处理系统，包括数据采集模块、主节点数据分配模块、分节点数据处理模块和处理数据存储模块，所述数据采集模块采集待处理的数据并发送至主节点数据分配模块，所述分节点数据处理模块包括分节点状态检测模块和数据处理模块，所述数据处理模块对数据任务进行处理，并发送至处理数据存储模块进行存储，所述分节点状态检测模块检测分节点的状态数据，并将状态数据发送至主节点数据分配模块，所述主节点数据分配模块包括智能分配模块、数据中心、策略管理模块、数据输出模块，所述数据中心根据以往的数据建立强化深度学习模型，所述智能分配模块根据当前分节点的状态数据采用强化深度学习模型对处理数据任务进行分配，并将分配策略发送至策略管理模块，所述策略管理模块根据分配策略控制数据输出模块向分节点数据处理模块发送数据处理任务。
6.作为本发明的一种优选技术方案，所述分节点的状态数据包括分节点在处理当前任务数据的速率和分节点的内存数据。
7.作为本发明的一种优选技术方案，所述强化深度学习模型采用q强化学习和lstm深度神经网络结合的学习模型，所述将当前策略下单位时间内完成的数据任务量作为q值，把当前的节点状态数据处理速率和分节点内存数据的约束数据一同输入lstm神经网络中，并根据相应的决策流程得到该状态下不同策略a所对应的q值；选择q值最大所对应的策略即为分配策略。
8.作为本发明的一种优选技术方案，还包括通信系统，所述数据采集模块、主节点数据分配模块、分节点数据处理模块和处理数据存储模块之间通过通信系统进行数据传输。
9.作为本发明的一种优选技术方案，所述分节点数据处理模块还包括流量监测模
块、数据分类模块和安全模块，所述数据分类模块根据分配策略所需传输的数据任务的特征采用kmans聚类算法分成k类，所述流量监测模块将待接收的数据任务发送至数据分类模块进行聚类，并将聚类结果发送至安全模块，若待接收的数据任务不属于分配策略所发送的数据则安全模块将其删除，若待接收的数据任务属于分配策略所发送的数据则安全模块将其发送至数据处理模块进行数据处理。
10.与现有技术相比，本发明的有益效果如下：
11.本发明采用智能分配模块对数据任务进行智能分配，从整体上提高数据处理效率，同时深度强化学习模型可以应对动态变化的节点运行速率，提高数据任务分配的准确性，且利用数据分类模块对传输数据进行检测，减少数据干扰，提高数据传输的安全性。
附图说明
12.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
13.图1是本发明的整体结构示意图；
14.图中：1、数据采集模块；2、主节点数据分配模块；3、分节点数据处理模块；4、处理数据存储模块；5、分节点状态检测模块；6、数据处理模块； 7、智能分配模块；8、数据中心；9、策略管理模块；10、数据输出模块；11、通信系统；12、流量监测模块；13、数据分类模块；14、安全模块。
具体实施方式
15.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
16.此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
17.实施例1
18.如图1所示，本发明提供一种大数据处理系统，包括数据采集模块1、主节点数据分配模块2、分节点数据处理模块3和处理数据存储模块4，数据采集模块1采集待处理的数据并发送至主节点数据分配模块2，分节点数据处理模块3包括分节点状态检测模块5和数据处理模块6，数据处理模块6对数据任务进行处理，并发送至处理数据存储模块4进行存储，分节点状态检测模块5检测分节点的状态数据，并将状态数据发送至主节点数据分配模块2，主节点数据分配模块2包括智能分配模块7、数据中心8、策略管理模块9、数据输出模块10，数据中心8根据以往的数据建立强化深度学习模型，智能分配模块7根据当前分节点的状态数据采用强化深度学习模型对处理数据任务进行分配，并将分配策略发送至策略管理模块9，策略管理模块9根据分配策略控制数据输出模块向分节点数据处理模块3发送数据处理任务。
19.分节点的状态数据包括分节点在处理当前任务数据的速率和分节点的内存数据，由于分节点的状态属于动态变化过程，因此，需要采用强化深度学习模型进行数据处理，强化深度学习模型采用q强化学习和lstm深度神经网络结合的学习模型，将当前策略下单位时间内完成的数据任务量作为q值，把当前的节点状态数据处理速率和分节点内存数据的约束数据一同输入lstm 神经网络中，并根据相应的决策流程得到该状态下不同策略a所对
应的q值；选择q值最大所对应的策略即为分配策略。
20.lstm神经网络是一种随时间递归神经网络，适合于处理和预测时间序列中不同策略a后的分节点的状态数据，并根据新旧状态数据所对应的q值来更新q强化学习模型的q值计算公式，并进行收敛，得到训练后的神经网络模型。
21.还包括通信系统11，所述数据采集模块1、主节点数据分配模块2、分节点数据处理模块3和处理数据存储模块4之间通过通信系统11进行数据传输，然而在进行数据传输的过程中，由于容易受到其他数据的干扰，或者遭到其他的攻击，因此，在分节点数据处理模块3内设置流量监测模块12、数据分类模块13和安全模块14，所述数据分类模块13根据分配策略所需传输的数据任务的特征采用kmans聚类算法分成k类，所述流量监测模块12将待接收的数据任务发送至数据分类模块13进行聚类，并将聚类结果发送至安全模块 14，若待接收的数据任务不属于分配策略所发送的数据则安全模块14将其删除，若待接收的数据任务属于分配策略所发送的数据则安全模块14将其发送至数据处理模块6进行数据处理，这样可以识别出不属于分配策略所需传输的任务数据，防止受到其他数据的干扰，提高数据传输的安全性。
22.本发明采用智能分配模块对数据任务进行智能分配，从整体上提高数据处理效率，同时深度强化学习模型可以应对动态变化的节点运行速率，提高数据任务分配的准确性，且利用数据分类模块对传输数据进行检测，减少数据干扰，提高数据传输的安全性。
23.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。