一种基于云服务的大数据分析平台的制作方法

本发明涉及一种数据分析领域，尤其涉及一种基于云服务的大数据分析平台。

背景技术：

1、随着社会信息化程度的提高，数据分析在各个领域的应用越来越广泛，传统的数据分析受数据片面性的影响，同时在数据传输过程中可能会遭受攻击，导致数据分析的数据来源被损坏的情况经常发生，而且数据分析时不能够对不同的数据类型同时进行分析，而是将其他类型的数据暂时存放在内存中，容易造成内存空间浪费。

2、因此急需研发一种基于云服务的大数据分析平台，来克服现有技术中的缺点。

技术实现思路

1、（1）要解决的技术问题

2、本发明为了克服现有技术中数据片面性强、数据传输不安全和内存浪费的缺点，本发明要解决的技术问题是提供了一种基于云服务的大数据分析平台。

3、（2）技术方案

4、为了解决上述技术问题，本发明提供了这样一种基于云服务的大数据分析平台，由以下方式实现：

5、第一模块实现对数据的挖掘，同时将获取到的数据进行分类，分类完成后将数据传输至第二模块，传输过程中由中转验证节点对数据传输请求进行验证；

6、第二模块下达指令控制计算节点对数据进行计算，同时监控各个计算节点的算力，做好负载均衡，对计算结果进行处理，包括异常信息判断和向用户汇报分析结果，将最终结果发送至用户终端。

7、进一步地，所述第一模块对数据的挖掘依靠大数据挖取数据，同时用户能利用用户终端在第一模块中自行上传数据。

8、进一步地，所述第一模块将数据进行分类，根据大数据读取到的数据类型不同和数据大小不同，将数据类型相同的数据归并至同一组别，同时将相同数据类型、不同大小的数据分类至同一组中，使得每组相同数据类型的数据中的数据总量差异值控制在一定阈值内。

9、进一步地，所述第一模块向第二模块传输数据需要通过中转验证节点，验证安全后开始数据传输。

10、进一步地，所述数据传输具体步骤如下：

11、s100第一模块向中转验证节点发送数据传输请求，中转验证节点对数据传输请求进行验证，验证通过后生成数据接收请求码；

12、s200中转验证节点将数据接收请求码发送至第二模块，第二模块对数据接收请求码进行验证，验证通过后生成认证信息，包括当前传输地址和通过信息；

13、s300第二模块将认证信息发送至中转验证节点，同时所述中转验证节点将接收到的认证信息发送至第一模块；

14、s400第一模块根据认证信息中的传输地址将数据发送至第二模块，完成数据传输。

15、进一步地，所述s100中的验证步骤如下：

16、s101第一模块将数据传输请求添加密码转化为哈希码，将加密后的数据传输请求发送至中转验证节点；

17、s102中转验证节点依据第一模块发送的请求地址添加密码转化为哈希码；

18、s103所述中转验证节点的中转验证将中转验证节点生成的哈希码与第一模块发送的哈希码进行对比；

19、s104若哈希码一致则向第一模块发送错误密码错误信息，同时记录正确次数加1，若哈希码不一致则不记录正确次数；

20、s105第一模块接收到错误信息后再次向中转验证节点发送两次相同请求；

21、s106中转验证节点记录正确次数，当正确次数大于用户预设次数时向第一模块发送正确信息，其中用户预设次数应大于等于2。

22、进一步地，所述第二模块通过对计算节点发送计算命令，通过对不同计算节点发送不同的计算数据，给不同计算节点下达不同的命令信息，命令信息包括计算节点编号和分组数据，分组数据为在第一模块分好组的数据，每个计算节点依据接收到的命令信息来计算不同的任务，完成对数据的整体计算。

23、进一步地，所述第二模块能根据每个计算节点的负载实现负载均衡，首先计算所有节点的当前负载，获取当前节点待完成的计算量和数据计算效率，计算出当前节点的负载评分，通过任务量/计算效率来获得，即为p=x/m，其中p为评分结果，x为计算节点的待处理数据量，m为计算节点的数据处理效率，将评分高的计算节点中的待处理数据向评分低的计算节点转移，实现整个计算节点中的负载平衡，通过以下公式实现：

24、x:y=m:n

25、其中x为a计算节点的待处理数据量，y为b计算节点的待处理数据量，m为a计算节点的数据处理效率，n为b计算节点的数据处理效率，通过分配a、b两节点的数据处理量完成负载均衡。

26、进一步地，所述第二模块完成对数据的具体分析，首先判断数据的具体类型，分类出不同的数据，包括有时间格式数据、字符数据和数值型数据，根据数据类型的不同选用不同的分析方式。

27、进一步地，所述第二模块能够对异常数据进行处理，当数据分析获取到异常信息时，对应异常数据再次判断数据类型，判断前后两次数据类型是否为一致，若一致则不处理，直接汇报异常信息，若不一致则根据二次判断的数据类型使用对应的方法进行分析，若获得的结果依然为异常则向用户汇报异常分析结果。

28、（3）有益效果

29、本发明通过大数据方式来开展数据分析，解决了传统数据分析受到数据体量制约具有片面性的缺点，为用户提供更加具有普遍性的分析结果。

30、本发明在数据传输过程中添加身份验证环节，保障了数据传输过程中的安全性。

31、本发明在数据分析时添加了数据类型的判断，能够对不同类型的数据进行分析，提高了数据分析的灵活性，同时减少了内存浪费的情况。

技术特征：

1.一种基于云服务的大数据分析平台，其特征在于，由以下方式实现：

2.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第一模块对数据的挖掘依靠大数据挖取数据，同时用户能利用用户终端在第一模块中自行上传数据。

3.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第一模块将数据进行分类，根据大数据读取到的数据类型不同和数据大小不同，将数据类型相同的数据归并至同一组别，同时将相同数据类型、不同大小的数据分类至同一组中，使得每组相同数据类型的数据中的数据总量差异值控制在一定阈值内。

4.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第一模块向第二模块传输数据需要通过中转验证节点，验证安全后开始数据传输。

5.根据权利要求4所述的一种基于云服务的大数据分析平台，其特征在于，所述数据传输具体步骤如下：

6.根据权利要求5所述的一种基于云服务的大数据分析平台，其特征在于，所述s100中的验证步骤如下：

7.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第二模块通过对计算节点发送计算命令，通过对不同计算节点发送不同的计算数据，给不同计算节点下达不同的命令信息，命令信息包括计算节点编号和分组数据，分组数据为在第一模块分好组的数据，每个计算节点依据接收到的命令信息来计算不同的任务，完成对数据的整体计算。

8.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第二模块能根据每个计算节点的负载实现负载均衡，首先计算所有节点的当前负载，获取当前节点待完成的计算量和数据计算效率，计算出当前节点的负载评分，通过任务量/计算效率来获得，即为，其中p为评分结果，x为计算节点的待处理数据量，m为计算节点的数据处理效率，将评分高的计算节点中的待处理数据向评分低的计算节点转移，实现整个计算节点中的负载平衡，通过以下公式实现：

9.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第二模块完成对数据的具体分析，首先判断数据的具体类型，分类出不同的数据，包括有时间格式数据、字符数据和数值型数据，根据数据类型的不同选用不同的分析方式。

10.根据权利要求1所述的一种基于云服务的大数据分析平台，其特征在于，所述第二模块能够对异常数据进行处理，当数据分析获取到异常信息时，对应异常数据再次判断数据类型，判断前后两次数据类型是否为一致，若一致则不处理，直接汇报异常信息，若不一致则根据二次判断的数据类型使用对应的方法进行分析，若获得的结果依然为异常则向用户汇报异常分析结果。

技术总结
本发明涉及一种数据分析领域，尤其涉及一种基于云服务的大数据分析平台。为了克服现有技术中数据片面性强、数据传输不安全和内存浪费的缺点，本发明提供了一种基于云服务的大数据分析平台。本发明通过大数据方式来开展数据分析，在数据传输过程中添加身份验证环节，在数据分析时添加了数据类型的判断，解决了传统数据分析受到数据体量制约具有片面性的缺点，为用户提供更加具有普遍性的分析结果，保障了数据传输过程中的安全性，提高了数据分析的灵活性。

技术研发人员：朱庆英,朱有庭,李永强,武修静,李佳蓉,张李粮
受保护的技术使用者：山西泓禾惜贤科贸有限公司
技术研发日：
技术公布日：2024/4/24