一种基于云计算的海量大数据存储、分析和管理系统的制作方法

1.本发明主要涉及数据处理的技术领域，具体为一种基于云计算的海量大数据存储、分析和管理系统。


背景技术：

2.随着互联网的发展，人们日常所需分析处理的数据日益增多，普通客户端对数据的分析能力有限，且存储空间较小，难以满足人们日益增长的数据处理需求。
3.根据申请号为cn201711289856.5的专利文献所提供的一种基于云环境下的海量大数据存储、分析和管理系统可知，该系统由储存系统、分析系统和管理系统三部分组成。该系统在数据输入的同时将会自动进行简单的数据分析，并自动备份相关的数据，在减轻了用户处理数据的负担的同时，避免了用户因一时疏忽而永久性的删除了重要数据。使云平台能够以安全、高效、一致的方式为用户提供服务，且在登录时设置的验证系统，有效的防止了外接程序攻击用户的登录账户，进而依次来威胁用户的机密数据，提高了云平台的安全性。
4.上述专利中的系统可对数据进行简单的分析，并自动备份相关的数据，为用户的数据提供安全，但不便于用户数据的时效性存储及分析，不便于用户数据的自主化公开存储以及数据分析求助。


技术实现要素：

5.本发明主要提供了一种基于云计算的海量大数据存储、分析和管理系统，用以解决上述背景技术中提出的技术问题。
6.本发明解决上述技术问题采用的技术方案为：
7.一种基于云计算的海量大数据存储、分析和管理系统,包括服务器，以及与服务器互联网连接的客户端以及云端，所述云端包括用户私人云端以及共有云端，所述客户端包括用户登陆模块、自主数据检索模块、定时检索模块、数据上传模块以及数据分析模块，所述用户登陆模块用于用户登陆，所述自主数据检索模块用于用户自主选择待上传的数据，所述定时检索模块用于根据用户设置的检索时间以及检索方式自动检索数据并根据用户设置的上传时间通过数据上传模块进行上传，所述数据上传模块用于将数据上传至服务器，所述数据分析模块用于用户上传数据分析的要求；
8.所述服务器包括用户管理模块、数据存储处理模块、数据分析处理模块、数据管理模块以及数据传输模块，所述用户管理模块用户管理登陆用户，所述数据存储处理模块用于按用户要求处理数据并通过数据传输模块将数据对应传输至用户私人云端或共有云端，所述数据分析处理模块用于根据用户的数据分析要求对数据进行分析，并将分析结果通过数据传输模块传输至客户端，所述数据管理模块用于对用户上传数据以及云端数据进行整理优化。
9.优选的，所述客户端包括数据自定义模块，所述数据自定义模块包括加密选择单
元、备份选择单元以及时效性选择单元，所述加密选择单元用于用户选择待加密的数据，所述备份选择单元用于用户选择待备份的数据，所述时效性选择单元用于用户选择数据存储的时间段，即为时效数据。在本优选的实施例中，通过数据自定义模块用户可自主选择待上传数据的处理方式，以对数据进行加密、备份以及存储有效时间设置。
10.优选的，所述客户端包括共享收益模块，所述共享收益模块包括共享单元以及收益提现单元、所述服务器包括获益计算模块，所述共享单元用于显示用户上传至共有云端的数据，所述获益计算模块用于根据共有云端上传数据的浏览量计算收益，所述收益提现单元用于用户进行收益提现。在本优选的实施例中，通过共享数据收益的方式倡导用户将非重要数据公开存储至共有云端，以便于数据共享，同时减少了非必要数据对用户私人云端的空间占用。
11.优选的，所述数据上传模块包括查重单元以及数据分类上传单元，所述服务器包括查重模块，所述查重单元用于用户输入待查重的数据，所述查重模块用于将待查重的数据与共有云端内数据进行对比，以检测是否有重复数据，所述数据分类上传单元用于对用户上传至用户私人云端以及共有云端的数据进行区分。在本优选的实施例中，通过查重单元便于了解用户待存储数据与共有云端内数据的重复率，以便于用户根据自身需求进行数据存储的分选。
12.优选的，所述自主数据检索模块包括本地检索单元以及在线检索单元，所述本地检索单元用于用户检索本地的待上传数据，所述在线检索单元用于用户检索网上的待上传数据。在本优选的实施例中，通过本地检索单元以及在线检索单元便于用户快速查找待存储的数据。
13.优选的，所述数据分析模块包括分析要求单元、分析结果单元以及悬赏分析单元，所述分析要求单元用于用户编辑数据分析的具体要求，所述分析结果单元用于显示数据分析处理模块的分析结果，所述悬赏分析单元用于用户编辑待悬赏的分析数据及分析要求。在本优选的实施例中，通过分析要求单元便于用户编辑数据分析的要求，如数据趋势、数据汇总、数据图表、数据对比等，通过悬赏分析单元可供用户编辑待悬赏的分析数据及分析要求。
14.优选的，所述数据存储处理模块包括数据加密单元、数据压缩单元、数据备份单元以及分类存储单元，所述分类存储单元用于将数据存储至用户私人云端或共有云端。在本优选的实施例中，通过数据存储处理模块实现数据的加密、压缩以及备份，通过分类存储单元便于根据用户设置将数据存储至用户私人云端或共有云端。
15.优选的，所述数据分析处理模块包括系统分析单元、分析发布单元以及时效分析单元，所述系统分析单元用于根据用户的分析需求对数据进行系统分析，所述分析发布单元用于将悬赏的分析数据及分析要求上传至共有云端，以进行悬赏分析，所述时效分析单元用于根据用户的分析需求将待分析数据与区域时间段内的数据进行对比分析。在本优选的实施例中，通过系统分析单元便于根据用户的分析需求对数据进行系统分析，通过分析发布单元便于将悬赏的分析数据及分析要求上传至共有云端，通过时效分析单元便于根据用户的分析需求将待分析数据与区域时间段内的数据进行对比分析。
16.优选的，所述数据管理模块包括缓存删除单元，重复文件删除单元、无用文件提示单元，所述无用文件提示单元用于提示用户删除单位时间内未使用的数据。在本优选的实
施例中，通过数据管理模块便于在用户许可的前提下，删除用户上传数据以及用户私人云端数据中的缓存数据、重复数据以及长时间未使用数据，数据管理模块还可对共有云端内的缓存数据以及重复数据进行删除。
17.优选的，所述数据管理模块包括时效文件提示单元，所述时效文件提示单元用于提示用户即将到期删除的时效数据，并提示用户是否延期。在本优选的实施例中，通过数据管理模块可提示用户即将到期删除的时效数据，并提示用户是否延期。
18.与现有技术相比，本发明的有益效果为：
19.本发明中的系统便于用户数据的时效性存储及分析，便于用户数据的自主化公开存储以及数据分析求助；
20.通过本地检索单元以及在线检索单元便于用户快速查找待存储的数据，通过数据自定义模块用户可自主选择待上传数据的处理方式，以对数据进行加密、备份以及存储有效时间设置，通过共享数据收益的方式倡导用户将非重要数据公开存储至共有云端，以便于数据共享，同时减少了非必要数据对用户私人云端的空间占用，通过查重单元便于了解用户待存储数据与共有云端内数据的重复率，以便于用户根据自身需求进行数据存储的分选，通过分析要求单元便于用户编辑数据分析的要求，如数据趋势、数据汇总、数据图表、数据对比等，通过悬赏分析单元可供用户编辑待悬赏的分析数据及分析要求，通过数据存储处理模块实现数据的加密、压缩以及备份，通过分类存储单元便于根据用户设置将数据存储至用户私人云端或共有云端，通过系统分析单元便于根据用户的分析需求对数据进行系统分析，通过分析发布单元便于将悬赏的分析数据及分析要求上传至共有云端，通过时效分析单元便于根据用户的分析需求将待分析数据与区域时间段内的数据进行对比分析，通过数据管理模块便于在用户许可的前提下，删除用户上传数据以及用户私人云端数据中的缓存数据、重复数据以及长时间未使用数据，数据管理模块还可对共有云端内的缓存数据以及重复数据进行删除，通过数据管理模块可提示用户即将到期删除的时效数据，并提示用户是否延期。
21.以下将结合附图与具体的实施例对本发明进行详细的解释说明。
附图说明
22.图1为本发明的整体结构框架图；
23.图2为本发明的客户端系统结构框架图；
24.图3为本发明的服务器系统结构框架图。
25.附图说明：10、服务器；11、用户管理模块；12、数据存储处理模块；121、数据加密单元；122、数据压缩单元；123、数据备份单元；124、分类存储单元；13、数据分析处理模块；131、系统分析单元；132、分析发布单元；133、时效分析单元；14、数据管理模块；141、缓存删除单元；142、重复文件删除单元；143、无用文件提示单元；144、时效文件提示单元；15、数据传输模块；16、获益计算模块；17、查重模块；20、客户端；21、用户登陆模块；22、自主数据检索模块；221、本地检索单元；222、在线检索单元；23、定时检索模块；24、数据上传模块；241、查重单元；242、数据分类上传单元；25、数据分析模块；251、分析要求单元；252、分析结果单元；253、悬赏分析单元；26、数据自定义模块；261、加密选择单元；262、备份选择单元；263、时效性选择单元；27、共享收益模块；271、共享单元；272、收益提现单元；30、云端；31、用户
私人云端；32、共有云端。
具体实施方式
26.为了便于理解本发明，下面将参照相关附图对本发明进行更加全面的描述，附图中给出了本发明的若干实施例，但是本发明可以通过不同的形式来实现，并不限于文本所描述的实施例，相反的，提供这些实施例是为了使对本发明公开的内容更加透彻全面。
27.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上也可以存在居中的元件，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件，本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
28.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常连接的含义相同，本文中在本发明的说明书中所使用的术语知识为了描述具体的实施例的目的，不是旨在于限制本发明，本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
29.请着重参照附图1
‑
3所示，在本发明一优选实施例中，一种基于云计算的海量大数据存储、分析和管理系统,包括服务器10，以及与服务器10互联网连接的客户端20以及云端30，所述云端30包括用户私人云端31以及共有云端32，所述客户端20包括用户登陆模块21、自主数据检索模块22、定时检索模块23、数据上传模块24以及数据分析模块25，所述用户登陆模块21用于用户登陆，所述自主数据检索模块22用于用户自主选择待上传的数据，所述定时检索模块23用于根据用户设置的检索时间以及检索方式自动检索数据并根据用户设置的上传时间通过数据上传模块24进行上传，所述数据上传模块24用于将数据上传至服务器10，所述服务器10包括用户管理模块11、数据存储处理模块12、数据分析处理模块13、数据管理模块14以及数据传输模块15，所述用户管理模块11用户管理登陆用户，所述数据存储处理模块12用于按用户要求处理数据并通过数据传输模块15将数据对应传输至用户私人云端31或共有云端32，所述数据分析处理模块13用于根据用户的数据分析要求对数据进行分析，并将分析结果通过数据传输模块15传输至客户端20，所述数据管理模块14用于对用户上传数据以及云端30数据进行整理优化，所述客户端20包括数据自定义模块26，所述数据自定义模块26包括加密选择单元261、备份选择单元262以及时效性选择单元263，所述加密选择单元261用于用户选择待加密的数据，所述备份选择单元262用于用户选择待备份的数据，所述时效性选择单元263用于用户选择数据存储的时间段，即为时效数据，所述客户端20包括共享收益模块27，所述共享收益模块27包括共享单元271以及收益提现单元272、所述服务器10包括获益计算模块16，所述共享单元271用于显示用户上传至共有云端32的数据，所述获益计算模块16用于根据共有云端32上传数据的浏览量计算收益，所述收益提现单元272用于用户进行收益提现，所述数据上传模块24包括查重单元241以及数据分类上传单元242，所述服务器10包括查重模块17，所述查重单元241用于用户输入待查重的数据，所述查重模块17用于将待查重的数据与共有云端32内数据进行对比，以检测是否有重复数据，所述数据分类上传单元242用于对用户上传至用户私人云端31以及共有云端32的数据进行区分，所述自主数据检索模块22包括本地检索单元221以及在线检索单元222，所述本地检索单元221用于用户检索本地的待上传数据，所述在线检索单元222用于用户检
索网上的待上传数据，所述数据存储处理模块12包括数据加密单元121、数据压缩单元122、数据备份单元123以及分类存储单元124，所述分类存储单元124用于将数据存储至用户私人云端31或共有云端32。
30.需要说明的是，在本实施例中，用户通过用户登陆模块21登陆后有两种方式进行数据存储；
31.第一种，用户自选存储，此种方式中，用户通过自主数据检索模块22检索出待上传数据，通过数据自定义模块26对待上传数据的处理方式进行选择，如通过加密选择单元261选择需加密的数据，通过备份选择单元262选择需备份的数据，通过时效性选择单元263对数据进行时效性选择、如一周后删除，完成后可通过数据上传模块24定义将数据传输至用户私人云端31或共有云端32，定义完成后数据传输至服务器10；
32.第二种，信息自动检索传输，用户可在定时检索模块23内设置的检索时间、检索方式、上传时间以及上传路径，设置完成后定时检索模块23自动检索数据并上传至服务器10，自动检索信息同样可进行加密、备份以及时效性选择；
33.数据存储处理模块12接收数据后数据加密单元121、数据压缩单元122、数据备份单元123根据用户设置对数据进行处理，分类存储单元124根据用户需求将数据传输至用户私人云端31或共有云端32；
34.进一步的，用户通过自主数据检索模块22检索待上传数据时，可通过本地检索单元221检索本地的待上传数据或使用在线检索单元222检索网上的待上传数据；
35.进一步的，用户可通过查重单元241将待查重的数据与共有云端32内数据进行对比，以检测是否有重复数据，便于用户根据重复数据量选择公开数据或私有数据；
36.进一步的，用户可在共享单元271内查看已上传至共有云端32的数据，获益计算模块16根据共有云端32上传数据的浏览量计算收益，收益提现单元272用于用户进行收益提现。
37.请着重参照附图1
‑
3所示，在本发明另一优选实施例中，所述数据分析模块25用于用户上传数据分析的要求，所述数据分析模块25包括分析要求单元251、分析结果单元252以及悬赏分析单元253，所述分析要求单元251用于用户编辑数据分析的具体要求，所述分析结果单元252用于显示数据分析处理模块13的分析结果，所述悬赏分析单元253用于用户编辑待悬赏的分析数据及分析要求，所述数据分析处理模块13包括系统分析单元131、分析发布单元132以及时效分析单元133，所述系统分析单元131用于根据用户的分析需求对数据进行系统分析，所述分析发布单元132用于将悬赏的分析数据及分析要求上传至共有云端32，以进行悬赏分析，所述时效分析单元133用于根据用户的分析需求将待分析数据与区域时间段内的数据进行对比分析。
38.需要说明的是，在本实施例中，用户可对上传的数据进行分析，用户在分析要求单元251内编辑数据分析的要求如数据趋势、数据汇总、数据图表、数据对比、时效数据分析等，系统分析单元131按用户要求进行数据分析，并通过数据传输模块15将分析结果传输至分析结果单元252，时效分析单元133可将待分析数据与用户设定的区域时间内数据进行对比，并将分析结果通过数据传输模块15传输至分析结果单元252，如将某公司某一天的销售额与该公司某一季度内每天的销售额进行逐个对比；
39.用户可通过悬赏分析单元253编辑悬赏额度、待分析数据以及分析要求，分析发布
单元132将信息通过数据传输模块15传输至共有云端32，以便于其他用户在共有云端32进行分析获赏。
40.请着重参照附图1
‑
3所示，在本发明另一优选实施例中，所述数据管理模块14包括缓存删除单元141，重复文件删除单元142、无用文件提示单元143，所述无用文件提示单元143用于提示用户删除单位时间内未使用的数据，所述数据管理模块14包括时效文件提示单元144，所述时效文件提示单元144用于提示用户即将到期删除的时效数据，并提示用户是否延期。
41.需要说明的是，在本实施例中，数据管理模块14中的缓存删除单元141、重复文件删除单元142以及无用文件提示单元143可在用户许可的前提下，删除用户上传数据以及用户私人云端数据31中的缓存数据、重复数据以及长时间未使用数据，缓存删除单元141以及重复文件删除单元142还可对共有云端32内的缓存数据以及重复数据进行删除，时效文件提示单元144可提示用户即将到期删除的时效数据，并提示用户是否延期。
42.本发明的具体流程如下：
43.用户通过用户登陆模块21登陆后有两种方式进行数据存储；
44.第一种，用户自选存储，此种方式中，用户通过自主数据检索模块22检索出待上传数据，通过数据自定义模块26对待上传数据的处理方式进行选择，如通过加密选择单元261选择需加密的数据，通过备份选择单元262选择需备份的数据，通过时效性选择单元263对数据进行时效性选择、如一周后删除，完成后可通过数据上传模块24定义将数据传输至用户私人云端31或共有云端32，定义完成后数据传输至服务器10；
45.第二种，信息自动检索传输，用户可在定时检索模块23内设置的检索时间、检索方式、上传时间以及上传路径，设置完成后定时检索模块23自动检索数据并上传至服务器10，自动检索信息同样可进行加密、备份以及时效性选择；
46.数据存储处理模块12接收数据后数据加密单元121、数据压缩单元122、数据备份单元123根据用户设置对数据进行处理，分类存储单元124根据用户需求将数据传输至用户私人云端31或共有云端32；
47.用户通过自主数据检索模块22检索待上传数据时，可通过本地检索单元221检索本地的待上传数据或使用在线检索单元222检索网上的待上传数据；
48.用户可通过查重单元241将待查重的数据与共有云端32内数据进行对比，以检测是否有重复数据，便于用户根据重复数据量选择公开数据或私有数据；
49.用户可在共享单元271内查看已上传至共有云端32的数据，获益计算模块16根据共有云端32上传数据的浏览量计算收益，收益提现单元272用于用户进行收益提现；
50.用户可对上传的数据进行分析，用户在分析要求单元251内编辑数据分析的要求如数据趋势、数据汇总、数据图表、数据对比、时效数据分析等，系统分析单元131按用户要求进行数据分析，并通过数据传输模块15将分析结果传输至分析结果单元252，时效分析单元133可将待分析数据与用户设定的区域时间内数据进行对比，并将分析结果通过数据传输模块15传输至分析结果单元252，如将某公司某一天的销售额与该公司某一季度内每天的销售额进行逐个对比；
51.用户可通过悬赏分析单元253编辑悬赏额度、待分析数据以及分析要求，分析发布单元132将信息通过数据传输模块15传输至共有云端32，以便于其他用户在共有云端32进
行分析获赏；
52.数据管理模块14中的缓存删除单元141、重复文件删除单元142以及无用文件提示单元143可在用户许可的前提下，删除用户上传数据以及用户私人云端数据31中的缓存数据、重复数据以及长时间未使用数据，缓存删除单元141以及重复文件删除单元142还可对共有云端32内的缓存数据以及重复数据进行删除，时效文件提示单元144可提示用户即将到期删除的时效数据，并提示用户是否延期。
53.上述结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的这种非实质改进，或未经改进将本发明的构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。