本发明涉及数据存储和挖掘，且更具体地涉及一种数据信息管理的会员增值服务平台。
背景技术：
：：1、随着信息技术的不断发展和普及，数据信息已经成为企业和组织的重要资产，对于企业和组织来说，如何有效地管理和利用这些数据信息，提高数据信息的价值和利用效率，成为了一个重要的问题，在这种背景下，数据信息管理的会员增值服务平台应运而生，通过该平台，企业和组织可以更加便捷地管理和利用数据信息，提高数据信息的价值和利用效率，从而实现更好的业务发展和管理，同时，该平台还可以为会员提供一系列增值服务，如数据分析报告、数据可视化、数据挖掘、数据共享等，帮助会员更好地理解和利用数据信息，提高业务决策的精准度和效率。2、传统的会员增值服务平台存在弊端，一方面，传统的会员增值服务平台中数据挖掘的速率受限，由于数据信息管理需要运算大量的数据，导致数据挖掘的速率下降；另一方面，传统的会员增值服务平台缺少数据信息保护功能和可视化功能，存在用户隐私泄露的风险和用户使用感降低，因此，本发明公开了一种数据信息管理的会员增值服务平台，旨在提供一种能够提高数据挖掘的速率和保护数据隐私安全以及数据信息展示的数据信息管理的会员增值服务平台。技术实现思路1、针对现有技术的不足，本发明公开了一种数据信息管理的会员增值服务平台，数据采集模块通过网络爬虫方法从不同的数据源中抓取数据信息，并将数据导入会员增值服务平台，数据预处理模块通过清洗模块、去重模块和格式转换模块完成数据清洗、去重和格式转换的预处理操作，数据挖掘分析模块通过数据挖掘分析模型进行数据信息挖掘和分析，数据挖掘分析模型通过主成分分析法、斯皮尔曼等级相关系数和决策树算法实现数据信息的降维、关联分析和数据分类，提高数据挖掘的速率，数据可视化模块通过tableau数据可视化平台对数据信息进行处理，实现数据信息的展示和数据共享，解决会员增值服务平台缺少数据展示和共享的问题，用户管理模块通过用户注册模块、用户认证模块和用户个人信息管理模块完成用户注册、认证模块和个人信息管理，会员增值服务模块通过会员管理模块、增值服务商店和反馈评价模块提供不同会员等级的选择和增值服务，数据保护模块通过脱敏算法将原始数据信息转换为与原始数据信息无关的虚拟数据信息，保护数据信息的隐私。2、本发明采用以下技术方案：3、一种数据信息管理的会员增值服务平台，所述平台包括：4、数据采集模块，用于从不同数据源中收集数据信息，所述数据采集模块通过网络爬虫方法从不同的数据源中抓取数据信息，并将数据导入会员增值服务平台；5、数据预处理模块，用于对收集到的数据信息进行清洗、去重和格式转换的预处理操作，所述数据预处理模块包括清洗模块、去重模块和格式转换模块，所述清洗模块的输出端与所述去重模块的输入端连接，所述去重模块的输出端与所述格式转换的输入端连接；6、数据存储模块，用于存储预处理后的数据信息，所述数据存储模块采用数据库存储经过数据预处理模块处理后的数据信息；7、数据挖掘分析模块，用于挖掘数据信息之间的关联性，并对数据信息进行分类和预测，所述数据挖掘分析模块通过数据挖掘分析模型进行数据信息挖掘和分析，所述数据挖掘分析模型通过主成分分析法、斯皮尔曼等级相关系数和决策树算法实现数据信息的降维、关联分析和数据分类；8、数据可视化模块，用于展示和共享数据信息，所述数据可视化模块通过tableau数据可视化平台对数据信息进行处理，实现数据信息的展示和数据共享，所述tableau数据可视化平台包括桌面模块、数据准备模块和共享模块，所述数据准备模块的输出端与所述桌面模块和所述共享模块的输入端连接；9、用户管理模块，用于管理平台用户的注册、登录和个人信息管理，所述用户管理模块包括用户注册模块、用户认证模块和用户个人信息管理模块，所述用户注册模块和所述用户认证模块的输出端与所述用户个人信息管理模块的输入端连接；10、会员增值服务模块，用于提供不同会员等级的选择和增值服务，所述会员增值服务模块包括会员管理模块、增值服务商店和反馈评价模块，所述反馈评价模块的输出端与所述会员管理模块的输入端连接，所述会员管理模块的输出端与所述增值服务商店的输入端连接；11、数据保护模块，用于保护数据信息的安全，所述数据保护模块通过脱敏算法将原始数据信息转换为与原始数据信息无关的虚拟数据信息，保护数据信息的隐私；12、所述数据采集模块的输出端与所述数据预处理模块的输入端连接，所述数据预处理模块的输出端与所述数据保护模块的输入端连接，所述数据保护模块的输出端与所述数据存储模块的输入端连接，所述数据存储模块的输出端与所述数据挖掘分析模块的输入端连接，所述数据挖掘分析模块的输出端与所述数据可视化模块的输入端连接，所述用户管理模块的输出端与所述会员增值服务模块的输入端连接，所述会员增值服务模块的输出端与所述数据挖掘分析模块的输入端连接。13、作为本发明进一步的技术方案，所述清洗模块通过估算补充缺失值法和滤波对数据信息进行处理，实现数据缺失值的优化和去除噪声数据，所述去重模块采用相似性计算法计算出数据之间的相似性，去除数据中重复数据，所述格式转换模块通过数据库建模平台将数据信息从csv逗号分隔值数据格式转换为json对象符号数据格式或xml可扩展标记语言数据格式。14、作为本发明进一步的技术方案，所述数据挖掘分析模块基于云计算平台构建数据挖掘分析模型，所述数据挖掘分析模型的工作方式包括以下步骤：15、步骤一、明确定义数据挖掘的目标；16、所述数据挖掘分析模型通过优先级排序方法确定数据挖掘的所有目标，并对所有目标进行优先级排序；17、步骤二、收集与目标相关的数据；18、所述数据挖掘分析模型通过api接口从不同数据源处调取数据信息，并通过校验和的方式验证数据调取过程中数据信息是否别修改或损坏，确保收集的数据信息的质量和完整性；19、步骤三、优化数据的维度；20、所述数据挖掘分析模型通过主成分分析法减少数据信息的维度，所述主成分分析法通过引入随机矩阵优化协方差矩阵的计算过程，并通过特征值分解函数计算出协方差矩阵的特征值，所述特征值分解函数的公式为：21、22、在公式(1)中，v为协方差矩阵的特征值，n为样本数据信息的数量，rn为数据信息产生的随机矩阵，xi为第i个样本数据信息，为所有样本数据信息的均值，l为协方差矩阵的特征向量，(·)t为矩阵的转置运算，计算出特征值后，选择主成分，并通过主成分的特征值将原始数据信息映射到低维度空间中，获得降维后的数据信息；23、步骤四、划分数据集并提取数据集的特征；24、所述数据挖掘分析模型通过留出法按照1:1比例将数据信息随机划分为训练集和测试集，用于训练模型和评估模型性能，所述数据挖掘分析模型通过线性判别分析法提取出训练集和测试集中数据的特征；25、步骤五、计算数据特征之间的相关性；26、所述数据挖掘分析模块采用斯皮尔曼等级相关系数公式计算出两个数据特征之间的相关性，所述斯皮尔曼等级相关系数公式通过增加数据中特征相同的样本对数，消除相等数据对计算准确性的影响，所述斯皮尔曼等级相关系数公式为：27、28、在公式(2)中，r为斯皮尔曼等级相关系数，rank(·)为样本数据等级函数，x_j，y_j为数据特征x和数据特征y的第j个数据，j为数据特征样本中数据的排序，m为数据特征的数据个数，t_k为第k种相同的数据特征，a为相同的数据特征的个数，k为相同数据特征的排序；29、步骤六、基于数据特征对数据进行分类；30、所述数据挖掘分析模型采用决策树算法将数据特征与数据类别建立映射关系，并通过对数据信息进行递归遍历，输出数据信息的类别，所述决策树算法的公式为：31、32、在公式(3)中，y为输出的数据类别，z为数据特征的数量，e为决策树的数量，f为数据特征的排序，e为决策树的排序，δf为第f个数据特征，σe为第e个决策树的划分阈值；33、步骤七、模型训练及评估调整；34、所述数据挖掘分析模型使用训练集进行训练，学习历史数据中的数据信息之间关系，所述数据挖掘分析模型使用测试集对训练好的模型进行评估，并根据评估结果对模型进行调整，不断优化模型性能。35、作为本发明进一步的技术方案，所述桌面模块采用交互式数据可视化图表的形式实现数据信息的实时展示，所述数据准备模块通过调用api接口从数据挖掘分析模块获得待展示或共享的数据信息，并通过多核处理器对待展示或共享数据信息进行预处理，所述共享模块通过云端托管和共享平台实现数据信息的共享。36、作为本发明进一步的技术方案，所述用户注册模块通过web表单填写注册账户必要的个人信息和账户密码，并将个人信息和账户密码传递给后端服务器，完成用户账户的注册，所述用户认证模块通过双因素验证法将用户输入的账号密码与数据库中的账号密码进行比对，完成用户身份认证，所述用户个人信息管理模块通过数据库存储用户的个人信息，并通过用户界面和键盘修改用户个人信息。37、作为本发明进一步的技术方案，所述会员管理模块通过云存储服务器存储来自反馈评价模块的数据信息，所述会员管理模块通过积分-等级模型将用户消费金额转化为会员积分，并根据会员积分划分会员等级，匹配会员权限，所述积分-等级模型的工作方式包括以下步骤：38、s1获取用户消费金额和会员积分；39、所述积分-等级模型通过rs485端口从用户管理模块获取用户的消费金额汇总数据，所述积分-等级模型根据消费金额：会员积分＝1：1的比例，将用户消费金额转化为会员积分；40、s2会员等级划分；41、所述积分-等级模型通过线性函数建立会员积分与会员等级之间的联系，所述线性函数采用s型曲线避免会员等级间隔过小，并通过引入偏差变量增加线性函数的拟合能力，所述线性函数的公式为：42、43、在公式(4)中，w为会员等级，a，b，c为常数，t为会员积分，q为偏差变量；44、s3开放会员专属权限；45、所述积分-等级模型基于分类的匹配算法构建权限匹配算法，所述权限匹配算法通过杰卡德相似度计算出会员等级与会员专属权限之间的相似关系，建立会员等级与会员专属权限的映射关系，所述权限匹配算法的公式为：46、47、在公式(5)中，j(a,b)为杰卡德相似度，a为会员等级集合，b为会员专属权限集合，|a∩b|为两个集合的交集元素个数，|a∪b|为两个集合的并集元素个数，g为会员等级集合元素的个数，h为会员专属权限集合元素的个数，若会员等级和会员专属权限的杰卡德相似度超过0.8，则等级-权限匹配成功，若会员等级和会员专属权限的杰卡德相似度低于0.8，则等级-权限匹配失败。48、作为本发明进一步的技术方案，所述增值服务商店通过自助终端向用户提供增值服务，所述增值服务至少包括个性化数据信息分析报告、拓展数据信息存储容量、会员专属权益和优惠和折扣，所述反馈评价模块通过调查问卷和邮件的方式收集用户评价和使用意见。49、作为本发明进一步的技术方案，所述脱敏算法通过字符替换将数据信息中的敏感数据替换成符号或文字，实现数据信息隐私的保护，所述脱敏算法的工作方式包括以下步骤：50、步骤1、确认需要脱敏的数据类型和字段；51、所述脱敏算法根据数据信息使用场景和隐私等级需求，确定数据信息中待脱敏的敏感数据信息；52、步骤2、确认并实施脱敏策略；53、针对不同数据类型和应用场景，所述脱敏算法根据采用多种脱敏方法组合，确定脱敏的策略，将敏感数据信息中的一部分数据信息替换为符号或文字，所述脱敏算法通过分组替换实现敏感数据信息的字符替换；54、步骤3、验证脱敏结果；55、所述脱敏算法通过一致性和安全性验证法对脱敏后的数据信息进行验证，确保脱敏后的数据信息与原始数据信息保持一致，并验证脱敏后的数据信息是否达到隐私保护的要求，确保敏感数据的安全性和完整性；56、步骤4、脱敏后数据还原；57、所述脱敏算法采用分组替换对脱敏的敏感数据信息进行反向字符替换操作，将替换的字符或文字还原为原始数据信息。58、积极有益效果：59、本发明公开了一种数据信息管理的会员增值服务平台，数据采集模块通过网络爬虫方法从不同的数据源中抓取数据信息，并将数据导入会员增值服务平台，数据预处理模块通过清洗模块、去重模块和格式转换模块完成数据清洗、去重和格式转换的预处理操作，数据挖掘分析模块通过数据挖掘分析模型进行数据信息挖掘和分析，数据挖掘分析模型通过主成分分析法、斯皮尔曼等级相关系数和决策树算法实现数据信息的降维、关联分析和数据分类，提高数据挖掘的速率，数据可视化模块通过tableau数据可视化平台对数据信息进行处理，实现数据信息的展示和数据共享，解决会员增值服务平台缺少数据展示和共享的问题，用户管理模块通过用户注册模块、用户认证模块和用户个人信息管理模块完成用户注册、认证模块和个人信息管理，会员增值服务模块通过会员管理模块、增值服务商店和反馈评价模块提供不同会员等级的选择和增值服务，数据保护模块通过脱敏算法将原始数据信息转换为与原始数据信息无关的虚拟数据信息，保护数据信息的隐私。当前第1页12当前第1页12