一种基于大数据的政务数据处理方法与流程

1.本发明涉及数据处理，具体涉及一种基于大数据的政务数据处理方法。


背景技术：

2.政务指与政府相关的事务性工作，当某项政务商议完成后，需要进行发布工作，以使人民群众和政府工作人员及时获知。随着互联网技术的发展，政务的发布已经由最初的纸质文件扩展到了网络。政府部门经过长期发展，记录了大量的政务数据，这些都是政府部门进行日常管理的重要依据。政务数据的数据量大、数据类型多、来源广泛、数据格式复杂，随着大数据和互联网的发展，政府对挖掘各部门政务数据价值的需求越来越大。
3.近年来，随着技术的进步和政策方面的导向，数字政府的改革提出打破“数据孤岛”，提高办事效率需要各政府部门进行数据对接，日益严峻的安全问题要求各政府部门的数据能够有效共享，便民服务的优化升级需要各政府部门相互协作，这些都促使各级政府积极推动跨部门政务数据共享。
4.然而，跨部门政务数据共享是一个非常复杂的工程，如何有效剔除政务数据中的异常数据，以及通过优选得到高质量政务数据进行数据价值的充分挖掘是当前政务数据共享亟待解决的问题。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术所存在的上述缺点，本发明提供了一种基于大数据的政务数据处理方法，能够有效克服现有技术所存在的不能有效剔除政务数据中的异常数据，无法从政务数据中优选得到高质量政务数据的缺陷。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种基于大数据的政务数据处理方法，包括以下步骤：
10.s1、构建多地联合办公的政务数据共享模型，利用政务数据共享模型检测政务数据中是否存在异常数据，并剔除异常数据；
11.s2、确定用于对剔除异常数据后的政务数据进行优选的数据优选模型；
12.s3、对数据优选模型进行优化训练，直至得到最优数据优选模型；
13.s4、利用最优数据优选模型对政务数据进行优选，得到高质量政务数据。
14.优选地，s1中构建多地联合办公的政务数据共享模型，包括：
15.获取政务节点，利用区块链中的共识算法，从政务节点中随机选择一个节点，作为当前轮次的聚合节点；
16.进行数据降维后基于聚合节点构建孤立森林，并剔除孤立参数向量后完成节点聚合；
17.将剔除孤立参数向量后的向量的哈希值上传至区块链，并将向量源数据发送至下
轮参与节点，直至完成政务数据共享模型的构建。
18.优选地，所述进行数据降维，包括：
19.聚合政务节点对于数据向量的各个维度，获取各个维度的对应值，利用降维图法进行数据降维。
20.优选地，所述基于聚合节点构建孤立森林，包括：
21.基于聚合节点对政务节点进行聚合，根据降维后的数据集合构建拥有k棵孤立树的孤立森林，得到孤立参数向量。
22.优选地，所述剔除孤立参数向量，包括：
23.对于政务节点对于数据向量的各个维度，计算箱型图函数；
24.若一个维度内的所有函数值均在设定范围内，或一半以上的函数值均在设定范围外，则剔除该维度内的数据向量。
25.优选地，s2中确定用于对剔除异常数据后的政务数据进行优选的数据优选模型，包括：
26.根据政务数据选取包含默认网络结构和超参数的模型文件，根据预设损失期望值确定迭代算法的算法文件。
27.优选地，s3中对数据优选模型进行优化训练，直至得到最优数据优选模型，包括：
28.利用调优器对数据优选模型进行训练，得到目标数据优选模型；
29.基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果；
30.基于模型评估结果利用调优器对目标数据优选模型进行初始化，利用调优器和评估器对目标数据优选模型进行循环优化，直至达到预设收敛条件，得到最优数据优选模型。
31.优选地，所述利用调优器对数据优选模型进行训练，得到目标数据优选模型，包括：
32.根据预设优化方式，利用调优器对数据优选模型进行训练，得到目标数据优选模型；
33.其中，预设优化方式包括强化学习方式、非导数优化方式和启发式搜索方式。
34.优选地，所述基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果，包括：
35.根据预设评估方式，基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果。
36.优选地，所述基于模型评估结果利用调优器对目标数据优选模型进行初始化，包括：
37.采用经验学习算法确定模型评估结果对应的最优模型参数，基于最优模型参数利用调优器对目标数据优选模型进行初始化。
38.(三)有益效果
39.与现有技术相比，本发明所提供的一种基于大数据的政务数据处理方法，具有以下有益效果：
40.1)构建多地联合办公的政务数据共享模型，利用政务数据共享模型检测政务数据中是否存在异常数据，并剔除异常数据，从而能够利用政务数据共享模型实现对政务数据
中异常数据的有效剔除，确保后续对政务数据进行优选，得到高质量政务数据的准确性；
41.2)确定用于对剔除异常数据后的政务数据进行优选的数据优选模型，对数据优选模型进行优化训练，直至得到最优数据优选模型，利用最优数据优选模型对政务数据进行优选，得到高质量政务数据，从而能够利用最优数据优选模型从政务数据中优选得到高质量政务数据，为政务数据价值的充分挖掘提供数据保障。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明的流程示意图；
44.图2为本发明中剔除政务数据中异常数据的流程示意图；
45.图3为本发明中优选得到高质量政务数据的流程示意图。
具体实施方式
46.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.一种基于大数据的政务数据处理方法，如图1和图2所示，
①
构建多地联合办公的政务数据共享模型，利用政务数据共享模型检测政务数据中是否存在异常数据，并剔除异常数据。
48.其中，构建多地联合办公的政务数据共享模型，包括：
49.获取政务节点，利用区块链中的共识算法，从政务节点中随机选择一个节点，作为当前轮次的聚合节点；
50.进行数据降维后基于聚合节点构建孤立森林，并剔除孤立参数向量后完成节点聚合；
51.将剔除孤立参数向量后的向量的哈希值上传至区块链，并将向量源数据发送至下轮参与节点，直至完成政务数据共享模型的构建。
52.1)进行数据降维，包括：
53.聚合政务节点对于数据向量的各个维度，获取各个维度的对应值，利用降维图法进行数据降维。
54.2)基于聚合节点构建孤立森林，包括：
55.基于聚合节点对政务节点进行聚合，根据降维后的数据集合构建拥有k棵孤立树的孤立森林，得到孤立参数向量。
56.3)剔除孤立参数向量，包括：
57.对于政务节点对于数据向量的各个维度，计算箱型图函数；
58.若一个维度内的所有函数值均在设定范围内，或一半以上的函数值均在设定范围
外，则剔除该维度内的数据向量。
59.上述技术方案，构建多地联合办公的政务数据共享模型，利用政务数据共享模型检测政务数据中是否存在异常数据，并剔除异常数据，从而能够利用政务数据共享模型实现对政务数据中异常数据的有效剔除，确保后续对政务数据进行优选，得到高质量政务数据的准确性。
60.如图1和图3所示，
②
确定用于对剔除异常数据后的政务数据进行优选的数据优选模型，具体包括：
61.根据政务数据选取包含默认网络结构和超参数的模型文件，根据预设损失期望值确定迭代算法的算法文件。
62.③
对数据优选模型进行优化训练，直至得到最优数据优选模型，具体包括：
63.利用调优器对数据优选模型进行训练，得到目标数据优选模型；
64.基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果；
65.基于模型评估结果利用调优器对目标数据优选模型进行初始化，利用调优器和评估器对目标数据优选模型进行循环优化，直至达到预设收敛条件，得到最优数据优选模型。
66.1)利用调优器对数据优选模型进行训练，得到目标数据优选模型，包括：
67.根据预设优化方式，利用调优器对数据优选模型进行训练，得到目标数据优选模型；
68.其中，预设优化方式包括强化学习方式、非导数优化方式和启发式搜索方式。
69.2)基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果，包括：
70.根据预设评估方式，基于目标数据优选模型的模型参数利用评估器对目标数据优选模型进行评估，得到模型评估结果。
71.3)基于模型评估结果利用调优器对目标数据优选模型进行初始化，包括：
72.采用经验学习算法确定模型评估结果对应的最优模型参数，基于最优模型参数利用调优器对目标数据优选模型进行初始化。
73.④
利用最优数据优选模型对政务数据进行优选，得到高质量政务数据。
74.上述技术方案，确定用于对剔除异常数据后的政务数据进行优选的数据优选模型，对数据优选模型进行优化训练，直至得到最优数据优选模型，利用最优数据优选模型对政务数据进行优选，得到高质量政务数据，从而能够利用最优数据优选模型从政务数据中优选得到高质量政务数据，为政务数据价值的充分挖掘提供数据保障。
75.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。