数据处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着信息化技术的发展，以文件形式进行数据交换的场景越来越多，当不同系统间进行数据交换时，需要将文件数据格式化后统一导入数据库，以便于后续在数据库中查询获取标准化数据进行统计分析。在文件数据格式化的过程中，需要对文件数据进行不同类型的加工处理。
3.传统的数据处理过程中，针对数据处理的多维度需求需要加载多个组件来实现，然而，各组件间具有强耦合性(依赖性强)，一旦某一处理流程出现问题，数据无法正常加工处理和导入。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。
5.一种数据处理方法，所述方法包括：
6.响应于接收到的数据加工处理指令，进入数据处理初始配置界面，所述数据处理初始配置界面显示数据处理选项列表，所述数据处理选项列表中包含不同类型的数据处理选项；
7.响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项；
8.根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理。
9.在其中一个实施例中，所述数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一所述数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，所述目标配置请求中包含至少一个目标数据处理选项。
10.在其中一个实施例中，所述目标数据处理选项为数据修正选项；所述响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项，包括：
11.响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，所述数据修正配置界面显示有数据修正处理规则列表，所述数据修正处理规则列表中包含通用规则、
日期数据专项规则和数值数据专项规则；
12.所述根据所述待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理，包括：
13.根据所述待处理数据的数据类型和数据内容，在所述数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则；
14.激活启用所述目标数据修正处理规则对所述待处理数据进行修正处理；
15.若所述目标数据修正处理规则中包括所述通用规则，则根据所述通用规则中规定的全量数据格式信息对全量的所述待处理数据进行处理，使得处理后的所述待处理数据均满足所述通用规则中规定的全量数据格式；
16.若所述目标数据修正处理规则中包括所述日期数据专项规则，则根据所述日期数据专项规则对所述待处理数据中的日期数据进行专项处理，将所述日期数据修正为所述日期数据专项规则中预设的标准日期格式；
17.若所述目标数据修正处理规则中包括所述数值专项规则，则根据所述数值专项规则对所述待处理数据中的数值数据列进行识别校验，将所述数值数据列中的非数值数据转化为数值型数据；
18.将根据所述目标数据修正处理规则处理后的数据流转至下一节点。
19.在其中一个实施例中，所述目标数据处理选项为数据清洗选项，所述响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项，包括：
20.响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，所述数据清洗配置界面显示有数据清洗处理规则列表；
21.所述根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理，包括：
22.根据所述待处理数据的数据类型和数据内容，在所述数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则；
23.激活启用所述目标数据清洗处理规则，对所述待处理数据进行清洗处理，筛选剔除所述待处理数据中的异常数据，将所述清洗处理后的数据流转至下一节点。
24.在其中一个实施例中，所述目标数据处理选项为阈值告警选项；所述响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项，包括：
25.响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，所述阈值告警配置界面显示有阈值告警处理规则列表；
26.所述根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理，包括：
27.根据所述待处理数据的数据类型和数据内容，在所述阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则；
28.激活启用所述目标数据告警处理规则，对所述待处理数据中的异常数据量进行分类统计，若所述异常数据量大于预设阈值时，进行提示告警；
29.根据告警提示对所述待处理数据进行修改处理，直至取消告警，并将处理后的正常数据流转至下一节点。
30.在其中一个实施例中，所述目标数据处理选项为数据转化选项；所述响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项，包括：
31.响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，所述数据转化配置界面显示有数据转化处理规则列表；
32.所述根据所述待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理，包括：
33.根据所述待处理数据的数据类型和数据内容，在所述数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则；
34.激活启用所述目标数据转化处理规则，对所述待处理数据进行转化处理，建立所述待处理数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据所述一对一映射关系，将所述待处理数据中的整合层字段导入所述数据库的标准层。
35.一种数据处理装置，所述装置包括：
36.初始配置模块，用于响应于接收到的数据加工处理指令，进入数据处理初始配置界面，所述数据处理初始配置界面显示数据处理选项列表，所述数据处理选项列表中包含不同类型的数据处理选项；
37.目标配置模块，用于响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项；
38.数据处理模块，用于根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理。
39.在其中一个实施例中，所述数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一所述数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，所述目标配置请求中包含至少一个目标数据处理选项。
40.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
41.响应于接收到的数据加工处理指令，进入数据处理初始配置界面，所述数据处理初始配置界面显示数据处理选项列表，所述数据处理选项列表中包含不同类型的数据处理选项；
42.响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项；
43.根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理。
44.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
45.响应于接收到的数据加工处理指令，进入数据处理初始配置界面，所述数据处理初始配置界面显示数据处理选项列表，所述数据处理选项列表中包含不同类型的数据处理选项；
46.响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项；
47.根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理。
48.上述数据处理方法、装置、计算机设备和存储介质，响应于接收到的数据加工处理指令，进入数据处理初始配置界面，所述数据处理初始配置界面显示数据处理选项列表，所述数据处理选项列表中包含不同类型的数据处理选项；响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，所述目标数据处理选项为在所述数据处理选项列表中根据数据处理需求确定出的数据处理选项；根据待处理数据的数据类型和数据内容在所述目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于所述目标数据处理规则，对所述待处理数据进行处理。采用本方法，可以对数据处理类型、数据处理规则实行自主配置，使得数据处理更具灵活性。
附图说明
49.图1为一个实施例中数据处理方法的流程示意图；
50.图2为一个实施例中数据修正选项的数据修正处理方法的流程示意图；
51.图3为一个实施例中数据修正配置界面的示意图；
52.图4为一个实施例中数据清洗选项的数据清洗方法的流程示意图；
53.图5为一个实施例中数据清洗配置界面的示意图；
54.图6为一个实施例中阈值告警选项的阈值告警方法的流程示意图；
55.图7为一个实施例中阈值告警配置界面的示意图；
56.图8为一个实施例中数据转化选项的数据转化方法的流程示意图；
57.图9为一个实施例中数据转化配置界面的示意图；
58.图10为一个实施例中数据处理方法示例图；
59.图11为一个实施例中数据处理装置的结构框图；
60.图12为一个实施例中计算机设备的内部结构图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
62.在一个实施例中，如图1所示，提供了一种数据处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
63.步骤101，响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项。
64.在实施中，计算机设备响应于接收到的数据加工处理指令，进入数据处理初始配置界面，在该初始配置界面中显示有数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项，例如，数据修正选项、数据清洗选项、数据转化选项和阈值告警选项。
65.步骤102，响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项。
66.在实施中，用户根据数据处理需求，在数据处理初始配置界面显示的数据处理选项列表中进行对应数据处理选项的选择，通过点击操作输入对应的触发指令，即目标数据处理指令，计算机设备响应于该目标数据处理指令，进入确定出的目标数据处理选项对应的目标数据处理配置界面。
67.可选的，当确定出的目标数据处理选项有多个时，根据确定多个目标处理选项时的先后顺序，形成目标数据处理选项的列表，依次读取并响应列表中每个目标数据处理选项对应的目标数据处理指令，依次进入每个目标数据处理选项界面，进而对待处理数据进行处理流转。
68.步骤103，根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。
69.在实施中，在目标数据处理配置界面中对应有该目标类数据处理对应的目标数据处理规则列表，计算机设备根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。
70.上述数据处理方法，响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项；响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项；根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。采用本方法可以对数据处理类型、数据处理规则实行自主配置，使得数据处理更具灵活性，且每一个数据处理选项具有独立性，在自由配置多个数据处理(类型)选项的过程中体现了弱耦合性。
71.可选的，对于数据处理规则，也可以通过用户手动配置，即通过下拉目标数据处理配置界面中的处理规则列表，显示处理规则列表中的处理规则实施细则，通过人工选择，完成目标数据处理规则的配置。
72.在一个实施例中，数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，目标配置请求中包含至少一个目标数据处理选项。
73.在实施中，在初始配置界面的数据处理选项列表中包含有不同类型数据处理选项，具体为数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一数据处理选项可以作为一个数据处理节点，各数据处理节点基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，可选的，目标配置请求中包含至少一个目标数据处理选项。
74.在一个实施例中，如图2所示，目标数据处理选项为数据修正选项，则步骤102的具体处理过程如下所示：
75.步骤201，响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，数据修正配置界面显示有数据修正处理规则列表，数据修正处理规则列表中包含通用规则、日期数据专项规则和数值数据专项规则。
76.在实施中，计算机设备响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，在数据修正配置界面显示有数据修正处理规则列表，该数据修正处理规则列表中包含通用规则、日期数据专项规则和数值数据专项规则。
77.具体地，如图3所示，在进入数据修正配置界面后，在数据修正处理规则列表中针对不同的规则类型选择通用规则，进而得到通用规则模板界面，使得在该通用规则模板界面进行通用规则的自主配置。
78.在此基础上，则步骤103的具体处理过程如下所示：
79.步骤202，根据待处理数据的数据类型和数据内容，在数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则。
80.在实施中，计算机设备根据待处理数据的数据类型和数据内容，在数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则。
81.具体地，在数据修正处理规则列表(即在通用规则、日期数据专项规则和数值数据专项规则)中，选择至少一个规则类型的数据修正处理规则，进而根据选择的不同规则类型的数据修正处理规则，在每类规则类型下选择具体的规则实施细则，将得到的全部的规则实施细则，作为目标数据修正处理规则。以在数据修正处理规则列表中确定出通用规则类型的数据修正处理规则为例，则在通用规则对应的通用规则列表中确定至少一条通用规则实施细则，作为目标数据修正处理规则，以使根据目标数据修正处理规则(目标通用规则实施细则)进行后续数据修正。
82.步骤203，激活启用目标数据修正处理规则对待处理数据进行修正处理。
83.在实施中，目标数据修正处理规则需要发布后才可生效，因此，针对确定出的目标数据修正处理规则，计算机设备可以将确定出的目标数据修正处理规则保存至关系型数据库中，进而激活启用该目标数据修正处理规则，使其显示在规则状态栏中，以使根据激活启
用后的目标数据处理修正规则对待处理数据进行修正处理。
84.步骤204，若目标数据修正处理规则中包括通用规则，则根据通用规则中规定的全量数据格式信息对全量的待处理数据进行处理，使得处理后的待处理数据均满足通用规则中规定的全量数据格式。
85.在实施中，若目标数据修正处理规则中包括了规则类型为通用规则的数据处理规则，则表明计算机设备可以利用该通用规则对待处理数据中的全量数据样本进行数据格式信息的筛查处理，使得处理后的待处理数据均满足通用规则中规定的全量数据的数据格式。
86.具体地，若目标数据修正处理规则中包括通用规则类型下勾选出的通用规则实施细则，如图3所示，在通用规则的通用规则模板中勾选配置具体的通用规则实施细则，进而则根据该通用规则实施细则对待处理数据中的全量数据进行遍历筛查处理，例如，通用规则实施细则可以为待处理数据的字体形式为“宋体”，字体大小为“小四”，则根据该实施细则中的要求，相应调整待处理数据中数据的字体形式和字体大小，使待处理数据中的数据均满足该通用规则实施细则中的规定，又如，通用规则实施细则也可以为对全量数据样本中包含的特定字符内容的修正删除，则针对该通用规则实施细则，对全量待处理数据进行筛查，修正删除其中包含的特定字符，因此，通用规则实施细则的具体实施内容可以多种多样，本实施例不做限定。
87.步骤205，若目标数据修正处理规则中包括日期数据专项规则，则根据日期数据专项规则对待处理数据中的日期数据进行专项处理，将日期数据修正为日期数据专项规则中预设的标准日期格式。
88.在实施中，若目标数据修正处理规则中包括了日期数据专项规则下勾选出的日期数据专项处理规则实施细则，在显示的修正处理界面中下拉日期数据专项规则配置框，配置具体的日期数据专项处理规则实施细则(每条实施细则显示有对应的规则编号和规则状态、规则描述等信息)，则表明计算机设备可以利用选择出的该日期数据专项规则实施细则针对待处理数据中的日期数据进行专项处理，将日期数据修正为该日期数据专项规则中定义的标准日期格式，即将贴源层(贴源层即存放从业务系统获取的最原始的数据，是其他上层数据的源数据)待处理数据中日期类型数据修正为标准化的日期格式。
89.步骤206，若目标数据修正处理规则中包括数值专项规则，则根据数值专项规则对待处理数据中的数值数据列进行识别校验，将数值数据列中的非数值数据转化为数值型数据。
90.在实施中，若目标数据修正处理规则中包括了数值专项规则下勾选出的数值专项处理规则实施细则，则表明计算机设备可以根据该数值专项处理规则实施细则对待处理数据中数值列数据进行识别校验，将数值列数据中的非数值数据转化为数值型数据，即将贴源层的待处理数据中的数值列数据中存在的非数值型数据(例如，字符串等)转化为对应的整数型、浮点数型等数值数据表达形式。
91.步骤207，将根据目标数据修正处理规则处理后的数据流转至下一节点。
92.在实施中，由于每一数据处理选项可以作为一个数据处理节点，计算机设备将在数据修正处理选项(其中一个目标数据处理选项)下经过通用规则、日期数据专项处理规则和数值数据专项处理规则等类型的具体规则实施细则(目标数据修正规则)处理过的数据
流转节点流转至下一节点。
93.在一个实施例中，如图4所示，目标数据处理选项为数据修正选项，则步骤102的具体处理过程如下所示：
94.步骤401，响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，数据清洗配置界面显示有数据清洗处理规则列表。
95.在实施中，计算机设备响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，在该数据清洗配置界面显示有数据清洗处理规则列表，在数据清洗处理规则列表中也对应有针对不用类型数据的不同类型的数据清洗规则，例如，对应日期数据的清洗规则、税款数据的清洗规则、身份标识数据的清洗规则等，本技术实施例不做限定。
96.在此基础上，则步骤103的具体处理过程如下所示
97.步骤402，根据待处理数据的数据类型和数据内容，在数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则。
98.在实施中，计算机设备根据待处理数据的数据类型和数据内容，在数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则。
99.具体地，针对不同类型数据有不同类型的数据清洗规则，如图5所示，以日期数据为例，在日期清洗规则配置显示框中，确定至少一条日期数据清洗规则实施细则，作为目标数据处理规则，对日期数据进行清洗。可选的，除了根据计算机设备的默认配置确定日期数据清洗规则实施细则，也可以有用户通过输入指令确定，本技术实施例不做限定。
100.步骤403，激活启用目标数据清洗处理规则，对待处理数据进行清洗处理，筛选剔除待处理数据中的异常数据，将清洗处理后的数据流转至下一节点。
101.在实施中，目标数据清洗处理规则需要发布后才可生效，因此，计算机设备激活启用确定出的目标数据清洗规则(数据清洗规则实施细则)，对待处理数据进行清洗处理，并据此筛选剔除待处理数据中的异常数据，由于每一数据处理选项可以作为一个数据处理节点，数据清洗处理选项也作为其中的一个节点，在将清洗处理之后将处理后的数据流转至下一节点。
102.在一个实施例中，如图6所示，目标数据处理选项为阈值告警选项，则步骤102的具体处理过程如下所示：
103.步骤601，响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，阈值告警配置界面显示有阈值告警处理规则列表。
104.在实施中，计算机设备响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，该阈值告警配置界面显示有阈值告警处理规则列表。在该阈值告警处理规则列表中可以自定义选择配置不同类型的告警提示条件。
105.在此基础上，则步骤103的具体处理过程如下所示：
106.步骤602，根据待处理数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则。
107.在实施中，计算机设备根据待处理数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则。
108.具体地，阈值告警配置界面的处理规则列表中由不同阈值告警规则的实施细则，如图7所示，以待处理数据中数值数据为科学计数法作为确定出的其中一条告警的条件，即
当数据中科学计数形式的数值数据的数据量超过预设阈值时，对该待处理数据样本进行告警提示。另外，也可以针对待处理数据中空值(缺失)数据的数据量设置数据量阈值，作为空值数据告警条件，因此，针对具体的阈值告警规则，本实施例不做限定。
109.步骤603，激活启用目标数据告警处理规则，对待处理数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，进行提示告警。
110.在实施中，目标数据告警处理规则需要发布后才可生效，因此计算机设备激活启用目标数据告警处理规则，对待处理数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，则进行提示告警。
111.步骤604，根据告警提示对待处理数据进行修改处理，直至取消告警，并将处理后的正常数据流转至下一节点。
112.在实施中，计算机设备根据告警提示对待处理数据进行修改处理，直至取消告警，由于每一数据处理选项可以作为一个数据处理节点，阈值告警选项处理后，计算机设备将处理后得到的正常数据流转至下一节点。
113.可选的，计算机设备还可以选择默认处理流程，即直接进行该流程阻断或结束，也可以由用户选择后续处理流程，即忽视告警继续下一节点数据处理流程，或者如步骤604中对数据进行修改调整后，消除告警再进入下一节点，因此，本实施例不做限定。
114.在一个实施例中，如图8所示，目标数据处理选项为数据转化选项，则步骤102的具体处理过程如下所示：
115.步骤801，响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，数据转化配置界面显示有数据转化处理规则列表。
116.在实施中，计算机设备响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，在数据转化配置界面显示有数据转化处理规则列表。
117.步骤802，根据待处理数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则。
118.在实施中，计算机设备根据待处理数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则。
119.具体地，经过上述数据修正处理、数据清洗处理、阈值告警处理等其中的一项或多项处理后，数据进入整合层，进而在进行整合层待处理数据的转化时，首先需要配置数据转化处理规则，每条数据转化处理规则对应一个整合模型，利用该整合模型实现待处理数据的整合层数据表与数据库中标准层数据表的整合映射，如图9所示，用户可以在显示界面数据转化规则列表的下拉框(数据标准化配置模板)中选择转化后需录入的标准层数据表，从而对应数据转化规则(利用整合模型)确定待处理数据的整合层数据表与标准层数据表的映射方式。
120.步骤803，激活启用目标数据转化处理规则，对待处理数据进行转化处理，建立待处理数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据一对一映射关系，将待处理数据中的整合层字段导入数据库的标准层。
121.在实施中，目标数据转化处理规则需要发布后才可生效，因此计算机设备激活启用目标数据转化处理规则，对待处理数据进行转化处理，利用整合模型建立待处理数据中整合层字段与数据库中标准层字段之间的一对一映射关系，根据该一对一映射关系，将待
处理数据中的整合层字段(数据)导入数据库的标准层，完成数据的入库。
122.在一个实施例中，如图10所示，本技术提供了一种数据处理示例，具体步骤如下所示：
123.步骤1001，计算机设备响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，该数据处理选项列表中包括数据修正选项、数据清洗选项、阈值告警选项和数据转化选项。
124.步骤1002，响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，数据修正配置界面显示有数据修正处理规则列表，根据该数据修正处理规则列表中的通用规则、日期数据专项规则和数值专项规则中配置的处理规则实施细则分别对待处理数据进行修正处理，得到处理后的第一数据，流转至下一数据处理选项。
125.步骤1003，响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，根据第一数据的数据类型和数据内容，在数据清洗处理规则列表中配置至少一条目标数据清洗处理规则，激活启用该目标数据清洗处理规则，对第一数据进行清洗处理，筛选剔除待处理数据中的异常数据，将清洗处理后的第二数据流转至下一节点。
126.步骤1004，响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，阈值告警配置界面显示有阈值告警处理规则列表，根据第二数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中配置至少一条阈值告警处理规则，激活启用目标数据告警处理规则，分批次对第二数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，进行提示告警并根据告警提示对第二数据进行修改处理直至取消告警，将处理后的第三数据流转至下一节点。
127.步骤1005，响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，数据转化配置界面显示有数据转化处理规则列表，根据第三数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则，激活启用该目标数据转化处理规则，对第三数据进行转化处理，建立第三数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据一对一映射关系将第三数据中的整合层字段导入数据库的标准层。
128.应该理解的是，虽然图1-2，图4、图6、图8、图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2，图4、图6、图8、图10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
129.在一个实施例中，如图11所示，提供了一种数据处理装置1100，包括：数据初始配置模块1110、目标配置模块1120和数据处理模块1130，其中：
130.初始配置模块1110，用于响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项；
131.目标配置模块1120，用于响应于确定出的目标数据处理选项对应的目标数据处理
指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项；
132.数据处理模块1130，用于根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。
133.上述数据处理装置1100，其中，初始配置模块1110响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项；目标配置模块1120响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项；数据处理模块1130根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。采用本装置可以对数据处理类型、数据处理规则实行自主配置，使得数据处理更具灵活性且每一个数据处理选项具有独立性，在自由配置多个数据处理(类型)选项的过程中体现了弱耦合性。
134.在一个实施例中，数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，目标配置请求中包含至少一个目标数据处理选项。
135.在一个实施例中，目标数据处理选项为数据修正选项，目标配置模块1120具体用于响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，数据修正配置界面显示有数据修正处理规则列表，数据修正处理规则列表中包含通用规则、日期数据专项规则和数值数据专项规则。
136.则数据处理模块1130具体用于根据待处理数据的数据类型和数据内容，在数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则；
137.激活启用目标数据修正处理规则对待处理数据进行修正处理；
138.若目标数据修正处理规则中包括通用规则，则根据通用规则中规定的全量数据格式信息对全量的待处理数据进行处理，使得处理后的待处理数据均满足通用规则中规定的全量数据格式；
139.若目标数据修正处理规则中包括日期数据专项规则，则根据日期数据专项规则对待处理数据中的日期数据进行专项处理，将日期数据修正为日期数据专项规则中预设的标准日期格式；
140.若目标数据修正处理规则中包括数值专项规则，则根据数值专项规则对待处理数据中的数值数据列进行识别校验，将数值数据列中的非数值数据转化为数值型数据；
141.将根据目标数据修正处理规则处理后的数据流转至下一节点。
142.在一个实施例中，目标数据处理选项为数据清洗选项，目标配置模块1120具体用于响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，数据清洗配置界面显示有数据清洗处理规则列表。
143.则数据处理模块1130具体用于根据待处理数据的数据类型和数据内容，在数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则；
144.激活启用目标数据清洗处理规则，对待处理数据进行清洗处理，筛选剔除待处理数据中的异常数据，将清洗处理后的数据流转至下一节点。
145.在一个实施例中，目标数据处理选项为阈值告警选项，目标配置模块1120具体用于响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，阈值告警配置界面显示有阈值告警处理规则列表。
146.则数据处理模块1130具体用于根据待处理数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则；
147.激活启用目标数据告警处理规则，对待处理数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，进行提示告警；
148.根据告警提示对待处理数据进行修改处理，直至取消告警，并将处理后的正常数据流转至下一节点。
149.在一个实施例中，目标数据处理选项为数据转化选项，目标配置模块1120具体用于响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，数据转化配置界面显示有数据转化处理规则列表；
150.根据待处理数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则；
151.激活启用目标数据转化处理规则，对待处理数据进行转化处理，建立待处理数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据一对一映射关系，将待处理数据中的整合层字段导入数据库的标准层。
152.关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
153.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
154.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
155.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
156.响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项；
157.响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项；
158.根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。
159.在一个实施例中，数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，目标配置请求中包含至少一个目标数据处理选项。
160.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
161.响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，数据修正配置界面显示有数据修正处理规则列表，数据修正处理规则列表中包含通用规则、日期数据专项规则和数值数据专项规则；
162.根据待处理数据的数据类型和数据内容，在数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则；
163.激活启用目标数据修正处理规则对待处理数据进行修正处理；
164.若目标数据修正处理规则中包括通用规则，则根据通用规则中规定的全量数据格式信息对全量的待处理数据进行处理，使得处理后的待处理数据均满足通用规则中规定的全量数据格式；
165.若目标数据修正处理规则中包括日期数据专项规则，则根据日期数据专项规则对待处理数据中的日期数据进行专项处理，将日期数据修正为日期数据专项规则中预设的标准日期格式；
166.若目标数据修正处理规则中包括数值专项规则，则根据数值专项规则对待处理数据中的数值数据列进行识别校验，将数值数据列中的非数值数据转化为数值型数据；
167.将根据目标数据修正处理规则处理后的数据流转至下一节点。
168.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
169.响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，数据清洗配置界面显示有数据清洗处理规则列表；
170.根据待处理数据的数据类型和数据内容，在数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则；
171.激活启用目标数据清洗处理规则，对待处理数据进行清洗处理，筛选剔除待处理数据中的异常数据，将清洗处理后的数据流转至下一节点。
172.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
173.响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，阈值告警配置界面显示有阈值告警处理规则列表；
174.根据待处理数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则；
175.激活启用目标数据告警处理规则，对待处理数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，进行提示告警；
176.根据告警提示对待处理数据进行修改处理，直至取消告警，并将处理后的正常数据流转至下一节点。
177.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
178.响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，数据转化配置界面显示有数据转化处理规则列表；
179.根据待处理数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则；
180.激活启用目标数据转化处理规则，对待处理数据进行转化处理，建立待处理数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据一对一映射关系，将待处理数据中的整合层字段导入数据库的标准层。
181.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
182.响应于接收到的数据加工处理指令，进入数据处理初始配置界面，数据处理初始配置界面显示数据处理选项列表，数据处理选项列表中包含不同类型的数据处理选项；
183.响应于确定出的目标数据处理选项对应的目标数据处理指令，进入目标数据处理配置界面，目标数据处理选项为在数据处理选项列表中根据数据处理需求确定出的数据处理选项；
184.根据待处理数据的数据类型和数据内容在目标数据处理配置界面的处理规则列表中确定目标数据处理规则，并基于目标数据处理规则，对待处理数据进行处理。
185.在一个实施例中，数据处理选项列表中包含的不同类型数据处理选项具体包括：数据修正选项、数据清洗选项、数据转化选项和阈值告警选项，其中，每一数据处理选项作为一个数据处理节点，基于接收到的目标配置请求中目标数据处理选项顺序对待处理数据进行流转，目标配置请求中包含至少一个目标数据处理选项。
186.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
187.响应于数据修正选项对应的数据修正指令，进入数据修正配置界面，数据修正配置界面显示有数据修正处理规则列表，数据修正处理规则列表中包含通用规则、日期数据专项规则和数值数据专项规则；
188.根据待处理数据的数据类型和数据内容，在数据修正处理规则列表中确定至少一条数据修正处理规则，作为目标数据修正处理规则；
189.激活启用目标数据修正处理规则对待处理数据进行修正处理；
190.若目标数据修正处理规则中包括通用规则，则根据通用规则中规定的全量数据格式信息对全量的待处理数据进行处理，使得处理后的待处理数据均满足通用规则中规定的全量数据格式；
191.若目标数据修正处理规则中包括日期数据专项规则，则根据日期数据专项规则对待处理数据中的日期数据进行专项处理，将日期数据修正为日期数据专项规则中预设的标准日期格式；
192.若目标数据修正处理规则中包括数值专项规则，则根据数值专项规则对待处理数
据中的数值数据列进行识别校验，将数值数据列中的非数值数据转化为数值型数据；
193.将根据目标数据修正处理规则处理后的数据流转至下一节点。
194.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
195.响应于数据清洗选项对应的数据清洗指令，进入数据清洗配置界面，数据清洗配置界面显示有数据清洗处理规则列表；
196.根据待处理数据的数据类型和数据内容，在数据清洗处理规则列表中确定至少一条数据清洗处理规则，作为目标数据处理规则；
197.激活启用目标数据清洗处理规则，对待处理数据进行清洗处理，筛选剔除待处理数据中的异常数据，将清洗处理后的数据流转至下一节点。
198.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
199.响应于阈值告警选项对应的阈值告警指令，进入阈值告警配置界面，阈值告警配置界面显示有阈值告警处理规则列表；
200.根据待处理数据的数据类型和数据内容，在阈值告警配置界面的处理规则列表中确定至少一条阈值告警处理规则，作为目标数据告警处理规则；
201.激活启用目标数据告警处理规则，对待处理数据中的异常数据量进行分类统计，若异常数据量大于预设阈值时，进行提示告警；
202.根据告警提示对待处理数据进行修改处理，直至取消告警，并将处理后的正常数据流转至下一节点。
203.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
204.响应于数据转化选项对应的数据转化指令，进入数据转化配置界面，数据转化配置界面显示有数据转化处理规则列表；
205.根据待处理数据的数据类型和数据内容，在数据转化规则列表中确定至少一条数据转化处理规则，作为目标数据转化处理规则；
206.激活启用目标数据转化处理规则，对待处理数据进行转化处理，建立待处理数据中的整合层字段与数据库中标准层字段之间的一对一映射关系，根据一对一映射关系，将待处理数据中的整合层字段导入数据库的标准层。
207.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
208.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
209.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。