大数据平台动态性能优化方法及装置与流程

1.本技术涉及大数据技术领域，尤指一种大数据平台动态性能优化方法及装置。


背景技术：

2.大数据平台是兼具数据接入、数据存储、数据分析、数据检索等功能在内的大数据处理系统。它包含数据集成、数据服务、数据存储、基于sql的作业系统几个模块。
3.数据集成模块提供接口或协议，用于将外部数据通过接口、数据总线、或者主动拉取的方式接入到系统中。
4.数据服务模块支持将数据表以sql的方式注册为对外接口，对外提供数据检索、接入、更新、删除服务，支持通过消息总线的方式对外提供数据的订阅推送服务。
5.数据存储引擎负责将数据存储在多种异构数据源中，数据源可以是支持sql的mpp数据库或者使用列式文件存储(如orc或parquet)的数据仓库。从外部数据接入或者分析产生的结果数据都必须基于已存在的数据表，因此，必须由业务层先创建数据表。
6.基于sql的作业系统用于支撑基于sql的数据分析处理流程的执行，一个作业由至少一个sql组成，sql通常都是一些ddl语句(比如表的创建、修改、删除)，或者查询插入语句insert into xxxx as select*from xxxx...语句，有至少一个输入表和一个结果输出表，多个作业由时序依赖关系组成工作流。作业系统负责解析作业或工作流，使他们按照预定于的依赖关系和和定时周期执行(如果有定义周期执行的话)。同时它也对外提供接口接受作业或工作流的接口触发执行和状态监控请求。
7.如果需要基于大数据平台开发业务，外部业务层需要：
8.使用sql定义数据接入api(应用程序接口)接口，以支持外部数据导入平台；使用sql在作业系统中定义数据处理流程；在存储引擎中创建数据接入、处理流程中需要用到的数据表；使用sql定义数据检索api接口，以对外暴露处理后数据的接口；除了业务层定义的数据接入、检索服务api外，外部系统不允许采用其他方式访问平台内部的数据。
9.在业务处理中，作业执行完成后产生的结果数据会被插入到一张新的数据表。在很多场景下，中间结果表包含的字段通常只是最终业务所需字段的一部分，并不是全部，但保存过多的数据又会对数据平台存储空间和基于此表的后续计算产生较大性能影响。此外，长期不使用的业务流程空跑也会浪费系统资源。


技术实现要素：

10.本技术提供了一种大数据平台动态性能优化方法及装置，能够提升大数据平台的数据存储性能和计算性能。
11.本技术提供的一种大数据平台动态性能优化方法，包括：
12.遍历作业系统中的数据处理流程；其中，每个数据处理流程包括一个或多个作业；
13.对于每个数据处理流程进行如下操作：
14.分别查找出每个作业中的冗余数据；
15.根据冗余数据的类型对冗余数据进行存储优化和/或计算性能优化。
16.一种示例性的实施例中，每个作业包括数据表，每个数据表包括字段；
17.冗余数据的类型包括冗余字段、冗余作业、冗余数据表；
18.分别查找出每个作业中的冗余数据，包括：分别查找出每个作业中的以下一种或多种类型的冗余数据：冗余字段、冗余数据表、冗余作业。
19.一种示例性的实施例中，每个数据处理流程中至少一个作业包括出向api；
20.当冗余数据的类型为冗余字段时，分别查找出每个作业中的冗余数据，包括：
21.遍历出向api直接关联的数据表；
22.对于每个与出向api直接关联的数据表进行如下操作：
23.将该数据表中满足第一预设条件的字段判定为冗余字段；
24.遍历每个作业，如果该作业的数据输出表是包含有冗余字段的数据表，则将该作业的数据输入表中与冗余字段对应的字段判定为冗余字段。
25.一种示例性的实施例中，所述第一预设条件包括：该字段与出向api的返回结果字段以及数据排序条件字段以及数据过滤条件字段不相同。
26.一种示例性的实施例中，分别查找出每个作业中的冗余字段，还包括：
27.对于每个作业分别进行如下处理：
28.获取该作业的数据输入表的字段与其他作业中的字段的对应关系；获取所述其他作业的作业关联条件字段、排序条件字段、过滤条件字段；
29.如果该作业的数据输入表中的字段与所述其他作业中的字段不存在对应关系，且该作业的数据输入表中的字段不是其他作业的作业关联条件字段以及排序条件字段以及过滤条件字段，则判定该作业的数据输入表中的字段为冗余字段；
30.其中，所述其他作业为数据处理流程中除该作业之外的作业。
31.一种示例性的实施例中，当冗余数据的类型为冗余作业和冗余数据表时，分别查找出每个作业中的冗余数据，包括：
32.获取出向api上一次的调用时间；
33.如果上一次的调用时间与当前时间的差值超过预设阈值，则判定该出向api为冗余作业；
34.判定与该出向api相关联的全部作业为冗余作业；判定与冗余作业相关联的数据表为冗余数据表。
35.一种示例性的实施例中，所述判定与该出向api相关联的全部作业为冗余作业，判定与冗余作业相关联的数据表为冗余数据表，包括：
36.获取该出向api引用的数据输入表且满足第二预设条件的数据输入表，将所获取的数据输入表判定为冗余数据表；
37.查找以获取到的数据输入表作为数据输出表的作业，将查找到的作业判定为冗余作业；
38.将冗余作业的全部输入表中满足第二预设条件的数据输入表判定为冗余数据表。
39.一种示例性的实施例中，对冗余数据进行存储优化和/或计算性能优化，包括：
40.对冗余字段不进行存储；
41.和/或，对冗余作业和冗余数据表进行锁定。
42.一种示例性的实施例中，当新增出口api接口或修改出口api接口时，触发冗余字段的重新查找。
43.一种示例性的实施例中，当接收到激活被锁定的出口api接口的命令时，激活被锁定的出口api接口，并激活被锁定的该出口api接口关联的被锁定的作业和数据表。
44.本技术提供的一种大数据平台动态性能优化装置，包括存储器和处理器，
45.所述存储器，用于保存用于优化的程序；
46.所述处理器，用于读取执行所述用于优化的程序，执行如下操作：
47.遍历作业系统中的数据处理流程；其中，每个数据处理流程包括一个或多个作业；
48.对于每个数据处理流程进行如下操作：
49.分别查找出每个作业中的冗余数据；
50.根据冗余数据的类型对冗余数据进行存储优化和/或计算性能优化。
51.一种示例性的实施例中，每个作业包括数据表，每个数据表包括字段；
52.冗余数据的类型包括冗余字段、冗余作业、冗余数据表；
53.分别查找出每个作业中的冗余数据，包括：分别查找出每个作业中的以下一种或多种类型的冗余数据：冗余字段、冗余数据表、冗余作业。
54.一种示例性的实施例中，每个数据处理流程中至少一个作业包括出向api；
55.当冗余数据的类型为冗余字段时，分别查找出每个作业中的冗余数据，包括：
56.遍历出向api直接关联的数据表；
57.对于每个与出向api直接关联的数据表进行如下操作：
58.将该数据表中满足第一预设条件的字段判定为冗余字段；
59.遍历每个作业，如果该作业的数据输出表是包含有冗余字段的数据表，则将该作业的数据输入表中与冗余字段对应的字段判定为冗余字段。
60.一种示例性的实施例中，所述第一预设条件包括：该字段与出向api的返回结果字段以及数据排序条件字段以及数据过滤条件字段不相同。
61.一种示例性的实施例中，分别查找出每个作业中的冗余字段，还包括：
62.对于每个作业分别进行如下处理：
63.获取该作业的数据输入表的字段与其他作业中的字段的对应关系；获取所述其他作业的作业关联条件字段、排序条件字段、过滤条件字段；
64.如果该作业的数据输入表中的字段与所述其他作业中的字段不存在对应关系，且该作业的数据输入表中的字段不是其他作业的作业关联条件字段以及排序条件字段以及过滤条件字段，则判定该作业的数据输入表中的字段为冗余字段；
65.其中，所述其他作业为数据处理流程中除该作业之外的作业。
66.一种示例性的实施例中，当冗余数据的类型为冗余作业和冗余数据表时，分别查找出每个作业中的冗余数据，包括：
67.获取出向api上一次的调用时间；
68.如果上一次的调用时间与当前时间的差值超过预设阈值，则判定该出向api为冗余作业；
69.判定与该出向api相关联的全部作业为冗余作业；判定与冗余作业相关联的数据表为冗余数据表。
70.一种示例性的实施例中，所述判定与该出向api相关联的全部作业为冗余作业，判定与冗余作业相关联的数据表为冗余数据表，包括：
71.获取该出向api引用的数据输入表且满足第二预设条件的数据输入表，将所获取的数据输入表判定为冗余数据表；
72.查找以获取到的数据输入表作为数据输出表的作业，将查找到的作业判定为冗余作业；
73.将冗余作业的全部输入表中满足第二预设条件的数据输入表判定为冗余数据表。
74.一种示例性的实施例中，对冗余数据进行存储优化和/或计算性能优化，包括：
75.对冗余字段不进行存储；
76.和/或，对冗余作业和冗余数据表进行锁定。
77.一种示例性的实施例中，当新增出口api接口或修改出口api接口时，触发冗余字段的重新查找。
78.一种示例性的实施例中，当接收到激活被锁定的出口api接口的命令时，激活被锁定的出口api接口，并激活被锁定的该出口api接口关联的被锁定的作业和数据表。
79.本技术实施例通过查找出每个作业中的冗余数据；根据冗余数据的类型对冗余数据进行存储优化或计算性能优化，提升了数据存储性能与计算性能。
80.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
81.附图用来提供对本技术技术方案的理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
82.图1为本技术实施例的大数据平台动态性能优化方法的流程图；
83.图2为本技术实施例的大数据平台的业务系统示例；
84.图3为本技术实施例的数据存储优化的流程图；
85.图4为本技术实施例的计算性能优化的流程图；
86.图5为本技术实施例的大数据平台动态性能优化装置的示意图。
具体实施方式
87.图1为本技术实施例的大数据平台动态性能优化方法的流程图，如图1所示，本实施例的优化方法，应用于大数据平台，包括s11
‑
s12步骤：
88.s11、遍历作业系统中的数据处理流程；
89.s12、对于每个数据处理流程进行如下操作：分别查找出每个作业中的冗余数据；根据冗余数据的类型对冗余数据进行存储优化或计算性能优化。
90.一种示例性的实施例中，每个数据处理流程包括一个或多个作业。
91.一种示例性的实施例中，每个作业包括数据表，每个数据表包括字段；
92.冗余数据的类型包括冗余字段、冗余作业、冗余数据表；
93.分别查找出每个作业中的冗余数据，包括：分别查找出每个作业中的以下一种或
多种类型的冗余数据：冗余字段、冗余数据表、冗余作业。
94.一种示例性的实施例中，每个数据处理流程中至少一个作业包括出向api；
95.当冗余数据的类型为冗余字段时，分别查找出每个作业中的冗余数据，包括：
96.遍历出向api直接关联的数据表；
97.对于每个与出向api直接关联的数据表进行如下操作：
98.将该数据表中满足第一预设条件的字段判定为冗余字段；
99.遍历每个作业，如果该作业的数据输出表是包含有冗余字段的数据表，则将该作业的数据输入表中与冗余字段对应的字段判定为冗余字段。
100.一种示例性的实施例中，所述第一预设条件包括：该字段与出向api的返回结果字段以及数据排序条件字段以及数据过滤条件字段不相同。
101.一种示例性的实施例中，分别查找出每个作业中的冗余字段，还包括：
102.对于每个作业分别进行如下处理：
103.获取该作业的数据输入表的字段与其他作业中的字段的对应关系；获取所述其他作业的作业关联条件字段、排序条件字段、过滤条件字段；
104.如果该作业的数据输入表中的字段与所述其他作业中的字段不存在对应关系，且该作业的数据输入表中的字段不是其他作业的作业关联条件字段以及排序条件字段以及过滤条件字段，则判定该作业的数据输入表中的字段为冗余字段；
105.其中，所述其他作业为数据处理流程中除该作业之外的作业。
106.一种示例性的实施例中，当冗余数据的类型为冗余作业和冗余数据表时，分别查找出每个作业中的冗余数据，包括：
107.获取出向api上一次的调用时间；
108.如果上一次的调用时间与当前时间的差值超过预设阈值，则判定该出向api为冗余作业；
109.判定与该出向api相关联的全部作业为冗余作业；判定与冗余作业相关联的数据表为冗余数据表。
110.一种示例性的实施例中，所述判定与该出向api相关联的全部作业为冗余作业，判定与冗余作业相关联的数据表为冗余数据表，包括：
111.获取该出向api引用的数据输入表且满足第二预设条件的数据输入表，将所获取的数据输入表判定为冗余数据表；
112.查找以获取到的数据输入表作为数据输出表的作业，将查找到的作业判定为冗余作业；
113.将冗余作业的全部输入表中满足第二预设条件的数据输入表判定为冗余数据表。
114.一种示例性的实施例中，第二预设条件为没有任何其他的出向api与该数据表直接关联，并且不存在某个未被锁定的作业将该数据表作为数据输入表。
115.一种示例性的实施例中，对冗余数据进行存储优化和/或计算性能优化，包括：
116.对冗余字段不进行存储；
117.和/或，对冗余作业和冗余数据表进行锁定。
118.一种示例性的实施例中，出向api被锁定表示api接口状态自动变为锁定，不再对外提供服务。作业被锁定表示作业不再支持被外部接口调用执行，并且不再周期执行。数据
表被锁定表示数据表不再被调用。
119.一种示例性的实施例中，当新增出口api接口或修改出口api接口时，触发冗余字段的重新查找。
120.一种示例性的实施例中，当接收到激活被锁定的出口api接口的命令时，激活被锁定的出口api接口，并激活被锁定的该出口api接口关联的被锁定的作业和数据表。
121.本技术实施例通过查找出每个作业中的冗余数据；根据冗余数据的类型对冗余数据进行存储优化或计算性能优化，提升了数据存储性能与计算性能。
122.图2为本技术实施例的大数据平台的业务系统，如图2所示，所述业务系统包括数据接入api(应用程序接口)、作业、数据表和数据检索api。
123.数据服务api包括数据接入api和数据检索api。数据服务api由业务层定义，其主要属性包括对外提供服务的数据表、过滤条件字段、排序条件字段、返回字段，根据这些属性产生一个可供业务层调用的api接口。api接口包括入向api接口(数据接入api)和出向接口(数据检索/查询api)，根据表及其字段的来源及去向，可以通过数据服务api中涉及的字段往回追溯。
124.数据接入api支持外部数据导入大数据平台(即，用于实现外部数据接入大数据平台)。与作业类似，数据接入api接口关联一个数据输出表，称为入向api。数据检索api(或数据查询和推送api)用于实现外部业务对大数据平台的数据的访问，数据检索api关联一个数据输入表，称为出口api。数据检索api也可以使用sql表达。
125.作业可由用户在大数据平台注册。作业由sql定义，用于描述数据的处理流程。每个作业中的sql语句关联至少一个数据输入表和一个数据输出表。数据服务api(包括数据接入api和数据检索api或者包括入向api和出向api)也可以看作是一种特殊的作业，入向api是只有输出表的作业，而出向api是只有输入表的作业。作业和数据服务api(包括数据接入api和数据检索api)关联哪些输入表、哪些输出表都可以通过对作业sql的语义分析得到(sql的语义分析是现有技术，不做赘述)，除通过语义分析外，也可以手动配置关联。数据服务api、作业、输入表、输出表之间可以建立关联关系，将系统中所有api、作业、表连接起来，得到数据流转关系图，用来描述数据平台中的所有作业、数据服务api、表之间的数据流转关系。如图2中所示，用箭头从输入表指向作业，作业再指向输出表，以此来表达数据流转关系。箭头方向表示数据流向，图的起点一定至少1个入向api，处理流程中通过会经过至少1个作业，也可能不经过任何作业，而终点一定是至少1个出向api。如作业j2的输入表为t1和t2，输出表为t3，t3经由作业j2处理输出表t4。其中表t4被注册为数据服务api s1，对外提供结果查询服务。
126.确定数据流转关系后，可进一步确定表与表之间的字段映射关系，确定字段之间关系的关键在于对作业中的sql的语义分析，可以将作业的输入表中的字段关联到条件和映射，条件包括多表关联条件(比如join语句中的on条件)、排序条件(比如order by子句)和过滤条件(比如where子句)。某个字段引出一个箭头指向某作业的排序条件，表示该字段在排序条件中被引用，过滤条件、多表关联条件与排序条件的表示类似。
127.映射是输入表中的字段到输出表中字段的映射关系，一个作业中可以产生多个映射关系。输入表中的一个或多个字段通过聚合、转换映射为输出表中的一个字段。映射也可以在sql中凭空产生(比如以静态字面量或者无参函数的形式)，即映射可以没有输入字段，
仅包含输出字段。通过映射关联可以将输入表中的字段和输出表中的字段关联在一起。形成输入字段指向输出字段的字段流向。
128.工作流也可由用户在大数据平台定义，工作流由多个作业按照时序依赖关系连接而成，工作流中埃塞萨的作业按预定义的顺序执行，共同完成业务处理流程。
129.图3为本技术实施例的数据存储优化的流程图，如图3所示，包括s31
‑
s32步骤：
130.s31、确定数据表中的冗余字段；
131.s32、对冗余字段不进行存储。
132.在步骤s21中，确定数据表中的冗余字段的具体方法如下：
133.对于与出向api直接关联的表，如果表中的字段既不是api的返回结果字段，也不是与api中数据排序条件、数据过滤条件相关的字段，则该字段为冗余字段，可以不做实际存储。
134.从与出向api直接关联的表沿着数据流转方向向前找，如果该表是某个作业的数据输出，那么根据作业中的sql定义，可以得到这个作业中输入表的输入字段与输出表的输出字段间的映射关系，即输入表中的哪些字段经过转换、聚合等操作后产出为输出表中的哪个字段。一个映射关系至少包含一个输出字段，零到多个输入字段。如果一个映射关系中，输出字段已被确认为输出表中的冗余字段，则该映射关系的所有输入字段也是对应的输入表中的冗余字段，不做存储。
135.对于一个作业的输入表，某个字段既没有在任何作业中建立映射，并且也没有在某个作业中作为作业关联条件、排序条件、过滤条件的任意一种，该字段也认为是冗余字段，不做存储。
136.例如图2中数据服务接口s1，其只涉及到字段c1和c4，表t4只需要存储c1和c4字段即可，c2、c3字段现阶段是冗余的，可以暂不保存c2、c3字段，以节省磁盘空间，提升性能。
137.当出向api有新增或现有出向api发生修改时，会重新触发平台中冗余字段确认，这些操作可能会导致本来认为是冗余的字段发生变化。
138.当某个表冗余字段增加时，只需删除物理表中新的冗余列。
139.当某个表冗余字段减少时。默认只保证新的作业实例执行时产出结果包含减少的冗余字段。对于覆盖式产出数据作业，这是完全可行的。对于部分增量产出数据的作业，则无法恢复历史数据中的冗余字段。但是对于安防大数据分析系统而言，用户更在意近期数据的分析查询，影响有限。如有历史数据需要，可以通过重跑历史分析的方式实现。
140.由于入向api直接关联的表是原始数据存储的表，无需处理冗余字段。
141.本技术实施例通过对数据服务api中涉及的字段往回追溯，可以根据接口中用到的字段对整个数据处理流程进行优化。
142.图4为本技术实施例的计算性能优化的流程图，如图4所示，包括s41
‑
s42步骤：
143.s41：确定数据处理流程中的冗余作业和冗余数据表；
144.s42：锁定冗余作业和冗余数据表。
145.在s41中，确定冗余作业和冗余数据表包括如下步骤：
146.s411：获取数据处理流程中每个出向api上一次被调用的时间，计算该出向api上一次被调用的时间与当前时间之间的差值，如果该差值大于预设阈值，则将该出向api判定为冗余作业；
147.s412：对于被判定为冗余作业的出口api，获取其引用的数据输入表；对于每个其引用的数据输入表，如果没有任何其他的出向api与该表直接关联，并且不存在某个未被锁定的作业将该表作为数据输入表，则判定该数据输入表为冗余数据表；
148.s413：从冗余数据表出发，将冗余数据表作为数据输出表的作业被判定为冗余作业；
149.s414：从冗余作业出发，如果冗余作业的所有输入表中存在没有任何其他的出向api与该表直接关联，并且不存在某个未被锁定的作业将该表作为数据输入表，则判定满足上述条件的数据输入表为冗余数据表。
150.为了避免长期不使用的业务流程空跑浪费系统资源，通过统计数据检索api接口的调用频率，api接口长时间无调用超过一定阈值后，api接口状态自动变为锁定，不再对外提供服务。从该api接口向前追溯其引用的中间结果表，再追溯向该表中写入数据的作业，将这些作业全部锁定(作业不再允许被外部触发执行，同时在这些作业上配置的执行周期也将停止运行)，以此向前类推，可以使这个api接口相关的所有作业被锁定。例如图2中的数据检索api s4，当它被锁定后，其涉及的作业j3、j4都将被锁定，这种方法可以很大程度减少算力浪费。
151.对于已经产生的中间结果，当系统存储空间使用达到一定阈值，会优先删除这些冗余数据表中的数据，从而减少磁盘空间浪费，磁盘占用的减少又能使系统运行性能进一步提高。
152.被锁定的api需要由人工确认该业务是否还需要使用，如果确认该业务还要继续使用的，可以重新激活。激活api的同时，会向前追溯其涉及的表，表涉及的作业，并依次激活他们。被激活的作业可根据情况由用户决定是否重跑历史任务(历史任务在)，以重新生成在作业锁定过程中未生成的完整的中间结果数据。
153.使用这种方法可以最大程度减少历史遗留业务或者小范围适用的业务对系统资源的消耗。对于软硬一体交付的大数据平台，系统中就又部分业务流程只面向少数的用户群体，但为了便于维护会默认部署在所有用户环境，对于不使用这部分业务的用户，这种动态优化的方式可以减少系统资源浪费。
154.图5为本技术实施例的大数据平台动态性能优化装置的示意图，如图5所示，本实施例的优化装置，包括存储器和处理器。
155.所述存储器，用于保存用于优化的程序；
156.所述处理器，用于读取执行所述用于优化的程序，执行如下操作：
157.遍历作业系统中的数据处理流程；其中，每个数据处理流程包括一个或多个作业；
158.对于每个数据处理流程进行如下操作：分别查找出每个作业中的冗余数据；根据冗余数据的类型对冗余数据进行存储优化和/或计算性能优化。
159.一种示例性的实施例中，每个作业包括数据表，每个数据表包括字段；
160.冗余数据的类型包括冗余字段、冗余作业、冗余数据表；
161.分别查找出每个作业中的冗余数据，包括：分别查找出每个作业中的以下一种或多种类型的冗余数据：冗余字段、冗余数据表、冗余作业。
162.一种示例性的实施例中，每个数据处理流程中至少一个作业包括出向api；
163.当冗余数据的类型为冗余字段时，分别查找出每个作业中的冗余数据，包括：
164.遍历出向api直接关联的数据表；
165.对于每个与出向api直接关联的数据表进行如下操作：
166.将该数据表中满足第一预设条件的字段判定为冗余字段；
167.遍历每个作业，如果该作业的数据输出表是包含有冗余字段的数据表，则将该作业的数据输入表中与冗余字段对应的字段判定为冗余字段。
168.一种示例性的实施例中，所述第一预设条件包括：该字段与出向api的返回结果字段以及数据排序条件字段以及数据过滤条件字段不相同。
169.一种示例性的实施例中，分别查找出每个作业中的冗余字段，还包括：
170.对于每个作业分别进行如下处理：
171.获取该作业的数据输入表的字段与其他作业中的字段的对应关系；获取所述其他作业的作业关联条件字段、排序条件字段、过滤条件字段；
172.如果该作业的数据输入表中的字段与所述其他作业中的字段不存在对应关系，且该作业的数据输入表中的字段不是其他作业的作业关联条件字段以及排序条件字段以及过滤条件字段，则判定该作业的数据输入表中的字段为冗余字段；
173.其中，所述其他作业为数据处理流程中除该作业之外的作业。
174.一种示例性的实施例中，当冗余数据的类型为冗余作业和冗余数据表时，分别查找出每个作业中的冗余数据，包括：
175.获取出向api上一次的调用时间；
176.如果上一次的调用时间与当前时间的差值超过预设阈值，则判定该出向api为冗余作业；
177.判定与该出向api相关联的全部作业为冗余作业；判定与冗余作业相关联的数据表为冗余数据表。
178.一种示例性的实施例中，所述判定与该出向api相关联的全部作业为冗余作业，判定与冗余作业相关联的数据表为冗余数据表，包括：
179.获取该出向api引用的数据输入表且满足第二预设条件的数据输入表，将所获取的数据输入表判定为冗余数据表；
180.查找以获取到的数据输入表作为数据输出表的作业，将查找到的作业判定为冗余作业；
181.将冗余作业的全部输入表中满足第二预设条件的数据输入表判定为冗余数据表。
182.一种示例性的实施例中，第二预设条件为没有任何其他的出向api与该数据表直接关联，并且不存在某个未被锁定的作业将该数据表作为数据输入表。
183.一种示例性的实施例中，对冗余数据进行存储优化和/或计算性能优化，包括：
184.对冗余字段不进行存储；
185.和/或，对冗余作业和冗余数据表进行锁定。
186.一种示例性的实施例中，出向api被锁定表示api接口状态自动变为锁定，不再对外提供服务。作业被锁定表示作业不再支持被外部接口调用执行，并且不再周期执行。数据表被锁定表示数据表不再被调用。
187.一种示例性的实施例中，当新增出口api接口或修改出口api接口时，触发冗余字段的重新查找。
188.一种示例性的实施例中，当接收到激活被锁定的出口api接口的命令时，激活被锁定的出口api接口，并激活被锁定的该出口api接口关联的被锁定的作业和数据表。
189.本技术实施例通过查找出每个作业中的冗余数据；根据冗余数据的类型对冗余数据进行存储优化或计算性能优化，提升了数据存储性能与计算性能。
190.本技术描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本技术所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
191.本技术包括并设想了与本领域普通技术人员已知的特征和元件的组合。本技术已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本技术中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
192.此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本技术实施例的精神和范围内。
193.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。