一种大数据导入导出方法与流程

本发明涉及数据处理，尤其涉及一种大数据导入导出方法。

背景技术：

1、数据分析类软件产品都具备将数据从数据源抽取出来，加载到定义好的数据分析模型中去的功能。但是这些数据存在于不同的数据库或者文件，并且数据格式标准不统一，因此这类产品需要提供相应的功能将企业中的分散、零乱、标准不统一的数据进行清洗、转换、集成，对这些数据进行处理需要对数据库比较熟练的技术人员才能实现，这无疑降低了数据的时效性。

技术实现思路

1、本发明的目的在于提供一种大数据导入导出方法，提高数据时效性。

2、为实现上述目的，本发明提供了一种大数据导入导出方法，包括以下步骤：

3、依次获取etlnode和etledge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；

4、当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；

5、当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中。

6、其中，依次获取etlnode和etledge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件，包括：

7、从fone数据库中依次读取etlnode和etledge进行信息初始化；

8、将初始化后得到的导出数据转换成xml格式文件，并同时生成元数据标签、节点标签和边标签；

9、基于预设的传输规则将所述xml格式文件传输至数据处理组件。

10、其中，所述数据处理组件包括数据解析模块、数据判断模块和数据数据处理模块。

11、其中，所述数据处理模块的数据至少为一个，多个所述数据处理模块之间级联。

12、其中，当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理，包括：

13、当所述数据处理组件中的所述数据解析模块接收到所述xml格式文件后，对所述xml格式文件进行解密和解析；

14、利用所述数据判断模块判断解析后的数据是否需要进行数据处理，若需要进行数据处理，则利用所述数据处理模块基于处理规则进行处理。

15、其中，当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，包括：

16、当数据处理完成后或者判断不需要进行数据处理后，将接收到的数据进行缓存并排序；

17、按照设定的数据传输协议，基于排序顺序将数据导入到数据库中进行存储。

18、本发明的一种大数据导入导出方法，依次获取etlnode和etledge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，将导出的数据转换为统一的格式，并在导入数据之前，会先判断是否需要进行数据处理，只有再需要进行数据处理的时候才进行数据处理，还按照排序，基于设定的数据传输协议将数据导入数据库中，方便数据的传输使用，每次执行都会从各源数据获取最新数据，从而提高数据实效性。

技术特征：

1.一种大数据导入导出方法，其特征在于，包括以下步骤：

2.如权利要求1所述的大数据导入导出方法，其特征在于，依次获取etlnode和etledge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件，包括：

3.如权利要求1所述的大数据导入导出方法，其特征在于，所述数据处理组件包括数据解析模块、数据判断模块和数据数据处理模块。

4.如权利要求3所述的大数据导入导出方法，其特征在于，所述数据处理模块的数据至少为一个，多个所述数据处理模块之间级联。

5.如权利要求3所述的大数据导入导出方法，其特征在于，当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理，包括：

6.如权利要求1所述的大数据导入导出方法，其特征在于，当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，包括：

技术总结
本发明涉及数据处理技术领域，具体公开了一种大数据导入导出方法，依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，将导出的数据转换为统一的格式，并在导入数据之前，会先判断是否需要进行数据处理，只有再需要进行数据处理的时候才进行数据处理，还按照排序，基于设定的数据传输协议将数据导入数据库中，方便数据的传输使用，每次执行都会从各源数据获取最新数据，从而提高数据实效性。

技术研发人员：唐君伟,王娟
受保护的技术使用者：上海绎维软件系统有限公司
技术研发日：
技术公布日：2024/1/11