基于模板的数据传输方法、装置、设备及存储介质与流程

本发明涉及数据传输技术，尤其涉及一种基于模板的数据传输方法、装置、设备及存储介质。

背景技术：

1、在各应用系统的开发过程中，为满足用户对数据进行批量处理、快速提取的诉求，表格数据导入导出功能即成为了一项高频的产品需求，时常出现在开发清单当中。

2、在业务端每次新增导入导出需求时，开发端需针对新的导入导出需求，来进行接口封装、建立实体与表格模板列的映射关系、查询结果写入表格等代码层面的逻辑开发。这无疑加重了开发端的负担，增加了开发成本。

技术实现思路

1、本发明提供一种基于模板的数据传输方法、装置、设备及存储介质，以实现降低开发成本。

2、第一方面，本发明提供了一种基于模板的数据传输方法，包括：

3、响应于业务端发送的数据传输请求，从所述数据传输请求中获取模板标识和待传输的目标数据的地址；

4、基于所述模板标识从模板库中查找对应的目标模板，所述模板库中存储有业务端预先编写的针对多种业务场景的模板；

5、基于所述待传输的目标数据的地址确定所述待传输的目标数据；

6、基于所述目标数据和所述目标模板进行数据传输。

7、可选的，所述数据传输请求为数据导入请求，基于所述目标数据和所述目标模板进行数据传输，包括：

8、从所述目标模板中读取待填充的目标字段；

9、从所述目标数据中查找所述目标字段，并确定所述目标字段存储的信息；

10、将所述目标字段存储的信息填充到所述目标模板中所述目标字段下，形成导入业务数据表；

11、将所述导入业务数据表持久化到本地存储中。

12、可选的，所述数据传输请求为数据导出请求，基于所述目标数据和所述目标模板进行数据传输，包括：

13、从所述目标模板中读取待填充的目标字段；

14、从所述目标数据中查找所述目标字段，并确定所述目标字段存储的信息；

15、将所述目标字段存储的信息填充到所述目标模板中所述目标字段下，形成导出业务数据表；

16、将所述导出业务数据表发送给业务端。

17、可选的，在响应于业务端发送的数据传输请求之前，还包括：

18、获取研发端编写的所需要传输的数据的sql脚本；

19、根据sql脚本动态生成模板所需的字段名称；

20、获取业务端上传的模板，所述业务端基于所需要传输的数据将所需的字段名称填充到单元格中，生成模板。

21、可选的，所述数据传输请求为数据导出请求，基于所述目标数据和所述目标模板进行数据传输，还包括：

22、读取所述目标模板中的敏感字段；

23、从所述目标数据中查找所述敏感字段存储的敏感信息；

24、对所述敏感信息进行脱敏处理。

25、可选的，基于所述目标数据和所述目标模板进行数据传输，还包括：

26、从所述目标数据中解析出待传输的数据行数；

27、以预设行数作为一组，计算每一组数据的数据量；

28、为每一组数据分配与该组数据的数据量匹配的消费通道；

29、将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费。

30、可选的，将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费，包括：

31、针对每一所述服务节点，从所述服务节点分配到的数据中读取工作者的数量；

32、启动与所述工作者的数量相等的任务线程。

33、第二方面，本发明还提供了一种基于模板的数据传输装置，包括：

34、信息获取模块，用于响应于业务端发送的数据传输请求，从所述数据传输请求中获取模板标识和待传输的目标数据的地址；

35、目标模板确定模块，用于基于所述模板标识从模板库中查找对应的目标模板，所述模板库中存储有业务端预先编写的针对多种业务场景的模板；

36、目标数据确定模块，用于基于所述待传输的目标数据的地址确定所述待传输的目标数据；

37、数据传输模块，用于基于所述目标数据和所述目标模板进行数据传输。

38、第三方面，本发明还提供了一种电子设备，包括：

39、一个或多个处理器；

40、存储装置，用于存储一个或多个程序；

41、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的基于模板的数据传输方法。

42、第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的基于模板的数据传输方法。

43、本发明提供的基于模板的数据传输方法，响应于业务端发送的数据传输请求，从数据传输请求中获取模板标识和待传输的目标数据的地址，基于模板标识从模板库中查找对应的目标模板，模板库中存储有业务端预先编写的针对多种业务场景的模板，基于待传输的目标数据的地址确定待传输的目标数据，基于目标数据和目标模板进行数据传输。本发明预先由业务端制作导入导出数据所需的模板，无需开发端每次针对新增导入导出需求进行开发，降低了开发成本，且业务端对业务所需的数据更熟悉，因此，模板更符合业务端的需求。

44、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于模板的数据传输方法，其特征在于，包括：

2.根据权利要求1所述的基于模板的数据传输方法，其特征在于，所述数据传输请求为数据导入请求，基于所述目标数据和所述目标模板进行数据传输，包括：

3.根据权利要求1所述的基于模板的数据传输方法，其特征在于，所述数据传输请求为数据导出请求，基于所述目标数据和所述目标模板进行数据传输，包括：

4.根据权利要求1-3任一所述的基于模板的数据传输方法，其特征在于，在响应于业务端发送的数据传输请求之前，还包括：

5.根据权利要求1-3任一所述的基于模板的数据传输方法，其特征在于，所述数据传输请求为数据导出请求，基于所述目标数据和所述目标模板进行数据传输，还包括：

6.根据权利要求1-3任一所述的基于模板的数据传输方法，其特征在于，基于所述目标数据和所述目标模板进行数据传输，还包括：

7.根据权利要求6所述的基于模板的数据传输方法，其特征在于，将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费，包括：

8.一种基于模板的数据传输装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的基于模板的数据传输方法。

技术总结
本发明公开了一种基于模板的数据传输方法、装置、设备及存储介质。响应于业务端发送的数据传输请求，从数据传输请求中获取模板标识和待传输的目标数据的地址，基于模板标识从模板库中查找对应的目标模板，模板库中存储有业务端预先编写的针对多种业务场景的模板，基于待传输的目标数据的地址确定待传输的目标数据，基于目标数据和目标模板进行数据传输。本发明预先由业务端制作导入导出数据所需的模板，无需开发端每次针对新增导入导出需求进行开发，降低了开发成本，且业务端对业务所需的数据更熟悉，因此，模板更符合业务端的需求。

技术研发人员：谢方敏,周峰,郭陟,马荣茂,梁伟乐
受保护的技术使用者：广州方舟信息科技有限公司
技术研发日：
技术公布日：2024/2/8