一种文件导入的方法、装置和设备与流程

本发明属于文件处理，具体涉及一种文件导入的方法、装置和设备。

背景技术：

1、随着信息技术的不断发展，目前基本所有的系统都支持批量数据的导入功能，现在通常采用的是同步导入文件的方式。这种文件导入方式，能够支持导入的数据量较小，导入文件的过程中接口频繁调用，整体处理耗时较长；而且，在大批量文件导入时会占用很多系统资源，容易出现系统卡顿的情况，影响系统的正常使用，从而影响用户体验。

2、但随着业务规模的与日俱增，各种业务场景的文件导入需求越来越多，用户要求一次性导入的数据量越来越大。针对不同的业务场景的需求，现有的文件导入组件需要进行多次开发，存在着不能复用的问题。

技术实现思路

1、为此，本发明提供一种文件导入的方法、装置和设备，有助于帮助解决在不同的业务场景中，现有的文件导入存在着占用大量内存、处理耗时长及重复开发的问题。

2、为实现以上目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种文件导入的方法，包括：

4、获取文件导入请求；其中，所述文件导入请求包括：待导入文件；

5、通过预设的第一公共组件，将所述待导入文件缓存至文件服务器；

6、确定所述待导入文件在所述文件服务器中的文件链接地址；

7、通过预设的第二公共组件，创建与所述文件导入请求相应的导入任务；其中，所述导入任务包括所述待导入文件的文件链接地址；

8、基于多个导入任务，生成导入任务列表；其中，所述导入任务列表至少包括一个所述导入任务；

9、定时调度处理所述导入任务列表中的导入任务，生成处理结果；其中，所述处理结果包括导入数据成功、导入数据失败。

10、进一步地，所述定时调度处理所述导入任务列表中的导入任务，生成处理结果，包括：

11、根据所述待导入文件的文件链接地址，获取相应的待导入文件；

12、对所述待导入文件依次进行数据解析，生成目标解析数据；

13、将所述目标解析数据进行处理，生成所述处理结果。

14、进一步地，所述对所述待导入文件进行数据解析，生成目标解析数据，包括：

15、识别所述待导入文件的格式；

16、根据所述待导入文件的格式确定对应的文件解析工具；

17、通过所述文件解析工具对所述待导入文件进行数据解析；

18、生成所述目标解析数据。

19、进一步地，所述通过预设的第一公共组件，将所述待导入文件缓存至文件服务器，包括：

20、获取所述预设的第一公共组件中的所述文件服务器的配置信息；

21、基于所述文件服务器的配置信息，通过所述预设的第一公共组件将所述待导入文件缓存至所述文件服务器。

22、进一步地，所述方法还包括：

23、若所述处理结果为导入数据失败，则生成对应的异常数据文件，并将所述异常数据文件上传至所述文件服务器。

24、进一步地，所述方法还包括：

25、生成所述异常数据文件的存储地址链接；

26、根据所述存储地址链接，对所述异常数据文件进行下载查看。

27、进一步地，所述方法还包括：

28、若所述处理结果为导入数据成功，则更新所述导入任务列表中的导入任务数量，生成更新的导入任务列表。

29、第二方面，本发明提供一种文件导入的装置，包括：

30、请求获取模块，用于获取文件导入请求；其中，所述文件导入请求包括：待导入文件；

31、文件缓存模块，用于通过预设的第一公共组件，将所述待导入文件缓存至文件服务器；

32、地址确定模块，用于确定所述待导入文件在所述文件服务器中的文件链接地址；

33、任务创建模块，用于通过预设的第二公共组件，创建与所述文件导入请求相应的导入任务；其中，所述导入任务包括所述待导入文件的文件链接地址；

34、任务列表生成模块，用于基于多个导入任务，生成导入任务列表；其中，所述导入任务列表至少包括一个所述导入任务；

35、任务列表处理模块，用于定时调度处理所述导入任务列表中的导入任务，生成处理结果；其中，所述处理结果包括导入数据成功、导入数据失败。

36、进一步地，所述任务列表处理模块具体用于：

37、根据所述待导入文件的文件链接地址，获取相应的待导入文件；

38、对所述待导入文件依次进行数据解析，生成目标解析数据；

39、将所述目标解析数据进行处理，生成所述处理结果。

40、第三方面，本发明提供一种文件导入的设备，包括：

41、一个或者多个存储器，其上存储有可执行程序；

42、一个或者多个处理器，用于执行所述存储器中的所述可执行程序，以实现上述中任一项所述方法的步骤。

43、本发明采用以上技术方案，至少具备以下有益效果：

44、本发明，通过获取文件导入请求；其中，文件导入请求包括：待导入文件；通过预设的第一公共组件，将待导入文件缓存至文件服务器；确定待导入文件在文件服务器中的文件链接地址；通过预设的第二公共组件，创建与文件导入请求相应的导入任务；基于多个导入任务，生成导入任务列表；定时调度处理导入任务列表中的导入任务，生成处理结果。通过调用预设的第一公共组件和预设的第二公共组件，实现在各种业务场景下，减少导入组件的开发次数，避免重复开发建设，实现公共组件的复用性；同时，通过创建与文件导入请求相应的导入任务，生成导入任务列表，对导入任务定时调度处理，实现导入任务的异步处理，减少内存占用量，提高了处理速度，从而提升用户的体验。

45、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种文件导入的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述定时调度处理所述导入任务列表中的导入任务，生成处理结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述待导入文件进行数据解析，生成目标解析数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过预设的第一公共组件，将所述待导入文件缓存至文件服务器，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种文件导入的装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，所述任务列表处理模块具体用于：

10.一种文件导入的设备，其特征在于，包括：

技术总结
本发明涉及一种文件导入的方法、装置和设备，属于文件处理技术领域。本发明通过预设的第一公共组件，将待导入文件缓存至文件服务器；确定待导入文件在文件服务器中的文件链接地址；通过预设的第二公共组件，创建与文件导入请求相应的导入任务；基于多个导入任务，生成导入任务列表；定时调度处理导入任务列表中的导入任务，生成处理结果。通过调用预设的第一公共组件和预设的第二公共组件，将文件上传、数据处理过程与业务系统解耦，实现在各种业务场景下，减少导入组件的开发次数，避免重复开发建设，实现公共组件的复用性；同时，通过创建导入任务，实现导入任务异步处理，减少内存占用量，提高了处理速度，从而提升用户体验。

技术研发人员：许峰山,周金盆,王伟庆
受保护的技术使用者：上海中通吉网络技术有限公司
技术研发日：
技术公布日：2024/1/12