一种Excel文件数据校验与导入的实现方法与流程

本发明涉及excel中数据校验和导入领域，尤其涉及一种excel文件数据校验与导入的实现方法。

背景技术：

1、excel导入功能是金融领域各系统提供的最为基本且频繁的功能之一。目前excel文件数据导入常用的校验方法是利用poi、easyexcel等方法对excel数据进行读取和校验。在对这些excel数据进行校验、导入时，开发人员大多使用按行遍历，校验逻辑硬编码的方式来实现。这种方式会导致软件开发人员用几百行代码来达成一个文件校验和导入功能的情况。并且，这种方法会导致代码难以复用，针对不同的业务功能需求编写不同的代码，开发成本高。并且，现有方案可进行的数据校验种类少，扩展非常困难，存在校验规则修改后代码改动较大的问题。即无法快速部署，实现方式复杂繁琐，费时且不易扩展，并不能很好的提高excel数据校验和导入效率。

2、现有技术中，将excel中数据校验和导入的方法，有以下问题：

3、1)基于现有技术的导入数据方法，针对不同的数据导入需要开发不同的程序代码，存在无法快速部署，编码效率低；

4、2)基于现有技术的校验方法无法支持校验规则的快速修改，且扩展性差，无法满足用户对快速变更的要求，影响用户体验；

5、3)所支持的数据校验规则少，难以满足业务人员对高质量数据的要求。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种excel文件数据校验与导入的实现方法。

2、根据本发明的一个方面，提供了一种excel文件数据校验与导入的实现方法，所述实现方法包括：

3、创建一个文件的规则信息配置表；

4、获取需要校验的excel文件，并利用python的pandas包将文件解析成二维表；

5、利用python的pandas包将所述规则信息配置表加载为二维表；

6、按列遍历所解析的二维表，根据列名寻找所加载文件规则信息配置表中各列的校验规则，依次执行所不同校验规则对应的方法，同时记录相应的校验结果；

7、若多个所述校验规则均通过，将所述二维表直接导入数据库表中，若不通过则在执行完所述校验规则后，将校验具体问题反馈给用户。

8、可选的，所述二维表的列包括：excel文件的名称、sheet页的名称、数据库表名、数据库表列名、是否唯一约束、是否非空、数据类型、字段长度、字典范围规则、各列间的关系约束、正则表达式规则。

9、可选的，所述规则信息配置表具体包括：所需要导入、校验文件的名称、sheet页的名称、各列名称、列的校验规则。

10、可选的，所述列校验规则包括：是否唯一约束、是否非空、数据类型、字段长度、字典范围规则、各列间的关系约束、正则表达式规则。

11、本发明提供的一种excel文件数据校验与导入的实现方法，所述实现方法包括：创建一个文件的规则信息配置表；获取需要校验的excel文件，并利用python的pandas包将文件解析成二维表；利用python的pandas包将所述规则信息配置表加载为二维表；按列遍历所解析的二维表，根据列名寻找所加载文件规则信息配置表中各列的校验规则，依次执行所不同校验规则对应的方法，同时记录相应的校验结果；若多个所述校验规则均通过，将所述二维表直接导入数据库表中，若不通过则在执行完所述校验规则后，将校验具体问题反馈给用户。能够支持仅使用较少的代码量或零代码的方式实现excel文件的校验与导入，降低excel数据校验与导入过程所需耗费的人力资源，提高用户使用体验，提高excel文件校验和入库效率。

12、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种excel文件数据校验与导入的实现方法，其特征在于，所述实现方法包括：

2.根据权利要求1所述的一种excel文件数据校验与导入的实现方法，其特征在于，所述二维表的列包括：excel文件的名称、sheet页的名称、数据库表名、数据库表列名、是否唯一约束、是否非空、数据类型、字段长度、字典范围规则、各列间的关系约束、正则表达式规则。

3.根据权利要求1所述的一种excel文件数据校验与导入的实现方法，其特征在于，所述规则信息配置表具体包括：所需要导入、校验文件的名称、sheet页的名称、各列名称、列的校验规则。

4.根据权利要求1所述的一种excel文件数据校验与导入的实现方法，其特征在于，所述列校验规则包括：是否唯一约束、是否非空、数据类型、字段长度、字典范围规则、各列间的关系约束、正则表达式规则。

技术总结
本发明提供的一种Excel文件数据校验与导入的实现方法，所述实现方法包括：创建一个文件的规则信息配置表；获取需要校验的Excel文件，并利用python的pandas包将文件解析成二维表；利用python的pandas包将所述规则信息配置表加载为二维表；按列遍历所解析的二维表，根据列名寻找所加载文件规则信息配置表中各列的校验规则，依次执行所不同校验规则对应的方法，同时记录相应的校验结果；若多个所述校验规则均通过，将所述二维表直接导入数据库表中，若不通过则在执行完所述校验规则后，将校验具体问题反馈给用户。降低Excel数据校验与导入过程所需耗费的人力资源，提高用户使用体验，提高Excel文件校验和入库效率。

技术研发人员：肖宇
受保护的技术使用者：北银金融科技有限责任公司
技术研发日：
技术公布日：2024/1/15