基于数据可变的数据导入方法、系统、设备及存储介质与流程

1.本发明涉及工业互联网技术领域，尤其涉及一种基于数据可变的数据导入方法、系统、设备及存储介质。


背景技术：

2.工业互联网平台就是工业云平台，是基于应用需求，搭建对工业数据采集、存储、分析和应用的模块体系，其作用就是辅助工业生产，提高工业生产的效率，降低工业管理成本。而要实现数据分析指导工业生产和管理的前提是存在数据基础，例如，需要实现工业生产的物料管理时，就需要先将物料的数据导入到云平台上。
3.现有技术中，实现数据批量导入的方式主要是采用orm框架，将表格数据一次性导入系统。在数据导入系统后，由系统对表格进行遍历，再对表格中每一行的数据进行遍历，同时对数据进行校验，待全部数据遍历结束后，统一输出校验结果。但是，这种数据导入方式在需要导入的数据量大时，数据导入的耗时长、导入效率低；且在数据校验不合格时，需要对数据进行修订，修订完成后，系统对修订后的数据进行重新遍历、校验，从而导致数据导入的效率低下，数据修订操作复杂。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种基于数据可变的数据导入方法、系统、设备及存储介质。
5.一种基于数据可变的数据导入方法，包括以下步骤：确定数据导入方式，所述数据导入方式包括有基础导入和高级导入；获取数据导入模板，根据字段校验规则将物料表中的信息传输至所述导入模板中，获取初始导入文件；根据所述数据导入方式，将所述初始导入文件进行上传；根据所述数据导入方式，对所述初始导入文件进行数据校验，并展示校验结果；根据所述校验结果和数据导入方式，对所述初始导入文件进行修改，获取目标导入文件；根据所述目标导入文件进行数据导入，并展示导入结果。
6.在其中一个实施例中，所述字段校验规则包括：基础校验规则和高级校验规则，所述基础校验规则和高级校验规则均设置有必填字段、字段格式、字段内容合法性和数据重复性的校验规则。
7.在其中一个实施例中，所述高级校验规则还包括默认值规则和数据填充规则，所述默认值规则包括有常量赋值、自动编码和公式计算的规则；所述数据填充规则为根据所述物料表中的字段，匹配所述导入模板中的字段，并将字段对应的数据填充到导入模板中。
8.在其中一个实施例中，所述根据所述数据导入方式，将所述初始导入文件进行上传，具体包括：在所述数据导入方式为基础导入时，将所述初始导入文件上传后，直接向服务器导入所述初始导入文件中的数据，并提示上传成功；在所述数据导入方式为高级导入时，将所述初始导入文件上传后，对所述初始导入文件进行前端处理，并展示在列表中。
9.在其中一个实施例中，所述根据所述数据导入方式，对所述初始导入文件进行数
据校验，具体包括：在所述数据导入方式为基础导入时，根据所述字段校验规则对所述初始导入文件进行校验，并将校验通过后的数据进行保存，记录校验结果，所述校验结果中包括有成功数据内容、失败数据和失败原因；在所述数据导入方式为高级导入时，对所述初始导入文件进行字段自动赋值，字段自动赋值包括有数据填充和默认值，数据填充的优先于默认值，赋值完成后，根据所述字段校验规则对所述初始导入文件进行校验。
10.在其中一个实施例中，所述展示校验结果，具体包括：所述初始导入文件中包括有若干条数据，数据对应有唯一数据编号，在所述初始导入文件中的数据正常时，将对应的数据编号显示为黑色；在所述初始导入文件中的数据异常时，将对应的数据编号显示为红色，并在光标移入浮框时显示错误提示。
11.在其中一个实施例中，所述根据所述校验结果和数据导入方式，对所述初始导入文件进行修改，获取目标导入文件，具体包括：在所述校验结果中存在错误提示，且数据导入方式为高级导入时，根据当前页面展示每条异常数据的错误提示，通过删除或编辑修正的方式去除异常数据，获取修正导入文件，根据所述字段校验规则对所述修正导入文件进行校验，校验通过后，获取目标导入文件；在所述数据导入方式为基础导入时，将所述校验结果中的成功数据内容作为目标导入文件，结合所述目标导入文件、失败数据和失败原因，获取导入结果。
12.一种基于数据可变的数据导入系统，包括：导入方式确定模块，用于确定数据导入方式，所述数据导入方式包括有基础导入和高级导入；信息导入模块，用于获取数据导入模板，根据字段校验规则将物料表中的信息传输至所述导入模板中，获取初始导入文件；导入文件上传模块，用于根据所述数据导入方式，将所述初始导入文件进行上传；导入文件校验模块，用于根据所述数据导入方式，对所述初始导入文件进行数据校验，并展示校验结果；导入文件修改模块，用于根据所述校验结果和数据导入方式，对所述初始导入文件进行修改，获取目标导入文件；导入结果展示模块，用于根据所述目标导入文件进行数据导入，并展示导入结果。
13.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的基于数据可变的数据导入方法的步骤。
14.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的基于数据可变的数据导入方法的步骤。
15.相比于现有技术，本发明的优点及有益效果在于：
16.1、本发明设置有两种数据导入方式，能够根据实际需要对数据导入方式进行选择，在提高数据导入效率的同时，满足了客户的不同需求，提升用户使用体验。
17.2、本发明在存在数据异常时，能够直接在前端实现数据修订，快速便捷，且能够保证数据的有效性，避免修改数据流程复杂的问题，操作便捷、高效。
18.3、本发明通过数据自动赋值，减少用户录入的数据内容，从而缩短了导入前数据录入的时间，提升了数据导入的效率。
附图说明
19.图1为一个实施例中一种基于数据可变的数据导入方法的流程示意图；
20.图2为一个实施例中一种基于数据可变的数据导入系统的结构示意图；
21.图3为一个实施例中设备的内部结构示意图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
23.在一个实施例中，如图1所示，提供了一种基于数据可变的数据导入方法，包括以下步骤：
24.步骤s101，确定数据导入方式，数据导入方式包括有基础导入和高级导入。
25.具体地，在需要进行数据导入时，首先确定数据导入方式，数据导入方式包括有基础导入和高级导入。
26.其中，基础导入适用于数据量小、数据简单的表单导入，操作流程简单，表格数据导入系统或服务器后，由系统或服务器进行校验并直接存入，然后展示校验结果。高级导入适用于数据量大、数据逻辑复杂的表格导入。表格导入后，数据暂存于前端，由前端进行系列数据校验，反馈校验结果，用户能够直接在前端修正异常数据，然后再将修正后的数据提交到服务器或系统中。
27.步骤s102，获取数据导入模板，根据字段校验规则将物料表中的信息传输至导入模板中，获取初始导入文件。
28.具体地，物料表的数据在进行导入时，设置有数据导入模板，通过下载导入模板，并将物料表中的数据信息输入至导入模板中，从而获取初始导入文件。在向导入模板进行信息输入时，需要根据预先设置的字段校验规则对输入的数据进行校验。
29.其中，字段校验规则包括：基础校验规则和高级校验规则，基础校验规则和高级校验规则均设置有必填字段、字段格式、字段内容合法性和数据重复性的校验规则。
30.具体地，在导入模板中设置必填字段时，对应的数据不能为空；字段格式可以根据数值、时间或文本等进行对应的输入，例如“入库金额”字段必须录入数值格式的内容；字段内容合法性即填入的数据需要与企业的实际情况相符合，例如，“入库人员”“入库库房”等需要为当前企业系统内存在的人员、库房；数据重复性可以设定为唯一校验字段，例如“入库单号”不能重复。
31.其中，高级校验规则还包括默认值规则和数据填充规则，默认值规则包括有常量赋值、自动编码和公式计算的规则；数据填充规则为根据物料表中的字段，匹配导入模板中的字段，并将字段对应的数据填充到导入模板中。
32.具体地，在进行高级导入时，还会进行两种数据赋值，从而自动产生数据，具体的赋值规则包括默认值规则和数据填充规则。其中，默认值规则包括有常量赋值、走动编码和公式计算，例如“入库单号”的赋值规则为“rk”+年月日+4位流水码、“金额”的赋值规则为“单价”*“入库数量”。数据填充规则可以根据物料表中的字段，匹配导入模板中的字段，从而对导入模板进行数据填充，例如“入库物料”的值为从物料表中选取的某一条数据，可以将该条数据的“名称”、“编码”、“单价”填充到导入模板中字段为“物料名称”“物料编码”和“单价”的字段中。
33.步骤s103，根据数据导入方式，将初始导入文件进行上传。
34.具体地，根据数据的导入方式，将初始导入文件进行上传。文件上传方式可以是选择上传或拖拽上传。
35.步骤s104，根据数据导入方式，对初始导入文件进行数据校验，并展示校验结果。
36.具体地，根据数据导入方式为基础导入或高级导入，分别对初始导入文件进行数据校验，并展示校验结果。
37.具体地，在数据导入方式为基础导入时，将初始导入文件直接提交到服务器中，后端根据预设的校验规则对初始导入文件进行数据校验；数据导入方式为高级导入时，数据不会直接进入服务器中，而是由前端根据预设的校验规则对初始导入文件进行处理，首先进行字段数据的自动赋值，然后再行校验。
38.步骤s105，根据校验结果和数据导入方式，对初始导入文件进行修改，获取目标导入文件。
39.具体地，在校验结果中存在错误提示时，根据校验结果和数据导入方式，对初始导入文件进行修改，获取目标导入文件。在数据导入方式为高级导入时，由于初始导入文件显示于前端，因此在初始导入文件存在错误提示时，能够通过前端的当前页面直接进行修改，从而获取修正后的目标导入文件。在数据导入方式为基础导入时，由于初始导入文件已存储于服务器中，因此，可以将用过校验的数据作为目标导入文件，而未通过校验的数据和未通过原因进行单独展示。
40.步骤s106，根据目标导入文件进行数据导入，并展示导入结果。
41.具体地，根据获取的目标导入文件向服务器中进行数据导入，并展示导入结果。导入结果中存在导入成功的目标导入文件、未通过校验的数据及未通过原因。将高级导入中存储于本地页面的目标导入文件提交到系统中，未修复的异常数据不能够提交，系统在导入数据时，可以提示正常和异常的数据条数，以便提醒用户尚有异常数据存在，避免遗漏修改，并确认是否放弃修正。
42.在本实施例中，通过确定数据导入方式，获取数据导入模板，根据字段校验规则将物料表中的信息传输至导入模板中，获取初始导入文件，根据数据导入方式，将初始导入文件进行上传，根据数据导入方式，对初始导入文件进行数据校验，并展示校验结果，根据校验结果和数据导入方式，对初始导入文件进行修改，获取目标导入文件，根据目标导入文件进行数据导入，并展示导入结果，能够根据实际需要对数据导入方式进行选择，在提高数据导入效率的同时，满足了客户的不同需求，提升用户使用体验，同时在存在数据异常时，能够直接在前端实现数据修订，快速便捷，且能够保证数据的有效性，避免修改数据流程复杂的问题，操作便捷、高效。
43.其中，步骤s103具体包括：在数据导入方式为基础导入时，将初始导入文件上传后，直接向服务器导入初始导入文件中的数据，并提示上传成功；在数据导入方式为高级导入时，将初始导入文件上传后，对初始导入文件进行前端处理，并展示在列表中。
44.具体地，在数据导入方式为基础导入时，在上传初始导入文件后，直接向服务器导入初始导入文件中的数据，上传成功后可以提示数据已上传的提示信息；在数据导入方式为高级导入时，在上传初始导入文件后，不向服务器导入数据，而是将初始导入文件做前端处理，确保数据的准确性，然后展示于列表中。
45.其中，步骤s104具体包括：在数据导入方式为基础导入时，根据字段校验规则对初始导入文件进行校验，并将校验通过后的数据进行保存，记录校验结果，校验结果中包括有成功数据内容、失败数据和失败原因；在数据导入方式为高级导入时，对初始导入文件进行字段自动赋值，字段自动赋值包括有数据填充和默认值，数据填充的优先于默认值，赋值完成后，根据字段校验规则对初始导入文件进行校验。
46.具体地，在数据导入方式为基础导入时，根据字段校验规则中的基础校验规则，对初始导入文件进行校验，并将校验通过后的数据进行保存，记录校验结果，校验结果中包括有成功数据内容、失败数据和失败原因。在数据导入方式为高级导入时，首先根据上述默认值规则和数据填充规则，对初始导入文件进行字段自动赋值，例如“入库单号”、“物料名称”、“金额”等，在一个字段同时存在两种赋值规则时，优先根据数据填充规则进行赋值，然后采用默认值规则进行赋值；在赋值完成后，根据高级校验规则，对初始导入文件中每条数据的各个字段进行相应的校验。
47.其中，展示校验结果具体包括：初始导入文件中包括有若干条数据，数据对应有唯一数据编号，在初始导入文件中的数据正常时，将对应的数据编号显示为黑色；在初始导入文件中的数据异常时，将对应的数据编号显示为红色，并在光标移入浮框时显示错误提示。
48.具体地，在对初始导入文件校验完成，获取校验结果后，由于初始导入文件中包括有若干条数据，数据对应有唯一的数据编号，在初始导入文件中的数据正常时，将对应的数据编号显示为黑色；在初始导入文件中存在数据异常时，将对应的数据编号显示为红色，并在光标移入浮框时显示错误提示，便于对数据进行针对性的修改。前端的处理结果及暂存于本地页面。
49.其中，步骤s105具体包括：在校验结果中存在错误提示，且数据导入方式为高级导入时，根据当前页面展示每条异常数据的错误提示，通过删除或编辑修正的方式去除异常数据，获取修正导入文件，根据字段校验规则对修正导入文件进行校验，校验通过后，获取目标导入文件；在数据导入方式为基础导入时，将校验结果中的成功数据内容作为目标导入文件，结合目标导入文件、失败数据和失败原因，获取导入结果。
50.具体地，在校验结果中存在错误提示，且数据导入方式为高级导入时，在前端的当前页面展示每条异常数据，光标移动到红色的数据编号时，即可显示对应的错误提示，通过删除异常数据或编辑修正异常数据的方式，修正所有的异常数据，从而获取修正导入文件，前端再次根据字段校验规则对修正导入文件进行校验，在校验通过后，获取目标导入文件。在数据导入方式为基础导入时，将上述获取的校验结果中的成功数据内容作为目标导入文件，结合目标导入文件、失败数据和失败原因，获取导入结果。
51.如图2所示，提供了一种基于数据可变的数据导入系统20，包括：导入方式确定模块21、信息导入模块22、导入文件上传模块23、导入文件校验模块24、导入文件修改模块25和导入结果展示模块26，其中：
52.导入方式确定模块21，用于确定数据导入方式，数据导入方式包括有基础导入和高级导入；
53.信息导入模块22，用于获取数据导入模板，根据字段校验规则将物料表中的信息传输至导入模板中，获取初始导入文件；
54.导入文件上传模块23，用于根据数据导入方式，将初始导入文件进行上传；
55.导入文件校验模块24，用于根据数据导入方式，对初始导入文件进行数据校验，并展示校验结果；
56.导入文件修改模块25，用于在校验结果中存在错误提示时，根据错误提示对初始导入文件进行数据修改，获取目标导入文件；
57.导入结果展示模块26，用于根据目标导入文件进行数据导入，并展示导入结果。
58.在一个实施例中，导入文件上传模块23具体用于：在数据导入方式为基础导入时，将初始导入文件上传后，直接向服务器导入初始导入文件中的数据，并提示上传成功；在数据导入方式为高级导入时，将初始导入文件上传后，对初始导入文件进行前端处理，并展示在列表中。
59.在一个实施例中，导入文件校验模块24具体用于：在数据导入方式为基础导入时，根据字段校验规则对初始导入文件进行校验，并将校验通过后的数据进行保存，记录校验结果，校验结果中包括有成功数据内容、失败数据和失败原因；在数据导入方式为高级导入时，对初始导入文件进行字段自动赋值，字段自动赋值包括有数据填充和默认值，数据填充的优先于默认值，赋值完成后，根据字段校验规则对初始导入文件进行校验。
60.在一个实施例中，导入文件修改模块25具体用于：在校验结果中存在错误提示，且数据导入方式为高级导入时，根据当前页面展示每条异常数据的错误提示，通过删除或编辑修正的方式去除异常数据，获取修正导入文件，根据字段校验规则对所述修正导入文件进行校验，校验通过后，获取目标导入文件；在数据导入方式为基础导入时，将校验结果中的成功数据内容作为目标导入文件，结合目标导入文件、失败数据和失败原因，获取导入结果。
61.在一个实施例中，提供了一种设备，该设备可以是服务器，其内部结构图可以如图3所示。该设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的数据库用于存储配置模板，还可用于存储目标网页数据。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于数据可变的数据导入方法。
62.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
63.在一个实施例中，还可以提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法，所述计算机可以为上述提到的基于数据可变的数据导入系统的一部分。
64.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。
65.显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的
计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
66.以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。