用于可视化应用创建的基于Excel数据源的数据处理方法与流程

用于可视化应用创建的基于excel数据源的数据处理方法
技术领域
1.本发明涉及低代码平台技术领域，具体涉及用于可视化应用创建的基于excel数据源的数据处理方法。


背景技术：

2.低代码（low code）是一种可视化的应用开发方法，用较少的代码、以较快的速度来交付应用程序，将程序员不想开发的代码做到自动化，称之为低代码。低代码是一组数字技术工具平台，基于图形化拖拽、参数化配置等更为高效的方式，实现快速构建、数据编排、连接生态、中台服务。通过少量代码或不用代码实现数字化转型中的场景应用创新。
3.在数据可视化应用是低代码开发平台中，一般提供多种数据源接入的方式，包括数据库、api、excel等。对于ai工业领域，在企业缺乏信息化管理系统的情况下，现在通常使用excel表进行数据管理。在企业数据可视化应用创建过程中，使用excel表进行数据管理时，需要将excel数据源根据系统要求的表头进行填充并将excel表上传至系统进行数据的解析与转换。
4.但是，与常规数据源相比，excel表在制作过程中，工作人员为了制作及操作的边界性，会进行隐藏行、隐藏列时、合并行、合并列等操作。现有的低代码平台在录入数据时只进行数据的填充工作时，若存在隐藏行/隐藏列时，平台并不清楚哪些应该录入，哪些不能录入；若存在合并行、合并列，由于录入数据源时，是需要具体录入每个单元的具体内容。这就导致，在数据处理的过程中，如果excel表中数据存在隐藏行、隐藏列时、合并行、合并列等情况，就需要用户自己去单独删除多余数据，并将合并的单元格进行拆分处理。如果需要上传的数据量较大（如数据量存在上千条），那么用户手动优化格式数据的过程，就会非常的耗时耗力，还容易出错。
5.因此，对于ai工业领域使用excel表进行数据管理的用户，怎样减少数据源接入时的工作量，成为目前行业内亟待解决的问题。


技术实现要素：

6.针对上述现有技术的不足，本发明提供了一种用于可视化应用创建的基于excel数据源的数据处理方法，可以让ai工业领域使用excel表进行数据管理的用户，减少数据源接入时的工作量。
7.为了解决上述技术问题，本发明采用了如下的技术方案：用于可视化应用创建的基于excel数据源的数据处理方法，包括以下步骤：s1、根据用户选择的可视化的图形组件，提示该图形组件所需要的数据项；s2、获取用户上传的excel表，检验是否存在隐藏行或隐藏列，若存在，则判断隐藏行是否为有效数据行、隐藏列是否为有效数据列，并对有效数据行及有效数据列进行标记；s3、将非隐藏行、非隐藏列、标记的有效数据行及有效数据列读取至图形组件对应的数据模型中，并检测是否存在合并单元格；若存在，则拆分合并单元格，并按照预设的要
求分别对拆分后的各单元格填入对应数据；s4、完成合并单元格检测后，将数据存储至服务器库中，并与对应的可视化的图像组件绑定。
8.基于方案原理及有益效果：使用本方法，用户在进行数据管理前，选择对应的可视化的图形组件后，平台会提示该图形组件所需要的数据项，便于用户对原始的excel表进行调整，如，将不需要的数据项删除或隐藏，便于后续操作；或者补入缺失的数据项，保证数据的完整性。
9.当用户上传上传excel表后，会检验是否存在隐藏行或隐藏列，若存在，则判断隐藏行是否为有效数据行、隐藏列是否为有效数据列，并对有效数据行及有效数据列进行标记。通过这样的方式，能够将有效的数据行/数据列全部识别出来，保证后续能够将excel表中有效的数据完整的录入到服务器中。之后，会检测是否存在合并单元格；若存在，则拆分合并单元格，并按照预设的要求分别对拆分后的各单元格填入对应数据。通过这样的处理，可以保证excel表中所有的有效单元格均有对应的数据内容，保证后续操作的稳定性。再然后，将数据存储至服务器库中，并与对应的可视化的图像组件绑定。
10.通过这样的方式，ai工业领域使用excel表进行数据管理的用户，只需要根据提示进行适当的操作，即可以使用excel表进行数据管理。与现有技术相比，可以极大的减少数据源接入时的工作量。
11.综上，本方法可以让ai工业领域使用excel表进行数据管理的用户，减少数据源接入时的工作量。
12.优选地，s2中，检验是否存在隐藏列时，先获取excel表的列序号，再判断列序号是否存在不连续的情况，若存在，则判定为不连续序列号之间存在隐藏列，并提取不连续列序号之间的各列序号对应的数据列，并分别校验各数据列的表头对应的数据码是否属于对应图形组件所需数据项，若属于则将该数据列标记为有效数据列。
13.有益效果：当不需要的数据列较多时，用户在进行隐藏操作时，可能会出现将图形组件需要的数据列隐藏的情况。通过这样的方式，当出现上述情况时，能够准确的将这些被隐藏的有效数据列识别出来并进行标记，从而保证数据的完整性。
14.优选地，s2中，校验是否隐藏行时，先获取excel表的行序号，再判断行序号是否存在不连续的情况，若存在，则判定为不连续序列号之间存在隐藏列；提取不连续行序号之间的各行序号对应的行数据并返回显示，并提示用户确认各数据行是否有效；若接收到有效信号，则将对应的数据行标记为有效数据行。
15.有益效果：通过这样的方式，能够准确的将被隐藏的有效数据行识别出来并进行标记，从而保证数据的完整性。
16.优选地，s3中，所述合并单元格包括纵向合并单元格及横向合并单元格，且先检测是否存在纵向合并单元格，再检测是否存在横向合并单元格。
17.有益效果：由于存在多行多列的数据合并单元格的情况，先检测是否存在纵向合并单元格时，可方便的对这种情况进行识别并处理，后续检测是否存在横向合并单元格，只需要单纯的进行各数据行的检测即可。
18.优选地，s3中，检验纵向合并单元格时，若存在纵向合并单元格，则获取该纵向合并单元格的开始位置行和结束位置行，并获取该纵向合并单元格的数据及该纵向合并单元
格所在数据列的列序号；若列序号的个数大于1，则判断为多行多列的合并；分别计算该纵向合并单元格的数据与各列序号对应的数据列的数据的相似度值，将该纵向合并单元格拆分为合并前的多个单元格，并记为待处理单元格；将该纵向合并单元格的数据依次填充至相似度值最高的数据列中的各待处理单元格，并将剩余的待处理单元格标记为空；若列序号的个数等于1，则将该纵向合并单元格拆分为合并前的多个单元格，并将该纵向合并单元格的数据依次填充至合并前的多个单元格。
19.有益效果：通过这样的方式，能够对多行多列的合并，以及仅涉及多列合并的情况进行准确识别，并分别进行对应的数据填充处理。当出现纵向合并单元格时，通常是被合并的各单元格中的数据一致，数据录入人员为了便于观看而操作，但出现多行多列，且该纵向合并单元格的数据与各列序号对应的数据列的数据的相似度值不同时，则说明可能出现了错误的情况，因为同一个数据不可能同时对两个数据类型相匹配。因此，本发明会识别出来，并将数据填入其应当填入的数据列中，其与存在异常的单元格，则标记为空，便于工作人员自己进行查看和处理。
20.优选地，s3中，检验横向合并单元格时，若存在横向合并单元格，则获取该横向合并单元格所在数据列的列序号，以及该横向合并单元格的数据；分别计算横向合并单元格的数据与各列序号对应的数据列的数据的相似度值，将横向合并单元格拆分为合并前的多个单元格，并记为待处理单元格；将该横向合并单元格的数据填入至相似度值最高的数据列中的待处理单元格，并按预设的关联要求，对剩余的各待处理单元格与其他数据行进行关联填充。
21.有益效果：通过这样的方式，当出现横向合并单元格时，本发明能够准确识别出来，并将数据填入其应当填入的数据列中。与多行多列不同的是，横向合并单元格的出现，可能是手误将不需要合并的相邻横向单元格进行了合并。如果是这种情况，那么剩余的各待处理单元，原本也是应该有自己填入的数据的。使用本方法，会与其他数据进行关联填充，从而尽可能保证数据的完整性。
22.优选地，s3中，所述关联要求为，将填入该横向合并单元格的数据的待处理单元格记为对比单元格后，将对比单元格的数据与对比单元格所在数据列的其他单元格的数据进行对比，若存在相同的数据，则将该相同数据所在的数据行作为参照数据行，并将参照数据行中与各剩余的待处理单元格位于同一数据列的各数据，依次填入各剩余的待处理单元格中。
23.有益效果：进行数据管理时，通常各列数据之间的关联关系是固定的，例如，型号与价格，等等。通过这样的方式，可以很好的将这种关联关系运用起来，对剩余的待处理单元格的数据进行填入，从而尽可能保证数据的完整性。
24.优选地，s3中，检验纵向合并单元格时，若纵向合并单元格的数据格式为特殊格式，则返回该纵向合并单元格，并提示手动处理；检验横向合并单元格时，若横向合并单元格的数据格式为特殊格式，则返回该横向合并单元格，并提示手动处理；所述特殊格式包括整数、浮点数和计算公式。
25.有益效果：这样的设置，可以保证录入数据的有效性。
26.优选地，s3中，所述相似度值根据数据类型和数据项进行对比计算。
27.有益效果：可以保证相似读值计算结果的可靠性。
附图说明
28.为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：图1为本发明用于可视化应用创建的基于excel数据源的数据处理方法的流程图；图2为实施例中s3的实例示意图。
具体实施方式
29.下面通过具体实施方式进一步详细的说明：实施例：如图1所示，本实施例中公开了一种用于可视化应用创建的基于excel数据源的数据处理方法，包括以下步骤：s1、根据用户选择的可视化的图形组件，提示该图形组件所需要的数据项。在其他实施例中，也可以提供excel表模板，让用户通过数据复制的方式进行数据录入，但这样的操作方式在数据量较大时，操作起来同样相对麻烦。
30.s2、获取用户上传的excel表，检验是否存在隐藏行或隐藏列，若存在，则判断隐藏行是否为有效数据行、隐藏列是否为有效数据列，并对有效数据行及有效数据列进行标记。
31.具体实施时，检验是否存在隐藏列时，先获取excel表的列序号，再判断列序号是否存在不连续的情况，若存在，则判定为不连续序列号之间存在隐藏列，并提取不连续列序号之间的各列序号对应的数据列，并分别校验各数据列的表头对应的数据码是否属于对应图形组件所需数据项，若属于则将该数据列标记为有效数据列。校验是否隐藏行时，先获取excel表的行序号，再判断行序号是否存在不连续的情况，若存在，则判定为不连续序列号之间存在隐藏列；提取不连续行序号之间的各行序号对应的行数据并返回显示，并提示用户确认各数据行是否有效；若接收到有效信号，则将对应的数据行标记为有效数据行。
32.当不需要的数据列较多时，用户在进行隐藏操作时，可能会出现将图形组件需要的数据列隐藏的情况。通过这样的方式，当出现上述情况时，能够准确的将这些被隐藏的有效数据列识别出来并进行标记，从而保证数据的完整性。同样的，通过这样的方式，能够准确的将被隐藏的有效数据行识别出来并进行标记，从而保证数据的完整性。
33.s3、将非隐藏行、非隐藏列、标记的有效数据行及有效数据列读取至图形组件对应的数据模型中，并检测是否存在合并单元格；若存在，则拆分合并单元格，并按照预设的要求分别对拆分后的各单元格填入对应数据。
34.其中，所述合并单元格包括纵向合并单元格及横向合并单元格，且先检测是否存在纵向合并单元格，再检测是否存在横向合并单元格。由于存在多行多列的数据合并单元格的情况，先检测是否存在纵向合并单元格时，可方便的对这种情况进行识别并处理，后续检测是否存在横向合并单元格，只需要单纯的进行各数据行的检测即可。
35.具体实施时，检验纵向合并单元格时，若存在纵向合并单元格，则获取该纵向合并单元格的开始位置行和结束位置行，并获取该纵向合并单元格的数据及该纵向合并单元格所在数据列的列序号；若列序号的个数大于1，则判断为多行多列的合并；分别计算该纵向
合并单元格的数据与各列序号对应的数据列的数据的相似度值，将该纵向合并单元格拆分为合并前的多个单元格，并记为待处理单元格；将该纵向合并单元格的数据依次填充至相似度值最高的数据列中的各待处理单元格，并将剩余的待处理单元格标记为空；若列序号的个数等于1，则将该纵向合并单元格拆分为合并前的多个单元格，并将该纵向合并单元格的数据依次填充至合并前的多个单元格。通过这样的方式，能够对多行多列的合并，以及仅涉及多列合并的情况进行准确识别，并分别进行对应的数据填充处理。当出现纵向合并单元格时，通常是被合并的各单元格中的数据一致，数据录入人员为了便于观看而操作，但出现多行多列，且该纵向合并单元格的数据与各列序号对应的数据列的数据的相似度值不同时，则说明可能出现了错误的情况，因为同一个数据不可能同时对两个数据类型相匹配。因此，本发明会识别出来，并将数据填入其应当填入的数据列中，其与存在异常的单元格，则标记为空，便于工作人员自己进行查看和处理。
36.检验横向合并单元格时，若存在横向合并单元格，则获取该横向合并单元格所在数据列的列序号，以及该横向合并单元格的数据；分别计算横向合并单元格的数据与各列序号对应的数据列的数据的相似度值，将横向合并单元格拆分为合并前的多个单元格，并记为待处理单元格；将该横向合并单元格的数据填入至相似度值最高的数据列中的待处理单元格，并按预设的关联要求，对剩余的各待处理单元格与其他数据行进行关联填充。这样，当出现横向合并单元格时，本发明能够准确识别出来，并将数据填入其应当填入的数据列中。与多行多列不同的是，横向合并单元格的出现，可能是手误将不需要合并的相邻横向单元格进行了合并。如果是这种情况，那么剩余的各待处理单元，原本也是应该有自己填入的数据的。使用本方法，会与其他数据进行关联填充，从而尽可能保证数据的完整性。
37.其中，所述关联要求为，将填入该横向合并单元格的数据的待处理单元格记为对比单元格后，将对比单元格的数据与对比单元格所在数据列的其他单元格的数据进行对比，若存在相同的数据，则将该相同数据所在的数据行作为参照数据行，并将参照数据行中与各剩余的待处理单元格位于同一数据列的各数据，依次填入各剩余的待处理单元格中。进行数据管理时，通常各列数据之间的关联关系是固定的，例如，型号与价格，等等。通过这样的方式，可以很好的将这种关联关系运用起来，对剩余的待处理单元格的数据进行填入，从而尽可能保证数据的完整性。
38.需要说明的是，s3中，检验纵向合并单元格时，若纵向合并单元格的数据格式为特殊格式，则返回该纵向合并单元格，并提示手动处理；检验横向合并单元格时，若横向合并单元格的数据格式为特殊格式，则返回该横向合并单元格，并提示手动处理；所述特殊格式包括整数、浮点数和计算公式。这样，可以保证录入数据的有效性。所述相似度值根据数据类型和数据项进行对比计算。
39.为了便于理解，以一个实例对s3进行说明。系统反馈订单数据模型，必填数据项包括“订单号”、“交货日期”、“零配件编码”、“零配件名称”、“数量”、“单位”；用户上传对应的excel表后，非隐藏行、非隐藏列、标记的有效数据行及有效数据列如图2所示。
40.在进行合并单元格检测时，先进行纵向合并单元格的检测。纵向数据校验是否存在纵向合并单元格，获取纵向合并单元格的开始位置行line.start、结束位置行line.finish，基于获取的纵向合并单元格纵向位置进行横向数据位置校验；在a列，存在纵向合并单元格，获取纵向合并单元格的开始位置行line.start=3、
结束位置行line.finish=7；基于获取的纵向合并单元格纵向位置进行横向数据位置校验，count(col)=1，则将m-data：”d 1566454”填充至data[3][a]-data[7][ a]中；在b列，存在纵向合并单元格，获取纵向合并单元格的开始位置行line.start=3、结束位置行line.finish=7；基于获取的纵向合并单元格纵向位置进行横向数据位置校验，count(col)=1，则将m-data：”6.5”填充至data[3]b]-data[7][ b]中；在c列，无纵向合并单元格，数据无需处理；在e列，无纵向合并单元格，数据无需处理；在f列，存在纵向合并单元格，获取纵向合并单元格的开始位置行line.start=2、结束位置行line.finish=8；基于获取的纵向合并单元格纵向位置进行横向数据位置校验，count(col)=1，则将m-data：”套”充至data[1][f]-data[8][ f]中；之后，进行横向合并单元格的检测。本实例中，仅第4数据行存在横向合并单元格。获取横向合并单元格的开始位置行col.start=c、结束位置行col.finish=d，基于获取的横向合并单元格横向位置进行纵向数据位置校验；将该横向合并单元格数据m-data：配件a与该行的数据进行数据类型和数据项相似对比，获取与每行的数据对比相似度值simi，相似度d列数据大于c列，将横向合并单元格中的数据m-data填充至当前行中data[4][d]中，针对c列数据，根据行数据进行多行关联校验，当data[2][d]==data[4][d]条件在，填充data[4][c]为data[2][c].value()。
[0041]
s4、完成合并单元格检测后，将数据存储至服务器库中，并与对应的可视化的图像组件绑定。
[0042]
使用本方法，用户在进行数据管理前，选择对应的可视化的图形组件后，平台会提示该图形组件所需要的数据项，便于用户对原始的excel表进行调整，如，将不需要的数据项删除或隐藏，便于后续操作；或者补入缺失的数据项，保证数据的完整性。
[0043]
当用户上传上传excel表后，会检验是否存在隐藏行或隐藏列，若存在，则判断隐藏行是否为有效数据行、隐藏列是否为有效数据列，并对有效数据行及有效数据列进行标记。通过这样的方式，能够将有效的数据行/数据列全部识别出来，保证后续能够将excel表中有效的数据完整的录入到服务器中。之后，会检测是否存在合并单元格；若存在，则拆分合并单元格，并按照预设的要求分别对拆分后的各单元格填入对应数据。通过这样的处理，可以保证excel表中所有的有效单元格均有对应的数据内容，保证后续操作的稳定性。再然后，将数据存储至服务器库中，并与对应的可视化的图像组件绑定。
[0044]
通过这样的方式，ai工业领域使用excel表进行数据管理的用户，只需要根据提示进行适当的操作，即可以使用excel表进行数据管理。与现有技术相比，可以极大的减少数据源接入时的工作量。
[0045]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。