多源异构数据的集成方法、系统及存储介质与流程

1.本发明涉及数据处理技术领域，特别涉及一种多源异构数据的集成方法、系统及存储介质。


背景技术：

2.随着信息技术的蓬勃发展，钢结构制造业逐步从传统制造向智能制造转型，钢结构生产制造装备及其信息系统越来越强大，相关产品的复杂程度也在增加，在产品的各个生命周期阶段往往会跨越多个工程领域，除了基础的钢结构生产制造外，还会涉及需求管理、产品设计、质量管理等。为了解决不同领域的问题，会引入不同的工具，而这些工具往往具备不同的数据类型、依赖不同的数据库与平台或者拥有不同的ui和风格。不同的应用系统之间必然会形成彼此隔离的信息孤岛，这就导致领域工具间的数据和工作流彼此割裂，无法在钢结构产品的全生命周期内实现跨领域的数据一致性表达和相互通用。这导致了在整合分析阶段，产品开发人员不得不投入大量的人力用于整合不同平台工具间的数据。并且随着工业数字化的发展，数字孪生技术对于钢结构生产的发展也极为重要，这种贯穿整个产品生命周期的虚拟数据，同样需要统一的表达和管理。
3.因此，如何整合钢结构生产全生命周期的异构数据是本领域技术人员亟待解决的技术问题。


技术实现要素：

4.本技术实施例提供了一种多源异构数据的集成方法、系统及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
5.第一方面，本技术实施例提供了一种多源异构数据的集成系统，包括：
6.数据基础组件模块，用于获取钢结构生产全生命周期中多个数据源的配置信息，并将多个数据源的配置信息保存至数据源列表；
7.oslc服务处理模块，用于为多个数据源中的对象创建对象模型，并为每个对象模型创建oslc服务；
8.数据调用模块，用于根据多个对象模型创建统一对象模型，并生成统一oslc服务，根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
9.在一个实施例中，数据基础组件模块，包括：
10.数据获取单元，用于获取钢结构生产全生命周期中多个数据源的配置信息，配置信息包括数据源的类型信息、名称信息、连接地址信息、用户名信息以及密码信息；
11.数据注册单元，用于根据数据源的配置信息测试数据源是否能连接成功，将连接成功的数据源的配置信息保存至数据源列表。
12.在一个实施例中，oslc服务处理模块，包括：
13.对象模型注册单元，用于根据多个数据源中的对象名称、模型描述配置信息，分别为每个数据源中的对象创建对象模型；
14.指标配置单元，用于根据每个对象模型对应的属性信息分别为每个对象模型配置指标；
15.服务配置单元，用于根据每个对象模型的接口信息分别为每个对象模型创建oslc服务。
16.在一个实施例中，指标配置单元，具体用于：
17.根据对象模型对应的属性信息为每个对象模型配置原子指标；或，
18.根据对象模型对应的属性信息为每个对象模型配置原子指标以及复合指标；或，
19.根据对象模型对应的属性信息为每个对象模型配置原子指标以及派生指标；或，
20.根据对象模型对应的属性信息为每个对象模型配置原子指标、复合指标以及派生指标；
21.其中，原子指标为不可再分的业务实体属性，复合指标为原子指标基于业务需求经过预设的运算规则形成的计算指标，派生指标为原子指标或复合指标基于业务需求经过预设维度与预设条件的筛选、聚合形成的计算指标。
22.在一个实施例中，服务配置单元，具体用于：
23.接收oslc服务接口名、接口描述以及请求方法中的一种或多种接口配置信息；
24.根据接口配置信息创建接口函数，并根据数据集成需求定义函数体，将创建好的函数体注册至计算引擎中，生成oslc服务。
25.在一个实施例中，数据调用模块，包括：
26.通用接口配置单元，用于根据多个对象模型创建统一对象模型，并生成统一oslc服务；
27.数据调用单元，用于根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
28.在一个实施例中，通用接口配置单元具体用于：
29.获取所有的oslc对象模型，以一一映射的方式存储oslc对象模型名称、对应的oslc服务名称以及oslc服务地址，作为统一oslc对象模型的数据源；
30.根据存储的统一oslc对象模型的数据源创建统一oslc对象模型，并根据各个对象模型的名称、对应的oslc服务名称以及oslc服务地址进行指标的配置；
31.根据配置的统一oslc对象模型的接口信息以及请求方式信息生成统一oslc服务。
32.在一个实施例中，数据调用单元，具体用于：
33.接收客户端的数据调用指令；
34.根据数据调用指令调用统一oslc服务，根据统一oslc服务查找到与数据调用指令对应的oslc服务，调用查找到的oslc服务，返回客户端待查询的数据；
35.将返回的待查询数据以客户端预设的格式进行展示。
36.第二方面，本公开实施例提供了一种多源异构数据的集成方法，包括：
37.获取钢结构生产全生命周期中多个数据源的配置信息，并将多个数据源的配置信息保存至数据源列表；
38.为多个数据源中的对象创建对象模型，并为每个对象模型创建oslc服务；
39.根据多个对象模型创建统一对象模型，并生成统一oslc服务，根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
40.第三方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令被处理器执行以实现上述实施例提供的一种多源异构数据的集成方法。
41.本技术实施例提供的技术方案可以包括以下有益效果：
42.根据本技术实施例提供的多源异构数据的集成方法，使得钢结构生产生命周期过程中的数据、模型、形式化文档以及数据孪生中产生的数据可以统一表达，具有良好的扩展性。若要集成其它工具的数据，只需要根据统一的通用接口实现该工具的oslc服务，不会对其它工具的数据集成产生影响。提供了一种通用的、可扩展的数据集成方式，大大提升了整个钢结构生产生命周期的数据管理、整合能力，降低了研发过程中的交流、管理成本，提高产品研发效率。
43.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
45.图1是根据一示例性实施例示出的一种多源异构数据的集成系统的结构示意图；
46.图2是根据一示例性实施例示出的一种数据基础组件模块获取的数据示意图；
47.图3是根据一示例性实施例示出的一种数据基础组件模块测试数据的示意图；
48.图4是根据一示例性实施例示出的一种oslc服务处理模块的结构示意图；
49.图5是根据一示例性实施例示出的一种指标配置的示意图；
50.图6是根据一示例性实施例示出的一种服务配置的示意图；
51.图7是根据一示例性实施例示出的一种oslc服务处理过程的示意图；
52.图8是根据一示例性实施例示出的一种数据调用模块的示意图；
53.图9是根据一示例性实施例示出的一种通用接口配置模块处理流程的示意图；
54.图10是根据一示例性实施例示出的一种计算机存储介质的示意图。
具体实施方式
55.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
56.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
57.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
58.通常，不同的应用系统之间必然会形成彼此隔离的信息孤岛，这就导致领域工具间的数据和工作流彼此割裂，无法在钢结构产品的全生命周期内实现跨领域的数据一致性表达和相互通用。这导致了在整合分析阶段，产品开发人员不得不投入大量的人力用于整合不同平台工具间的数据。并且随着工业数字化的发展，数字孪生技术对于钢结构生产的发展也极为重要，这种贯穿整个产品生命周期的虚拟数据，同样需要统一的表达和管理。
59.基于此，本技术实施例提供了一种多源异构数据的集成系统，能够整合钢结构生产全生命周期的异构数据，制定统一的标准和规范，支持实时数据的集成和管理，提升了数据管理、整合能力，降低了研发过程中的交流、管理成本，加快了产品研发效率。
60.下面将结合附图对本技术实施例提供的多源异构数据的集成系统进行详细介绍。参见图1，该系统具体包括以下模块。
61.a1、数据基础组件模块，用于获取钢结构生产全生命周期中多个数据源的配置信息，并将多个数据源的配置信息保存至数据源列表。
62.在一个实施例中，数据基础组件模块包括数据获取单元，用于获取钢结构生产全生命周期中多个数据源的配置信息，配置信息包括数据源的类型信息、名称信息、连接地址信息、用户名信息以及密码信息。
63.图2是示出的一种数据基础组件模块获取的数据源示意图，如图2所示，数据获取单元获取整个钢结构生产的全生命周期数据，包括项目生产管理数据、质量管理数据、文件数据、设计模型数据、用户权限数据等多种数据，将不同类型的数据源直接存储于不同的数据库中。还包括获取数字孪生数据，例如工业生产设备数据、传感器数据等，将采集的多个工业数据由模拟量转化为数字量后，上传至计算机，由计算机存储至指定数据库中。
64.进一步地，获取多个数据源的配置信息，配置信息包括数据源的类型信息、名称信息、数据库连接地址信息、用户名信息以及密码信息等。
65.本技术实施例中的数据基础组件模块还包括数据注册单元，用于根据数据源的配置信息测试数据是否能连接成功，若能连接成功，则将多个数据源的配置信息保存至数据源列表。
66.图3是示出的一种数据基础组件模块测试数据的示意图，如图3所示，首先获取数据源的配置信息，根据配置信息中的数据库连接地址以及登录密码等信息测试是否能成功连接对应的数据库，若测试通过，证明配置信息中的连接地址、密码等信息是正确的，则将多个数据源的配置信息保存至数据源列表，供后续调用。
67.a2、oslc服务处理模块，用于为多个数据源中的对象创建对象模型，并为每个对象模型创建oslc服务。
68.图4是示出的一种oslc服务处理模块的结构示意图，如图4所示，oslc服务处理模块包括对象模型注册单元，用于根据多个数据源中的对象名称、模型描述配置信息，为每个对象创建对象模型。
69.在一种可能的实现方式中，根据存储的多个数据源，得到钢结构生产全生命周期的数据涉及的多个对象，例如温度传感器、某生产设备、某设计模型、某用户、某生产项目等多个对象。为每个对象配置对象名称、对象描述等信息，建立对象模型。
70.还包括指标配置单元，用于根据每个对象模型对应的属性信息为每个对象模型配置指标。
71.具体地，可以根据对象模型对应的属性信息为每个对象模型配置原子指标。其中，原子指标为不可再分的业务实体属性信息，例如，原子指标为温度传感器测量的温度、单日的产值、单日的成本。
72.可选地，还可以根据对象模型对应的属性信息为每个对象模型配置原子指标以及复合指标，其中，复合指标为原子指标基于业务需求经过一定运算规则形成的计算指标。例如，复合指标为单日的利润，等于单日的产值减去单日的成本，根据计算所需的原子指标，结合运算符号生成复合指标计算函数。
73.可选地，还可以根据对象模型对应的属性信息为每个对象模型配置原子指标以及派生指标，或根据对象模型对应的属性信息为每个对象模型配置原子指标、复合指标以及派生指标。其中，派生指标为原子指标或复合指标基于业务需求经过预设维度与预设条件的筛选、聚合形成的计算指标。例如，派生指标为4月份的利润，那么派生指标由4月份的单日利润和4月份的日期共同组成，例如，纵坐标为单日利润值，横坐标为日期，通过筛选、聚合形成的二维计算指标。
74.图5是根据一示例性实施例示出的一种指标配置的示意图，如图5所示，可以进行原子指标的配置、复合指标的配置以及派生指标的配置，通过为每个对象模型配置指标，可得到每个对象模型可以计算哪些指标。进而调用数据库中的数据，进行计算，实现数据同步。
75.还包括服务配置单元，用于根据每个对象模型的接口信息为每个对象模型创建oslc服务。
76.在一种可能的实现方式中，得到每个对象模型可以计算哪些指标后，还需调用数据库中的数据进行指标计算。因此，需要给每个对象模型配置调用数据的接口，也就是配置oslc服务，其中，每个对象模型可以有一个或多个oslc服务。
77.图6是根据一示例性实施例示出的一种服务配置的示意图，如图6所示，首先，接收oslc服务接口名、接口描述、请求方法等接口配置信息，创建接口函数，并根据数据集成需求定义函数体，函数体中可对指标配置模块中的原子指标、复合指标或派生指标进行操作，也可以根据需求添加其他的函数，将创建好的函数体注册至计算引擎中，生成oslc服务。
78.图7是根据一示例性实施例示出的一种oslc服务处理过程的示意图，如图7所示，本技术实施例中的oslc服务处理模块，首先，通过oslc对象模型注册单元为数据基础组件模块中的生命周期数据和数字孪生数据建立oslc对象模型；进一步地，通过指标配置单元为oslc对象模型配置指标；最后，通过oslc服务配置单元创建oslc服务，通过oslc服务实现对数据库中的数据查询并返回。
79.a3、数据调用模块，用于根据多个对象模型创建统一对象模型，并生成统一oslc服务，根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
80.图8是根据一示例性实施例示出的一种数据调用模块的示意图，如图8所示，数据调用模块包括通用接口配置单元以及数据调用单元。
81.具体地，通用接口配置单元，用于根据多个对象模型创建统一对象模型，并生成统一oslc服务。
82.在一种可能的实现方式中，首先获取所有的oslc对象模型，以一一映射的方式存储oslc对象模型名称、对应的oslc服务名称以及oslc服务地址至数据库中，作为统一oslc
对象模型的数据源。
83.进一步地，根据存储的统一oslc对象模型的数据源创建统一oslc对象模型，并根据各个对象模型的名称、对应的oslc服务名称以及oslc服务地址进行指标的配置。例如，将子对象模型的名称、对应的oslc服务名称以及oslc服务地址作为原子指标，派生指标和复合指标可根据具体的业务需求进行配置，也可不配置。
84.进一步地，根据配置的统一oslc对象模型的接口信息以及请求方式信息生成统一oslc服务。其中请求方式信息为入参信息，包括子对象名称和所需要的服务名称。
85.在一种可能的实现方式中，设置入参为子对象名称和所需要的服务名称，统一oslc服务接收到这两个参数以后，先根据子对象模型名称查找到对应的子对象模型，然后根据服务名称在该子对象的所有oslc服务中查找到对应的服务地址，然后调用该服务，将得到的查询数据返回。
86.图9是示出的一种通用接口配置单元处理流程的示意图，如图9所示，首先获取钢结构生产全生命周期数据以及数字孪生数据中的多个oslc对象模型，以一一映射的方式存储oslc对象模型名称、对应的oslc服务名称以及oslc服务地址至数据库中，作为统一oslc对象模型的数据源。根据存储的统一oslc对象模型的数据源创建统一oslc对象模型，并生成统一oslc服务。根据生成的oslc服务，返回统一表达的oslc形式化数据。
87.其中，数据调用单元，用于根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
88.具体地，接收客户端的数据调用指令，根据数据调用指令调用统一oslc服务，数据调用指令中包含oslc对象名称以及所需要的服务名称，统一oslc服务接收到这两个参数以后，先根据子对象模型名称查找到对应的子对象模型，然后根据服务名称在该子对象模型的所有服务中查找到对应的服务地址，调用查找到的oslc服务，返回客户端待查询的数据。
89.进一步地，将返回的待查询数据以客户端预设的格式进行展示。例如，可以将返回的数据在客户端进行图表可视化展示，还可以在客户端进行数据分析。
90.根据本技术实施例提供的多源异构数据的集成系统，基于通用数据接口对钢结构的生产数据进行集成，使得钢结构生产全生命周期中的数据以及数据孪生中的数据进行统一表达，制定统一的标准和规范，具有良好的扩展性，支持实时数据的集成和管理，大大提升了数据管理、整合能力，降低研发过程中的交流、管理成本，加快产品研发效率。
91.本技术实施例还提供一种多源异构数据的集成方法，该方法包括：
92.获取钢结构生产全生命周期中多个数据源的配置信息，并将多个数据源的配置信息保存至数据源列表；
93.为多个数据源中的对象创建对象模型，并为每个对象模型创建oslc服务；
94.根据多个对象模型创建统一对象模型，并生成统一oslc服务，根据客户端指令调用统一oslc服务，返回客户端待查询的数据。
95.需要说明的是，上述实施例提供的多源异构数据的集成系统在执行多源异构数据的集成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多源异构数据的集成系统与多源异构数据的集成方法实施例属于同一构思，其体现实现过程详见系统实施例，这里不再
赘述。
96.本技术实施例还提供一种与前述实施例所提供的多源异构数据的集成方法对应的计算机可读存储介质，请参考图10，其示出的计算机可读存储介质为光盘1000，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的多源异构数据的集成方法。
97.需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
98.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的多源异构数据的集成方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
99.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
100.以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。