1.本发明涉及数字资源处理技术和数据资源应用技术领域,特别涉及一种应用于数字资源编织的数据处理方法、系统和设备。
背景技术:2.数字资源的合理和高效利用一直以来都是一个重要的课题。现有的对数字资源的定义往往局限于数据,而忽略了其他类型的数字资源,比如算法模型、算力资源、各类应用,使得其他数字资源也无法被利用起来,从而降低了适用性。
技术实现要素:3.为了解决现有技术的问题,本发明实施例提供了一种应用于数字资源编织的数据处理方法、系统和设备。所述技术方案如下:
4.一方面,提供了一种应用于数字资源编织的数据处理系统,所述系统包括多个设备集群,所述多个设备集群分别为资源域、集成域、开发域、治理域、反向集成域、应用域、数据域、管理域和运营域;其中;
5.所述资源域用于设置资源的多个类型,并获取与所述多个类型对应的数字资源;
6.所述集成域用于对所述多个数字资源进行关联与集成,生成连接器;所述连接器用于指示所述多个数字资源的关联关系;
7.所述开发域用于基于所述连接器,对关联和集成后的数字资源进行开发,生成开发后的数字资源;
8.所述治理域用于基于知识图谱,对所述数字资源、所述关联和集成后的数字资源、所述开发后的数字资源以及反向集成后的数字资源进行治理;
9.所述反向集成域用于对所述开发后的数字资源进行反向集成,生成反向连接器,所述反向连接器用指示所述反向集成后的数字资源之间的关联关系;
10.所述应用域用于利用所述反向集成后的数字资源;
11.所述数据域用于存储所述数字资源、所述关联和集成后的数字资源、所述开发后的数字资源以及反向集成后的数字资源;
12.所述管理域中用于管理所述集成域中的集成过程和成果、所述开发域中的开发过程和成果、所述治理域中的治理过程和成果以及所述数据域中的数据资源;
13.所述运营域用于支持所述数字资源、所述关联和集成后的数字资源、所述开发后的数字资源以及反向集成后的数字资源的运营。
14.可选的,所述数字资源至少包括数据、应用、服务、算法、rpa、设备、算力、流程和文件,所述集成域与所述开发域、所述管理域和所述数据域交互所述关联和集成后的数字资源。
15.可选的,所述开发域还用于基于个性化需求,对所述连接器进行二次开发。
16.可选的,所述开发域还用于通过所述连接器连接到数据域中的数据资源,以利用
所述数据资源。
17.可选的,所述治理域基于知识图谱,对所述数据域中的所述数字资源、所述关联和集成后的数字资源、所述开发后的数字资源以及反向集成后的数字资源进行治理,生成对应的资源图谱。
18.可选的,所述数据域还用于向所述治理域和所述管理域的提供所述数字资源、所述关联和集成后的数字资源、所述开发后的数字资源以及反向集成后的数字资源。
19.另一方面,提供了一种应用于数字资源编织的数据处理方法,所述方法包括:
20.设置数字资源的多个类型,并获取与所述多个类型对应的数字资源;
21.对所述多个数字资源进行关联与集成,生成连接器;所述连接器用于指示所述多个数字资源的关联关系;
22.基于所述连接器,对关联和集成后的数字资源进行开发,生成开发后的数字资源;
23.对所述开发后的数字资源进行反向集成,生成反向连接器,所述反向连接器用指示反向集成后的数字资源之间的关联关系;
24.将反向集成后的数字资源提供至应用,以使得所述应用使用所述反向集成后的数字资源。
25.可选的,
26.所述对所述多个数字资源进行关联与集成,生成连接器包括:
27.基于协议适配、动态数据集成、数据映射转换、语义识别以及应用连接适配、微服务编排,关联所述多个数字资源,并生成连接器;
28.可选的,所述基于所述连接器,对关联和集成后的数字资源进行开发,生成开发后的数字资源还包括:
29.基于知识图谱,生成与所述多个数字资源对应的资源图谱。
30.可选的,所述方法还包括:
31.获取个性化需求;
32.基于所述个性化需求,对所述连接器进行二次开发。
33.另一方面,提供了一种应用于数字资源编织的数据处理设备,所述设备包括:
34.资源模块,用于设置数字资源的多个类型,并获取与所述多个类型对应的数字资源;
35.集成模块,用于对所述多个数字资源进行关联与集成,生成连接器;所述连接器用于指示所述多个数字资源的关联关系;
36.开发模块,用于基于所述连接器,对关联和集成后的数字资源进行开发,
37.图1是本发明实施例提供的一种应用于数字资源编织的数据处理系统示意图;
38.图2是本发明实施例提供的一种应用于数字资源编织的数据处理系统示意图;
39.图3是本发明实施例提供的一种应用于数字资源编织的数据处理方法流程图;
40.图4是本发明实施例提供的一种应用于数字资源编织的数据处理设备结构示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附
图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
42.参照图1所示,提供了一种应用于数字资源编织的数据处理系统,系统包括多个设备集群,多个设备集群分别为资源域、集成域、开发域、治理域、反向集成域、应用域、数据域、管理域和运营域;其中;
43.资源域用于设置资源的多个类型,并获取与多个类型对应的数字资源;
44.集成域用于对多个数字资源进行关联与集成,生成连接器;连接器用于指示多个数字资源的关联关系;
45.开发域用于基于连接器,对关联和集成后的数字资源进行开发,生成开发后的数字资源;
46.治理域用于基于知识图谱,对数字资源、关联和集成后的数字资源、开发后的数字资源以及反向集成后的数字资源进行治理;
47.反向集成域用于对开发后的数字资源进行反向集成,生成反向连接器,反向连接器用指示反向集成后的数字资源之间的关联关系;
48.应用域用于利用反向集成后的数字资源;
49.数据域用于存储数字资源、关联和集成后的数字资源、开发后的数字资源以及反向集成后的数字资源;
50.管理域中用于管理集成域中的集成过程和成果、开发域中的开发过程和成果、治理域中的治理过程和成果以及数据域中的数据资源;
51.运营域用于支持数字资源、关联和集成后的数字资源、开发后的数字资源以及反向集成后的数字资源的运营。
52.可选的,数字资源至少包括数据、应用、服务、算法、rpa、设备、算力、流程和文件,集成域与开发域、管理域和数据域交互关联和集成后的数字资源。
53.可选的,开发域还用于基于个性化需求,对连接器进行二次开发。
54.可选的,开发域还用于通过连接器连接到数据域中的数据资源,以利用数据资源。
55.可选的,治理域基于知识图谱,对数据域中的数字资源、关联和集成后的数字资源、开发后的数字资源以及反向集成后的数字资源进行治理,生成对应的资源图谱。
56.可选的,数据域还用于向治理域和管理域的提供数字资源、关联和集成后的数字资源、开发后的数字资源以及反向集成后的数字资源。
57.本发明将数字资源全生命周期历程划分成9大域,从宏观的角度对数字资源提出了一种基于资源编织的利用方法。本发明对数字资源的定义突破了以往局限于数据的桎梏,将其他数字资源也纳入编织对象范围。本发明以连接器作为接通各类数字资源的桥梁,简化了资源流转交换的模式。同时,以数据和元数据作为数字资源的载体,通过人工智能技术加持的增强数据目录和资源图谱,简化了数据发现和数据定位的模式,完成数字资源的智能化交互。
58.需要说明的是,在实际应用中,该系统可以参照图2所示,即:
59.在资源域中,我们会先定义数字资源的类型。数字资源包括数据、应用、服务、算法、rpa、设备、算力、流程、文件等。这些数字资源都会是我们在编织过程中的编织对象。
60.在集成域中,资源域中的各类数字资源会以各自的形式被集成进来。具体的集成方式是通过连接器实现的。例如,通过协议适配的技术手段搭建的数据连接器,可以完成与资源域中的特定数字资源的对接及集成。集成域中涉及到的技术手段包括协议适配、动态数据集成、数据映射转换、语义识别、应用连接适配、微服务编排、api管理、身份认证连接等。集成域的产物是用于连接各类数字资源的实例化连接器。集成域与开发域、管理域、数据域都存在交互。
61.在开发域中,使用连接器集成的数字资源可以作为开发的原料进行开发,其中包括服务开发、应用开发、算法开发、集成开发、数据开发、流程开发等。在开发域中可以使用集成域中的各类连接器,同时也可以对这些连接器进行二次开发满足个性化需求。此外,在开发域中可以通过连接器连接到数据域中的数据资源并利用。
62.在治理域中,可以利用主数据治理、元数据治理、数据目录、增强数据目录、数据血缘、数据标准、数据质量、主动元数据、数据发现、资源图谱等方式对数字资源进行治理。治理域的数据来源是数据域。治理域中起到核心作用的是元数据和基于知识图谱技术的资源图谱。
63.在反向集成域中,经过开发后的数字资源会通过反向集成的方式透出输出到应用域。反向集成域中用到的技术包括反向连接器、身份认证、安全管控。
64.在应用域中,反向集成过来的数字资源可以直接使用在各类应用中,比如驾驶舱、app、daas等。应用域作为直面终端用户的域,数字资源编织的成果大多在这里呈现给用户。
65.在数据域中,各类数字资源会以数据的形式存在。数据域提供的能力包括数据存储、数据计算、数据编排、数据虚拟化、联邦查询、数据共享等。数据域除了提供数据存储的主要功能之外还会支撑治理域和管理域的数据需求。数据域与集成域的交互包括连接器持久化和统一的元数据摄取。数据域的数据和
66.305、将反向集成后的数字资源提供至应用,以使得应用使用反向集成后的数字资源。
67.可选的,步骤302中:
68.基于协议适配、动态数据集成、数据映射转换、语义识别以及应用连接适配、微服务编排,关联多个数字资源,并生成连接器;
69.可选的,步骤303中:
70.基于知识图谱,生成与多个数字资源对应的资源图谱。
71.可选的,步骤303中包括:
72.获取个性化需求;
73.基于个性化需求,对连接器进行二次开发。
74.参照图4所示,,提供了一种应用于数字资源编织的数据处理设备,设备包括:
75.资源模块41,用于设置数字资源的多个类型,并获取与多个类型对应的数字资源;
76.集成模块42,用于对多个数字资源进行关联与集成,生成连接器;连接器用于指示多个数字资源的关联关系;
77.开发模块43,用于基于连接器,对关联和集成后的数字资源进行开发,生成开发后的数字资源;
78.反向集成模块44,用于对开发后的数字资源进行反向集成,生成反向连接器,反向
连接器用指示反向集成后的数字资源之间的关联关系;
79.应用模块45,用于将反向集成后的数字资源提供至应用,以使得应用使用反向集成后的数字资源。
80.可选的,集成模块41具体用于:
81.基于协议适配、动态数据集成、数据映射转换、语义识别以及应用连接适配、微服务编排,关联多个数字资源,并生成连接器;
82.可选的,开发模块43具体用于:
83.基于知识图谱,生成与多个数字资源对应的资源图谱。
84.可选的,开发模块43还用于:
85.获取个性化需求;
86.基于个性化需求,对连接器进行二次开发。
87.上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
88.需要说明的是:上述实施例提供的应用于数字资源编织的数据处理系统和设备在执行应用于数字资源编织的数据处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统和设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的一种应用于数字资源编织的数据处理方法、系统和设备实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
89.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
90.以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。