一种多源异构数据共享方法、系统、电子设备及介质与流程

1.本发明属于数据处理技术领域，具体涉及一种多源异构数据共享方法、系统、电子设备及介质。


背景技术：

2.随着企业数字化转型发展，数据价值逐步体现，对跨系统、跨应用和跨平台间异构数据的交互需求呈现爆炸式增长。
3.传统模式下，跨系统间的数据交互大多通过双方需求确认的数据接口协议的形式做定制化开发处理，当需求变更或遇到类似需求时，无法复用原有代码导致重复性开发，导致该方法局限性较高；此外，跨系统开通的业务数据常常各自分散存储，使用原有文件的方式或数据接口的方式无法有效响应业务侧对数据共享的时效性需求。
4.随着数据技术的发展，出现了大数据湖、大数据共享平台等，可以将数据进行共享，但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
5.大数据湖类平台多侧重于数据的汇集和共享转发，只能提供元数据类基础数据的共享，无法进行业务组合的复杂数据的实时共享，同时不能满足跨域业务全程数据的拼接需求。


技术实现要素：

6.本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种多源异构数据共享方法、系统、电子设备及介质。
7.为了实现上述目的，本发明采用以下技术方案：
8.第一方面，本发明提供了一种多源异构数据共享方法，基于数据处理模块实现，所述数据处理模块通信连接有api平台，所述api平台与用户终端通信连接；所述方法包括：
9.接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；
10.接收所述api平台发送的用户服务请求，所述用户服务请求由用户终端发送至所述api平台；
11.根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
12.根据多个数据元素生成业务图谱；
13.将所述业务图谱通过所述api平台回传至所述用户终端。
14.本发明可实现对多源异构业务数据的拼接功能，同时可进行跨域业务拼接数据的实时共享。具体地，本发明在实施过程中，本地网产生的业务数据构成多源异构数据，可对多源异构进行预处理得到预处理后数据，在接收到api平台发送的用户服务请求时，可根据用户服务请求从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素，再根据多个数据元素生成业务图谱，并将所述业务图谱通过所述api平台回传至所述用户终端。
在此过程中，本发明通过采用现有的api平台，可减少硬编码和重复的定制开发，便于跨域的本地网通过api共享平台进行数据共享，让数据需求方通过用户终端更方便获取业务拼接数据，并且数据处理模块可在增加其他多源异构的业务数据的情况下，也不需更改数据共享接口，回传的业务图谱均可通过api平台回传至用户终端，可实现一次共享，多次按需调用的功能，利于提高数据的共享利用率。
15.在一个可能的设计中，对所述多源异构数据进行预处理，得到预处理后数据，包括：
16.根据所述多源异构数据的产品名称和/或产品编码，得到所述多源异构数据的产品类型；
17.根据所述产品类型，对所述多源异构数据进行业务场景分类，得到多个分类后数据；
18.获取所述分类后数据的资源类型；
19.根据所述资源类型，对所述分类后数据进行抽象处理，将所述分类后数据划分为包括点数据、线数据和/或关系数据的预处理后数据。
20.在一个可能的设计中，所述分类后数据的资源类型包括设备类、端口类、链路类、关系类和外键类；当所述分类后数据的资源类型为设备类或端口类时，将所述分类后数据抽象处理为点数据；当所述分类后数据的资源类型为链路类时，将所述分类后数据抽象处理为线数据；当所述分类后数据的资源类型为关系类或外键类时，将所述分类后数据抽象处理为关系数据。
21.在一个可能的设计中，针对不同业务场景，预先配置有规则图谱数据库，所述规则图谱数据库中存储有多个不同业务场景的规则图谱，所述规则图谱中包括多个知识单元；对应地，根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素，包括：
22.获取所述用户服务请求对应的请求业务场景；
23.从所述规则图谱数据库中提取业务场景与所述请求业务场景匹配的指定规则图谱；
24.根据所述指定规则图谱中的知识单元，从所述预处理后数据中抽取与所述知识单元匹配的数据元素。
25.在一个可能的设计中，根据多个数据元素生成业务图谱，包括：
26.根据所述指定规则图谱，将多个数据元素搭建为连接图数据集；
27.根据所述连接图数据集，生成与所述连接图数据集匹配的json串形式的业务图谱。
28.第二方面，本发明提供了一种多源异构数据共享方法，基于数据处理系统实现，所述数据处理系统包括api平台以及分别与所述api平台通信连接的数据处理模块和用户终端；所述方法包括：
29.所述数据处理模块接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；
30.所述api平台接收用户终端发送的用户服务请求，然后将所述用户服务请求发送至所述数据处理模块；
31.所述数据处理模块根据所述用户服务请求，并从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
32.所述数据处理模块根据多个数据元素生成业务图谱；
33.所述数据处理模块将所述业务图谱回传至所述api平台；
34.所述api平台将所述业务图谱回传至所述用户终端。
35.在一个可能的设计中，所述api平台接收用户终端发送的用户服务请求前，所述方法包括：
36.所述用户终端发送用户验证信息至所述api平台；
37.所述api平台对所述用户验证信息进行验证，并在验证通过后回传安全验证码至所述用户终端，以便所述用户终端发送用户服务请求至所述api平台。
38.第三方面，本发明提供了一种多源异构数据共享系统，用于实现如上述任一项所述的多源异构数据共享方法；所述多源异构数据共享系统包括：
39.数据预处理模块，用于接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；
40.请求接收模块，用于接收所述api平台发送的用户服务请求，所述用户服务请求由用户终端发送至所述api平台；
41.数据匹配模块，分别与所述数据预处理模块和所述请求接收模块通信连接，用于根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
42.图谱生成模块，与所述数据匹配模块通信连接，用于根据多个数据元素生成业务图谱；
43.数据回传模块，与所述图谱生成模块通信连接，用于将所述业务图谱通过所述api平台回传至所述用户终端。
44.第四方面，本发明提供了一种电子设备，包括：
45.存储器，用于存储计算机程序指令；以及，
46.处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的多源异构数据共享方法的操作。
47.第五方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的多源异构数据共享方法的操作。
附图说明
48.图1是实施例中一种多源异构数据共享方法的流程图；
49.图2是实施例中一种多源异构数据共享系统的模块框图；
50.图3是实施例中一种电子设备的模块框图。
具体实施方式
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅
仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
52.实施例1：
53.本实施例公开了一种多源异构数据共享方法，基于数据处理模块实现，所述数据处理模块通信连接有api(application programming interface,应用程序编程接口)平台，所述api平台与用户终端通信连接；其中所述数据处理模块可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行。
54.如图1所示，一种多源异构数据共享方法，可以但不限于包括有如下步骤：
55.s1.接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；其中，所述预处理后数据包括多个数据元素，所述数据元素为点数据、线数据或关系数据；本实施例中，本地网生产的多源异构数据可以但不仅限于存储在telepg(电信集团基于postgresql自研定制的数据库)数据库中。
56.步骤s1中，对所述多源异构数据进行预处理，得到预处理后数据，包括：
57.s101.根据所述多源异构数据的产品名称和/或产品编码，得到所述多源异构数据的产品类型；具体地，本实施例中，多源异构数据为业务开通中的产品实例数据，其包括产品数据及产品数据对应的地址信息、产品名称和/或产品编码等数据。
58.s102.根据所述产品类型，对所述多源异构数据进行业务场景分类，得到多个分类后数据；需要说明的是，每个产品类型对应一个业务场景，本实施例中，通过获取所述多源异构数据的产品类型，将所述多源异构数据分为多组分类后数据，以便后续根据用户服务请求输出对应业务场景的数据。
59.s103.获取所述分类后数据的资源类型；需要说明的是，所述分类后数据的资源类型通过所述分类后数据的地址信息得到。
60.s104.根据所述资源类型，对所述分类后数据进行抽象处理，将所述分类后数据划分为包括点数据、线数据和/或关系数据的预处理后数据。
61.本实施例中，根据通讯业务的不同，所述产品类型包括传输类、pon(passive optical network，无源光纤网络)接入类、光路类和ipran(ip radio access network,无线接入网ip化)类。
62.本实施例中，所述分类后数据的资源类型包括设备类、端口类、链路类、关系类和外键类；当所述分类后数据的资源类型为设备类或端口类时，将所述分类后数据抽象处理为点数据；当所述分类后数据的资源类型为链路类时，将所述分类后数据抽象处理为线数据；当所述分类后数据的资源类型为关系类或外键类时，将所述分类后数据抽象处理为关系数据。还需要说明的是，设备类型数据和端口类型数据均对应设置有相应的设备实体，作为举例，本实施例中，所述设备类型包括sdh(synchronous digital hierarchy，光传输设备)设备、mstp(multi-service transfer platform，基于sdh的多业务传送平台)设备、otn设备、光分纤盒/光终端箱/分光器、onu(optical network unit，光网络单元)设备、ipran u/a设备(其中，ipran全拼为ip radio access network,指代无线接入网ip化)和odf(optical distribution frame，光纤配线架)设备。
63.还需要说明的是，本实施例中，点数据包括但不仅限于为sdh设备、olt(optical line termination，光纤线路终端)设备、a设备(基站接入网设备)和u设备(客户端接入设备)；线数据包括但不仅限于为数据中继、伪线、以太网链路和光路；关系数据包括但不仅限于为包含、绑定、划分和组成。
64.s2.接收所述api平台发送的用户服务请求，所述用户服务请求由用户终端发送至所述api平台；
65.本实施例中，在所述api平台接收用户终端发送的用户服务请求前，所述方法包括：
66.所述用户终端发送用户验证信息至所述api平台；
67.所述api平台对所述用户验证信息进行验证，并在验证通过后回传安全验证码至所述用户终端，以便所述用户终端发送用户服务请求至所述api平台。
68.s3.根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
69.本实施例中，针对不同业务场景，预先配置有规则图谱数据库，所述规则图谱数据库中存储有多个不同业务场景的规则图谱，所述规则图谱中包括多个知识单元；对应地，根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素，包括：
70.s301.获取所述用户服务请求对应的请求业务场景；
71.s302.从所述规则图谱数据库中提取业务场景与所述请求业务场景匹配的指定规则图谱；
72.s303.根据所述指定规则图谱中的知识单元，从所述预处理后数据中抽取与所述知识单元匹配的数据元素。
73.s4.根据多个数据元素生成业务图谱；
74.本实施例中，根据多个数据元素生成业务图谱，包括：
75.s401.根据所述指定规则图谱，将多个数据元素搭建为连接图数据集；
76.s402.根据所述连接图数据集，生成与所述连接图数据集匹配的json串形式的业务图谱。需要说明的是，json(javascript object notation)是一种轻量级的数据交换格式，易于人阅读和编写，可以在多种语言之间进行数据交换，同时也易于机器解析和生成。本实施例中，生成json串形式的业务图谱，可便于实现传输业务图谱的作用，即将所述业务图谱通过所述api平台发送至所述用户终端。
77.s5.将所述业务图谱通过所述api平台回传至所述用户终端。
78.需要说明的是，本实施例在实施过程中，api接口集成有封装异构关系型数据源协议，可屏蔽多源异构数据的数据差异，并通过数据处理模块向用户终端提供访问接口，数据处理模块接收的数据可持续无感知扩展。
79.本实施例可实现对多源异构业务数据的拼接功能，同时可进行跨域业务拼接数据的实时共享。具体地，本实施例在实施过程中，本地网产生的业务数据构成多源异构数据，可对多源异构进行预处理得到预处理后数据，在接收到api平台发送的用户服务请求时，可根据用户服务请求从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素，再根据多个数据元素生成业务图谱，并将所述业务图谱通过所述api平台回传至所述用户
终端。在此过程中，本实施例通过采用现有的api平台，可减少硬编码和重复的定制开发，便于跨域的本地网通过api共享平台进行数据共享，让数据需求方通过用户终端更方便获取业务拼接数据，并且数据处理模块可在增加其他多源异构的业务数据的情况下，也不需更改数据共享接口，回传的业务图谱均可通过api平台回传至用户终端，可实现一次共享，多次按需调用的功能，利于提高数据的共享利用率。
80.本实施例中，所述api平台可以但不仅限于采用电信云桥dccos/eop平台，其中，dcoos/eop平台能力网关是新一代云网运营系统的服务底座，支持微服务+esb混合架构模式的服务访问，为各中心提供统一的服务框架，实现服务的统一注册、安全接入、集中管理、共享开放、高效运营，并按需对外开放。在实施过程中，api平台根据用户终端的需求，进行用户注册、回传信息发布和共享的功能，用户终端可通过订阅流程向所述api平台进行服务访问，api平台对用户终端账户审批通过后回传安全验证码至用户终端，以便用户终端调用业务图谱等数据。本实施例中，所述api平台还可将用户终端发送的用户服务请求，以及所述数据处理模块发送的业务图谱封装为统一的restful风格的api接口，然后采用post方式(一种数据提交方式)，并约定数据查询请求报文格式语法，形成以api能力提供的业务配置资源连接关系的数据，便于有这类业务数据的用户终端进行统一的数据订阅、调用和二次开发。
81.实施例2：
82.本实施例公开了一种多源异构数据共享方法，基于数据处理系统实现，所述数据处理系统包括api平台以及分别与所述api平台通信连接的数据处理模块和用户终端；所述方法包括：
83.a1.所述数据处理模块接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；其中，所述预处理后数据包括多个数据元素，所述数据元素为点数据、线数据或关系数据；
84.a2.所述api平台接收用户终端发送的用户服务请求，然后将所述用户服务请求发送至所述数据处理模块；
85.a3.所述数据处理模块根据所述用户服务请求，并从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
86.a4.所述数据处理模块根据多个数据元素生成业务图谱；
87.a5.所述数据处理模块将所述业务图谱回传至所述api平台；
88.a6.所述api平台将所述业务图谱回传至所述用户终端。
89.本实施例中，所述api平台接收用户终端发送的用户服务请求前，所述方法包括：
90.所述用户终端发送用户验证信息至所述api平台；
91.所述api平台对所述用户验证信息进行验证，并在验证通过后回传安全验证码至所述用户终端，以便所述用户终端发送用户服务请求至所述api平台。
92.实施例3：
93.本实施例公开了一种多源异构数据共享系统，用于实现实施例1中多源异构数据共享方法；如图2所示，所述多源异构数据共享系统包括：
94.数据预处理模块，用于接收本地网生产的多源异构数据，并对所述多源异构数据进行预处理，得到预处理后数据；
95.请求接收模块，用于接收所述api平台发送的用户服务请求，所述用户服务请求由用户终端发送至所述api平台；
96.数据匹配模块，分别与所述数据预处理模块和所述请求接收模块通信连接，用于根据所述用户服务请求，从所述预处理后数据中抽取与所述用户服务请求匹配的多个数据元素；
97.图谱生成模块，与所述数据匹配模块通信连接，用于根据多个数据元素生成业务图谱；
98.数据回传模块，与所述图谱生成模块通信连接，用于将所述业务图谱通过所述api平台回传至所述用户终端。
99.实施例4：
100.在实施例1或3的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，如图3所示，电子设备包括：
101.存储器，用于存储计算机程序指令；以及，
102.处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的多源异构数据共享方法的操作。
103.具体地，处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。
104.存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本技术中实施例1提供的多源异构数据共享方法。
105.在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
106.通信接口303可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
107.射频电路304用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。
108.显示屏305用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。
109.电源306用于为电子设备中的各个组件进行供电。
110.实施例5：
111.在实施例1至4任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的多源异构数据共享方法的操作。
112.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
113.最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
114.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。