数据元件的数据源管理方法及对应的系统与流程

1.本发明涉及数据管理技术领域，尤其涉及一种数据元件的数据源管理方法及对应的系统。


背景技术：

2.数据元件作为激发数据要素流通新活力的一种新业态，越来越受到业界的关注。数据元件是对数据资源按照特定规则加工处理之后的初级数据产品，具有可控制、可计量、可定价等基本特性。数据元件的提出可以解决数据资源流通不安全的问题。数据元件由元件模型和元件结果两部分组成。元件模型是根据一定的业务逻辑、通过某些算法构造形成的数据处理模型。元件结果是数据资源经过元件模型处理后的输出结果。元件模型和元件结果密切联系、不可或缺，元件结果必须由元件模型作用于数据资源而产生，而元件模型则必须通过元件结果体现业务价值。二者有机结合，共同构成数据元件，成为数据流通中的信息载体。数据元件作为连接数据供需两端的“中间态”，具有以下基本特征：a)数据资源与应用之间的数据初级产品；b)作为数据交易市场中的交易标的物；c)近源数据的信息载体；d)数据资产计量和定价的基本单元。
3.数据源作为存储数据资源的存储单元，在数据元件生产过程中，既要完成为数据元件提供数据资源，又不能向数据元件用户公开任何信息。这就亟需一套能够满足这种需求且效率高的数据源管理方法。


技术实现要素：

4.本发明实施例提供一种数据元件的数据源管理方法及对应的系统，用以实现对数据元件的数据源的高效管理。
5.根据本发明实施例的数据元件的数据源管理方法，包括：接收各数据源的注册信息，并通过心跳信息实现已注册数据源的自动上下线；接收用户的数据访问请求，并根据所述用户的数据访问请求，获取用户的角色和目的；所述角色包括数据元件开发商和金库运营商，所述元件开发商对应的目的包括数据元件开发、数据元件预生产以及数据元件生产，所述金库运营商对应的目的包括数据元件审核和数据质量检测；根据用户的角色以及目的，确定用户的访问权限，并根据所述访问权限，确定目标数据源；判断所述目标数据源是否在线，若是，则与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源；否则，存储所述数据访问请求，并在所述目标数据源上线后，与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源。
6.根据本发明的一些实施例，所述方法还包括：检测所述目标数据源的访问连接数量；当所述访问连接数量超过预设阈值的80%，则对所有访问连接进行活跃度排序，并
对相对不活跃的20%个访问连接对应的用户进行预警通告；当所述访问连接数量超过预设阈值，则关闭所述相对不活跃的20%个访问连接。
7.根据本发明的一些实施例，所述对所有访问连接进行活跃度排序，包括：过去预设时间段内没有数据交互的访问连接为第一活跃度等级；对应目的为数据元件开发和数据元件预生产的访问连接为第二活跃度等级；对应目的为数据元件审核和数据质量检测的访问连接为第三活跃度等级；对应目的为数据元件生产的访问连接为第四活跃度等级；所述第一活跃度等级的活跃度小于所述第二活跃度等级的活跃度，所述第二活跃度等级的活跃度小于所述第三活跃度等级的活跃度，所述第三活跃度等级的活跃度小于所述第四活跃度等级的活跃度。
8.根据本发明的一些实施例，所述接收各数据源的注册信息，包括：接收各数据源通过各自的jdbc发送的注册信息；接收用户的数据访问请求，包括：通过提供的虚拟jdbc接收用户的数据访问请求。
9.根据本发明的一些实施例，所述根据所述用户的数据访问请求，获取用户的角色和目的，包括：从所述数据访问请求中提取用户信息；根据预存的用户信息与角色之间的对应关系，确定所述用户信息对应的角色；根据所述数据访问请求对应的传输接口，确定用户的目的。
10.根据本发明实施例的数据元件的数据源管理系统，包括：注册单元，用于接收各数据源的注册信息，并通过心跳信息实现已注册数据源的自动上下线；访问单元，用于接收用户的数据访问请求；控制单元，用于根据所述用户的数据访问请求，获取用户的角色和目的；所述角色包括数据元件开发商和金库运营商，所述元件开发商对应的目的包括数据元件开发、数据元件预生产以及数据元件生产，所述金库运营商对应的目的包括数据元件审核和数据质量检测；根据用户的角色以及目的，确定用户的访问权限，并根据所述访问权限，确定目标数据源；判断所述目标数据源是否在线，若是，则与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源；否则，存储所述数据访问请求，并在所述目标数据源上线后，与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源。
11.根据本发明的一些实施例，所述控制单元还用于：检测所述目标数据源的访问连接数量；当所述访问连接数量超过预设阈值的80%，则对所有访问连接进行活跃度排序，并对相对不活跃的20%个访问连接对应的用户进行预警通告；当所述访问连接数量超过预设阈值，则关闭所述相对不活跃的20%个访问连接。
12.根据本发明的一些实施例，所述控制单元还用于设置：过去预设时间段内没有数据交互的访问连接为第一活跃度等级；对应目的为数据元件开发和数据元件预生产的访问连接为第二活跃度等级；对应目的为数据元件审核和数据质量检测的访问连接为第三活跃度等级；
对应目的为数据元件生产的访问连接为第四活跃度等级；所述第一活跃度等级的活跃度小于所述第二活跃度等级的活跃度，所述第二活跃度等级的活跃度小于所述第三活跃度等级的活跃度，所述第三活跃度等级的活跃度小于所述第四活跃度等级的活跃度。
13.根据本发明的一些实施例，所述注册单元，用于：接收各数据源通过各自的jdbc发送的注册信息；所述访问单元，用于：通过提供的虚拟jdbc接收用户的数据访问请求。
14.根据本发明的一些实施例，所述控制单元，用于：从所述数据访问请求中提取用户信息；根据预存的用户信息与角色之间的对应关系，确定所述用户信息对应的角色；根据所述数据访问请求对应的传输接口，确定用户的目的。
15.采用本发明实施例，能够实现数据元件的数据源的高效管理，避免依赖人工完成，解决数据利用难题，提升数字化决策、管理和服务能力。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：图1是本发明实施例中数据元件的数据源管理方法流程图。
具体实施方式
18.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。另外，在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
19.参照图1所示，根据本发明实施例的数据元件的数据源管理方法，包括：s1，接收各数据源的注册信息，并通过心跳信息实现已注册数据源的自动上下线；通过数据源的注册就能够获得数据源的元数据信息，基于元数据信息，就可以获取数据源的心跳信息，以此来确定数据源的健康状态，从而实现自动上线和下线。
20.s2，接收用户的数据访问请求，并根据所述用户的数据访问请求，获取用户的角色和目的；所述角色包括数据元件开发商和金库运营商，所述元件开发商对应的目的包括数据元件开发、数据元件预生产以及数据元件生产，所述金库运营商对应的目的包括数据元件审核和数据质量检测；可以理解，用户的数据访问请求与用户的角色和目的有直接或者间接的关联，由此，在接收到用户的数据访问请求，就可以根据所述用户的数据访问请求，
获取用户的角色和目的。
21.s3，根据用户的角色以及目的，确定用户的访问权限，并根据所述访问权限，确定目标数据源；可以理解，用户的访问权限是跟用户的角色和当前发出数据访问请求的目的相关的。用户的访问权限即用户有权限访问的数据资源。例如，数据元件开发商在开发某一数据元件时，其访问权限就是该数据元件对应的数据资源。确定了访问权限就可以确定存储有该访问权限内的数据资源的数据源。
22.s4，判断所述目标数据源是否在线，若是，则与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源；否则，存储所述数据访问请求，并在所述目标数据源上线后，与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源。数据源上线可以有上线通知，以便及时获取到数据源上线的信息。
23.采用本发明实施例，能够实现多数据源的统一自动化管理，并为用户实现自动授权访问数据，能够实现数据元件的数据源的高效管理，以达成元件数据生成过程的数据时效性、有效性，及数据源数据弹性路由授权，提升数字化决策、管理和服务能力。
24.在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
25.根据本发明的一些实施例，需要对注册的数据源定期扫描其元数据信息并对扫描的时间进行记录，以更新元数据信息。由此，在数据源数据变化时，可以实现自动同步更新数据源的元数据信息。
26.根据本发明的一些实施例，所述方法还包括：检测所述目标数据源的访问连接数量；当所述访问连接数量超过预设阈值的80%，则对所有访问连接进行活跃度排序，并对相对不活跃的20%个访问连接对应的用户进行预警通告；当所述访问连接数量超过预设阈值，则关闭所述相对不活跃的20%个访问连接。
27.由此，能够保证数据源的正常、高效工作，避免数据源出现宕机的问题。
28.这里需要说明的是，80%、20%的设置可以根据实际需求进行设置，这里仅仅是给出一种示例，不是对本发明实施例的限制。
29.根据本发明的一些实施例，所述对所有访问连接进行活跃度排序，包括：过去预设时间段内没有数据交互的访问连接为第一活跃度等级；例如，可以设定10分钟内没有检测到数据传输的连接为第一活跃度等级。
30.对应目的为数据元件开发和数据元件预生产的访问连接为第二活跃度等级；对应目的为数据元件审核和数据质量检测的访问连接为第三活跃度等级；对应目的为数据元件生产的访问连接为第四活跃度等级；所述第一活跃度等级的活跃度小于所述第二活跃度等级的活跃度，所述第二活跃度等级的活跃度小于所述第三活跃度等级的活跃度，所述第三活跃度等级的活跃度小于所述第四活跃度等级的活跃度。如此设置，是考虑到完成不同目的所耗用的时长以及重要性程度，实际应用过程中，可以根据用户需求进行调整。
31.根据本发明的另一些实施例，对于数据元件开发和数据元件预生产的不活跃连接（5分钟没数据交互）优先自动关闭；关闭后，如果数据源连接低于预设阈值，则进入监控模式；
如果关闭后，依然高于预设阈值，则对数据质量检测和元件审核延时算子的不活跃连接（5分钟没数据交互）进行自动关闭。
32.如果关闭后，依然高于预设阈值，则对数据元件生产的不活跃连接（1分钟没数据交互）进一步自动关闭，直到达到预设阈值。
33.如果完成上述步骤后，依然不行，则对数据元件生产和元件审核同步算子的不活跃连接进行关闭提示，由管理员手动确认关闭。
34.对关闭的连接对应的用户，进行消息推送通知。
35.根据本发明的一些实施例，所述接收各数据源的注册信息，包括：接收各数据源通过各自的jdbc发送的注册信息；接收用户的数据访问请求，包括：通过提供的虚拟jdbc接收用户的数据访问请求。由此，可以达到保护数据源，避免其受到攻击。
36.根据本发明的一些实施例，所述根据所述用户的数据访问请求，获取用户的角色和目的，包括：从所述数据访问请求中提取用户信息；根据预存的用户信息与角色之间的对应关系，确定所述用户信息对应的角色；根据所述数据访问请求对应的传输接口，确定用户的目的。
37.用户在不同阶段，如数据元件开发阶段、数据元件预生产阶段、数据元件生产阶段、数据元件审核和数据质量检测会采用不同的传输接口，由此，可以通过传输接口，确定用户的目的。
38.对应于上述方法，本发明实施例提出一种数据元件的数据源管理系统，包括：注册单元，用于接收各数据源的注册信息，并通过心跳信息实现已注册数据源的自动上下线；访问单元，用于接收用户的数据访问请求；控制单元，用于根据所述用户的数据访问请求，获取用户的角色和目的；所述角色包括数据元件开发商和金库运营商，所述元件开发商对应的目的包括数据元件开发、数据元件预生产以及数据元件生产，所述金库运营商对应的目的包括数据元件审核和数据质量检测；根据用户的角色以及目的，确定用户的访问权限，并根据所述访问权限，确定目标数据源；判断所述目标数据源是否在线，若是，则与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源；否则，存储所述数据访问请求，并在所述目标数据源上线后，与所述目标数据源建立访问连接并基于所述访问权限访问所述目标数据源。
39.采用本发明实施例，能够实现多数据源的统一自动化管理，并为用户实现自动授权访问数据，能够实现数据元件的数据源的高效管理，以达成元件数据生成过程的数据时效性、有效性，及数据源数据弹性路由授权，提升数字化决策、管理和服务能力。
40.在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
41.根据本发明的一些实施例，所述控制单元还用于：检测所述目标数据源的访问连接数量；当所述访问连接数量超过预设阈值的80%，则对所有访问连接进行活跃度排序，并
对相对不活跃的20%个访问连接对应的用户进行预警通告；当所述访问连接数量超过预设阈值，则关闭所述相对不活跃的20%个访问连接。
42.根据本发明的一些实施例，所述控制单元还用于设置：过去预设时间段内没有数据交互的访问连接为第一活跃度等级；对应目的为数据元件开发和数据元件预生产的访问连接为第二活跃度等级；对应目的为数据元件审核和数据质量检测的访问连接为第三活跃度等级；对应目的为数据元件生产的访问连接为第四活跃度等级；所述第一活跃度等级的活跃度小于所述第二活跃度等级的活跃度，所述第二活跃度等级的活跃度小于所述第三活跃度等级的活跃度，所述第三活跃度等级的活跃度小于所述第四活跃度等级的活跃度。
43.根据本发明的一些实施例，所述注册单元，用于：接收各数据源通过各自的jdbc发送的注册信息；所述访问单元，用于：通过提供的虚拟jdbc接收用户的数据访问请求。
44.根据本发明的一些实施例，所述控制单元，用于：从所述数据访问请求中提取用户信息；根据预存的用户信息与角色之间的对应关系，确定所述用户信息对应的角色；根据所述数据访问请求对应的传输接口，确定用户的目的。
45.需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，任意几个实施例都可以以任意的组合方式来使用。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。