一种分布式数据路由的处理方法、系统、介质和设备与流程

文档序号:29134813发布日期:2022-03-05 01:47阅读:172来源:国知局
一种分布式数据路由的处理方法、系统、介质和设备与流程

1.本发明涉及信息技术领域,尤其涉及一种分布式数据路由的处理方法、系统、介质和设备。


背景技术:

2.金融行业技术发展日新月异,随着分布式系统的建设进入常态,数据存储也面临着多中心分开存储。因此分布式系统需要解决访问多个数据源获取数据进行加工的问题。其次访问多个数据源进行数据写操作也面临着分布式事务的问题。分布式系统对于多数据源的访问需求也不是一成不变的,需要根据业务量、请求量做动态调整。分布式系统有多个应用,多个应用有时会分别连接多个数据库,但是有时一个应用也会连接多个数据库。
3.对于如何解决分布式系统同时访问多个数据库的问题,以及分布式系统中的一个应用与多个数据库之间的连通性的问题,这对于分布式系统的建设有着重要的意义。


技术实现要素:

4.有鉴于此,本发明实施例的目的在于提供一种分布式数据路由的处理方法、装置、介质和设备,能够使得分布式系统同时访问多个数据库以及分布式系统中的一个应用与多个数据库的连通性的技术问题。
5.为达到上述目的,第一方面本发明提供了一种分布式数据路由的处理方法,所述处理方法包括如下步骤:
6.事务管理器向数据转接模块发出获取数据库连接的请求;
7.所述数据转接模块根据所述获取数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将所述数据库连接任务发送至数据库管理模块;
8.所述数据库管理模块根据所述数据库连接任务选择对应的数据库,以执行所述数据库连接任务获得所述数据库连接任务的执行结果,并将所述执行结果返回所述事务管理器。
9.在一些可能的实施方式中,所述事务管理器向数据转接模块发出获取数据库连接的请求,具体包括:
10.事务管理器通过数据源接口向所述数据转接模块发出多条sql命令,以获取每条sql命令对应的数据库连接的请求。
11.在一些可能的实施方式中,在所述数据转接模块根据所述数据库连接的请求建立多个数据库连接代理之前还包括:
12.通过拦截器拦截每条sql命令;
13.通过所述拦截器对拦截的每条sql命令进行解析,获取所述sql命令的命令id和命令内容。
14.在一些可能的实施方式中,在通过每个数据库连接代理分别创建一个数据库连接
任务并发送至对应的数据库管理模块之前,还包括:
15.所述数据库连接代理连接将所述数据转接模块预先配置的路由规则与所述命令id进行比较,得到解析后的每条sql命令需要访问的数据源的名称;
16.所述数据库连接代理根据所述数据源的名称创建与所述数据源的名称对应的数据库连接任务。
17.在一些可能的实施方式中,所述数据库连接代理根据所述数据源的名称创建与所述数据源的名称对应的数据库连接任务,具体包括:
18.所述数据库连接代理根据所述数据源的名称在多个实际数据源中选出对应的目标数据源;其中,所述目标数据源的名称与待访问的数据源的名称相同;
19.所述数据库连接代理针对选出的目标数据源创建对应的数据库连接任务。
20.在一些可能的实施方式中,所述数据库管理模块根据所述数据库连接任务选择对应的数据库以执行所述数据库连接任务,具体包括:
21.所述数据库管理模块根据所述目标数据源确定所述目标数据库的名称,根据所述目标数据库的名称获取所述目标数据库的实际地址;
22.所述数据库管理模块触发所述目标数据源根据所述目标数据库的名称创建一个目标数据库连接;
23.所述目标数据库连接通过所述目标数据库的实际地址向所述目标数据库发送所述sql命令的执行计划;
24.所述目标数据库按照所述sql命令中的命令内容进行数据的读写操作,并将所述读写操作的结果返回至所述事务管理器。
25.在一些可能的实施方式中,在所述目标数据库按照所述sql命令中的命令内容进行数据的读写操作,并将所述读写操作的结果返回至所述事务管理器之后,还包括:
26.所述事务管理器判断所述对应的目标数据库的执行结果是否正确;
27.如果正确,则事务管理器依次向每个sql命令对应的目标数据库发起保存执行事务的提交操作;
28.如果错误,则事务管理器依次向每个sql命令对应的目标数据库发起执行事务的回滚操作。
29.第二方面,本发明提供了一种分布式数据路由的处理系统,包括:
30.事务管理器,用于向数据转接模块发出获取数据库连接的请求;
31.数据转接模块,用于根据所述获取数据库连接的请求建立多个数据库连接代理,通过每个数据库连接代理分别创建一个数据库连接任务并将所述数据库连接任务发送至数据库管理模块;
32.数据库管理模块,用于根据所述数据库连接任务选择对应的数据库以执行所述数据库连接任务,获得所述数据库连接任务的执行结果,并所述执行结果返回所述事务管理器。
33.第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述任意一种分布式数据路由的处理方法。
34.第四方面,本发明实施例提供了一种电子设备,其包括:
35.处理器;
36.用于存储所述处理器可执行指令的存储器;
37.其中,所述处理器被配置为执行所述指令,以实现如上任意一种分布式数据路由的处理方法。
38.上述技术方案具有如下有益效果:
39.本发明提供一种分布式数据路由的处理方法、系统、介质和设备,该方法包括如下步骤:事务管理器向数据转接模块发出获取数据库连接的请求;数据转接模块根据获取数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块;数据库管理模块根据数据库连接任务选择对应的数据库以执行数据库连接任务获得数据库连接任务的执行结果,并将执行结果返回事务管理器。本发明实施例可以解决分布式系统对于对多数据库的访问需求的问题,而且在一个事务中支持对于多个数据库的写操作并且保证事务一致性,同时可以灵活的多数据源路由配置,对于代码无侵入。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
41.图1是本发明实施例的一种分布式数据路由的处理方法流程图;
42.图2是本发明实施例的一种拦截器拦截sql命令的结构示意图;
43.图3是本发明实施例的一种数据路由的方法流程图;
44.图4是本发明实施例的一种数据库路由配置规则的示意图;
45.图5是本发明实施例的一种分布式数据路由处理方法的整体流程部署图;
46.图6是本发明实施例的第一种分布式数据路由的处理系统的框图;
47.图7是本发明实施例的一种计算机可读存储介质的功能框图;
48.图8是本发明实施例的一种电子设备的功能框图。
具体实施方式
49.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
50.实施例一
51.图1是本发明实施例的一种分布式数据路由的处理方法的流程图,如图1所示,该处理方法包括如下步骤:
52.s110,事务管理器向数据转接模块发出获取数据库连接的请求。具体的,当有业务操作需要访问数据库做读写操作时,需要先通过事务管理器访问数据源,通过数据源操作数据库并创建一个数据库连接并返回。其中,事务指的是数据库事务(transaction),是对数据库做多个数据库操作(例如,依次建立多个数据库连接完成sql命令的操作)时,数据库
事务是一个不可分割的整体,事务中的命令操作要么全部执行,要么全部不执行。事务由事务开始与事务结束之间执行的全部数据库操作组成。事务的开始与事务的结束由事务管理器来控制。
53.数据源是数据的来源,是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样,通过提供正确的数据源名称,可以找到相应的数据库连接,作为一个举例说明,如果数据是水,数据库就是水库,数据源就是连接水库的管道,终端用户看到的数据集是管道里流出来的水。
54.s120,数据转接模块根据获取数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块。
55.数据转接模块可以创建多个数据库连接代理,由于数据转接模块可以连接多个实际的数据库,所以通过多个数据库连接代理可以访问多个不同的数据库。具体的,数据转接模块会预先配置多个路由规则,获取到的数据库连接请求中的数据会有一个标识,通过这个标识可以获知该请求想要访问数据库的名称,数据库连接代理将该数据源的名称与路由规则进行对比,就会得到该数据库连接请求的数据库的名称,数据库连接代理就会对该名称的数据库创建一个数据库连接任务并发送至数据库管理模块。其中,数据转接模块可以理解为数据源代理,数据源代理可以创建多个数据库连接代理,通过多个数据库连接代理访问多个实际数据源。其中,数据库连接任务是分布式系统与数据库之间的通讯时需要创建的,也可以叫做数据库连接,数据库连接是网络通讯socket的一种,是基于socket通讯规范的数据库通讯协议中的一种通讯方式。
56.s130,数据库管理模块根据数据库连接任务选择对应的数据库以执行数据库连接任务,获得数据库连接任务的执行结果,并将执行结果返回事务管理器。
57.数据库管理模块接收到数据库连接代理创建的数据库连接任务后,向需要访问的目标数据库创建一个目标数据库连接,并下发一个执行任务的命令,目标数据库按照命令内容执行完任务后会得到一个执行结果,将执行结果返回至事务管理器。此处,数据库管理模块可以理解为数据源,通过数据源建立数据库连接,通过数据库连接与对应的数据库建立连接。
58.本发明实施例可以解决分布式系统对于对多数据库的访问需求的问题,而且在一个事务中支持对于多个数据库的写操作并且保证事务一致性,同时可以灵活的多数据源路由配置,对于代码无侵入。
59.在一些实施例中,事务管理器通过数据源接口向数据转接模块发出多条sql命令,以获取每条sql命令对应的数据库的连接请求。
60.本实施例中,数据源接口可以为javax.sql.datasource接口,javax.sql.datasource接口是jdbc2.0标准中的规范,是针对1.0标准中通过drivermanager.getconnection()方式获取到的数据库链接。javax.sql.datasource接口方法也有两个:有参和无参的getconnection()方法。这些数据源能提供可复用方式的数据库连接,大多采用连接池实现,资源可以复用。
61.在一些实施例中,如图2所示,图2是本发明实施例提供的一种拦截器拦截sql命令
的结构示意图,在数据转接模块根据数据库连接的请求建立多个数据库连接代理之前还包括:通过拦截器拦截每条sql命令;拦截器对拦截的每条sql命令进行解析,获取sql命令的命令id和命令内容。另外,拦截器在拦截到每条sql命令并解析后,还可以设置每条命令的数据源的名称,以供后续个性化扩展使用。
62.具体的,通过yusdatasourse(数据源代理)通过javax.sql.datasource接口获取数据库连接即yuspconnection(数据库连接代理),通过dataroutenameinterceptor(拦截器)拦截正在发送的sql内容,拦截后在dataroutehandler(数据路由处理程序)中进行解析,数据路由处理程序是拦截器中的一个处理程序,拦截的每条sql命令都会在数据路由处理程序中进行解析,以获取sql的命令id和命令内容,通过命令id可以获取每一个sql所要连接的数据源的名称,yuspconnection(数据库连接代理)根据获得的数据源的名称与从javax.sql.connection接口获取到预先配置的路由规则比较,得到每一个sql命令对应的目标数据源名称(getconnectionsname),yuspconnection(数据库连接代理)分别对每条命令创建一个数据库连接任务(创建prepare);数据库连接代理还可以创建执行计划(创建statement),进行数据的回滚(rollback)、数据提交(commit)、设置自动提交(setautocommit)、关闭数据连接(colse)和设置连接只读(setreadonly)等。
63.另外,java里的拦截器是动态拦截action调用的对象,它提供了一种机制可以使开发者可以定义在一个action执行的前后执行的代码,也可以在一个action执行前阻止其执行,同时也提供了一种可以提取action中可重用部分的方式。在aop(aspect-oriented programming,面向切面编程)中拦截器用于在某个方法或字段被访问之前,进行拦截然后在之前或之后加入某些操作。
64.在一些实施例中,在通过每个数据库连接代理分别创建一个数据库连接任务并发送至对应的数据库管理模块之前,还包括:数据库连接代理连接将数据转接模块预先配置的路由规则与命令id进行比较,得到解析后的每条sql命令需要访问的数据源的名称;数据库连接代理根据数据源的名称并创建与数据源的名称对应的数据库连接任务。
65.具体的,图3是本发明实施例提供的一种数据路由的方法流程图,图4是本发明实施例提供的一种数据库路由配置规则的示意图。每一条数据库执行的sql命令的sql命令包括:命令id,一个字符串,形如:cn.modulea;命令内容,一个标准的sql语句,形如:select*from user1。作为一个举例,数据路由配置规则cn.modulea

a、cn.modulea
→b……
,其中,a、b等为数据库的名称,数据库连接代理会将sql命令中的命令id与数据路由配置规则去比较,将sql命令id中以cn.modulea开头的访问a数据库,即sql命令中id为cn.modulea访问的数据源的名称是a,得到要访问的数据源的名称后,数据库连接代理根据数据源的名称创建与该数据源的名称对应的数据库连接任务。
66.作为一个举例,数据库路由配置规则如下:
[0067][0068]
在数据源的路由配置规则中,配置了与sql命令中的id对应的走访数据库的名称,如果没有匹配的数据库,默认走访第一个数据库,即数据库a。
[0069]
在一些实施例中,数据库连接代理根据数据源的名称并创建与数据源的名称对应的数据库连接任务,具体包括:数据代理连接根据对比后得到的数据源的名称,在多个实际数据源中选出与对比得到的数据源的名称相同的对应的目标数据源;因为对比后得到的数据源的名称就是要访问的目标数据源的名称,数据库连接代理针对选出的目标数据源创建对应的数据库连接任务。其中,数据库连接代理连接多个实际的数据库,所以数据库连接代理可以根据数据路由配置规则访问任意一个数据库。
[0070]
在一些实施例中,数据库管理模块根据数据库连接任务选择对应的数据库以执行数据库连接任务,具体包括:数据库管理模块根据目标数据源确定目标数据库的名称,根据目标数据库的名称获取目标数据库的实际地址,例如,数据库管理模块根据目标数据源确定目标数据库的名称a,在#a数据源配置中,可以得到目标数据库的实际地址,例如“jdbc-ur1:jdbc:oracle:thin:@127.0.0.1:1521:orc1”,数据库管理模块触发目标数据源根据目标数据库的名称创建一个目标数据库连接,目标数据库连接根据目标数据库的实际地址向
目标数据库发送sql命令的执行计划,目标数据库按照sql命令中的命令内容进行数据的读写操作,并将读写操作的结果返回至事务管理器。其中,sql命令的执行计划是指在执行sql命令前,需要通知数据库预先执行校验一下sql内容,校验一下是否存在低级的语法错误,只有校验通过后才执行sql命令,这个执行前的校验操作称为执行计划。数据库是一个软件,部署在服务器上,程序访问这个软件就需要就其部署的实际服务器地址,也就是上面提到的数据库实际地址。
[0071]
在一些实施例中,在目标数据库按照sql命令中的命令内容进行数据的读写操作,并将读写操作的结果返回至事务管理器之后,还包括:事务管理器判断对应的目标数据库的执行结果是否正确,如果正确,则事务管理器依次向每个sql命令对应的目标数据库发起保存执行事务的提交操作,如果错误,则事务管理器依次向每个sql命令对应的目标数据库发起执行事务的回滚操作。具体的,程序执行业务操作时,事务管理器将被自动打开,通过创建的数据库连接执行sql命令,sql命令执行完成后如果没有出现报错,事务管理器就认为sql命令操作是正确的,执行提交;如果出现报错,那么事务管理器就认为sql命令的操作是不正确的,执行回滚。
[0072]
可以实现分布式系统中的多个应用同时访问多个数据库,也可以实现分布式系统的一个应用同时访问多个数据源,解决了分布式系统中的一个应用与多个数据库之间的连通性的问题,且能够保证在一个事务中支持多个数据库的写操作并且保证事务一致性,同时可以灵活的配置多个数据源路由规则,对于代码无侵入。
[0073]
操作数据库的流程是:从数据源获取数据库连接,通过数据库连接创建执行计划,通过执行计划执行sql命令,这个过程统称一个事务。如果在执行过程中没有出现报错,说明数据处理正确,那么事务管理器依次向每个sql命令对应的目标数据库发起保存执行事务的提交操作,使得操作数据落入数据库,如果在执行过程有一个地方报错,数据库就不会将数据写入数据库,此时就需要回滚操作,重新进行连接等读写操作。
[0074]
为了使本领域技术人员更加理解本发明实施例提供的技术方案,下面对本发明实施例提供的一种分布式数据路由的处理方法进行详细说明。图5是本发明实施例的一种分布式数据路由的处理方法的整体流程部署图。其具体包括如下步骤:
[0075]
s1,事务管理器向数据源代理发送获取数据库连接请求;
[0076]
s2,数据源代理创建数据库连接代理;
[0077]
s3,创建数据库连接任务给数据源a,以通过数据源a获取与数据库a的连接,即当需要执行第一条sql时,数据库连接代理根据sql命令路由选择数据源a;
[0078]
s4,数据源a创建一个数据库连接a;
[0079]
s5,数据库连接a连接数据库a,数据库a将连接结果返回至数据库连接a后执行s6;
[0080]
s6,数据库连接a发送执行第一条sql命令的执行任务,数据库a执行完任务后将执行结果返回至事务管理器;
[0081]
s7,数据库连接代理接收到返回结果后,数据库连接代理创建第二个数据库连接任务给数据源b,以通过数据源b获取与数据库b的连接,即开始执行第二条sql命令,数据库连接代理根据sql命令路由选择数据源b;
[0082]
s8,数据源b创建一个数据库连接b;
[0083]
s9,数据库连接b连接数据库b,数据库b将连接结果返回至数据库连接后执行10;
[0084]
s10,数据库连接b发送执行第二条sql命令的执行任务,数据库b执行完任务后将执行结果返回至事务管理器;
[0085]
以上步骤依次类推,可以执行多条sql命令,直至最后一条sql命令执行完毕并将执行结果返回给事务管理器之后,此时执行s11。
[0086]
s11,事务管理器判断执行结果是否正常,通过数据库连接代理对数据库a和数据库b依次发起commit/rollback命令,即如果正常则通过数据库连接代理对数据库a和数据库b依次发起保存数据的操作(commit命令)即事务提交操作,如果非正常则通过数据库连接代理对数据库a和b依次发起撤销保存数据的操作(rollback命令)即事务回滚操作;
[0087]
s12,数据库连接代理向数据库连接a发起commit/rollback命令;
[0088]
s13,数据库连接a将commit/rollback命令发送至数据库a,数据库a执行完commit/rollback命令后,将执行结果返回数据库连接代理,数据库连接代理执行s14;
[0089]
s14,数据库连接代理向数据库连接b发起commit/rollback命令;
[0090]
s15,数据库连接b将commit/rollback命令发送至数据库b,数据库b执行完commit/rollback命令后,将执行结果返回数据库连接代理;依次类推,直至最后一条sql命令对应的执行commit/rollback命令完毕。
[0091]
本发明实施例通过事务管理器向数据转接模块发出获取数据库连接的请求,数据转接模块根据数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块;数据库管理模块根据数据库连接任务选择对应的数据库以执行数据库连接任务获得数据库连接任务的执行结果,并将执行结果返回事务管理器。可以实现分布式系统中的多个应用同时访问多个数据库,也可以实现分布式系统的一个应用同时访问多个数据源,解决了分布式系统中的一个应用与多个数据库之间的连通性的问题,且能够保证在一个事务中支持多个数据库的写操作并且保证事务一致性,同时可以灵活的配置多个数据源路由规则,对于代码无侵入。
[0092]
实施例二
[0093]
图6是本发明实施例提供的一种分布式数据路由的处理系统,如图6所示,该处理系统包括:
[0094]
事务管理器210,用于向数据转接模块发出获取数据库连接的请求。
[0095]
具体的,当有业务操作需要访问数据库做读写操作时,需要先通过事务管理器210访问数据源,通过数据源操作数据库并创建一个数据库连接并返回。
[0096]
数据源是数据的来源,是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样,通过提供正确的数据源名称,可以找到相应的数据库连接,作为一个举例说明,如果数据是水,数据库就是水库,数据源就是连接水库的管道,终端用户看到的数据集是管道里流出来的水。其中,事务指的是数据库事务(transaction),是对数据库做多个数据库操作(例如,依次建立多个数据库连接完成sql命令的操作)时,数据库事务是一个不可分割的整体,事务中的命令操作要么全部执行,要么全部不执行,保证了事务的一致性。事务由事务开始与事务结束之间执行的全部数据库操作组成。事务的开始与事务的结束由事务管理器来控制。
[0097]
数据转接模块220,用于根据数据库连接的请求建立多个数据库连接代理,通过每
个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块。
[0098]
数据转接模块220可以创建多个数据库连接代理,由于数据转接模块220可以连接多个实际的数据库,所以通过多个数据库连接代理可以访问多个不同的数据库。具体的,数据转接模块220会预先配置多个路由规则,获取到的数据库连接请求中的数据会有一个标识,通过这个标识可以获知该请求想要访问数据库的名称,那么,数据库连接代理将该数据源的名称与路由规则进行对比,就会得到该数据库连接请求的数据库的名称,数据库连接代理就会对该名称的数据库创建一个数据库连接任务并发送至数据库管理模块230。其中,数据转接模块220可以理解为数据源代理,数据源代理可以创建多个数据库连接代理,通过多个数据库连接代理访问多个实际数据源。
[0099]
数据库管理模块230,用于根据数据库连接任务选择对应的数据库以执行数据库连接任务获得数据库连接任务的执行结果,并执行结果返回事务管理器。
[0100]
数据库管理模块230接收到数据库连接代理创建的数据库连接任务后,向需要访问的目标数据库创建一个目标数据库连接,并下发一个执行任务的命令,目标数据库按照命令内容执行完任务后会得到一个执行结果,将执行结果返回至事务管理器。此处,数据库管理模块230可以理解为数据源,通过数据源建立数据库连接,通过数据库连接数据库。
[0101]
本发明实施例通过数据转接模块220,可以实现分布式系统中的多个应用同时访问多个数据库,也可以实现分布式系统的一个应用同时访问多个数据源,解决了分布式系统中的一个应用与多个数据库之间的连通性的问题,且能够保证在一个事务中支持多个数据库的写操作并且保证事务一致性,同时可以灵活的配置多个数据源路由规则,对于代码无侵入。
[0102]
在一些实施例中,事务管理器210通过数据源接口向数据转接模块220发出多条sql命令,以获取每条sql命令对应的数据库的连接请求。
[0103]
本实施例中,数据源接口为javax.sql.datasource接口,javax.sql.datasource接口是jdbc2.0标准中的规范,是针对1.0标准中通过drivermanager.getconnection()方式获取到的数据库链接。javax.sql.datasource接口方法也有两个,即有参和无参的getconnection()方法,这些数据源能提供可复用方式的数据库连接,大多采用连接池实现,资源可以复用。
[0104]
在一些实施例中,如图3所示,图3是本发明实施例的一种拦截器拦截sql命令的结构示意图,在数据转接模块根据数据库连接的请求建立多个数据库连接代理之前还包括:通过拦截器拦截每条sql命令;拦截器对拦截的每条sql命令进行解析,获取sql命令的命令id和命令内容。另外,拦截器在拦截到每条sql命令并解析后,还可以设置每条命令的数据源的名称,以供后续个性化扩展使用。
[0105]
具体的,通过yusdatasourse(数据源代理)通过javax.sql.datasource接口获取数据库连接请求的数据,通过dataroutenameinterceptor(拦截器)拦截正在发送的消息,将消息拦截在dataroutehandler(数据路由处理程序)中进行解析,数据路由处理程序属于拦截器的一部分,拦截到的sql命令在数据路由处理程序中进行解析,拦截器对拦截的每条sql命令进行解析,获取sql命令的命令id和命令内容,通过命令id可以获取每一个请求所要连接的数据源的名称,yuspconnection(数据库连接代理)根据获得的数据源的名称与将
从javax.sql.connection接口获取到预先配置的路由规则比较,得到每一个sql命令对应的目标数据源,yuspconnection(数据库连接代理)分别对每条命令创建一个数据库连接任务。
[0106]
另外,java里的拦截器是动态拦截action调用的对象,它提供了一种机制可以使开发者可以定义在一个action执行的前后执行的代码,也可以在一个action执行前阻止其执行,同时也提供了一种可以提取action中可重用部分的方式。在aop(aspect-oriented programming,面向切面编程)中拦截器用于在某个方法或字段被访问之前,进行拦截然后在之前或之后加入某些操作。
[0107]
在一些实施例中,在通过每个数据库连接代理分别创建一个数据库连接任务并发送至对应的数据库管理模块之前,还包括:数据库连接代理连接将数据转接模块预先配置的路由规则与命令id进行比较,得到解析后的每条sql命令需要访问的数据源的名称;数据库连接代理根据数据源的名称并创建与数据源的名称对应的数据库连接任务。
[0108]
具体的,如图3和图4所示,图3是本发明实施例的一种数据路由的方法框图,图4是本发明实施例提供的一种数据库路由配置规则的示意图,每一条数据库执行的sql命令的sql命令包括:命令id,一个字符串,形如:cn.modulea;命令内容,一个标准的sql语句,形如:select*from user1。作为一个举例,数据路由配置规则cn.modulea

a、cn.modulea
→b……
,其中,a、b等为数据库的名称,数据库连接代理会将sql命令中的命令id与数据路由配置规则去比较,将sql命令id中为cn.modulea开头的访问a数据库,即sql命令中id为cn.modulea的访问的数据源的名称是a,得到要访问的数据源的名称后,数据库连接代理根据数据源的名称并创建与数据源的名称对应的数据库连接任务。在一些实施例中,数据库连接代理根据数据源的名称创建对应的数据库连接任务,具体包括:数据代理连接根据对比后得到的数据源的名称,在多个实际数据源中选出与对比得到的数据源的名称相同的对应的目标数据源;因为对比后得到的数据源的名称就是要访问的目标数据源的名称,数据代理连接针对选出的目标数据源创建对应的数据库连接任务。其中,数据库连接代理连接多个实际的数据库,所以数据库连接代理可以根据数据路由配置规则访问任意一个数据库。
[0109]
在一些实施例中,数据库管理模块230根据数据库连接任务选择对应的数据库以执行数据库连接任务,具体包括:数据库管理模块230根据目标数据源确定目标数据库的名称,根据目标数据库的名称获取目标数据库的实际地址,例如,数据库管理模块根据目标数据源确定目标数据库的名称a,在#a数据源配置中,可以得到目标数据库的实际地址,例如“jdbc-ur1:jdbc:oracle:thin:@127.0.0.1:1521:orc1”,数据库管理模块230通过目标数据源创建一个目标数据库连接,目标数据库连接根据目标数据库的实际地址向目标数据库发送sql命令的执行计划,目标数据库按照sql命令中的命令内容进行数据的读写操作,并将读写操作的结果返回至事务管理210。其中,sql命令的执行计划是指在执行sql命令前,需要通知数据库预先执行校验一下sql内容,校验一下是否存在低级的语法错误,只有校验通过后才执行sql命令,这个执行前的校验操作称为执行计划。
[0110]
数据库是一个软件部署在服务器上,程序访问这个软件就需要就其部署的实际服务器地址,也就是上面提到的数据库实际地址。
[0111]
在一些实施例中,在目标数据库按照sql命令中的命令内容进行数据的读写操作,
并将读写操作的结果返回至事务管理器210之后,还包括:事务管理器210判断对应的目标数据库的执行结果是否正确,如果正确,则事务管理器210依次向每个sql命令对应的目标数据库发起保存执行事务的提交操作,如果错误,则事务管理器210依次向每个sql命令对应的目标数据库发起执行事务的回滚操作。具体的,程序执行业务操作时,事务管理器将被自动打开,通过创建的数据库连接执行sql命令,sql命令执行完成后如果没有出现报错,事务管理器就认为sql命令操作是正确的,执行提交;如果出现报错,那么事务管理器就认为sql命令的操作是不正确的,执行回滚。
[0112]
操作数据库的流程是:从数据源获取数据库连接,通过数据库连接创建执行计划,通过计划执行sql命令,这个过程统称一个事务。如果在执行过程中没有出现报错,说明数据处理正确,那么则事务管理器依次向每个sql命令对应的目标数据库发起保存执行事务的提交操作,使得操作数据落入数据库,如果在执行过程有一个地方报错,数据库就不会将数据写入数据库,此时就需要回滚操作,重新进行连接等读写操作。
[0113]
本发明实施例通过事务管理器210向数据转接模块220发出获取数据库连接的请求,数据转接模块220根据获取数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块230;
[0114]
数据库管理模块230根据数据库连接任务选择对应的数据库以执行数据库连接任务获得数据库连接任务的执行结果,并将执行结果返回事务管理器。本发明实施例解决分布式系统对于对多数据库的访问需求的问题,并且在一个事务中支持对于多个数据库的写操作并且保证事务一致性,同时可以灵活的多数据源路由配置,无需代码侵入。
[0115]
本发明的有益效果如下:
[0116]
1、可以实现分布式系统中的多个应用同时访问多个数据库;
[0117]
2、可以实现分布式系统的一个应用同时访问多个数据源,解决了分布式系统中的一个应用与多个数据库之间的连通性的问题;
[0118]
3、能够保证在一个事务中支持多个数据库的写操作并且保证事务一致性,同时可以灵活的配置多个数据源路由规则,对于代码无侵入。
[0119]
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0120]
实施例三
[0121]
如图7所示,本发明实施例还提供了一种计算机可读存储介质300,计算机可读存储介质300内存储有计算机程序310,该计算机程序310被处理器执行时,实现:
[0122]
事务管理器向数据转接模块发出获取数据库连接的请求;
[0123]
数据转接模块根据获取数据库连接的请求建立多个数据库连接代理,每个数据库连接代理分别创建一个数据库连接任务并将数据库连接任务发送至数据库管理模块;
[0124]
数据库管理模块根据数据库连接任务选择对应的数据库以执行数据库连接任务获得数据库连接任务的执行结果,并将执行结果返回所述事务管理器。
[0125]
图1和图5所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0126]
实施例四
[0127]
请参见图8,本发明实施例还提供一种电子设备。图8是本发明的一个实施例电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(random-access memory,ram),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
[0128]
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是工业标准体系结构isa总线、外设部件互连标准pci总线或扩展工业标准结构eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
[0129]
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成基于集中配置的自动化容灾系统。处理器,执行存储器所存放的程序,并具体用于执行图1和图3所示的任意一种分布式异步数据通讯的处理方法。
[0130]
上述如图1和图5所示实施例揭示的分布式数据路由的处理方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(centralprocessing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integratedcircuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,
或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
[0131]
当然,除了软件实现方式之外,本发明的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0132]
虽然本发明提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。
[0133]
本发明是参照根据本发明实施例的方法、设备、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0134]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0135]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0136]
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0137]
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、
电子设备及可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0138]
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1