分布式数据库监控方法、装置、电子设备及存储介质与流程

1.本技术实施例涉及通信技术领域，特别涉及一种分布式数据库监控方法、装置、电子设备及存储介质。


背景技术：

2.近几年，随着互联网行业的发展，用户消费模式发生变化，银行业务增长，金融级数据库面临很大的挑战。分布式数据库能够很好地满足银行对数据存储的高可靠性和高可用性要求，是今后金融级数据库发展的主流方向。对于银行来说，因其业务的特殊性，对数据提出了严格的要求，因此对数据库的运维监控显得尤为重要，而对于分布式数据库更甚。金融级数据库要求其运维监控装置对系统进行不间断的实时监控，并且要实时反馈系统的运行状态，做到事务下发前及时告警发现故障，事务下发后提供详实的数据用于追查定位问题，从而保证业务持续稳定运行，为客户提供安全可靠的服务。
3.然而，传统的运维监控装置为了最大限度的发挥分布式数据库的性能，所有的监控装置节点原则上需要安装部署在不同的机器上，但是在每台服务器部署采集端，耦合高，侵入高，采集端程序的编写高度依赖于日志等信息的格式，使程序模块的可重用性、移植性、独立性大大降低，增加了程序开发人员的代码维护难度。


技术实现要素：

4.本技术实施例的主要目的在于提出一种分布式数据库监控方法、装置、电子设备及存储介质。
5.为实现上述目的，本技术实施例提供了一种分布式数据库监控方法，包括：向分布式数据库服务器集群中的数据转发设备下发数据采集指令；数据采集指令用于指示数据转发设备监听并复制服务器集群的通讯数据；获取数据转发设备复制的通讯数据；根据复制的通讯数据对分布式数据库进行监控分析。
6.为实现上述目的，本技术实施例还提供了一种分布式数据库监控方法，包括：获取分布式数据库监控装置下发的数据采集指令；监听并复制分布式数据库服务器集群之间的通讯数据，将通讯数据转发至分布式数据库监控装置。
7.为实现上述目的，本技术实施例还提供了一种分布式数据库监控装置，包括：指令下发模块，用于向分布式数据库服务器集群中的数据转发设备下发数据采集指令；数据采集指令用于指示数据转发设备监听并复制服务器集群的通讯数据；数据采集模块，用于获取数据转发设备复制的通讯数据；监控分析模块，用于根据复制的通讯数据对分布式数据库进行监控分析。
8.为实现上述目的，本技术实施例还提供了一种数据转发设备，包括：指令获取模块，用于获取分布式数据库监控装置下发的数据采集指令；数据监听模块，用于监听并复制分布式数据库服务器集群之间的通讯数据，将通讯数据转发至分布式数据库监控装置。
9.本技术提出的分布式数据库监控方法，通过在数据转发设备上采集各数据库各服
务器节点的通讯数据来获得业务数据实现对分布式数据库的监控，监控装置获取数据转发设备采集并复制的通讯数据来分析得到业务数据，从而降低对服务器节点的侵入，使得数据采集端的程序编写难度降低，程序具有良好的通用性，减轻了运维人员开发代码以及维护监控系统的难度。
附图说明
10.图1是根据本发明第一实施例中分布式数据库监控方法的流程图；
11.图2是根据本发明第一实施例中分布式数据库网络的结构示意图；
12.图3是根据本发明第二实施例中分布式数据库监控方法的流程图；
13.图4是根据本发明第三实施例中分布式数据库监控装置的结构示意图；
14.图5是根据本发明第四实施例中数据转发设备的结构示意图；
15.图6是根据本发明第五实施例中电子设备的结构示意图。
具体实施方式
16.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
17.本发明第一实施例涉及一种分布式数据库监控方法，具体流程如图1所示，包括：向分布式数据库服务器集群中的数据转发设备下发数据采集指令；数据采集指令用于指示数据转发设备监听并复制服务器集群的通讯数据；获取数据转发设备复制的通讯数据；根据复制的通讯数据对分布式数据库进行监控分析。
18.本实施例中的分布式数据库监控方法的执行主体为分布式数据库监控装置，可以部署在任意与数据转发设备通信连接的终端或服务器上。本实施例中的由分布式数据库服务器集群、分布式数据库监控装置以及数据转发设备组成的网络结构如图2所示。
19.下面对本实施例中的分布式数据库监控方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实施细节，并非实施本方案的必须。
20.本实施例中的分布式数据库监控方法如图1所示，具体包括：
21.步骤101，向分布式数据库服务器集群中的数据转发设备下发数据采集指令。
22.具体地说，本实施例中的分布式数据库服务器集群为多个服务器节点所组成的服务器集群，各个服务器节点上均承载有分布式数据库的数据。数据转发设备与各个服务器节点通讯连接，同时，数据转发设备与本实施例中的分布式数据库监控装置，即监控装置通信连接，接收监控装置下发的数据采集指令开始采集各个服务器节点之间的通讯数据。
23.步骤102，获取数据转发设备复制的通讯数据。
24.具体地说，数据转发设备预先对自身的端口进行配置，将与各服务器节点相连的端口设置为源端口，并将与监控装置相连的端口设置为目的端口。在这一配置过程中，数据转发设备需要保证源端口与目的端口的带宽相匹配，同时在目的端口上仅配置转发复制的
通讯数据的业务，避免其他数据对通讯数据的转发造成影响，或带宽不足时不能及时转发全部复制的报文。当数据转发设备接收到来自监控装置的数据采集指令时，开始监听源端口上的通讯数据并将通讯数据复制后通过目的端口转发至监控装置供监控装置分析。
25.步骤103，根据所述复制的通讯数据对所述分布式数据库进行监控分析。
26.具体地说，监控装置接收数据转发设备通过目的端口转发的通讯数据，并对通讯数据进行分析挖掘出业务数据，从而对分布式数据库进行监控分析统计。
27.在一个例子中，在监控装置获取到通讯数据后，根据各个服务器之间通讯协议的包结构对通讯数据进行解析得到业务数据，即将通讯数据中各个数据包中的网络信息，如ip地址、mac地址等剔除后，得到实际承载的业务数据，进一步根据业务数据，即分布式数据库的系统日志以及各组件运行日志，通过对日志的分析帮助问题定位、故障排查、给出数据库语言优化建议等。
28.在实际的应用中，本实施例中的数据转发设备除了通过物理的数据转发设备来实现，例如：交换机、路由器等设备；还可以在虚拟局域网vlan或vxlan中实现，例如通过一个vlan中若干个端口向一个与监控装置相连的目的端口进行镜像数据的转发，或者从若干个vlan向一个目的端口进行镜像数据的转发。
29.相较于本领域的相关技术，本实施例中通过端口镜像复制各个服务器节点之间的通讯数据，不会对服务器节点之间的正常通讯造成影响；此外，通过端口镜像采集服务器节点之间的通讯数据降低了各服务器之间数据的耦合性和侵入程度，同时使监控装置端程序模块具有良好的通用性，降低了开发难度以及代码维护难度。
30.需要说明的是，本实施例中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
31.本发明第二实施例涉及一种分布式数据库监控方法，本实施例中的分布式数据库监控方法应用于数据转发设备，数据转发设备与各服务器节点以及第一实施例中监控装置相连，的具体流程如图3所示，包括：
32.步骤301，获取分布式数据库监控装置下发的数据采集指令。
33.步骤302，监听并复制分布式数据库集群中的通讯数据，将通讯数据转发至分布式数据库监控装置。
34.具体地说，数据转发设备预先对各个端口进行配置，将与各服务器节点相连的端口设置为源端口，并将与监控装置相连的端口设置为目的端口。在这一配置过程中，数据转发设备需要保证源端口与目的端口的带宽相匹配，同时在目的端口上仅配置转发复制的通讯数据的业务，避免其他数据对通讯数据的转发造成影响。当数据转发设备接收到来自监控装置的数据采集指令时，开始监听源端口上的通讯数据并将所有流经源端口的通讯数据复制后通过目的端口转发至监控装置供监控装置分析。
35.在一个例子中，本实施例中的数据转发设备可以是虚拟交换机或虚拟路由器，以虚拟局域网vlan为例，可以将一个vlan中的多个虚拟端口中流经的通讯数据进行镜像复制后，向一个与监控装置相连的目的端口进行镜像数据的转发，或者从若干个vlan向一个目的端口进行镜像数据的转发。本实施例中所提到的vlan可以由一个服务器上所承载的多个分布式数据库虚拟节点构成，也可是多个服务器构成的集群中，多个分布式数据库虚拟节点构成。
36.可以发现，本实施例是与第一实施例相配合实施的应用于数据转发设备上的分布式数据库监控方法，第一实施例中提到的相关的实施细节可以在本实施例中应用，相应的，本实施例中的所提到的相关的实施细节也可以应用在第一实施例中。
37.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
38.本发明第三实施例涉及一种分布式数据库监控装置，具体结构如图4所示，包括：
39.指令下发模块401，用于向分布式数据库服务器集群中的数据转发设备下发数据采集指令；所述数据采集指令用于指示所述数据转发设备监听并复制所述服务器集群的通讯数据。
40.数据采集模块402，用于获取所述数据转发设备复制的通讯数据。
41.监控分析模块403，用于根据所述复制的通讯数据对所述分布式数据库进行监控分析。
42.在一个例子中，监控分析模块403具体用于分析分布式数据库的通讯协议包结构，根据包结构解析复制的通讯数据中的数据包得到业务数据。
43.值得一提的是，本实施中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
44.本发明第四实施例涉及一种数据转发设备，具体结构如图5所示，包括：
45.指令获取模块501，用于获取分布式数据库监控装置下发的数据采集指令。
46.数据监听模块502，用于监听并复制分布式数据库服务器集群之间的通讯数据，将通讯数据转发至分布式数据库监控装置。
47.在一个例子中，数据监听模块502具体用于通过源端口监听所述服务器集群的通讯数据；通过目的端口转发复制的通讯数据至所述分布式数据库监控装置。
48.值得一提的是，本实施中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
49.可以发现，本发明的第三实施例与第四实施例分别是与第一实施例与第二实施例相配合实时的虚拟装置实施例，第一、第二实施例中所提到的相关实施细节分别可以应用在第三、第四实施例中，同样地，第三、第四实施例中所提到的相关实施细节分别可以应用在第一、第二实施例中。
50.本发明的第五实施例涉及一种服务器，如图6所示，包括：至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行第一、或第二实施例中的分布式数据库监控方法。其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器
602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
51.本发明第六实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。