基于网省地统一调度的多级负载均衡及服务器角色切换方法
【专利摘要】本发明公开了一种基于网省地统一调度多级负载均衡及服务器角色切换方法，它采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，自动调节集群的负载状态，数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；本发明通过系统配置实现动态调度，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换等智能调度。
【专利说明】
基于网省地统一调度的多级负载均衡及服务器角色切换方法
技术领域
[0001]本发明涉及变电站数据处理，具体来说涉及一种基于网省地三级流媒体统一调度的多级负载均衡及服务器角色切换方法。
【背景技术】
[0002]随着变电站视频及环境监控系统建设的升级，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据也成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用:存储服务器+IPSAN;NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难、可靠性低和数据无法充分共享等弱点。随着网络视频监控规模的不断扩大，为了提升系统的整体性能与服务质量，防止单点瓶颈的发生，需要将集群与负载均衡技术应用到视频监控系统，做到地区、省、网三级级联同时兼顾视频监控系统特点、码流的实时性与数据量大的特点。
【发明内容】
[0003]本发明所要解决的技术问题，就是提供一种基于网省地统一调度多级负载均衡及服务器角色切换方法，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换的智能调度。
[0004]本发明的目的可通过以下的技术措施来实现:
[0005]—种基于网省地统一调度的多级负载均衡及服务器角色切换方法，包括如下内容:
[0006]采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上;元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况；当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态;数据节点内同时有提供磁盘级的负载均衡，根据磁盘的1负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响;将数据节点上的硬盘拔出，插入到其他数据节点，从而对故障的数据节点上的数据快速恢复，这样既减少集群对数据恢复的压力又不对客户端读写产生影响。
[0007]本发明方法中，采用高速并发访问技术，通过多进程、多线程并行执行，在大规模的数据处理中采用异步并发技术，避免信令交互及数据传输的等待，提高信令交互与数据传输的效率;在并发过程中防止冲突，需要考虑原子操作与并发控制，在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，确保各级客户端各功能的高速并发操作。
[0008]本发明方法中，采用统一命名空间管理，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性；同时，存储的扩展仅限存储内部，不会影响到系统与业务系统的接口，保证了存储空间内数据的高共享能力。
[0009]有益效果:与现有技术相比，本发明采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。本发明将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。本发明针对南网现状研发网/省/地三级平台不同厂商流媒体服务的标准化注册式集群服务，确保集群服务软件的标准化程度。通过系统配置实现动态调度，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换等智能调度。
【附图说明】
[0010]图1是本发明的多级级联业务组网图。
【具体实施方式】
[0011]下面结合附图和【具体实施方式】对本发明作进一步的说明。
[0012]本发明提供一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，采用中心服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的1负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样既减少集群对数据恢复的压力，又不对客户端读写产生影响。
[0013]通过多进程、多线程并行执行。在大规模的数据处理中采用异步并发技术，避免信令交互及数据传输的等待，提高信令交互与数据传输的效率。在并发过程中防止冲突，需要考虑原子操作与并发控制。在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，确保各级客户端各功能的高速并发操作。
[0014]统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。
[0015]如图1所示，各业务服务器分布式安装，各业务服务器功能描述如下:平台服务:
[0016]I)中心管理服务器:业务管理服务器，系统的核心业务服务器。负责处理监控的业务逻辑，进行权限等控制。根据业务逻辑需要，发送命令给DMS、MTS等服务器进行处理。系统的容错、负载均衡、动态集群等都在CMS上实现。
[0017]2)流媒体服务器:负责从设备获取视音频数据，以标准流媒体协议转发给客户端。实现媒体数据的一对多、多对多转发/分发。
[0018]3)级联服务器:用于变电站视频及环境监控系统地区主站系统整合及数据采集。
[0019]4)设备管理服务器:负责进行设备管理，向设备执行查询配置命令，向设备发送操作命令，收集设备网管信息，收集报警信息并执行报警联动策略。
[0020]站端服务:
[0021]I)视频质量诊断服务器:通过后端智能视频分析管理，根据平台配置的轮巡计划、任务和方案，对前端视频设备进行轮巡检测分析，对视频的清晰度、亮度、对比度、颜色、运动、噪声、相似度等进行量化，并对出现的视频模糊、视频抖动运动、噪声过大、条纹干扰、视频丢失、视频冻结、视频遮挡和场景变化等异常现象进行报警统计。
[0022]2)视频浓缩服务器:针对南网视频架构开展基于内容摘要提取技术的历史视频精简算法研究，实现针对浓缩录像的解码、检索、标识，并实现浓缩录像的分类编目。研究灵活的视频录像存储/迀移策略，实现根据实际情况自定义文件存储/迀移策略。
[0023]本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本
【发明内容】
所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。
【主权项】
1.一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，其特征在于包括如下内容: 采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上;元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况；当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态;数据节点内同时有提供磁盘级的负载均衡，根据磁盘的1负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响;将数据节点上的硬盘拔出，插入到其他数据节点，从而对故障的数据节点上的数据快速恢复，这样既减少集群对数据恢复的压力又不对客户端读写产生影响。2.根据权利要求1所述的方法，其特征在于:采用高速并发访问技术，通过多进程、多线程并行执行，在大规模的数据处理中采用异步并发技术。3.根据权利要求1所述的方法，其特征在于:采用统一命名空间管理，整体对外提供一个访问IP。
【文档编号】H04L29/08GK105939387SQ201610478493
【公开日】2016年9月14日
【申请日】2016年6月23日
【发明人】樊腾飞, 李金 , 陶文伟, 张喜铭, 何锡祺, 赵旋宇, 胡荣
【申请人】中国南方电网有限责任公司