可灵活扩展的it系统运行数据采集方法及系统的制作方法
【专利摘要】本发明提供了一种可灵活扩展的IT系统运行数据采集方法及系统，包括：步骤A：对关键技术指标的采集进行策略配置；步骤B：根据所述策略配置执行采集并输出采集结果。本发明实现了数据采集平台的执行框架和策略配置的分离，对未知(或变化)的数据源及数据格式通过配置完成，使得平台主体框架稳定；应用本发明对平台原有部署的数据采集功能没有影响；本发明能够广泛应用于综合数据采集、监控系统，通过对关键技术指标的建模，实现指标可灵活定义，采集策略可自由添加，在原始采集结果与指定义标无法直接对应时，可通过数据后处理策略环节实现两者的匹配，使得系统具有优异的动态扩展性。
【专利说明】
可灵活扩展的IT系统运行数据采集方法及系统
技术领域
[0001] 本发明设及系统动态扩展领域，具体地，设及可灵活扩展的IT系统运行数据采集 方法。
【背景技术】
[0002] 在信息化高度发展的今天，信息技术在各个行业中的应用都得到了前所未有的重 视。组织对于信息系统的依赖也越来越深，依靠原始的现场人力点检方法、已经无法满足现 有IT运维保障的要求，更加无法满足IT系统持续优化的管理要求。因此，各个专业化厂 商，如服务器厂商、虚拟化厂商、网络设备厂商等，与设备供应的同时都提供了相应的数据 采集接口和自动化监控系统，运些专业化系统虽然针对自身设备和产品能够进行细致全面 的管控、但是无法形成统一的管理视图、各个系统形成了信息孤岛，无法满足大中型组织的 信息化管理需求；应运而生的综合监控的解决方案或平台，通过标准的接口和协议从各个 设备及下级管理系统中采集数据，统一分析及展示，有效解决了运个问题，但是也存在新的 问题：
[0003] 1、关键技术指标的定义存在较大不确定性。对于同样的关键技术指标，不同的用 户可能有不同的理解和需求，所W对于关键技术指标的定义也会存在细微差别。比如操作 系统上的一个关键技术指标：CPU使用状态：
[0004] 定义①：
[0005]
[0011] 关键技术指标定义的变化，使得系统架构必须可W灵活支持，如果需要通过编码 来适应运些变化，那会使系统的稳定性显著降低。
[0012] 2、监控对象不可枚举。随着信息化技术的快速发展，不仅原有的监控对象有了新 的类型和版本，而且产生了新的事物。比如，云计算的发展，引入了各种虚拟资源监控的要 求，例如新增vCenter主机CPU数据的采集，如何动态适应监控对象的扩展也是监控平台碰 到的一个问题。
[0013] 3、采集信息的格式无法预知。虽然通常的综合监控产品会实现大多数的标准数据 采集协议，如SNMP、JMX、agent、Syslog、rest、webservice等，但是在应用层面无法预知采 集信息的具体数据格式。换句话，不仅是不同采集协议采集到的数据结构是不同的，同样是 通过标准协议（如webservice)采集到的数据，数据内容是什么含义也是千差万别的。同 一个关键技术指标对于不同的监控对象，用不同的采集协议采集数据时，实现数据的格式 化和归一化是非常重要的。如果系统不能自适应，那么从数据采集层、格式化层、数据展现 层都要进行相应的修改，运样必定会影响整个系统的稳定性。
[0014] 因此，需要有一种设计机制，来支持平台的动态变更和扩展，同时保证平台整体的 稳定。
【发明内容】
[0015] 针对现有技术中的缺陷，本发明的目的是提供一种可灵活扩展的IT系统运行数 据采集方法。本发明所描述的设计机制，即为了满足数据采集平台的动态化扩展要求，将数 据采集平台设计为关键技术指标的定义、采集方式定义和采集数据后处理Ξ个层次，实现 对不确定的采集数据要求，未知（或变化的）数据源及数据格式的采集需求。
[0016] 根据本发明提供的一种可灵活扩展的IT系统运行数据采集方法，包括如下步骤：
[0017] 步骤A :对关键技术指标的采集进行策略配置；
[0018] 步骤B :根据所述策略配置执行采集并输出采集结果；
[001引其中：
[0020] 所述步骤A包括如下步骤：
[0021] 步骤A1 :定义关键技术指标；
[002引步骤A2 :定义采集策略；
[0023] 步骤A3 :定义后处理策略；
[0024] 所述步骤B包括如下步骤：
[00巧]步骤B1 :获取关键技术指标的定义；
[002引步骤B2 :获取采集策略；
[0027] 步骤B3 :根据采集策略执行定义的关键技术指标的采集，得到原始采集数据；
[0028] 步骤B4 :获取后处理策略，并对原始采集数据执行后处理策略，得到采集结果；
[0029] 步骤B5 :将采集结果输出。
[0030] 优选地，所述步骤A1包括：
[0031] 定义关键技术指标的数据结构，数据结构包括内容、类型、数值、属性、属性的顺 序。
[0032] 优选地，所述步骤A2包括：
[0033] 定义拆解协议类型和采集脚本。
[0034] 优选地，所述步骤A3包括：
[0035] 对原始采集数据进行分析、裁剪，使得采集结果与关键技术指标匹配。
[0036] 优选地，还包括如下步骤：
[0037] -将已定义的对关键技术指标、采集策略、后处理策略存储于数据库中；
[0038] -接受对数据库存储的已定义的对关键技术指标、采集策略、后处理策略的调用和 修改W进行策略配置。
[0039] 根据本发明提供的一种可灵活扩展的IT系统运行数据采集系统，其用于执行上 述的可灵活扩展的IT系统运行数据采集方法。
[0040] 与现有技术相比，本发明具有如下的有益效果：
[0041] 1、本发明实现了数据采集平台的执行框架和策略配置的分离，对未知（或变化） 的数据源及数据格式通过配置完成，使得平台主体框架稳定。
[0042] 2、应用本发明搭建的数据采集平台，在扩展监控对象、变更监控属性时，监控功能 的上线周期、所花费的成本，都能达到最理想的效果，同时对平台原有部署的数据采集功能 没有影响。
[0043] 3、本发明能够广泛应用于综合数据采集、监控系统，通过对关键技术指标的建 模，实现指标可灵活定义，采集策略可自由添加，在原始采集结果与指定义标无法直接对应 时，可通过数据后处理策略环节实现两者的匹配，使得系统具有优异的动态扩展性。
【附图说明】
[0044] 通过阅读参照W下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0045] 图1为执行框架与策略配置分离示意图。
[004引 图2为示例图。
【具体实施方式】
[0047] 下面结合具体实施例对本发明进行详细说明。W下实施例将有助于本领域的技术 人员进一步理解本发明，但不W任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进。运些都属于本发明 的保护范围。
[0048] 1、关键技术指标的定义
[0049] 关键技术指标，即是监控采集的数据，用来反映被监控对象的各种状态的指标，可 W是单行单值，单行多值或者多行多值；数值可W是数字型、字符串、百分比类型等。比如W "操作系统"作为被监控对象，可能定义CPU使用状态、磁盘使用状态为其关键技术指标的内 容，而"CPU使用状态"运项指标又可能具有"系统CPU使用率"、"用户CPU使用率"等多项 指标属性。关键技术指标具有动态性，其值是系统在运行过程中因各种因素作用而不断变 化的，需要通过技术手段测量。我们设计数据采集平台的目标，就是采集运些技术指标。对 于多值的关键技术指标，可W定义技术指标的各个属性的顺序，运样可W按照不同用户的 习惯来定义数据展现。操作系统"的"CPU使用状态"运个关键技术指标为例，它的定义 如下：
[0050] 表1 :关键技术指标"CPU使用状态"定义
[0051]
[0052] 运个定义的主要目标，是规定了数据结构，之后为运个关键技术指标定义的各种采 集策略和后处理策略都是围绕运个数据结构。
[0053] 2、关键技术指标的义集策略
[0054] 采集策略是实现关键技术指标数据采集的具体实现，一个采集策略，主要包括拆 解协议类型和采集脚本：
[0055] 采集协议类型：是该采集策略的执行方式标识，整个数据采集体系根据接口类型 来决定执行该采集策略的执行部分，如agent、snmp采集引擎、rest采集引擎等，相应的采 集引擎和部件将会执行指定给自己的采集任务。
[0056] 采集脚本：是具体的数据采集功能实现，根据相应技术指标的定义，完成数据的采 集和组装。采集脚本可W是某种脚本语言（如linux下的shell脚本、windows下的bash 或VBScript脚本），也可能是一个编译过的可执行程序，总之是能够根据技术指标描述，采 集数据并生成预期输出的可执行代码。
[0057] 3、后处理策略定义
[0058] 后处理策略是一段可执行的java程序，输入的是采集的原始数据，目的在于实现 采集结果与关键技术指标的匹配。同一个关键技术指标可能适用于多个被监控对象，用不 同的采集协议采集数据，原始采集的数据与关键技术指标的定义可能不能完全匹配，或者 完全不同，那么就需要后处理策略，对原始采集数据进行分析、裁剪，使得两者完全匹配。 [005引分析，裁剪过程的代码/脚本可W自编写，平台规定了原始输出数据是一个map的 list,处理后的数据也是一个map的list,比如：需要监控交换机的端口速率，采集只能采 集到瞬时的包总量，那么分析，裁剪过程如图2 :
[0060] 4、执行框架独立，策略配置灵活
[0061] 如图1所示，通过关键技术指标的定义，对应采集策略和后处理策略的定义，执行 框架获取运些配置，按照步骤执行，输出采集结果。在运个设计方案中，原来的数据采集平 台退化为一个纯粹的执行平台，提供相应的原始数据的采集和数据处理，只要配置了策略， 数据采集平台就可W按照定义采集到所需数据。
[0062] 5、配置示例
[0063] W上文提到的需求变更为例，来说明如何基于本设计方案来应对。
[0064] 关键技术指标CPU使用状态，它的定义如下：
[0065]
[0066] 对应的AIX操作系统采集策略是：
[0067] sar-P A化 12 I grep-p Average I tai 1-2 I head-1 I awk' {0FS = ; p;rint$2, $3, $5, 10〇-$引'
[0068] 1)变更1 :现在用户只要获取CPU空闲率和使用率即可。为了实现运个变更，基于 本方案设计的数据采集平台的执行框架无需做任何修改，只需要修改原来的关键技术指标 定义和相应的采集策略定义。
[0069] 修改后的关键技术指标属性如下表：
[0070]
[0071] 修改后的AIX操作系统采集策略：
[0072] 采集接口： S甜 [007引采集脚本：
[0074] sar-P A化 12 I grep-p Average I tai 1-2 I head-1 I awk' {0FS = ; p;rint$5, 10〇-$ 引'
[007引 2)变更2 :现在用户需要监控windows机器的CPU使用状态。为了实现运个变更， 基于本方案设计的数据采集平台的执行框架无需做任何修改，只需要增加 windows对应的 采集策略定义。
[0076] 增加的windows操作系统采集策略：
[0077] 采集接口： VBS [007引采集脚本：
[0079]
[0080]
[0081] 3)变更3 :现在用户需要监控磁盘阵列的CPU使用状态。运个需求有别于变更2， 因为变更2的采集策略是脚本实现的，在脚本中可W通过编码实现数据的转换。磁盘阵列 的CPU使用状态是通过SNMP协议获取，只能获取一个CPU使用率值，那在何处转为关键技 术指标对应的2个值呢。基于本方案设计的数据采集平台的后处理策略就是实现此需求 的，执行框架无需做任何修改，只需要增加对应的采集策略定义和后处理策略即可。
[0082] 增加的磁盘阵列的采集策略：
[0083] 采集接口： SNMP
[0084] 采集脚本：填写对应的 oid，1. 3. 6. 1. 4. 1. 789. 1. 2. 1. 3. 0
[0085] 后处理策略：
[0086]
[0087] 在某云管理平台产品的内容测试中，应用了本发明的技术方案，实现了对其中所 有IT资源的监控。因为长期的积累，当前已经形成了较完备的关键技术指标库，采集策略 库，对绝大多数监控对象的部署可W直接引用原有模板；如果原有模板不支持，可W通过配 置的方式快速进行扩展，不需要修改平台核屯、框架，保证平台的稳定。
[0088] 通过修改或新增关键技术指标，采集策略和后处理策略来支持对一种新监控对象 的支持，模板开发一般在半天之内，完整的测试上线周期一般为1、2天，都由使用平台的运 维人员完成，监控平台自身版本不做任何变化。
[0089] W上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可W在权利要求的范围内做出各种变形或修改，运并不影 响本发明的实质内容。
【主权项】
1. 一种可灵活扩展的IT系统运行数据采集方法，其特征在于，包括如下步骤： 步骤A :对关键技术指标的采集进行策略配置； 步骤B :根据所述策略配置执行采集并输出采集结果； 其中： 所述步骤A包括如下步骤： 步骤A1 :定义关键技术指标； 步骤A2 :定义采集策略； 步骤A3:定义后处理策略； 所述步骤B包括如下步骤： 步骤B1 :获取关键技术指标的定义； 步骤B2 :获取采集策略； 步骤B3 :根据采集策略执行定义的关键技术指标的采集，得到原始采集数据； 步骤B4 :获取后处理策略，并对原始采集数据执行后处理策略，得到采集结果； 步骤B5 :将采集结果输出。2. 根据权利要求1所述的可灵活扩展的IT系统运行数据采集方法，其特征在于，所述 步骤A1包括： 定义关键技术指标的数据结构，数据结构包括内容、类型、数值、属性、属性的顺序。3. 根据权利要求1所述的可灵活扩展的IT系统运行数据采集方法，其特征在于，所述 步骤A2包括： 定义拆解协议类型和采集脚本。4. 根据权利要求1所述的可灵活扩展的IT系统运行数据采集方法，其特征在于，所述 步骤A3包括： 对原始采集数据进行分析、裁剪，使得采集结果与关键技术指标匹配。5. 根据权利要求1所述的可灵活扩展的IT系统运行数据采集方法，其特征在于，还包 括如下步骤： -将已定义的对关键技术指标、采集策略、后处理策略存储于数据库中； -接受对数据库存储的已定义的对关键技术指标、采集策略、后处理策略的调用和修改 以进行策略配置。6. -种可灵活扩展的IT系统运行数据采集系统，其特征在于，其用于执行权利要求1 至5中任一项所述的可灵活扩展的IT系统运行数据采集方法。
【文档编号】G06F11/34GK105824741SQ201510006112
【公开日】2016年8月3日
【申请日】2015年1月6日
【发明人】徐培杰, 王磊, 伍治平, 成名, 陈军
【申请人】上海宝信软件股份有限公司