时，通过设置主机的频率参数改变主机向监控服务器发送监控数据的发送频率；其中，主机的频率参数包括采样频率、发送频率和调整频率。
[0050]所述步骤2.2包括:当监控服务器所收集的监控数据变化值大于所述阈值时，执行如下的步骤:
[0051]步骤2.2.1:将主机监控数据的发送频率设置为监控数据采样频率的两倍；则此时的发送频率大于采样频率，导致某些时刻内主机无监控数据发送；
[0052]若某一发送时间点监控服务器没有接收到监控数据，则监控服务器向数据库中插入前一时间点接收到的数值作为默认值；
[0053]步骤2.2.2:调整主机监控数据的发送频率，在设定的调整时刻计算过去一个周期的平均错误率，即某一发送时间点监控服务器没有接收到监控数据且所述监控服务器向数据库中插入前一时间点接收到的数值为错误的情况；
[0054]若平均错误率大于预定值MAX_ERR0R，则将主机监控数据的发送频率降至当前值的一半；
[0055]若平均错误率小于等于预定值MAX_ERR0R，则将主机监控数据的发送频率增加INC，所述INC为预定的增加值。
[0056]所述步骤3中的函数关系是指一台主机的监控数据能够由另一台主机的监控数据推导出，
[0057]假设主机A和主机B在某个属性上存在函数关系ValueA = f (ValueB)，则仅需主机A或者主机B中的任一个向监控服务器发送监控数据；
[0058]其中，ValueA表示主机A的属性值，ValueB表示主机B的属性值，f ()表示ValueA和ValueB之间存在的函数关系。
[0059]更为具体地，本方法的系统结构如图1所示。监控系统主要包括监控服务器、受监控的主机和用于传输监控数据的网络。主机配置了用于采集监控数据的传感器，根据设定的频率采集主机的运行时状态信息。每台主机根据预定的发送频率，定期向监控服务器发送采集到的监控数据。监控服务器负责监控数据的接收和处理以及监控数据的显示，监控服务器还可以远程设置主机上传感器的配置参数，例如采样频率、发送频率等。网络主要实现监控服务器与主机的通信，根据设定的通信协议完成监控数据的传输。
[0060]监控数据自适应压缩方法工作原理如下:
[0061]1.对于监控服务器需要以较高频率收集的监控数据，应设定一个阀值，只有当监控数据值的变化大于该阀值时，主机才向监控服务器发送新的数据。每台主机可以设定三个频率参数:采样频率、发送频率和调整频率，其中采样频率和调整频率是固定的，而发送频率是动态可调的。
[0062]a)首先，将发送频率设成采样频率的2倍；
[0063]b)由于发送频率大于采样频率，导致有些发送时刻没有采集数据可发。如果某一发送时间点监控服务器没有接收到数据，则监控服务器向数据库中插入前一时间点接收到的数值作为默认值。当然，插入的数据可能是不准确的，甚至是错误的。
[0064]c)根据调整频率，在预定的调整时刻计算过去一个周期的平均错误率。
[0065]d)如果错误率大于预定值MAX_ERR0R，则将发送频率降至当前值的一半。
[0066]e)如果错误率不大于预定值，则发送频率增加INC，INC是预定的增加值。
[0067]2.由于计算集群或云平台中存在大量主机，可以发现主机间存在的函数关系。对于某些关系，不需要所有的主机不断地向监控服务器发送数据。
[0068]例如，主机A和主机B在某个属性上存在函数关系ValueA = f (ValueB)，其中ValueA代表主机A采集的数据值，ValueB代表主机B的数据值。那么，主机B (或主机A)不需要向监控服务器发送对应属性采集的数据值，因为监控服务器可以根据主机A和主机B之间存在的函数关系f (X)由主机A发送的数值来推断出主机B的值，如图2所示。
[0069]由于主机的运行时状态信息是不断变化的，主机间存在的关系在一段时间之后可能发生改变。因此，需要定期发现主机间存在的关系以适应计算集群或云平台中主机运行模式的变化。
[0070]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【主权项】
1.一种监控数据自适应压缩系统，其特征在于，包括:监控服务器、主机、传输监控数据网络模块，所述主机内配置了采集监控数据传感器，其中， -所述监控服务器，用于监控数据的接收和处理以及监控数据的显示，或者远程设置主机内的采集监控数据传感器的配置参数； -所述主机，用于根据预设的发送频率，定期向监控服务器发送采集到的监控数据； -所述传输监控数据网络模块，用于实现监控服务器与主机的通信，根据设定的通信协议完成监控数据的传输； -所述采集监控数据传感器，用于根据设定的频率采集主机的运行时状态信息，所述主机的运行时状态信息构成相应的监控数据。2.—种监控数据自适应压缩方法，其特征在于，包括如下步骤: 步骤1:构建监控系统，用于实现对多个主机运行状态的数据监控； 步骤2:为监控服务器所收集的监控数据设定一个阈值，所述阈值用于表征监控数据值的变化情况，根据监控服务器所收集的监控数据变化值是否大于所述阈值执行相应的操作； 步骤3:定期查找计算集群或云平台中存在的多个主机之间的函数关系，若主机之间存在函数关系，则仅需在所述存在函数关系的主机中任选一个主机向监控服务器发送监控数据；若主机之间不存在函数关系，则对应的每个主机均需要向监控服务器发送监控数据。3.根据权利要求2所述的监控数据自适应压缩方法，其特征在于，所述步骤1包括:构建包含监控服务器、主机、传输监控数据网络模块的监控系统，且所述主机内配置了采集监控数据传感器；所述主机能够将采集监控数据传感器采集到的主机的监控数据通过传输监控数据网络模块传输至监控服务器。4.根据权利要求2所述的监控数据自适应压缩方法，其特征在于，所述步骤2包括: 步骤2.1:为监控服务器所收集的监控数据设定一个阈值，所述阈值用于表征监控数据值的变化情况； 步骤2.2:当监控服务器所收集的监控数据变化值小于所述阈值时，主机不向监控服务器发送新的监控数据； 当监控服务器所收集的监控数据变化值大于所述阈值时，通过设置主机的频率参数改变主机向监控服务器发送监控数据的发送频率；其中，主机的频率参数包括采样频率、发送频率和调整频率。5.根据权利要求4所述的监控数据自适应压缩方法，其特征在于，所述步骤2.2包括:当监控服务器所收集的监控数据变化值大于所述阈值时，执行如下的步骤: 步骤2.2.1:将主机监控数据的发送频率设置为监控数据采样频率的两倍；则此时的发送频率大于采样频率，导致某些时刻内主机无监控数据发送； 若某一发送时间点监控服务器没有接收到监控数据，则监控服务器向数据库中插入前一时间点接收到的数值作为默认值； 步骤2.2.2:调整主机监控数据的发送频率，在设定的调整时刻计算过去一个周期的平均错误率，即某一发送时间点监控服务器没有接收到监控数据且所述监控服务器向数据库中插入前一时间点接收到的数值为错误的情况； 若平均错误率大于预定值MAX_ERROR，则将主机监控数据的发送频率降至当前值的一 半; 若平均错误率小于等于预定值MAX_ERROR，则将主机监控数据的发送频率增加INC，所述INC为预定的增加值。6.根据权利要求2所述的监控数据自适应压缩方法，其特征在于，所述步骤3中的函数关系是指一台主机的监控数据能够由另一台主机的监控数据推导出， 假设主机A和主机B在某个属性上存在函数关系ValueA = f (ValueB)，则仅需主机A或者主机B中的任一个向监控服务器发送监控数据； 其中，ValueA表示主机A的属性值，ValueB表示主机B的属性值，f ()表示ValueA和ValueB之间存在的函数关系。
【专利摘要】本发明提供了一种监控数据自适应压缩方法及系统，包括步骤1：构建监控系统；步骤2：为监控服务器所收集的监控数据设定一个阈值，根据监控服务器所收集的监控数据变化值是否大于所述阈值执行相应的操作；步骤3：定期查找计算集群或云平台中存在的多个主机之间的函数关系，若主机之间存在函数关系，则仅需在所述存在函数关系的主机中任选一个主机向监控服务器发送监控数据；若主机之间不存在函数关系，则对应的每个主机均需要向监控服务器发送监控数据。本发明通过减少单个主机发送的数据量和发现主机间存在的函数关系来减少需要发送监控数据的主机数目有效解决监控平台中主机数量多而引起的网络中监控数据呈爆炸式增长的问题。
【IPC分类】H03M7/30
【公开号】CN105281778
【申请号】CN201510673139
【发明人】陈德来, 马丹
【申请人】上海通创信息技术有限公司
【公开日】2016年1月27日
【申请日】2015年10月16日