基于动态健康度模型的安全大数据分析系统及方法
【技术领域】
[0001] 本发明属于大数据分析技术领域，涉及一种大数据分析系统，尤其涉及一种基于 动态健康度模型的安全大数据分析系统；同时，本发明还涉及一种基于动态健康度模型的 安全大数据分析方法。
【背景技术】
[0002] 当前云时代，为了不断应对新的安全挑战，企业用户不断部署了诸如：防病毒系 统、防火墙、入侵检测系统、漏洞扫描系统、UTM、S0C，等等各类安防产品，送些复杂的口资 源及其安全防御设施、包括网络设备、系统及应用在运行过程中不断产生大量的日志和安 全事件。其导致的现状是：各类安全产品中的海量告警数据（日志、事件、告警信息等）由 于存在极高的误报率与数据量，使得实际应用中用户不得不将此类安全数据抛弃、或者面 对海量的告警日志信息而无所适从而导致不得不关闭产品的很多功能。
[0003] 传统安全产品的网络威胁分析方法比较依赖于传统安防设备自身分析的性能，几 乎不能给提供任何扩展。而当前安全的大数据化主要体现在W下2个方面：
[0004] (1)数据量越来越大；随着NGFW的出现，安全网关要进行应用层协议的分析，分析 的数据量大增。与此同时，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规 监测、应用监测、用户行为监测、性能检测、事务监测，等等，送些都意味着要监测和分析比 W往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处 理问题也日益凸显。
[000引 似种类越来越多；除了数据包、日志、资产数据，还加入了漏洞信息、配置信息、 身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
[0006] 现状的核必难题是无法对涯没在数据洪流中的每一个关键资产所发生的小概率 安全事件进行精准定位，提高预警的准确度。本发明通过对安全大数据技术的深入挖掘，建 立一种基于动态健康度模型的安全大数据分析系统与方法，旨在实现在大数据安全分析环 境下为每一个关键信息资产建立个性化的安全分析模型，实现精确预警。
[0007] 有鉴于此，如今迫切需要设计一种新的安全数据分析方式，W便克服现有分析方 式的上述缺陷。
【发明内容】
[0008] 本发明所要解决的技术问题是；提供一种基于动态健康度模型的安全大数据分析 系统，可提高数据的安全性。
[0009] 此外，本发明还提供一种基于动态健康度模型的安全大数据分析方法，可提高数 据的安全性。
[0010] 为解决上述技术问题，本发明采用如下技术方案：
[0011] 一种基于动态健康度模型的安全大数据分析系统，所述系统包括：终端日志类数 据模块、网络类数据模块、应用类数据模块、行为与操作类数据模块、大数据采集器模块、独 立数据集档案模块、模型建立及签名模块、日常安全数据分析器模块、计算模块、报警模块、 动态健康度模型模块；
[0012] 所述终端日志类数据模块、网络类数据模块、应用类数据模块、行为与操作类数据 模块用于从各种网络对象收集海量安全大数据，汇集到大数据采集器模块中；
[0013] 所述大数据采集器模块用于把从终端日志类数据模块、网络类数据模块、应用类 数据模块、行为与操作类数据模块中收集到的安全大数据进行收集归类，预存储在大数据 采集器模块里；
[0014] 所述独立数据集档案模块用于从大数据采集器模块中为每个网络对象抽取分离 其相关数据，为其建立独立资产数据集档案；
[0015] 所述模型建立及签名模块用于从独立数据集档案模块中获取数据，为每个网络对 象分别建立独立的动态健康度模型，即按时间周期、类别和事件流量生成多维动态健康度 数据曲线；并根据前述动态健康度模型，将经过统计分类的基线数据存储在存储器里，形成 相应的动态数字签名矩阵表；
[0016] 所述日常安全数据分析器模块用于从大数据采集器模块中根据设定分析模型与 规则形成网络对象日常特定事件波形特征，通过如下数据特征表现形式中的一种或多种得 W呈现；波形、数据、数字、图形、图像、表格；
[0017] 所述计算模块用于从日常安全数据分析器模块、模型建立及签名模块中获取相应 数据，根据阀值对比，由虚拟处理器进行计算、比对；模型建立及签名模块形成的动态数字 签名矩阵表作为代表一定时效内描述系统健康度的基线数据存储在存储器中，用W与日常 产生的系统各类安全事件数据通过计算模块进行计算比对处理；
[0018] 所述报警模块用于根据计算模块计算出的数值，判断是否输出报警；
[0019] 所述独立数据集档案模块和模型建立及签名模块与动态健康度模型模块连接；
[0020] 所述动态健康度模型包括网络对象数据集模块、分类模块、分类数据特征模块、生 产事件数据特征计算模块、数据特征曲线生成模块、多维健康度模型数据特征合成模块、 TIME阀值调节器模块；
[0021] 所述网络对象数据集模块用于从各种网络对象中收集海量的安全大数据；
[0022] 所述分类模块用于从所述网络对象数据集模块中把收集到的各类数据根据相关 协议、类型、来源、属性进行分类；
[0023] 所述分类数据特征模块用于从分类模块中绘制各种分类数据特征；
[0024] 所述生产事件数据特征计算模块用于根据网络对象数据集模块收集到的各种大 数据根据时间序列计算生产事件数据特征，把特征进行数字化；
[0025] 所述数据特征曲线生成模块用于从生产事件数据特征计算模块中生成W设定时 间周期为最小时间周期数据特征曲线；
[0026] 所述TIME阀值调节器模块用于针对各种网络对象进行阀值调节，包括对于分析 周期或分析类别的配置调节；
[0027] 所述多维健康度模型数据特征合成模块用于从分类数据特征模块、数据特征曲线 生成模块、TIME阀值调节器模块中合成多维动态健康度模型数据特征；按时间周期、类别 和事件流量生成多维动态健康度数据曲线，由时间周期、分类、事件流量形成具有自己数字 特征的分类流量多维立体曲线，由分类多维曲线汇总成总流量多维曲线。
[0028] -种基于动态健康度模型的安全大数据分析系统，所述系统包括；大数据采集器 模块、独立数据集档案模块、模型建立及签名模块、日常安全数据分析器模块、计算模块、报 警模块、动态健康度模型模块；
[0029] 所述大数据采集器模块用于采集设定安全大数据，并进行存储；
[0030] 所述独立数据集档案模块用于从大数据采集器模块中为每个网络对象抽取分离 其相关数据，为其建立独立资产数据集档案；
[0031] 所述模型建立及签名模块用于从独立数据集档案模块中获取数据，为每个网络对 象分别建立独立的动态健康度模型，即按时间周期、类别和事件流量生成多维动态健康度 数据曲线；并根据前述动态健康度模型，将经过统计分类的基线数据存储在存储器里，形成 相应的动态数字签名矩阵表；；
[0032] 所述日常安全数据分析器模块用于从大数据采集器模块中，根据分析模型与规则 形成网络对象日常特定事件波形特征；
[0033] 所述计算模块用于从日常安全数据分析器模块和模型建立及签名模块中，根据阀 值对比，由虚拟处理器进行计算、比对；模型建立及签名模块形成的动态数字签名矩阵表作 为代表一定时效内描述系统健康度的基线数据存储在存储器中，用W与日常产生的系统各 类安全事件数据通过计算模块进行计算比对处理；
[0034] 所述报警模块用于根据计算模块计算出的数值，判断是否输出报警；
[0035] 所述独立数据集档案模块和模型建立及签名模块用于形成动态健康度模型模块。
[0036] 作为本发明的一种优选方案，所述系统还包括；终端日志类数据模块、网络类数据 模块、应用类数据模块、行为与操作类数据模块；
[0037] 所述终端日志类数据模块、网络类数据模块、应用类数据模块、行为与操作类数据 模块用于从各种网络对象收集海量安全大数据，汇集到大数据采集器中。
[0038] 作为本发明的一种优选方案，所述动态健康度模型包括网络对象数据集模块、分 类模块、分类数据特征模块、生产事件数据特征计算模块、数据特征曲线生成模块、多维健 康度模型数据特征合成模块、TIME阀值调节器