一种基于大脑新皮质层原理的硬盘异常检测系统及方法与流程

1.本发明涉及硬盘异常检测技术领域，具体为一种基于大脑新皮质层原理的硬盘异常检测系统及方法。


背景技术：

2.硬盘损坏经常伴随着硬盘内数据的丢失，常常给使用者带来很大的经济损失。现有磁盘异常检测检测技术采用的是传统异常检测算法，主要思路是采用采集器搜集服务器磁盘关键指标以及机器关键指标，根据磁盘和机器关键指标进行检测，一旦发现波动比较大的数值则定位为异常，此种方案误报比较多，经常产生大量的垃圾报警，实用性比较差。
3.此外，传统异常检测算法使用机器学习（es，ma，arima，svm等）算法或者深度学习（lstm-ad，lstm-ed等）算法来进行，机器学习的方案精度比较低，并且鲁棒性比较差，只适应于特定的场景。深度学习的方案中训练比较复杂，要求经过大量数据的训练，并且模型比较大，需要机器具有较大算力，使用成本较高。另外，由于深度学习本身也缺乏大量的训练数据，导致训练产生可用模型较为困难。


技术实现要素：

4.本发明的目的在于提供一种基于大脑新皮质层原理的硬盘异常检测方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于大脑新皮质层原理的硬盘异常检测系统，所述系统包括数据采集层、数据编码层、神经网络层和分类器，所述数据采集层包括多个数据采集模块，所述数据编码层包括多个数据编码模块，所述神经网络层包括网络层级n，其中n大于等于1，所述网络层级n包括单个或多个皮质层，所述皮质层至少包括单个或多个皮质柱组件。
6.进一步的，所述数据采集模块的采集信息包括硬盘实时指标数据和相关硬件指标数据，所述数据编码模块输入连接数据采集模块的采集信息，所述数据编码模块输出信息包括根据硬盘异常检测的业务特征进行数据编码的初始数据特征，所述数据编码模块输出连接神经网络层，所述皮质柱组件执行该层级的数据计算，并进行对应该层级的数据特征汇聚抽取，并将抽取出的新数据特征输送至上一网络层级，由上一网络层级进行数据计算、新数据特征抽取和输送，以此递推直至顶层网络层级的皮质柱组件将抽取出的最终数据特征发送至分类器，所述分类器接收顶层网络层级的最终数据特征并作为预测结果进行磁盘损坏预警。
7.进一步的，数据编码层的数据由第n网络层级进入，且神经网络层中各层级的皮质柱组件数量由第n网络层级至顶层网络层级逐级减少，顶层网络层级中具有单个皮质柱组件。
8.进一步的，皮质柱组件包括神经元和突触组件，由神经元组件进行数据计算，通过突触组件进行皮质柱组件间的数据交互传输，所述突触组件包括远端突触和近端突触。
9.进一步的，一种基于大脑新皮质层原理的硬盘异常检测方法，所述方法至少包括以下步骤：一、对异常检测系统初始化；二、数据采集层采集硬盘实时指标数据和相关硬件指标数据并作为系统输入；三、数据编码层将数据采集层采集到的数据根据硬盘异常检测的业务特征进行数据编码，获得初始数据特征；四、对第n网络层级的各皮质柱组件进行初始化，将上一步骤中获得的初始数据特征输入至神经网络层的第n网络层级，其中n大于等于1，初始化第n网络层级中各皮质柱组件中的突触组件，完成本层中的数据传输，通过各皮质柱组件中的神经元组件对初始数据特征进行数据计算，并实现神经元的激活和抑制，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取并作为新的特征数据，记作特征数据n；五、当n大于等于2时，对第n-1网络层级的各皮质柱组件进行初始化，并对上一步骤中获得的特征数据n输入至神经网络层的第n-1网络层级，初始化第n-1网络层级中各皮质柱组件中的突触组件，完成本层中的数据传输，通过各皮质柱组件中的神经元组件对初始数据特征进行数据计算，并实现神经元的激活和抑制，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取并作为新的特征数据，记作特征数据n-1；六、按上一步骤递推执行至第1网络层级，即顶层网络层级，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取作为最终数据特征；七、上述最终数据特征发送至分类器，作为最终预测结果进行磁盘损坏预警。
10.进一步的，数据编码层采用二进制格式的编码器对数据进行编码，进行编码时：语义相似的数据产生活跃比特彼此重叠的编码输出数据；相同的输入数据产生相同的编码输出数据；对所有的输入数据，编码输出数据均具有相同的维度；对所有的输入数据，编码输出数据具有一致的稀疏度，且编码器具有至少20个置1比特。
11.进一步的，所述神经元的激活和抑制方法为：首先，神经元初始数据为随机值，将其与和n-1层的特征计算为按对应位进行比较计算，当特征相符的个数超过指定的阈值，该神经元处于激活状态；接着根据业务选择合适感受野和抑制半径，在抑制半径内根据业务以及模型调优确保在抑制半径方位内只有固定个数的皮质柱处于激活状态。
12.与现有技术相比，本发明的有益效果是：本发明的基于大脑新皮质层原理的硬盘异常检测系统和检测方法模拟生物学上新皮质脑区的运作方式，预测精度更高，对实时数据中的噪声有很好的抑制作用，能够持续学习，不断增强对场景的适应，要求训练数据量小，模型主要为二进制运算，降低浮点数运算量，降低了机器性能要求，节约硬件成本。通过检测方法对硬盘以及机器状态进行检测，及时产生磁盘损坏预警，提醒及时更换硬盘来减少硬盘突然损坏带来的经济损失。
附图说明
13.图1是本发明的基于大脑新皮质层原理的硬盘异常检测方法的流程图；图2是本发明的基于大脑新皮质层原理的硬盘异常检测系统的逻辑架构示意图；图3为本发明中的皮质柱组件的结构说明图。
14.图中：1、远端突触；2、神经元；3、近端突触。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.请参阅图1-3，本发明提供一种技术方案：请参阅图2 ，一种基于大脑新皮质层原理的硬盘异常检测系统，系统包括数据采集层、数据编码层、神经网络层和分类器，数据采集层包括多个数据采集模块，数据编码层包括多个数据编码模块，神经网络层包括网络层级n，其中n大于等于1，网络层级n包括单个或多个皮质层，皮质层至少包括单个或多个皮质柱组件。
17.具体的，数据采集模块的采集信息包括硬盘实时指标数据和相关硬件指标数据，数据编码模块输入连接数据采集模块的采集信息，数据编码模块输出信息包括根据硬盘异常检测的业务特征进行数据编码的初始数据特征，数据编码模块输出连接神经网络层，皮质柱组件执行该层级的数据计算，并进行对应该层级的数据特征汇聚抽取，并将抽取出的新数据特征输送至上一网络层级，由上一网络层级进行数据计算、新数据特征抽取和输送，以此递推直至顶层网络层级的皮质柱组件将抽取出的最终数据特征发送至分类器，分类器接收顶层网络层级的最终数据特征并作为预测结果进行磁盘损坏预警。
18.需要说明的是，本实施例下，由于编码器及其编码过程必须捕获那些对应用程序重要的数据的语义特征，编码模块须满足以下原则：设 풜 为一个任意的输入空间，设 푆
(
푛
, 푘
) 为长度为 푛 且有 푘 个 on 比特的集合。编码器 푓 仅仅是一个函数 푓 ∶ 풜
ꢀ→ꢀ
푆
(
푛
, 푘
) 。输入空间 풜 的距离评分 d
풜 是函数 d
풜 ∶ 풜
ꢀ×ꢀ
풜
ꢀ→ꢀℝꢀ
，满足下面三个条件：1.
ꢀ∀
푥
, 푦 ∈ 풜
, d
풜
(
푥
, 푦
) ≥ 02.
ꢀ∀
푥
, 푦 ∈ 풜
, d
풜
(
푥
, 푦
) = d
풜
(
푦
, 푥
)3.
ꢀ∀
푥 ∈ 풜
, d
풜
(
푥
, 푥
) = 0等式 1 要求语义相似度度量给出的距离值大于等于 0；等式 2 要求距离度量具备对称性；等式 3 要求完全相同的值之间的距离值为 0。
19.当输入空间和距离评分被给定，可以通过比较输入数据对的距离评分和它们编码的重叠程度来评价编码器。距离评分低的输入数据对应该对应重叠程度高的两个集合，反之亦然。此外，如果某个输入数据对比另一个输入数据对的重叠程度更高，那么前者的预编码的距离评分应该低于后者的。对于相同长度的两个集合，s 和 t ，设 o(s,t) 为重叠部分的比特数目（也就是两者取交 s&t 中 on 比特的数目）。那么对编码器 f ∶ 풜
ꢀ→ꢀ
s(n, k) 和
ꢀ∀
w, x, y, z ∈ 풜 ，4. 푂
(
푓
(
푤
), 푓
(
푥
)) ≥ 푂
(
푓
(
푦
), 푓
(
푧
)) ⟺ d
풜
(
푤
, 푥
) ≤ d
풜
(
푦
, 푧
)等式 4 规定，有更多重叠的置 1 比特的编码对意味着它们的语义相似度更大，并且反过来说，语义相似度更大的编码对会有更多重叠的置 1 比特。此外，编码器应该是确定性的，这样相同的输入数据每次都会产生相同的输入结
果，且编码器的输出必须总和它的输入有相同的比特数量。集合之间的比较和其他操作是逐比特进行的，这样表示某个特定“含义”的比特总是在同一个位置。
20.数据编码层的数据由第n网络层级进入，且神经网络层中各层级的皮质柱组件数量由第n网络层级至顶层网络层级逐级减少，顶层网络层级中具有单个皮质柱组件。
21.皮质柱组件包括神经元2和突触组件，由神经元组件进行数据计算，通过突触组件进行皮质柱组件间的数据交互传输，突触组件包括远端突触1和近端突触3。
22.需要具体说明的是，单个皮质柱组件的计算分为两个部分一个是接收纵向传递数值计算，主要体现空间特征，另外一个是皮质柱间的横向数据传递的计算，主要体现时间特征。空间特征计算输入为编码器和每个层中每个感应区域的再编码输出的特征向量。输出为皮质柱内激活神经元2的特征表征值。因为数据编码都是按照bit位进行编码的，所以计算量小，只需按位进行相应操作即可。时间特征计算和空间特征计算方法相同只是输入是来自于其他皮质柱而不是编码器。
23.需要进一步说明的是，皮质柱之间会进行抑制，通过系统参数设置感受野以及抑制半径，在抑制半径范围内的皮质柱会竞争，胜出者为激活皮质柱，并且根据胜出情况更新连接该神经元的突触相关参数。
24.具体的，请参阅图1，一种基于大脑新皮质层原理的硬盘异常检测方法，方法至少包括以下步骤：一、对异常检测系统初始化；二、数据采集层采集硬盘实时指标数据和相关硬件指标数据并作为系统输入；三、数据编码层将数据采集层采集到的数据根据硬盘异常检测的业务特征进行数据编码，获得初始数据特征；四、对第n网络层级的各皮质柱组件进行初始化，将上一步骤中获得的初始数据特征输入至神经网络层的第n网络层级，其中n大于等于1，初始化第n网络层级中各皮质柱组件中的突触组件，完成本层中的数据传输，通过各皮质柱组件中的神经元组件对初始数据特征进行数据计算，并实现神经元的激活和抑制，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取并作为新的特征数据，记作特征数据n；五、当n大于等于2时，对第n-1网络层级的各皮质柱组件进行初始化，并对上一步骤中获得的特征数据n输入至神经网络层的第n-1网络层级，初始化第n-1网络层级中各皮质柱组件中的突触组件，完成本层中的数据传输，通过各皮质柱组件中的神经元组件对初始数据特征进行数据计算，并实现神经元的激活和抑制，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取并作为新的特征数据，记作特征数据n-1；六、按上一步骤递推执行至第1网络层级，即顶层网络层级，将本层皮质柱组件处理后预测得出的数据特征汇聚抽取作为最终数据特征；七、上述最终数据特征发送至分类器，作为最终预测结果进行磁盘损坏预警。
25.数据编码层采用二进制格式的编码器对数据进行编码，进行编码时：语义相似的数据产生活跃比特彼此重叠的编码输出数据；相同的输入数据产生相同的编码输出数据；对所有的输入数据，编码输出数据均具有相同的维度；对所有的输入数据，编码输出数据具有一致的稀疏度，且编码器具有至少20个置1比特。
26.进一步的，神经元的激活和抑制方法为：首先，神经元初始数据为随机值，将其与
和n-1层的特征计算为按对应位进行比较计算，当特征相符的个数超过指定的阈值，该神经元处于激活状态；接着根据业务选择合适感受野和抑制半径，在抑制半径内根据业务以及模型调优确保在抑制半径方位内只有固定个数的皮质柱处于激活状态，以防止皮质柱过度激活。
27.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。