检测磁盘的方法、装置、计算机可读存储介质及电子设备与流程

文档序号:30306975发布日期:2022-06-05 06:48阅读:92来源:国知局
检测磁盘的方法、装置、计算机可读存储介质及电子设备与流程

1.本发明涉及金融科技领域,具体而言,涉及一种检测磁盘的方法、装置、计算机可读存储介质及电子设备。


背景技术:

2.近年来,随着存储介质技术的持续突破,大容量、小体积、高性能的固态硬盘正逐步接替传统的机械硬盘,成为大型数据中心在高性能存储方向的主流选择。但是,以金融行业为代表的大型数据中心通常受监管影响,对于冷数据的存储归档有着极大的需求,因此廉价稳定的机械硬盘在大型数据中心依然被广泛使用。因此,在以金融行业为代表的大型数据中心中通常运行着不同种类的磁盘。其中,不同种类的磁盘受其厂商、技术、工艺等不同因素影响,其故障原因繁多,通常难以快速定位,而磁盘发生故障时又容易引发系统服务问题以及业务连续性问题。
3.现有技术通常采用基于厂商的传统磁盘检测技术或者基于机器学习的磁盘检测技术确定磁盘是否为异常磁盘。但是,两种技术在确定磁盘是否为异常磁盘时,都存在由于不同种类的磁盘之间存在差异所导致的检测方法复用性差的问题,从而使得一些异常磁盘无法被及时发现。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本发明实施例提供了一种检测磁盘的方法、装置、计算机可读存储介质及电子设备,以至少解决现有技术中对于不同种类的磁盘无法统一进行异常确定的技术问题。
6.根据本发明实施例的一个方面,提供了一种检测磁盘的方法,包括:获取待检测磁盘的参数信息;在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合;根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合;根据目标集合的类型确定待检测磁盘是否为异常磁盘。
7.进一步地,检测磁盘的方法还包括:在确定变化后的参数信息与多个集合中每个集合的第一距离之前,获取多个磁盘的参数信息,其中,多个磁盘为不同种类的磁盘;根据每个磁盘的参数信息确定每个磁盘所对应的向量,得到多个高维向量,其中,高维向量用于表征与该高维向量所对应的磁盘的运行状态;根据多个高维向量生成高维矩阵;基于高维矩阵对多个高维向量进行聚类,得到多个集合。
8.进一步地,检测磁盘的方法还包括:根据每个磁盘的参数信息,获取高维矩阵中每个高维向量对应的标签,其中,标签包括异常标签以及正常标签;根据标签对高维矩阵中的多个高维向量进行聚类,得到多个集合,其中,正常标签对应的集合为第一类型集合,异常标签对应的集合为第二类型集合。
9.进一步地,检测磁盘的方法还包括:根据变化后的参数信息,更新待检测磁盘对应的高维向量,得到目标高维向量;根据目标高维向量确定第一距离。
10.进一步地,检测磁盘的方法还包括:获取每个集合中每个高维向量的向量坐标;根据向量坐标确定每个集合的中心向量;计算目标高维向量与中心向量的距离,得到第一距离。
11.进一步地,检测磁盘的方法还包括:根据第一距离对多个集合进行排序,得到排序结果;根据排序结果从多个集合中确定第一预设数量的第一集合,其中,第一集合对应的第一距离小于其他集合对应的第一距离;计算目标高维向量与第一集合中的每个高维向量的第二距离;根据第二距离从第一预设数量的第一集合中确定目标集合。
12.进一步地,检测磁盘的方法还包括:根据第二距离从第一集合中选取第二预设数量的第一高维向量,其中,第一高维向量对应的第二距离小于第一集合中其他高维向量对应的第二距离;根据第一高维向量从第一预设数量的第一集合中确定目标集合。
13.进一步地,检测磁盘的方法还包括:在目标集合为第一类型集合时,确定待检测磁盘为正常磁盘;在目标集合为第二类型集合时,确定待检测磁盘为异常磁盘。
14.根据本发明实施例的另一方面,还提供了一种检测磁盘的装置,包括:获取模块,用于获取待检测磁盘的参数信息;第一确定模块,用于在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合;第二确定模块,用于根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合;第三确定模块,用于根据目标集合的类型确定待检测磁盘是否为异常磁盘。
15.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述的检测磁盘的方法。
16.根据本发明实施例的另一方面,还提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述的检测磁盘的方法。
17.在本发明实施例中,采用根据不同种类的磁盘的参数信息聚类生成多个集合,并基于多个集合确定待检测磁盘是否为异常磁盘的方式,通过获取待检测磁盘的参数信息,在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,并根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合,从而根据目标集合的类型确定待检测磁盘是否为异常磁盘。其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合。
18.由上述内容可知,由于第一距离表征了每个集合与变化后的参数信息的相似程度,因此,在待检测磁盘的参数信息发生变化时,本技术通过第一距离即可确定与变化后的参数信息相似度最高的目标集合,同时,由于多个集合是预先根据不同种类的磁盘的参数信息聚类得到的,因此,无论待检测磁盘是哪一种类的磁盘,都可在多个集合中匹配到目标集合,进而根据目标集合的类型确定待检测磁盘是否为异常磁盘。本技术通过聚类生成多
个集合,无需依赖磁盘中的任何特有信息,即可确定待检测磁盘是否为异常磁盘,从而具有通用性更强,复用性更好的优点,进而解决了现有技术中不同种类的磁盘无法根据一种通用方式确定磁盘是否存在异常的问题,有利于及时发现所有的异常磁盘。
19.由此可见,通过本技术的技术方案,达到了通过一种通用方式确定异常磁盘的目的,从而实现了降低异常磁盘检测成本的效果,进而解决了现有技术中对于不同种类的磁盘无法统一进行异常确定的技术问题。
附图说明
20.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
21.图1是根据本发明实施例的一种可选的检测磁盘的方法流程图;
22.图2是根据本发明实施例的一种可选的检测磁盘的装置示意图;
23.图3是根据本发明实施例的一种可选的电子设备的示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
25.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.实施例1
27.随着互联网与大数据技术的飞速发展,建立性能优异且稳定可靠的大规模海量数据存储系统成为现代数据中心基础信息设施建设的主要方向。近年来,随着存储介质技术的持续突破,大容量、小体积、高性能的固态硬盘正逐步接替传统的机械硬盘,成为大型数据中心在高性能存储方向的主流选择。然而,固态硬盘受其工艺影响,成本相对昂贵。同时,由于固态硬盘推广时间相对较短,整个市场还处于高速发展期,各厂商技术路线繁杂,因此市场上固态硬盘产品种类十分丰富。另外,以金融行业为代表的大型数据中心通常受监管影响,对于冷数据的存储归档有着极大的需求,廉价稳定的机械硬盘在大型数据中心依然被广泛使用。
28.受上述多类因素影响,在现代大型数据中心的数据存储系统中,通常包含不同种类的磁盘。不同种类的磁盘受其厂商、技术、工艺、种类不同等因素影响,发生故障的原因繁多,通常难以快速定位,而磁盘故障易引发的系统服务问题、业务连续性问题,甚至数据安
全问题成为了现代数据中心的重大安全挑战。因此,通过磁盘检测技术及时确定磁盘是否为异常磁盘成为了运维工作的关键。
29.现有的磁盘检测技术主要有两种技术。其中,第一种是基于厂商的传统磁盘检测技术。该技术主要基于厂商针对自产磁盘设计的错误码、运行监控以及日志分析技术,通过收集磁盘的特定信息快速发现磁盘故障的前期征兆,同时定位可能引发磁盘故障的根因,从而及时有效的发送故障预测告警。但是该技术需要使用厂商提供特制软件工具,对于非该厂商产品则无法使用。
30.第二种是基于机器学习的磁盘检测技术。该技术需要收集磁盘smart(self-monitoring analysis and reporting technology,磁盘自我监测、分析及报告技术)属性信息,然后通过指数平滑等处理操作生成描述磁盘运行状态的时间序列,从而基于常见的分类算法计算磁盘是否是异常磁盘。但是第二种技术在实施过程中不仅需要对smart信息进行筛选,并通过人工方式除去与故障无关的smart属性,还需要解决不同种类的磁盘的smart编码存在差异的问题,因此在实施过程中复用程度较低。此外,基于机器学习的磁盘检测技术还需要考虑由于异常磁盘在所有磁盘中占比较小导致的模型训练困难等问题。
31.为了解决上述问题,本发明实施例提供了一种检测磁盘的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
32.另外,还需要说明的是,电子设备可作为本发明实施例中检测磁盘的方法的执行主体。
33.图1是根据本发明实施例的一种可选的检测磁盘的方法流程图,如图1所示,该方法包括如下步骤:
34.步骤s101,获取待检测磁盘的参数信息。
35.在步骤s101中,待检测磁盘可以是机械磁盘,也可以是固态磁盘,并且,待检测磁盘可以是来自于不同厂商、不同种类的任意一个磁盘。待检测磁盘的参数信息至少包括待检测磁盘的静态参数以及动态参数。其中,静态参数至少包括待检测磁盘的内存大小、最大运行速度等参数,静态参数可通过cmdb(configuration management database,配置管理数据库)或者厂家提供等方式获取。动态参数至少包括待检测磁盘的实际读取速度、实际运行时的温度等参数,动态参数可通过获取数据中心对磁盘的运行监控数据,从而对运行监控数据进行分析得到。
36.通过获取待检测磁盘的参数信息,可实时监控待检测磁盘的运行状态,从而在待检测磁盘发生变化时,电子设备可及时获取变化后的参数信息,进而缩短了异常磁盘的确定时间。
37.步骤s102,在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离。
38.在步骤s102中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合。
39.可选的,电子设备可通过对运行监控数据进行实时分析,从而获取得到待检测磁
盘变化后的参数信息。另外,电子设备可预先获取不同种类的多个磁盘对应的参数信息,并根据每一个磁盘的参数信息通过编码的方式生成该磁盘对应的一个高维向量,在对所有磁盘进行编码之后,电子设备将得到多个高维向量。此时,电子设备将多个高维向量进行汇聚,并对汇聚后的多个向量进行抽象化处理,从而生成一个高维矩阵。
40.进一步地,在得到高维矩阵之后,电子设备可采用乘积量化算法对高维矩阵中的多高维向量进行聚类,从而得到多个集合。在此基础上,在待检测磁盘发生变化时,电子设备可通过确定变化后的参数信息更新待检测磁盘对应的高维向量,从而得到目标高维向量,并根据目标高维向量确定变化后的参数信息与多个集合中每个集合的第一距离。
41.需要说明的是,本技术无需依赖磁盘的smart属性,对于不同厂商、不同种类的磁盘通过编码可以统一抽象化生成高维向量,并基于高维向量确定变化后的参数信息与多个集合中每个集合的第一距离,从而解决了现有技术中不同种类的磁盘无法根据一种通用方式确定磁盘是否存在异常的问题。
42.步骤s103,根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合。
43.在步骤s103中,第一距离表征了每个集合与变化后的参数信息的相似程度。其中,第一距离越小说明相似程度越高。电子设备可根据第一距离确定与变化后的参数信息相似的集合。另外,为了提高准确性,电子设备可以根据第一距离对多个集合进行排序,得到排序结果,然后根据排序结果从多个集合中确定第一预设数量的第一集合,其中,第一集合对应的第一距离小于其他集合对应的第一距离。在得到第一预设数量的第一集合之后,电子设备可以计算目标高维向量与第一集合中的每个高维向量的第二距离,其中,第二距离用于表征目标高维向量与高维向量之间的相似程度,因此,通过结合第二距离,电子设备可进一步地从第一预设数量的第一集合中确定目标集合。
44.需要注意到的是,由于多个集合是预先根据不同种类的磁盘的参数信息聚类得到的,因此,无论待检测磁盘是哪一种类的磁盘,都可在多个集合中匹配到目标集合,进而根据目标集合的类型确定待检测磁盘是否为异常磁盘。本技术无需依赖磁盘中的任何特有信息,即可确定待检测磁盘是否为异常磁盘,从而具有通用性更强,复用性更好的优点,有利于及时发现所有的异常磁盘。
45.步骤s104,根据目标集合的类型确定待检测磁盘是否为异常磁盘。
46.在步骤s104中,多个集合可以划分为第一类型集合和第二类型集合,其中,第一类型集合用于表征正常磁盘,第二类型集合用于表征异常磁盘。因此,在目标集合属于第一类型集合时,电子设备可确定待检测磁盘为正常磁盘,在目标集合属于第二类型集合时,电子设备可确定待检测磁盘为异常磁盘。此外,在待检测磁盘为异常磁盘时,说明待检测磁盘存在故障。
47.基于步骤s101至步骤s104的内容可知,在本发明实施例中,采用根据不同种类的磁盘的参数信息聚类生成多个集合,并基于多个集合确定待检测磁盘是否为异常磁盘的方式,通过获取待检测磁盘的参数信息,在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,并根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合,从而根据目标集合的类型确定待检测磁盘是否为异常磁盘。其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类
的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合。
48.由上述内容可知,由于第一距离表征了每个集合与变化后的参数信息的相似程度,因此,在待检测磁盘的参数信息发生变化时,本技术通过第一距离即可确定与变化后的参数信息相似度最高的目标集合,同时,由于多个集合是预先根据不同种类的磁盘的参数信息聚类得到的,因此,无论待检测磁盘是哪一种类的磁盘,都可在多个集合中匹配到目标集合,进而根据目标集合的类型确定待检测磁盘是否为异常磁盘。本技术通过聚类生成多个集合,无需依赖磁盘中的任何特有信息,即可确定待检测磁盘是否为异常磁盘,从而具有通用性更强,复用性更好的优点,进而解决了现有技术中不同种类的磁盘无法根据一种通用方式确定磁盘是否存在异常的问题,有利于及时发现所有的异常磁盘。
49.由此可见,通过本技术的技术方案,达到了通过一种通用方式准确确定异常磁盘的目的,从而实现了降低异常磁盘检测成本的效果,进而解决了现有技术中对于不同种类的磁盘无法统一进行异常确定的技术问题。
50.在一种可选的实施例中,在确定变化后的参数信息与多个集合中每个集合的第一距离之前,电子设备首先获取多个磁盘的参数信息,然后根据每个磁盘的参数信息确定每个磁盘所对应的向量,从而得到多个高维向量,并根据多个高维向量生成高维矩阵,进而基于高维矩阵对多个高维向量进行聚类,得到多个集合。其中,多个磁盘为不同种类的磁盘,高维向量用于表征与该高维向量所对应的磁盘的运行状态。
51.可选的,在确定变化后的参数信息与多个集合中每个集合的第一距离之前,电子设备需要基于多个不同种类的磁盘的参数信息,聚类生成多个集合。具体的,电子设备通过收集多个磁盘的静态参数以及动态参数,将每一个磁盘的参数信息编码为一个高维向量,然后电子设备将基于多个磁盘编码得到的所有高维向量转换为矩阵形式,从而抽象化生成一个高维矩阵。在得到高维矩阵之后,电子设备可通过乘积量化算法将高维矩阵中的多个高维向量进行聚类,从而得到多个集合。另外,待检测磁盘可以是上述多个磁盘中的任意一个磁盘,也可以是新增的磁盘。
52.需要注意到的是,本技术可通过分析数据中心对磁盘的运行监控数据得到参数信息,从而生成以及更新磁盘对应的高维向量,由于高维向量表征了磁盘的运行状态,并且高维向量具有方便计算的优点,因此本技术可对磁盘的运行状态进行实时计算,提高了确定异常磁盘的效率,为运维人员增加了决策时间。
53.在一种可选的实施例中,电子设备可通过乘积量化算法对高位矩阵中的多个高维向量进行聚类,以得到多个集合,具体的,根据每个磁盘的参数信息,获取高维矩阵中每个高维向量对应的标签,根据标签对高维矩阵中的多个高维向量进行聚类,得到多个集合,其中,正常标签对应的集合为第一类型集合,异常标签对应的集合为第二类型集合。其中,标签包括异常标签以及正常标签。
54.可选的,在得到高维矩阵之后,操作人员可根据磁盘的参数信息,对高维矩阵中每个高维向量进行标注,具体标注内容为该高维向量对应的磁盘是正常磁盘还是异常磁盘。在一个高维向量被标注之后,电子设备将获取该高维向量对应的标签,如果该高维向量被标注为异常磁盘的高位向量,则该高维向量对应的标签为异常标签,如果该高维向量被标注为正常磁盘的高位向量,则该高维向量对应的标签为正常标签。
55.可选的,以采用k-means(k均值聚类算法)聚类算法对多个高维向量进行聚类为例,基于每个高维向量对应的标签,电子设备可对每个高维向量进行k-means聚类,从而将高维矩阵中所有高维向量划分为多个cluster(即集合),其中,操作人员可预先设置每个集合由多少高维向量组成,或者预先设置集合的数量。
56.此外,在得到多个集合之后,电子设备可获取每个集合中每个高维向量的向量坐标,并根据向量坐标确定每个集合的中心向量。在此基础上,针对于每个集合,电子设备可计算集合中每个高维向量与该集合的中心向量的差值,并将该差值作为该高维向量与中心向量之间的距离,随后电子设备对该集合中的高维向量进行降维,例如,将该集合中每个高维向量分为多个子向量,每个子向量再进行k-means聚类,计算每个子向量的中心点,以中心点替代子向量,从而使得每个高维向量实现降维,其中,降维程度与将每个高维向量分为多个子向量的数量有关,例如,将每个高维向量分为m个子向量,则每个高维向量可降到m维。
57.需要注意到的是,本技术通过生成高维矩阵,经过短暂的聚类处理即可以快速投入使用,从而提高了确定异常磁盘的效率。另外,对高维向量进行降维计算可以加快计算时间,相对传统机器学习算法可以更快获得预测结果。
58.在一种可选的实施例中,电子设备可根据变化后的参数信息,更新待检测磁盘对应的高维向量,得到目标高维向量,并根据目标高维向量确定第一距离。
59.可选的,在待检测磁盘发生变化后,电子设备可实时采集待检测磁盘变化后的参数信息,并根据变换后的参数信息更新高维矩阵中待检测磁盘对应的高维向量,更新后的高维向量为目标高维向量。电子设备可根据目标高维向量确定第一距离。
60.可选的,电子设备可获取每个集合中每个高维向量的向量坐标,并根据向量坐标确定每个集合的中心向量,然后电子设备计算目标高维向量与中心向量的距离,得到第一距离。具体的,电子设备可计算目标高维向量与中心向量的差值,并将该差值作为目标高维向量与中心向量的距离,即第一距离。
61.需要注意到的是,采用本技术的技术方案可以快速预测磁盘运行状态的变化趋势,通过参数信息将磁盘的运行状态抽象为高维向量,并根据高维向量的实时变化判断磁盘是否进入或趋向异常,相较于常见的机器学习算法,本技术摆脱了对厂家smart属性的依赖,同时复用程度较高,在精确度可接受的前提下计算速度更快,有助于更快更早地确定异常磁盘,从而提供给运维人员更长的维护准备时间。
62.在一种可选的实施例中,在得到第一距离之后,电子设备可根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合。具体的,电子设备根据第一距离对多个集合进行排序,得到排序结果,并根据排序结果从多个集合中确定第一预设数量的第一集合,然后电子设备计算目标高维向量与第一集合中的每个高维向量的第二距离,并根据第二距离从第一预设数量的第一集合中确定目标集合。
63.可选的,电子设备将目标高维向量与每个集合的中心向量之间的第一距离视为目标高维向量与每个集合之间的距离,在此基础上,根据第一距离,电子设备从多个集合中选取第一预设数量的第一集合,其中,第一预设数量小于多个集合的数量,第一预设数量可由操作人员自定义进行设置,第一集合对应的第一距离小于其他集合对应的第一距离。在得到第一集合之后,电子设备还将依次计算目标高维向量与第一集合中每个高维向量的距离
(即第二距离),其中,计算第一距离以及第二距离时,都采用降维后的高维向量进行笛卡尔计算。
64.需要注意到的是,本技术通过从多个集合中确定第一预设数量的集合,可在一定程度上减少计算量,从而提高异常磁盘的确定效率。
65.在一种可选的实施例中,电子设备可据第二距离从第一预设数量的第一集合中确定目标集合。具体的,电子设备首先根据第二距离从第一集合中选取第二预设数量的第一高维向量,然后根据第一高维向量,从第一预设数量的第一集合中确定目标集合。其中,第一高维向量对应的第二距离小于第一集合中其他高维向量对应的第二距离。
66.可选的,根据计算得到的第二距离,电子设备可在第一集合中选择第二预设数量的第一高维向量,其中,第一高维向量对应的第二距离小于第一集合中其他高维向量对应的第二距离,即第一高维向量相比其他高维向量,与目标高维向量距离更近,第一高维向量对应的磁盘的参数信息与待检测磁盘变换后的参数信息相似程度最高。此外,第二预设数量可由操作人员自定义设置。
67.进一步地,电子设备可根据第一高维向量,从第一预设数量的第一集合中确定目标集合。例如,电子设备可从第二预设数量的第一高维向量中选取第二距离最小的第一高维向量,并将该第一高维向量对应的第一集合确定为目标集合,或者,电子设备可统计第一高维向量在每个第一集合中的分布数量,将分布数量最多的第一集合确定为目标集合。
68.在上述过程中,由于数据中心中磁盘数量很多,轮询比对每一个磁盘对应的高维向量无疑会耗费大量的计算资源,因此本技术通过从第一集合中选取第一高维向量,可进一步地提高计算效率,并缩短确定异常磁盘的时间。
69.在一种可选的实施例中,电子设备可根据目标集合的类型确定待检测磁盘是否为异常磁盘。具体的,在目标集合为第一类型集合时,确定待检测磁盘为正常磁盘;在目标集合为第二类型集合时,确定待检测磁盘为异常磁盘。
70.可选的,电子设备可根据目标集合的类型判断待检测磁盘是否趋向于异常,例如,在目标集合为第二类型集合时,电子设备可确定待检测磁盘为异常磁盘,此时需要运维人员及时对待检测磁盘进行检查,以避免引发系统服务问题以及业务连续性问题。
71.由上述内容可知,由于第一距离表征了每个集合与变化后的参数信息的相似程度,因此,在待检测磁盘的参数信息发生变化时,本技术通过第一距离即可确定与变化后的参数信息相似度最高的目标集合,同时,由于多个集合是预先根据不同种类的磁盘的参数信息聚类得到的,因此,无论待检测磁盘是哪一种类的磁盘,都可在多个集合中匹配到目标集合,进而根据目标集合的类型确定待检测磁盘是否为异常磁盘。本技术通过聚类生成多个集合,无需依赖磁盘中的任何特有信息,即可确定待检测磁盘是否为异常磁盘,从而具有通用性更强,复用性更好的优点,进而解决了现有技术中不同种类的磁盘无法根据一种通用方式确定磁盘是否存在异常的问题,有利于及时发现所有的异常磁盘。
72.由此可见,通过本技术的技术方案,达到了通过一种通用方式准确确定异常磁盘的目的,从而实现了降低异常磁盘检测成本的效果,进而解决了现有技术中对于不同种类的磁盘无法统一进行异常确定的技术问题。
73.实施例2
74.根据本发明实施例,还提供了一种检测磁盘的装置实施例,其中,图2是根据本发
明实施例的一种可选的检测磁盘的装置的示意图,如图2所示,该装置包括:获取模块201,用于获取待检测磁盘的参数信息;第一确定模块202,用于在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合;第二确定模块203,用于根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合;第三确定模块204,用于根据目标集合的类型确定待检测磁盘是否为异常磁盘。
75.需要说明的是,上述获取模块201、第一确定模块202、第二确定模块203以及第三确定模块204对应于上述实施例中的步骤s101至步骤s104,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
76.可选的,检测磁盘的装置还包括:第一获取模块、第四确定模块、生成模块以及聚类模块。其中,第一获取模块,用于获取多个磁盘的参数信息,其中,多个磁盘为不同种类的磁盘;第四确定模块,用于根据每个磁盘的参数信息确定每个磁盘所对应的向量,得到多个高维向量,其中,高维向量用于表征与该高维向量所对应的磁盘的运行状态;生成模块,用于根据多个高维向量生成高维矩阵;聚类模块,用于基于高维矩阵对多个高维向量进行聚类,得到多个集合。
77.可选的,上述聚类模块还包括:第二获取模块以及第一聚类模块。其中,第二获取模块,用于根据每个磁盘的参数信息,获取高维矩阵中每个高维向量对应的标签,其中,标签包括异常标签以及正常标签;第一聚类模块,用于根据标签对高维矩阵中的多个高维向量进行聚类,得到多个集合,其中,正常标签对应的集合为第一类型集合,异常标签对应的集合为第二类型集合。
78.可选的,上述第一确定模块还包括:更新模块以及第五确定模块。其中,更新模块,用于根据变化后的参数信息,更新待检测磁盘对应的高维向量,得到目标高维向量;第五确定模块,用于根据目标高维向量确定第一距离。
79.可选的,上述第五确定模块还包括:第三获取模块、第六确定模块以及计算模块。其中,第三获取模块,用于获取每个集合中每个高维向量的向量坐标;第六确定模块,用于根据向量坐标确定每个集合的中心向量;计算模块,用于计算目标高维向量与中心向量的距离,得到第一距离。
80.可选的,第二确定模块还包括:排序模块、第七确定模块、第一计算模块以及第八确定模块。其中,排序模块,用于根据第一距离对多个集合进行排序,得到排序结果;第七确定模块,用于根据排序结果从多个集合中确定第一预设数量的第一集合,其中,第一集合对应的第一距离小于其他集合对应的第一距离;第一计算模块,用于计算目标高维向量与第一集合中的每个高维向量的第二距离;第八确定模块,用于根据第二距离从第一预设数量的第一集合中确定目标集合。
81.可选的,第八确定模块还包括:选取模块以及第九确定模块。其中,选取模块,用于根据第二距离从第一集合中选取第二预设数量的第一高维向量,其中,第一高维向量对应的第二距离小于第一集合中其他高维向量对应的第二距离;第九确定模块,用于根据第一高维向量从第一预设数量的第一集合中确定目标集合。
82.可选的,第三确定模块还包括:第十确定模块以及第十一确定模块。其中,第十确定模块,用于在目标集合为第一类型集合时,确定待检测磁盘为正常磁盘;第十一确定模块,用于在目标集合为第二类型集合时,确定待检测磁盘为异常磁盘。
83.实施例3
84.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述实施例1中的检测磁盘的方法。
85.实施例4
86.根据本发明实施例,还提供了一种电子设备实施例,其中,图3是根据本发明实施例的一种可选的电子设备的示意图,如图3所示,电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
87.获取待检测磁盘的参数信息;在参数信息发生变化时,确定变化后的参数信息与多个集合中每个集合的第一距离,其中,第一距离用于表征每个集合与变化后的参数信息的相似程度,多个集合为预先根据不同种类的磁盘的参数信息聚类得到的集合,多个集合包括表征正常磁盘的第一类型集合以及表征异常磁盘的第二类型集合;根据第一距离从多个集合中确定与变化后的参数信息相似度最高的目标集合;根据目标集合的类型确定待检测磁盘是否为异常磁盘。
88.可选的,处理器执行程序时还可实现以下步骤:在确定变化后的参数信息与多个集合中每个集合的第一距离之前,获取多个磁盘的参数信息,其中,多个磁盘为不同种类的磁盘;根据每个磁盘的参数信息确定每个磁盘所对应的向量,得到多个高维向量,其中,高维向量用于表征与该高维向量所对应的磁盘的运行状态;根据多个高维向量生成高维矩阵;基于高维矩阵对多个高维向量进行聚类,得到多个集合。
89.可选的,处理器执行程序时还可实现以下步骤:根据每个磁盘的参数信息,获取高维矩阵中每个高维向量对应的标签,其中,标签包括异常标签以及正常标签;根据标签对高维矩阵中的多个高维向量进行聚类,得到多个集合,其中,正常标签对应的集合为第一类型集合,异常标签对应的集合为第二类型集合。
90.可选的,处理器执行程序时还可实现以下步骤:根据变化后的参数信息,更新待检测磁盘对应的高维向量,得到目标高维向量;根据目标高维向量确定第一距离。
91.可选的,处理器执行程序时还可实现以下步骤:获取每个集合中每个高维向量的向量坐标;根据向量坐标确定每个集合的中心向量;计算目标高维向量与中心向量的距离,得到第一距离。
92.可选的,处理器执行程序时还可实现以下步骤:根据第一距离对多个集合进行排序,得到排序结果;根据排序结果从多个集合中确定第一预设数量的第一集合,其中,第一集合对应的第一距离小于其他集合对应的第一距离;计算目标高维向量与第一集合中的每个高维向量的第二距离;根据第二距离从第一预设数量的第一集合中确定目标集合。
93.可选的,处理器执行程序时还可实现以下步骤:根据第二距离从第一集合中选取第二预设数量的第一高维向量,其中,第一高维向量对应的第二距离小于第一集合中其他高维向量对应的第二距离;根据第一高维向量从第一预设数量的第一集合中确定目标集合。
94.可选的,处理器执行程序时还可实现以下步骤:在目标集合为第一类型集合时,确定待检测磁盘为正常磁盘;在目标集合为第二类型集合时,确定待检测磁盘为异常磁盘。
95.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
96.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
97.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
98.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
99.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
100.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
101.以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1