一种异常声音检测方法、装置、设备及介质与流程

1.本发明涉及异常检测技术领域，具体涉及一种异常声音检测方法、装置、设备及介质。


背景技术：

2.异常声音检测在工业设备监控、产品自动化质检等领域有着广泛的应用场景，且目前异常检测技术已有较多的研究成果，主要包括机器学习和神经网络两个方向。机器学习方法中，往往构造如距离、密度、角度及树深度等特征，以正常样本的特征构建基准分布，将特征偏离基准分布的数据识别为异常，这类方法训练简单，可解释性强，但无法有效区分来自于不同时序模式的异常；神经网络方法中，可通过拟合正常样本的时序特征得到网络参数，实时检测时如拟合值与实际值差异显著，则将数据识别为异常，该方法考虑了数据时序上的差异，但需大量数据进行网络训练，参数优化复杂，容易出现过拟合且可解释性欠缺。
3.在实际工业场景中，当设备存在松动或堵塞等异常时，所引起的声音信号特征变化，有着较为复杂的模式，对设备声音特征的异常检测，不仅需要将其与基准数据统计分布进行对比，同时需要从数据的时序走势判断其异常等级与异常类型。因此，针对工业设备声音信号的特性，研发一种训练过程更为高效，支持多样化时序异常检测且可解释性强的异常检测方法是亟待解决的任务。
4.有鉴于此，提出本技术。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种异常声音检测方法、装置、设备及介质，能够有效解决现有技术中的异常声音检测方法存在的无法有效区分来自于不同时序模式的异常，以及需大量数据进行网络训练，参数优化复杂，容易出现过拟合且可解释性欠缺的问题。
6.本发明公开了一种异常声音检测方法，包括：
7.获取工业设备的声音信号，并从中提取出多维特征数据；
8.根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列，其中，所述状态映射表组由多个采用不同划分方式构建的状态映射表组成；
9.调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率，并对所述特征状态转移概率进行对比处理，生成对应的对比结果，其中，所述马尔可夫模型内部存储有由多个不同的特征状态转移概率矩阵组成的特征状态转移概率矩阵组，将所述特征状态转移概率与所述特征状态转移概率矩阵组进行对比，得到对应的对比结果；
10.根据所述对比结果，输出预警信号。
11.优选地，根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特
征状态序列之前，还包括：
12.获取多组历史声音信号，并从中提取出对应的多维特征数据；
13.将所述多维特征数据的特征数值区间按照预设距步长进行划分，生成对应的状态映射表；
14.将多组所述状态映射表进行结合，生成状态映射表组。
15.优选地，调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率之前，还包括：
16.获取多组正常的历史声音信号，并从中提取出对应的多维特征数据；
17.根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列；
18.对所述多维特征状态序列进行马尔可夫假设处理，筛选出均为马尔可夫过程的多维特征状态序列，生成对应的特征状态转移概率，并转换成特征状态转移概率矩阵；
19.将多组所述特征状态转移概率矩阵进行结合，生成特征状态转移概率矩阵组。
20.优选地，所述马尔可夫假设为对于某个时刻的随机变量，其只依赖于前置时刻的随机变量，即p(x
t
|x0,x1,...,x
t-1
)＝p(x
t
|x
t-1
)，其中，t＝1,2,...，满足马尔可夫性的随机序列称为马尔可夫过程。
21.优选地，将所述特征状态转移概率根据公式p
ij
＝(x
t-i|x
t-1
＝j)转换成所述特征状态转移概率矩阵，其中，i＝1,2,...；j＝1,2,...，p
ij
≥0,∑p
ij
＝1。
22.本发明还提供了一种异常声音检测装置，包括：
23.数据获取单元，用于获取工业设备的声音信号，并从中提取出多维特征数据；
24.数据处理单元，用于根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列，其中，所述状态映射表组由多个采用不同划分方式以及不同实现函数构建的状态映射表组成；
25.数据对比单元，用于调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率，并对所述特征状态转移概率进行对比处理，生成对应的对比结果，其中，所述马尔可夫模型内部存储有由多个不同的状态转移概率矩阵组成的状态转移概率矩阵组，将所述特征状态转移概率与所述状态转移概率矩阵组进行对比，得到对应的对比结果；
26.预警单元，用于根据所述对比结果，输出预警信号。
27.本发明还提供了一种异常声音检测设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种异常声音检测方法。
28.本发明还提供了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种异常声音检测方法。
29.综上所述，本实施例提供的一种异常声音检测方法、装置、设备及介质，将实际工业场景采集到得工业设备的声音信号进行提取，得到多维特征数据，并使用状态映射表组对得到多维特征数据进行状态映射处理，生成多维特征状态序列作为马尔可夫模型的输入参数，根据模型输出的对比结果进行预警，从而解决现有技术中的异常声音检测方法存在的无法有效区分来自于不同时序模式的异常，以及需大量数据进行网络训练，参数优化复
杂，容易出现过拟合且可解释性欠缺的问题。
附图说明
30.图1是本发明实施例提供的异常声音检测方法的流程示意图。
31.图2是本发明实施例提供的异常声音检测方法的第一效果波形示意图。
32.图3是本发明实施例提供的异常声音检测方法的第二效果波形示意图。
33.图4是本发明实施例提供的异常声音检测装置的模块示意图。
具体实施方式
34.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
35.以下结合附图对本发明的具体实施例做详细说明。
36.请参阅图1，本发明的第一实施例提供了一种异常声音检测方法，其可由异常声音检测方法设备(以下简称检测设备)来执行，特别的，由检测设备内的一个或者多个处理器来执行，以实现如下步骤：
37.s101，获取工业设备的声音信号，并从中提取出多维特征数据；
38.具体地，在本实施例中，所述多维特征数据可以包括时域特征：短时过零率、静音比例，频率特征：fft数据、sfft数据、mfcc数据以及统计特征：基于时频域特征计算均值、标准差等统计量。需要说明的是，在其他实施例中，还可以采用其他类型的多维特征数据，这里不做具体限定，但这些方案均在本发明的保护范围内。
39.例如，以工业场景中的某设备监控为例，将声音采集器部署于该设备附近，配置采样率为48000hz，以24hz为计算频率，对单通道声音信号计算低频段均值meanlf与全频段均值mean作为特征数据，上传至服务器端；对服务器端中的历史特征，筛选出设备正常运转的时间区间，采用阈值的方式，将该时间区间内的特征数据，低频段均值特征meanlf大于阈值5e9的特征数据归为运转类型，其余数据归为停机类型；对运转类型的声音信号实时特征数据，以一分钟长度的滑窗计算最大值作为异常检测模型特征。
40.s102，根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列，其中，所述状态映射表组由多个采用不同划分方式构建的状态映射表组成；
41.具体地，在本实施例中，根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列之前，还包括：
42.获取多组历史声音信号，并从中提取出对应的多维特征数据；
43.将所述多维特征数据的特征数值区间按照预设距步长进行划分，生成对应的状态映射表；
44.将多组所述状态映射表进行结合，生成状态映射表组。
45.在本实施例中，所述多组所述状态映射表可以按将特征数值区间以等距步长划分，递增分配状态值得到；可以将特征数值区间以不等距步长划分，递增分配状态值得到；以及可以采用其他线性函数或非线性函数实现。需要说明的是，在其他实施例中，还可以采用其他构建方法构建的状态映射表，这里不做具体限定，但这些方案均在本发明的保护范围内。
46.例如，以表1为例，采用不等距步长的状态映射表，全频段均值特征mean以1e8到1e10为主数值区间，所配置状态映射表如表1：
47.表1
[0048][0049]
s103，调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率，并对所述特征状态转移概率进行对比处理，生成对应的对比结果，其中，所述马尔可夫模型内部存储有由多个不同的特征状态转移概率矩阵组成的特征状态转移概率矩阵组，将所述特征状态转移概率与所述特征状态转移概率矩阵组进行对比，得到对应的对比结果；
[0050]
具体地，在本实施例中，调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率之前，还包括：
[0051]
获取多组正常的历史声音信号，并从中提取出对应的多维特征数据；
[0052]
根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列；
[0053]
对所述多维特征状态序列进行马尔可夫假设处理，筛选出均为马尔可夫过程的多维特征状态序列，生成对应的特征状态转移概率，并转换成特征状态转移概率矩阵；
[0054]
将多组所述特征状态转移概率矩阵进行结合，生成特征状态转移概率矩阵组。
[0055]
具体地，在本实施例中，所述马尔可夫假设为对于某个时刻的随机变量，其只依赖于前置时刻的随机变量，即p(x
t
|x0,x1,...,x
t-1
)＝p(x
t
|x
t-1
)，其中，t＝1,2,...，满足马尔可夫性的随机序列称为马尔可夫过程，假设多维特征状态序列均为马尔可夫过程，并且为时间齐次的马尔可夫过程，即转移概率分布与时间t无关。将所述特征状态转移概率根据公式p
ij
＝(x
t-i|x
t-1
＝j)转换成所述特征状态转移概率矩阵，其中，i＝1,2,...；j＝1,2,...，p
ij
≥0,∑p
ij
＝1，同一特征状态序列中，变量的取值集合相同且定义在有限离散状态空间，上述概率可表示为矩阵
[0056]
例如，以表1为例，全频段均值特征mean计算得到的状态转移概率矩阵如表2所示；由表2可见，特征状态及所转移状态均在较小范围内，这与工业设备运转过程中，其往往以一定工作参数进行周期性运动，声音本身较为平稳相符合。
[0057]
表2
[0058][0059]
s104，根据所述对比结果，输出预警信号。
[0060]
具体地，在本实施例中，如实时特征状态转移概率在状态转移概率矩阵组中的数值低于阈值，则进行预警，例如，其中，alarm为所述对比结果，threshold为预设阈值；所述异常声音检测方法不仅可实现声音特征统计分布上的异常检测，同时可有效区分多模式数据时序异常，训练复杂度低且可解释性强，可精准高效地识别工业生产中的异常工况，保障企业生产效益与生产安全。
[0061]
例如，以上述设备轴承部件内部滚珠脱落事件中的异常声音检测为例，该设备配置二级预警，不同等级预警与对应阈值如所示。
[0062]
在本实施例中，图2为设备某月27号到29号的特征数据及对应状态值：meanlf-低频段均值特征，mean-全频段均值特征，operation-设备运转类型(0：停机,1：运转)，meanlf_status-低频段均值特征状态，mean_status-全频段均值特征状态；低频段均值特征meanlf状态及全频段均值特征mean部分状态是该设备运行过程中，特征正常波动引起的状态变化。全频段均值特征mean高于四的状态，则是在设备异常时，异常声音出现后特征改变，继而产生的特殊状态。
[0063]
其中，图3为全频段均值特征mean在异常声音出现时触发预警的示意图：mean-全频段均值特征，operation-设备运转类型(0：停机,1：运转)，mean_status-全频段均值特征状态，mean_prop-全频段均值特征状态转移概率，alarm-异常声音预警等级；设备运转类型为停机时，特征状态转移概率固定为0.98，由图3可见，设备部件声音特征于27号开始出现异常，全频段均值特征mean在状态三及状态四之间波动，状态转移概率低至0.05。28号上午十点半后，特征从状态四进一步向状态五转移，相应的状态转移概率低于一级预警阈值0.0005，引起一级异常预警。28号夜间十一点半左右，全频段均值特征mean异常程度加剧，在状态五的基础上间接性地向状态六转移，状态转移概率低于二级预警阈值0.0001，触发二级异常预警，紧急停机时，全频段均值特征mean达到状态七；在完成设备停机维护的初次重启时，全频段均值特征mean仍存在些许波动，再次停机检查后重启，设备恢复至正常工作状态；本次异常事件中，现场值班人员于28号夜间十二点通过金属探测器在加工材料上探测到滚珠，继而紧急停机进行异常排查。与现场人工排查相比，本方法可于28号上午十点半开始推送异常预警，提前约十三小时，可有效预防进一步部件损坏引发更大范围的设备损伤，延长设备使用寿命，保障企业生产效益与生产安全。另一方面，现有工业场景中，声音信
号特征状态不同方向的时序异常，可能存在关注度上的差异，对于机械旋转类型设备，往往重点关注声音信号振动特征是否存在升高走势，异常状态如轻微高于正常状态，则需密切关注设备运行，排查是否存在异常干扰，异常状态如严重高于正常状态，则需及时停机进行维护检查；对于水泵或管道类型设备，如声音信号能量特征减弱，即异常状态低于正常状态时，需通过调整生产计划或启用备用设备等措施，避免设备堵塞影响正常生产秩序。所述异常声音检测方法对于多样化的异常声音检测场景，在声音特征异常状态转移出现时，可针对不同类型的时序异常配置差异化的预警等级以满足实际场景的监测需求。
[0064]
请参阅图4，本发明第二实施例提供了一种异常声音检测装置，包括：
[0065]
数据获取单元201，用于获取工业设备的声音信号，并从中提取出多维特征数据；
[0066]
数据处理单元202，用于根据状态映射表组对所述多维特征数据进行状态映射处理，生成多维特征状态序列，其中，所述状态映射表组由多个采用不同划分方式以及不同实现函数构建的状态映射表组成；
[0067]
数据对比单元203，用于调用训练好的马尔可夫模型对所述多维特征状态序列进行概率计算，生成对应特征状态转移概率，并对所述特征状态转移概率进行对比处理，生成对应的对比结果，其中，所述马尔可夫模型内部存储有由多个不同的状态转移概率矩阵组成的状态转移概率矩阵组，将所述特征状态转移概率与所述状态转移概率矩阵组进行对比，得到对应的对比结果；
[0068]
预警单元204，用于根据所述对比结果，输出预警信号。
[0069]
本发明的第三实施例提供了一种异常声音检测设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种异常声音检测方法。
[0070]
本发明的第四实施例提供了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种异常声音检测方法。
[0071]
示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种异常声音检测设备中的执行过程。例如，本发明第二实施例中所述的装置。
[0072]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种异常声音检测方法的控制中心，利用各种接口和线路连接整个所述实现对一种异常声音检测方法的各个部分。
[0073]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种异常声音检测方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存
储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0074]
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0075]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0076]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。