通用型线上产品异音智能检测系统及设备的制作方法

1.本发明实施例涉及产品缺陷检测技术领域，尤其涉及一种通用型线上产品异音智能检测系统及设备。


背景技术：

2.机械类产品发出的声音信号能够有效表征其运行状态，若出现异音异响，则表明其机械设备及产品存在故障或质量缺陷，所以异音异响检测是市面上诸多产品出厂前不可或缺的工作。当前基本上采用人工听诊的方式对机械类产品的异音异响进行检测，人工听诊检测方式的误判率高且效率低下，同时还会提高生产成本。因此，开发一种通用型线上产品异音智能检测系统及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。


技术实现要素：

3.针对现有技术存在的上述问题，本发明实施例提供了一种通用型线上产品异音智能检测系统及设备。
4.第一方面，本发明的实施例提供了一种通用型线上产品异音智能检测系统，包括：用户身份验证模块，用于对用户的身份进行区分，并根据区分结果安排用户访问路径；产品配置模块，用于显示已配置的产品，对产品进行复制、编辑及删除；数据标记模块，用于对标签进行相应操作，触发产品异音数据采集并对采集的产品异音数据进行标记；产品预测模块，用于对产品异音数据采集的方式进行触发并对采集到的产品异音数据进行预测；数据回放模块，用于对产品异音数据进行回放。
5.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对用户的身份进行区分，并根据区分结果安排用户访问路径，包括：若用户身份为普通用户，则用户访问产品预测模块和数据回放模块；若用户身份为管理者，则用户访问产品配置模块、数据标记模块、产品预测模块和数据回放模块，用户在相应的模块完成操作。
6.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，所述显示已配置的产品，对产品进行复制、编辑及删除，包括：对用户已配置的产品进行显示，在用户输入新增产品名称后进入新增产品配置流程；若选择复制操作，则用户选择现有产品并输入新名称，进入产品编辑页面对产品进行复制；若选择删除操作，则直接结束操作流程；产品配置的编辑页面主体分为通用编辑、通道编辑、激励源配置、可扩展预测模块编辑和可扩展自定义绘图编辑。
7.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对标签进行相应操作，触发产品异音数据采集并对采集的产品异音数据进行标记，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改显示界面，则根据用户是否需要修改标签，选择是否开始标签修改流程；若用户需要修改标签，对
于删除标签，在选择需要删除的标签后完成删除操作，对于新建标签，输入标签名称并配置对应的标签类别后完成新建标签操作；若不需要对标签进行修改，则根据用户在产品配置模块设置的产品异音数据采集触发方式进行触发，触发结束后用户对采样的产品异音样本选择对应的标签作为标记。
8.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对产品异音数据采集的方式进行触发并对采集到的产品异音数据进行预测，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改显示界面，则根据在产品配置模块设置的产品异音数据采集触发方式进行触发，触发结束后，调用可扩展预测模块插件对产品异音数据进行预测，得到各自的预测结果后将预测显示在用户界面。
9.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对产品异音数据进行回放，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改，则选择回放数据并开始回放，回放完成后，若继续回放则选择回放数据并开始回放；若不继续回放，则结束回放流程。
10.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，还包括：显示界面配置模块，用于若用户修改显示界面，则选择要显示的子图像数目，根据绘图模式对每个子图进行配置；若选择实时数据绘图模式，则选择对应的显示通道，配置单幅图像的显示长度，并根据是否需要开启同步听音功能打开对应的设置开关。
11.在上述系统实施例内容的基础上，本发明实施例中提供的通用型线上产品异音智能检测系统，还包括：若选择自定义绘图扩展绘图模式，则勾选在产品配置模块中添加的自定义绘图插件，对通道数据进行实时二次分析和自定义图像绘制。
12.第二方面，本发明的实施例提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与处理器通信连接的至少一个存储器，其中：
15.存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的通用型线上产品异音智能检测系统。
16.第三方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机实现第一方面的各种实现方式中任一种实现方式所提供的通用型线上产品异音智能检测系统。
17.本发明实施例提供的通用型线上产品异音智能检测系统及设备，通过将用户身份验证模块、产品配置模块、数据标记模块、产品预测模块和数据回放模块进行系统集成，可以覆盖全部线上产品的异音检测需求，同时最大程度降低异音检测操作频次，减小异音检测操作的复杂度及对人工检测的依赖。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的通用型线上产品异音智能检测系统结构示意图；
20.图2为本发明实施例提供的电子设备的实体结构示意图；
21.图3为本发明实施例提供的产品配置模块功能流程示意图；
22.图4为本发明实施例提供的数据标记模块功能流程示意图；
23.图5为本发明实施例提供的产品预测模块功能流程示意图；
24.图6为本发明实施例提供的数据回放模块功能流程示意图；
25.图7为本发明实施例提供的显示界面配置模块功能流程示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
27.本发明实施例提供了一种通用型线上产品异音智能检测系统，参见图1，该系统包括：用户身份验证模块，用于对用户的身份进行区分，并根据区分结果安排用户访问路径；产品配置模块，用于显示已配置的产品，对产品进行复制、编辑及删除；数据标记模块，用于对标签进行相应操作，触发产品异音数据采集并对采集的产品异音数据进行标记；产品预测模块，用于对产品异音数据采集的方式进行触发并对采集到的产品异音数据进行预测；数据回放模块，用于对产品异音数据进行回放。
28.具体地，开发者工具包主要包括两个部分，分别是信号处理工具包和机器学习模型训练工具包。上述两个工具包可在离线环境下，根据应用场景和要求，有效支持软件的开发以及部署。信号处理工具包主要涵盖了适用于平稳和非平稳声学信号的处理方法，包括了滤波、时频分析、小波分析、emd分解、时域和频域统计、mfcc参数等。信号处理工具包主要用于对采集信号的处理分析，并以可视化形式显示呈现出来，主要集成在软件数据标记、智能检测模块下的窗口视图中。机器学习模型是整个软件系统的核心，直接决定了输出结果的准确性。为了使项目的机器学习模型取得尽可能高的准确率，离线建立了机器学习模型训练工具包，有效涵盖了机器学习模型的训练、评估、参数调优等流程，确保机器模型训练过程中能够涵盖成熟、前沿的主流机器学习和迁移学习算法。
29.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对用户的身份进行区分，并根据区分结果安排用户访问路径，包括：若用户身份为普通用户，则用户访问产品预测模块和数据回放模块；若用户身份为管理者，则用户访问产品配置模块、数据标记模块、产品预测模块和数据回放模块，用户在相应的模块完成操作。
30.具体地，在程序开始运行以后，用户身份验证模块会首先要求用户进行身份角色验证。若身份为普通用户，则可访问产品预测模块、数据回放模块；若身份为管理者，则可完全访问产品配置模块、数据标记模块、产品预测模块、数据回放模块，在各自选择的模块完
成用户所需的操作以后程序结束。
31.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，所述显示已配置的产品，对产品进行复制、编辑及删除，包括：对用户已配置的产品进行显示，在用户输入新增产品名称后进入新增产品配置流程；若选择复制操作，则用户选择现有产品并输入新名称，进入产品编辑页面对产品进行复制；若选择删除操作，则直接结束操作流程；产品配置的编辑页面主体分为通用编辑、通道编辑、激励源配置、可扩展预测模块编辑和可扩展自定义绘图编辑。
32.具体可以参见图3，若用户为管理者，则可以进入如图3的产品配置模块，界面会显示用户已配置的各个产品。对于新建产品，用户输入产品名称后进入产品配置流程；对于其他操作则会要求用户先选择一个现有产品(即选择产品)，复制操作同新增操作一样要求用户输入新名称，后续流程中和修改流程一致，进入产品配置的编辑页面。对于删除操作，则无需进入产品配置的编辑页面，而是结束操作流程。产品配置的编辑页面主体分为通用编辑部分、通道编辑部分、配置激励源部分、可扩展预测模块编辑部分、添加自定义绘图编辑部分，整个编辑流程如图3的所示，此处不再赘述。
33.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对标签进行相应操作，触发产品异音数据采集并对采集的产品异音数据进行标记，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改显示界面，则根据用户是否需要修改标签，选择是否开始标签修改流程；若用户需要修改标签，对于删除标签，在选择需要删除的标签后完成删除操作，对于新建标签，输入标签名称并配置对应的标签类别后完成新建标签操作；若不需要对标签进行修改，则根据用户在产品配置模块设置的产品异音数据采集触发方式进行触发，触发结束后用户对采样的产品异音样本选择对应的标签作为标记。
34.具体可以参见图4，管理者可以进入如图4的数据标记模块。开始流程后，若用户需要修改显示界面，则进入显示界面配置模块；若用户无需修改，则根据用户是否需要修改标签，选择是否开始标签修改流程。如果用户需要修改标签，对于删除标签，用户在选择需要删除的标签后完成操作，对于新建标签用户需要输入标签名称并配置对应的标签类别后完成操作；若不需要对标签进行修改，则根据用户在产品配置页面设置的采集触发方式进行触发，触发结束以后，用户对采样的样本选择对应的标签作为采样数据的标记。根据用户需要以及产品配置决定是否继续采集，若要继续采集则按图4重复上述步骤，若已经完成样本采集，则结束数据标记流程。相关详细内容可以参见图4，此处不再赘述。
35.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对产品异音数据采集的方式进行触发并对采集到的产品异音数据进行预测，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改显示界面，则根据在产品配置模块设置的产品异音数据采集触发方式进行触发，触发结束后，调用可扩展预测模块插件对产品异音数据进行预测，得到各自的预测结果后将预测显示在用户界面。
36.具体可以参见图5，普通用户和管理者均可进入如图5的产品预测模块。开始流程后，若用户需要修改显示界面，则进入显示界面配置模块；若用户无需修改，则根据用户在产品配置页面设置的数据采集触发方式进行触发，触发结束以后，调用各个可扩展预测模
块插件，得到各自的预测结果，显示在用户界面。根据用户的需要和产品的配置决定是否重复上述步骤。相关详细内容可以参见图4，此处不再赘述。
37.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，所述对产品异音数据进行回放，包括：若用户修改显示界面，则进入显示界面修改流程；若用户无需修改，则选择回放数据并开始回放，回放完成后，若继续回放则选择回放数据并开始回放；若不继续回放，则结束回放流程。
38.具体可以参见图6，普通用户和管理者均可进入如图6的数据回放模块。开始流程后，若用户需要修改显示界面，则进入显示界面配置模块；若用户无需修改，则可以选择回放数据并开始回放。回放完成以后，若要继续回放则重复以上步骤；若不继续回放，则结束流程。相关详细内容可以参见图6，此处不再赘述。
39.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，还包括：显示界面配置模块，用于若用户修改显示界面，则选择要显示的子图像数目，根据绘图模式对每个子图进行配置；若选择实时数据绘图模式，则选择对应的显示通道，配置单幅图像的显示长度，并根据是否需要开启同步听音功能打开对应的设置开关。
40.基于上述系统实施例的内容，作为一种可选的实施例，本发明实施例中提供的通用型线上产品异音智能检测系统，还包括：若选择自定义绘图扩展绘图模式，则勾选在产品配置模块中添加的自定义绘图插件，对通道数据进行实时二次分析和自定义图像绘制。
41.具体可以参见图7，程序会首先加载用户上次存储的界面配置。若用户需要修改，则选择要显示的子图像数目。对于每个子图，如果需要配置，根据用户选择的绘图模式的不同，有不同的配置流程。绘图模式分为两种，实时数据和自定义绘图扩展。实时数据为采集的某通道的实时图像，自定义绘图扩展为用户自定义绘图插件。若用户选择实时数据，则需要选择对应的显示通道、配置单幅图像的显示长度，并根据是否需要开启同步听音功能打开对应的设置开关。若用户选择自定义绘图扩展，则需要勾选一个在产品配置模块中添加过的自定义绘图插件，用于实现对实时通道数据的实时二次分析和自定义图像绘制。相关详细内容可以参见图7，此处不再赘述。
42.本发明实施例提供的通用型线上产品异音智能检测系统及设备，通过将用户身份验证模块、产品配置模块、数据标记模块、产品预测模块和数据回放模块进行系统集成，可以覆盖全部线上产品的异音检测需求，同时最大程度降低异音检测操作频次，减小异音检测操作的复杂度及对人工检测的依赖。
43.本发明实施例提供的通用型线上产品异音智能检测系统，支持通道自定义设置，在软件产品列表中，定义有“通道设置”选项，可根据测试对象以及场景，自定义选择并配置不同物理通道，测量物理量可包括振动、噪声、电压、电流、温度、压力等；通道设置中最多支持8个通道的自定义配置，采样频率最大支持256k；采集过程中，灵活支持延迟采样、触发采样等功能；支持检测标准自定义，在软件产品列表中，定义有“检测标准”选项，可实现检测标准的自定义加载。异音异响采用机器学习方法进行判定，可在检测标准中加载配置离线训练好的机器学习模型，支持二分类和多分类。例如：检测物理量为异音，下限为“0”，表示其为正常；上限为“4”，则表示异音为四分类；若上限为“1”，则表示为二分类，其中“1”表示为“有异音”。同时，为了确保系统检测功能多样性，还可以定义加载异音异响之外的检测指
标，如电声特性、电气特性、力学特性等，具体可在产品列表模块中的“检测标准”中自定义添加。值得说明的是，该检测指标需与通道采集的物理量进行对应；支持数据标签自定义，在软件数据标记模块中设置有“数据标签”按钮，可根据测试对象中异音异响的不同类型，进行多个标签的自定义配置；支持图形显示自定义，在软件数据标记模块和智能检测模块中，左侧界面分别为图形显示区，图形显示区可定义新建不同的窗口视图进行不同物理量的在线实时监控，监控视图建立完成后，支持各个视图与监测物理量的关联搭配，同时也支持自定义形式加载计算模型或者函数(开发者工具包-信号处理工具包)，从而确保监控视图显示不同的计算结果；支持多个产品列表自定义及编辑，软件在应用过程中，对于企业的待检产品，其种类和规格往往不止一种，需要根据生产计划进行产品类型和规格的随时切换，根据该应用需求，软件支持对已经创建成功的产品进行编辑、复制、删除等操作，从而完成多个待检产品的定义加载，具体使用过程中，可在产品列表模块中选择待检产品即可快速切换进入智能检测模块中；支持多种自动化集成方式，系统在应用过程中，通常需要与自动化机构集成，从而实现整个检测流程自动化、无人化。考虑到自动化机构通常需要定制化设计，为了便于系统集成，软件设计开发过程中，重点对数据通讯进行了考虑，可有效支持多种自动化集成方式，包括：(1)触发采样，即按照既定检测动作，自动化机构输出高低电平信号，软件通过采集高电平信号进而实现数据的采集开始和停止。(2)通讯控制，即按照既定检测动作，自动化控制软件和通用型线上产品异音异响智能检测软件通过本地通讯方式，实现数据的采集开始和停止。
44.异音异响检测是市面上诸多产品出厂前不可或缺的工作。本发明实施例提供的通用型线上产品异音智能检测系统解决了企业采用人工听诊导致误判率高、效率低下以及生产成本日益增加的问题。通过人工智能技术可扩展插件的嵌入，可以有效构建产品的异音异响智能检测系统，其利用声学传感器在线采集产品运行过程中发出的声音信号，从而构建标准现场产品声学数据集，在此基础上依托机器学习方法建立有效的判定模型，并将产品检测分类结果发送至对应执行机构，从而替代人工实现线上产品的异音质检与分类。与此同时，异音异响智能检测系统比较复杂，应用软件的开发需要解决以下技术问题：检测物理通道自定义、检测标准的设定、机器学习模型训练的数据采集与部署、智能检测结果呈现、测试数据管理等。这些技术问题的解决通常依赖于软件开发人员的技术水平，要求软件开发人员具有较高的编写代码水平并且掌握多学科交叉复杂信息处理技术，从而造成软件开发项目难度大、成本高、开发周期长。
45.对于上述问题，本发明实施例提供的通用型线上产品异音智能检测系统，能够在该软件框架下实现异音异响智能检测系统的开发，有效降低了系统的开发部署难度，缩短了开发周期，降低了开发成本。系统软件的设计开发采用开放式架构，可以覆盖全部线上产品的异音异响检测功能需求，同时最大程度降低操作频次，减小系统操作使用复杂度。该系统可广泛应用于汽车零部件、白色家电、电声组件、散热模组、基础机械传动部件、电气组件以及特种医疗设备等领域的产品异音异响检测。
46.本发明实施例的系统是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图2所示，该电子设备包括：至少一个处理器(processor)、通信接口(communications interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完
成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以实现系统实施例中提供的各种系统。
47.此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的全部系统或部分系统。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
48.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
49.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现各个实施例或者实施例的某些部分所述的方法或系统。
50.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
51.在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括
……
"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
52.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。