用于诊断设备的系统和方法以及诊断设备的组件的方法与流程

用于诊断设备的系统和方法以及诊断设备的组件的方法
1.相关申请的交叉引用
2.本技术要求于2021年11月10日提交的申请号为17/523,297的美国非临时申请的优先权和2020年12月7日提交的申请号为63/122,312的美国临时申请的优先权，其全部公开内容通过引用并入本技术。
技术领域
3.本文描述的公开主题涉及用于诊断设备的系统和方法以及诊断设备的组件的方法。


背景技术：

4.设备(例如车辆的部件)可以被诊断以检测可能被损坏或处于故障模式的部件。诊断可能因进行诊断的人而不同，这可能导致结果不准确。诊断可能不考虑以前的诊断，这使得很难确定当前的诊断是否正确。如果设备被错误地诊断为按期望运行，那么设备的故障可能导致设备(如机车)坏掉。相反，如果部件被检查并被错误地诊断为未按期望运行，例如被损坏、有缺陷或失效，那么不必要的更换该部件就会导致设备停止使用、增加维修费用。


技术实现要素：

5.根据一个示例或方面，一种方法可包括记录设备的运行以创建音频文件并从音频文件中提取特征。所述方法可包括将提取的特征输入到机器学习模型中，并用所述机器学习模型确定指示设备运行的分数。
6.根据一个示例或方面，一个系统可包括音频传感器，以记录设备运行的音频并生成音频文件和一个或多个处理器。所述一个或多个处理器从所述音频文件中提取特征并将提取的特征输入机器学习模型。所述一个或多个处理器用机器学习模型确定指示设备运行的分数。
7.根据一个示例或方面，一种方法可包括使用记录装置来记录组件的运行以创建文件，并从所述文件中提取特征以创建提取文件。所述方法可包括将所述提取文件输入到机器学习模型中，并用所述机器学习模型至少部分地基于所述提取文件确定指示组件运行的分数。
附图说明
8.通过阅读以下对非限制性实施例的描述，并参考附图，可以理解本发明的主题，其中：
9.图1示意性地示出根据一个实施例的用于诊断设备的系统和方法；
10.图2示意性地示出根据一个实施例的用于诊断设备的系统和方法；
11.图3示意性地示出根据一个实施例的用于诊断设备的系统和方法；
12.图4示意性地示出根据一个实施例的方法；
13.图5示意性地示出根据一个实施例的方法。
具体实施方式
14.本文所述主题的实施方案涉及一种可以诊断设备的装置，例如与车辆系统、发电系统和建筑设备相关的设备。未能诊断出未按期望方式运行的设备可能会导致设备的故障，从而导致昂贵的维修费用，同时设备在维修时也无法使用。将按期望方式运行的设备错误地诊断为未按期望方式运行可能会导致设备停用和不必要的维修。
15.目前通过声音诊断设备依赖于熟悉设备运行的操作者，操作者能够通过聆听设备的声音并根据经验做出判断来识别不期望的运行。以这种方式诊断设备可能无法足够早地检测到不期望的运行以防止设备出现故障，并且可能基于不同操作者的经验而导致不一致的结果。本文所述的实施方案提供了一种基于音频数据和由音频数据生成的图像数据、通过使用机器学习模型来诊断设备的方法，所述模型被训练以区分期望运行和非期望运行，并继续学习和提高其区分期望运行和非期望运行的能力。
16.虽然一个或多个实施例是结合轨道车辆系统描述的，但并非所有实施例都限于轨道车辆系统。此外，这里描述的实施例扩展到多种类型的车辆系统。合适的车辆系统可包括轨道车辆、汽车、卡车(带或不带拖车)、公共汽车、船舶、飞机、采矿车辆、农用车辆和非公路车辆。在此描述的合适的车辆系统可以由单个车辆形成。在其他实施例中，车辆系统可包括以协调方式移动的多个车辆。合适的车辆系统可以是在轨道上行驶的轨道车辆系统，或者是在道路或路径上行驶的车辆系统。关于多车辆系统，车辆可以彼此机械耦合(例如，通过耦合器)或者它们可以虚拟地或逻辑地耦合、而非机械地耦合。例如，当各个车辆彼此通信以协调车辆相对彼此的运动，使得车辆一起行驶(例如，作为车队(convoy)、排(platoon)、群(swarm)、机队(fleet)等)时，车辆可以通信地(communicatively)而非机械地耦合。
17.关于设备或组件，合适的示例可包括接受定期诊断的设备。在一个实施例中，所述组件可以是发动机或车辆系统的组件。例如，所述设备可以是用于机车发动机的高压燃料泵。在另一个示例中，所述组件可以是电动机。旋转设备通常适用于使用本发明的方法进行诊断。
18.参考图1，设备10可以由录音装置12来诊断。根据一个实施例，所述录音装置可以是移动手持装置。录音装置可以是智能手机或平板电脑或个人数字助理(pda)或笔记本电脑。录音装置包括音频采集装置，例如麦克风或加速度计(accelerometer)或探头，所述音频采集装置采集指示待诊断设备或待诊断设备一部分的运行的音频，并将音频存储为原始音频文件14。根据一个示例，原始音频文件可以是wav格式文件。所述wav文件可包括非容器化(un-containerized)和未压缩的音频数据。录音装置可以，例如通过usb连接，连接到传感器或探头或外部麦克风。传感器或探头或麦克风可以放置在设备部分附近和/或接触设备部分以生成原始音频文件。录音装置可以将音频文件传送到一个或多个处理器，所述处理器可以执行存储在存储器中的指令以使用机器学习模型做出关于设备或设备的一部分的确定和评估。例如，所述确定可以涉及设备或设备的一部分是以期望模式还是不期望模式运行的。关于近距离，可以参考应用特定参数来选择距离。在一个实施例中，麦克风与设备的一部分或设备的部件的距离可以在几英寸之内。
19.合适的音频文件可包括有损和无损文件类型。音频文件类型的示例可包括.wav、
.mp3、.wma、.aac、.ogg、.midi、.aif、.aifc、.aiff、.au和.ea。可以至少部分地基于压缩比、压缩算法和其他应用特定参数来选择文件类型。
20.根据一个示例，所述设备是车辆的高压燃料泵。原始音频文件可以在机车引擎在空闲(即，空载)条件下运行时生成。录音装置可以紧邻高压燃料泵放置，录音装置或音频采集装置可以在不同位置之间移动(例如，从第一记录位置16到第二记录位置18，到第三个记录位置20，依此类推)。尽管所示示例示出在三个位置处进行记录，但可选地，记录可以发生在更少的位置(例如，单个位置或两个位置)或多于三个位置。如图1所示，记录位置(recording locations)从设备的顶部延伸到底部。当录音装置或音频采集装置从第一记录位置被移动到第二记录位置到第三记录位置时，所述录音装置或音频采集装置可以在每个记录位置上方悬停一段时间。根据一个示例，高压燃料泵的运行可被记录一段时间，例如30秒、一分钟或另一时长。录音装置或音频采集装置可用于输出两个或多个音频文件。例如，录音装置或音频采集装置可以输出在车辆的第一侧的第一燃料泵的第一音频文件，并且可以采集在车辆的相对的第二侧的第二燃料泵的第二音频文件。
21.参考图2，根据一个实施例的用于诊断设备的方法24包括从原始音频文件中提取26特征。可以提取的特征包括但不限于过零率、频谱质心、谱带宽、均方根误差(rmse)、色度stft(短时傅里叶变换)、或频谱滚降中的一个或多个。提取的特征被输入到机器学习模型28的输入层30中。录音装置的一个或多个处理器可以将原始音频文件变换或转换为图像数据22，例如梅尔频谱图(mel spectrogram)。音频文件的音频数据可以通过使用例如具有确定窗口大小的窗口函数的快速傅里叶变换(fft)变换为梅尔频谱图的图像数据。分析可以使用确定的跳跃大小(hop size)在连续窗口之间以确定的次数对音频文件进行采样。可以计算每个窗口的fft以从时域变换到频域。可以通过将整个频谱分成数量确定的间隔均匀的频率来生成梅尔标度(mel scale)。然后可以通过对于每个窗口将信号的幅度分解为其分量(component)来生成频谱图，这些分量对应于梅尔标度中的频率。根据一个示例，梅尔频谱图可以是23特征集(23feature set)。
22.可以将梅尔频谱图与提取的特征一起输入到输入层中。根据一个示例，机器学习模型包括输入层30、隐藏层32和输出层36。如图2所示，根据一个示例，隐藏层为单层，输出层为单输出神经元。根据其他示例，隐藏层可包括多个隐藏层和/或输出层可包括多个神经元。在一个实施例中，音频文件可以被可视化为波函数。傅里叶变换可用于从音频文件、视频文件或两者中提取信息。在其他实施例中，可以采用其他变换算法。合适的变换模型可包括拉普拉斯变换、小波变换和kramers-kronig变换。
23.机器学习模型的算法将输入偏差34应用于隐藏层的输入，并引导它们通过激活函数作为输出。根据一个实施例，所述算法将输出偏差38应用于作为指示设备运行的异常量度而提供的输出。在一个实施例中，机器学习模型是监督机器学习模型。机器学习模型可以被提供已标记过的训练数据。训练数据可包括以期望模式运行的设备的音频文件和图像数据、以及以非期望模式运行的设备的音频文件和图像数据。训练数据可能来自类似的设备，例如来自其他高压燃料泵。训练数据可能来自相同设备的一个或多个先前诊断。例如，机器学习模型可包括高压燃料泵的先前数据，并且确定高压燃料泵已被诊断先前次数。机器学习模型可包括先前诊断的先前数据。机器学习模型可以确定先前已经被诊断特定次数并且均确定为以期望模式运行的一件设备(a piece of equipment)或设备的一部分更有可能
以不期望的模式运行。机器学习模型还可根据输入数据确定正在被诊断的设备比已被诊断的其他设备更旧，从而确定设备部件随时间劣化。
24.根据一个示例，机器学习模型可以在记录设备的运行的同时参考模型的结果，以提供更准确的决策。再次参考图1，当录音装置从一个记录位置被移动到另一记录位置时，一个或多个先前记录位置的结果可以在下一记录位置用作并发参考点(concurrent reference point)。当录音装置或音频采集装置例如在发动机中从气缸移动到气缸、或在泵中从气缸移动到气缸、或在多个泵的情况下从泵移动到泵时，机器学习模型的算法可参考先前的设备部件行为和评估，并在对正在诊断的设备进行记录的同时可调整阈值。机器学习模型可以在完成对整个设备的评估后调整对设备和设备部件的先前评估。
25.机器学习模型可以存储于录音装置的存储器中并且由一个或多个处理器执行。录音装置的存储器可以存储训练数据和先前诊断的输入数据，训练数据和先前诊断的输入数据来自录音装置先前执行的诊断或来自其他录音装置。机器学习模型的输入数据被标记和结构化，并且通过隐藏层的运行，机器学习模型检测输入数据中的模式并检测模式中的任何异常。根据一个实施例，机器学习模型的输出40是指示设备运行的、在一系列单值分数上的单值分数。
26.参考图3，根据示例的用于诊断设备的过程42包括确定标准分数。原始音频文件被处理成归一化的(normalized)音频文件44，并且从归一化音频文件中提取特征。根据一个示例，提取的特征对应于结合图2描述的特征。根据示例，提取的音频特征以逗号分隔值格式以特征集的形式提供。
27.提取的特征被输入到机器学习模型46中。根据一个实施例，机器学习模型对应于结合图2描述的机器学习模型。机器学习模型的输出被输入到损失函数48中。损失函数确定正常数据的最大似然(maximum likelihood)。损失函数具有基于高斯分布为数据分配分数的评分组件50。
28.损失函数分配的分数是标准分数。正常数据将被分配位于一个范围内的标准分数。根据一个实施例，所述范围在-3到3之间。范围外的标准分数表示异常数据。第一数值范围内的标准分数可以指示设备在期望模式下运行，第二数值范围内的标准分数可以指示设备在不期望模式下运行。根据一个实施例，第二范围内的标准分数可以高于第一范围内的标准分数。确定由损失函数确定的误差导数52并提供给机器学习模型。机器学习模型学习拟合数据并预测分数，机器学习模型为正常数据分配最小值，为异常数据分配统计上更高的值。
29.参照图4，方法400可包括记录设备运行以创建音频文件的步骤410和从音频文件中提取特征的步骤420。所述方法包括将提取的特征输入机器学习模型的步骤430和用机器学习模型确定指示设备运行的分数的步骤440。
30.参考图5，方法500可包括使用记录设备记录组件的运行以创建文件的步骤510和从文件中提取特征以创建提取文件的步骤520。所述方法可包括将提取文件输入到机器学习模型中的步骤530和使用机器学习模型至少部分地基于提取文件确定指示组件运行的分数的步骤540。
31.一种方法可包括记录设备的运行以创建音频文件并从音频文件中提取特征。所述方法可包括将提取的特征输入到机器学习模型中并用机器学习模型确定指示设备运行的
分数。
32.所述方法可包括生成以下至少一个：修改设备运行的建议、维护设备的请求以及进行后续记录的安排的未来日期及设备的分数落在确定的可接受运行参数内的通知。
33.所述机器学习模型可包括训练数据，所述训练数据包括设备期望模式下运行的第一音频文件和设备不期望模式下运行的第二音频文件。所述方法可包括将音频文件添加到训练数据。
34.所述方法可包括在提取特征之前归一化音频文件的数据。
35.所述方法可包括将分数输入到损失函数中，所述损失函数基于提取并输入到机器学习模型中的特征的高斯分布。
36.所述分数可以是标准分数。第一范围内的标准分数可以指示设备在期望模式下运行，第二范围内的标准分数可以指示设备在不期望模式下运行。
37.从音频文件中提取的特征可包括过零率、频谱质心、均方根误差和频谱滚降中的一个或多个。
38.该方法可包括生成与音频文件对应的图像数据，将生成的图像数据与已记录的音频文件同时输入到机器学习模型中，以及至少部分地基于生成的图像数据来确定分数。
39.一种系统可包括用于记录设备运行的音频并生成音频文件的音频传感器，以及一个或多个处理器。所述一个或多个处理器从音频文件中提取特征，将提取的特征输入到机器学习模型中，并用机器学习模型确定指示设备运行的分数。
40.所述一个或多个处理器使用分数可以生成以下至少一个：修改设备运行的建议、维护设备的请求以及进行后续记录的安排的未来日期及设备的分数落在确定的可接受运行参数内的通知。
41.机器学习模型可包括训练数据，所述训练数据包括设备期望模式下运行的第一音频文件和设备不期望模式下运行的第二音频文件。所述一个或多个处理器可以将音频文件添加到训练数据。
42.所述一个或多个处理器可以在提取特征之前归一化音频文件的数据。
43.所述一个或多个处理器可以将分数输入到损失函数中。所述损失函数可以基于提取并输入到机器学习模型中的特征的高斯分布。
44.所述分数可以是标准分数。第一范围内的标准分数可指示设备在期望模式下运行，第二范围内的标准分数可指示设备在不期望模式下运行。
45.从音频文件中提取的特征可以包括过零率、频谱质心、均方根误差和频谱滚降中的一个或多个。
46.提取的特征可以是视频特征。所述一个或多个处理器可以至少部分地基于音频文件的提取特征来生成图像数据，将生成的图像数据输入到机器学习模型中，并且至少部分地基于生成的图像数据来确定分数。
47.音频文件和图像数据可以同时输入到机器学习模型中。
48.一种方法可包括使用记录装置来记录组件的运行以创建文件，并从所述文件中提取特征以创建提取文件。所述方法可包括将提取文件输入到机器学习模型中，并且用机器学习模型至少部分地基于提取文件确定指示组件运行的分数。
49.所述提取文件可以包括音频文件、视频文件或音视频文件，机器学习模型可以包
括训练数据，所述训练数据包括组件期望模式下运行的第一参考文件和组件不期望模式下运行的第二参考文件。所述方法可包括将提取文件添加到训练数据作为运行的期望模式或运行的不期望模式。
50.所述组件可以是燃料泵、水泵、曲轴和活塞中的至少一种。
51.在一个实施例中，处理器可以确定关于组件的更加分级的数据。也就是说，并非它是在期望或非期望状态下运行，而是它在这种状态下运行的程度。所述分数可以是分级的，它可以对应于组件的预期剩余使用寿命。然后，所述信息可用于在计算出的故障日期之前的未来日期安排维护、修理或更换。计算出的故障日期可能存在误差。在一个示例中，可以根据组件的关键性及其故障的影响来确定误差幅度。在一个实施例中，所述信息可用于修改组件的运行。例如，如果组件在压力较小的工作循环中使用，则它的使用寿命可能比在最大能力下使用的时间更长。
52.在一个实施例中，本文描述的一个或多个处理器或系统可以部署本地数据收集系统，并且可以使用机器学习来实现基于推导的学习结果。所述一个或多个处理器可以通过进行数据驱动的预测并根据数据集进行调整，从一组数据(包括由各种传感器提供的数据)中学习并做出决策。在实施例中，机器学习可以涉及通过机器学习系统执行多个机器学习任务，例如监督学习、无监督学习和强化学习。监督学习可以包括向机器学习系统呈现一组示例输入和期望输出。无监督学习可以包括通过模式检测和/或特征学习等方法构建其输入的学习算法。强化学习可包括在动态环境中执行、并提供有关正确和错误决策的反馈的机器学习系统。在示例中，机器学习可以包括基于机器学习系统的输出的多个其他任务。在示例中，任务可以是机器学习问题，例如分类、回归、聚类、密度估计、降维、异常检测等。在示例中，机器学习可以包括多种数学和统计技术。在示例中，许多类型的机器学习算法可包括基于决策树的学习、关联规则学习、深度学习、人工神经网络、遗传学习算法、归纳逻辑编程、支持向量机(svm)、贝叶斯网络、强化学习、表示学习、基于规则的机器学习、稀疏字典学习、相似性和度量学习、学习分类器系统(lcs)、逻辑回归、随机森林、k-means、梯度提升、k-最近邻(knn)、先验算法等。在实施例中，可以使用某些机器学习算法(例如，用于解决可以基于自然选择的有约束和无约束的优化问题)。在一个示例中，该算法可用于解决混合整数规划的问题，其中一些组件被限制为整数值。算法和机器学习技术和系统可用于计算智能系统、计算机视觉、自然语言处理(nlp)、推荐系统、强化学习、构建图形模型等。在一个示例中，机器学习可用于进行确定、计算、比较和行为分析等。
53.在一个实施例中，一个或多个处理器可包括可以应用一个或多个策略的策略引擎。这些策略可以至少部分地基于给定的设备或环境项目的特性。关于控制策略，神经网络可以接收许多环境和任务相关参数的输入。这些参数可以包括例如关于运行设备的运算输入(operational input)、来自各种传感器的数据、位置和/或位置数据等。可以训练神经网络根据这些输入生成输出，所述输出表示设备或系统为实现运行目标而应采取的动作或动作序列。在一个实施例的运行期间，可以通过神经网络的参数来处理输入以在输出节点处生成指定该动作为期望动作的值来进行确定。该动作可以转化为使得车辆运行的信号。这可以通过反向传播、前馈过程、闭环反馈或开环反馈来实现。或者，控制器的机器学习系统可以使用进化策略技术来调整人工神经网络的各种参数，而不是使用反向传播。所述控制器可以使用具有函数的神经网络架构，所述函数可能并不总是可以使用反向传播来解决，
例如非凸函数。在一个实施例中，所述神经网络具有一组表示其节点连接(node connections)权重的参数。生成该网络的多个副本，然后对参数进行不同的调整，并完成模拟。一旦获得了来自各种模型的输出，就可以使用确定的成功度量来评估它们的性能。选择最佳模型，车辆控制器执行该计划以实现所需的输入数据来反映预测的最佳结果场景。此外，所述成功度量可以是优化结果的组合，可以相对于彼此权衡。
54.如本文所使用的，术语“处理器”和“计算机”以及相关术语，例如“处理设备”、“计算设备”和“控制器”可以不限于本领域中被称为计算机的那些集成电路，而是指微控制器、微型计算机、可编程逻辑控制器(plc)、现场可编程门阵列、专用集成电路和其他可编程电路。合适的存储器可以包括例如计算机可读介质。计算机可读介质可以是例如随机存取存储器(ram)、计算机可读非易失性介质，例如闪存。术语“非暂时性计算机可读介质”代表一种基于计算机的有形设备，用于短期和长期存储信息，例如计算机可读指令、数据结构、程序模块和子模块，或任何设备中的其他数据。因此，本文描述的方法可以被编码为包含在有形、非暂时性、计算机可读介质，包括但不限于存储设备和/或存储器设备，中的可执行指令。此类指令在由处理器执行时使处理器执行本文描述的方法的至少一部分。因此，该术语包括有形的计算机可读介质，包括但不限于非暂时性计算机存储设备，包括但不限于易失性和非易失性介质，以及可移动和不可移动介质，例如固件、物理和虚拟存储、cd-rom、dvd和其他数字资源，例如网络或因特网。
55.当在本说明书(包括权利要求)中使用任何或所有术语“包括(comprise)”、“包括(comprises)”、“包括(comprised)”或“包括(comprising)”时，它们将被解释为明确所述特征、整数、步骤或组件的存在，但不排除存在一个或多个其他特征、整数、步骤或组件。
56.除非上下文另有明确规定，否则单数形式“a”、“an”和“the”包括复数引用。“可选的”或“可选地”是指随后描述的事件或情况可能发生也可能不发生，该描述可以包括事件发生的情况和不发生的情况。此处在整个说明书和权利要求书中使用的近似语言可用于修改任何定量表示，该表示可允许变化而不导致与其可能相关的基本功能的改变。因此，由一个或多个术语修饰的值，例如“大约”、“基本上”和“近似地”，可以不限于指定的精确值。在至少一些情况下，近似语言可以对应于用于测量值的仪器的精度。此处和整个说明书和权利要求书中，范围限制可以组合和/或互换，除非上下文或语言另有指示，否则此类范围可以被识别并包括其中包含的所有子范围。
57.本书面描述使用示例来公开实施例，包括最佳模式，并使本领域普通技术人员能够实践实施例，包括制造和使用任何设备或系统以及执行任何包含的方法。权利要求限定了本公开的可专利范围，并且包括本领域普通技术人员想到的其他示例。如果这些其他示例具有与权利要求的字面语言无差异的结构要素，或者如果它们包括与权利要求的字面语言无实质性差异的等效结构要素，则这些其他示例旨在属于权利要求的范围。