车辆发动机异常检测方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种车辆发动机异常检测方法、装置、电子设备及存储介质。


背景技术：

2.近年来，随着经济的快速发展，越来越多的家庭选取汽车作为代步工具。汽车作为汽车三大件之一，是汽车的动力来源，是极为重要的一个部分。在汽车行驶过程中，汽车的发动机发生异常时，通常是驾驶人员的听觉感观对发动机异常进行判断，在发动机刚开始发生异常时，驾驶人员的判断不够及时也不准确，对于电子元件对汽车发动机进行监测，由于电子元件的参数数据通常是异常阈值设置，而这些阈值依赖于专业人员的主观经验来进行设置，异常检测的准确性受主观因素影响较大，并且所选用的参数类型较为单一，无法客观全面考虑行驶过程中汽车发动机异常的所有因素，导致异常检测准确率较低。


技术实现要素：

3.本发明实施例提供一种车辆发动机异常检测方法，能够通过使用发动机启动后的车载图像序列以及发动机声纹序列来对车辆发动机异常检测分类预测，由于异常类型是根据发生过的异常进行确定，可以将异常检测中的阈值设置问题转换为分类问题，而且使用车载图像序列辅助发动机声纹序列进行检测，充分利用了车载图像的复杂信息进行特征提取，进而可以将更多行驶过程中汽车发动机异常的所有因素抽象为高级特征，提高车辆发动机异常检测的准确率。
4.第一方面，本发明实施例提供一种车辆发动机异常检测方法，所述方法包括：
5.获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；
6.通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；
7.通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；
8.将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；
9.通过预设的分类预测网络对所述融合特征进行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。
10.可选的，所述获取发动机启动后的发动机声纹序列，包括：
11.获取发动机启动后的发动机第一声纹序列；
12.对所述发动机第一声纹序列进行消噪，得到发动机第二声纹序列；
13.将所述发动机第二声纹序列由时域信息转换为频域信息，并根据所述时域信息与
所述频域信息得到发动机声纹序列。
14.可选的，所述将所述发动机第二声纹序列由时域信息转换为频域信息，包括：
15.对所述发动机第二声纹序列进行分帧处理，得到分帧处理后的发动机第二声纹序列；
16.对所述分帧处理后的发动机第二声纹序列进行加窗处理，得到加窗后的发动机第二声纹序列；
17.对所述加窗后的发动机第二声纹序列进行快速傅里叶变换点数处理，将所述发动机第二声纹序列从时域信息转换为频域信息。
18.可选的，所述发动机舱盖的时空特征与所述发动机的时频声纹特征具有相同的特征维度，所述将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征，包括：
19.对所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行点乘，得到第一融合特征；
20.对所述第一融合特征进行累加，得到第二融合特征作为所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征。
21.可选的，所述图像特征提取网络、声纹特征提取网络、分类预测网络通过同一个数据集进行训练，所述训练的步骤包括：
22.构建第一数据集，所述第一数据集包括样本车载图像序列、样本发动机声纹序列以及对应的故障类型标签，所述样本车载图像序列为车辆在发动机异常情况下的发动机启动后的车载图像序列，所述样本发动机声纹序列为车辆在发动机异常情况下的发动机启动后的发动机声纹序列，所述一个样本车载图像序列对应一个样本发动机声纹序列；
23.通过所述第一数据集，对所述图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练。
24.可选的，所述通过所述数据集，对所述图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练，包括：
25.通过待训练的图像特征提取网络对所述样本车载图像序列进行特征提取，得到发动机舱盖的样本时空特征；
26.通过待训练的声纹特征提取网络对所述样本发动机声纹序列进行特征提取，得到发动机的样本时频声纹特征；
27.将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的样本时空特征与所述发动机的样本时频声纹特征的融合特征；
28.通过待训练的分类预测网络对所述融合特征进行样本分类预测，得到样本分类预测结果，通过预设的损失函数计算所述样本分类预测结果与所述对应的故障类型标签的误差损失，根据所述误差损失对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行调整。
29.可选的，在训练完成后，所述方法还包括：
30.获取各车辆类型对应车辆在发动机正常情况下的发动机启动后的正常车载图像序列和对应的正常发动机声纹序列、以及所述对应车辆在发动机异常情况下的发动机启动后的异常车载图像序列和对应的异常发动机声纹序列作为第二数据集，所述第二数据集中
一个正常样本车载图像序列对应一个正常样本发动机声纹序列，一个异常样本车载图像序列对应一个异常样本发动机声纹序列，所述一个第二数据集对应一个车辆类型，所述第二数据集中与所述第一数据集的样本不重复；
31.在对用户车辆进行初始化时，获取用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列；
32.根据所述用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列匹配对应的第二数据集，并根据所述对应的第二数据集对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调。
33.第二方面，本发明实施例还一种车辆发动机异常检测装置，所述装置包括：
34.第一获取模块，用于获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；
35.第一提取模块，用于通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；
36.第二提取模块，用于通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；
37.第一融合模块，用于将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；
38.检测模块，用于通过预设的分类预测网络对所述融合特征进行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。
39.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的车辆发动机异常检测方法中的步骤。
40.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的车辆发动机异常检测方法中的步骤。
41.本发明实施例中，获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；通过预设的分类预测网络对所述融合特征进行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。能够通过使用发动机启动后的车载图像序列以及发动机声纹序列来对车辆发动机异常检测分类预测，由于异常类型是根据发生过的异常进行确定，可以将异常检测中的阈值设置问题转换为分类问题，而且使用车载图像序列辅助发动机声纹序列进行检测，充分利用了车载图像的复杂信息进行特征提取，进而可以将更多行驶过程中汽车发动机异常的所有因素抽象为高级特征，提高车辆发动机异常检测的准确率。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例提供的一种车辆发动机异常检测方法的流程图；
44.图2是本发明实施例提供的一种发动机声纹序列获取方法的流程图；
45.图2a是本发明实施例提供的一种时域信息与频域信息的关系示意图；
46.图3是本发明实施例提供的一种时域信息转换为频域信息的流程图；
47.图4是本发明实施例提供的一种车辆发动机异常检测模型的训练流程图；
48.图5是本发明实施例提供的一种车辆发动机异常检测装置的结构示意图；
49.图6是本发明实施例提供的一种第一获取模块的结构示意图；
50.图7是本发明实施例提供的一种转换子模块的结构示意图；
51.图8是本发明实施例提供的一种融合模块的结构示意图；
52.图9是本发明实施例提供的另一种车辆发动机异常检测装置的结构示意图；
53.图10是本发明实施例提供的一种训练模块的结构示意图；
54.图11是本发明实施例提供的另一种车辆发动机异常检测装置的结构示意图；
55.图12是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.请参见图1，图1是本发明实施例提供的一种车辆发动机异常检测方法的流程图，如图1所示，包括以下步骤：
58.101、获取发动机启动后的车载图像序列以及发动机声纹序列。
59.在本发明实施例中，上述车载图像序列包括发动机舱盖图像，上述发动机声纹序列包括发动机声纹的时域信息与频域信息，上述车载图像序列以及发动机声纹序列为同时获取。
60.上述发动机启动后，可以是车辆停驶状态下发动机的运行状态，也可以是车辆行驶状态下发动机的运行状态。上述的车辆可以是需要使用发动机的机动车，上述发动机指的是利用燃烧将工质内能转换为向外输的出机械能的车辆动力部件，比如可以是汽油内燃机、柴油内燃机。
61.上述车载图像序列可以是理解为车载视频，上述车载图像序列可以是通过设置车辆内的摄像头进行拍摄得到，上述摄像头对准车辆的发动机舱盖进行设置，以使摄像头能够拍摄到包含发动机舱盖的车载图像序列。
62.上述发动机声纹序列可以是通过设置在发动机舱内的声音传感器进行获取，上述发动机声纹序列可以根据车载图像序列的分帧规则进行分帧，比如，车载图像序列为每秒
29帧，则可以将发动机声纹划分为每秒29个片段，形成对应的发动机声纹序列。
63.需要说明的是，上述车载图像序列与发动机声纹序列具有相同的预设时长，比如车载图像序列为3秒，则发动机声纹序列也为3秒，进一步可以理解为，上述车载图像序列的帧数与发动机声纹序列的帧数相同，且车载图像序列中相邻两帧的间隔时间与发动机声纹序列中相邻两帧的间隔时间相同。
64.上述时域信息为声音传感器原始采集到的声纹信息，可以理解为以时间轴进行描述的声纹信息，上述频域信息可以通过对时域信息进行转换得到，上述频域信息可以理解为以频率轴进行描述的声纹信息。动态的声纹信息从时域变换到频域的转换可以通过傅立叶级数和傅立叶变换实现。
65.可选的，请参见图2，图2是本发明实施例提供的一种发动机声纹序列获取方法的流程图，如图2所示，转换方法包括以下步骤：
66.201、获取发动机启动后的发动机第一声纹序列。
67.在本发明实施例中，在车辆的发动机启动后，可以通过声音传感器实时或定时的采集发动机舱内的声纹信息作为发动机第一声纹序列。
68.202、对发动机第一声纹序列进行消噪，得到发动机第二声纹序列。
69.在本发明实施例中，可以通过自相关去噪处理对发动机第一声纹序列进行消噪，以消除发动机第一声纹序列的环境噪声，得到发动机第二声纹序列。
70.203、将发动机第二声纹序列由时域信息转换为频域信息，并根据发动机第二声纹序列的时域信息与频域信息得到发动机声纹序列。
71.在本发明实施例中，上述发动机声纹序列可以同时包括时域信息与频域信息，上述的将发动机第二声纹序列由时域信息转换为频域信息可以通过短时傅里叶变换进行。在得到发动机第二声纹序列的频域信息后，将发动机第二声纹序列的频域信息与第二声纹序列的时域信息进行融合，融合后的得到发动机声纹序列拥有时间维度和频率维度，上述发动机声纹序列可以如图2a所示。
72.具体的，请参见图3，图3是本发明实施例提供的一种时域信息转换为频域信息的流程图，如图3所示，包括以下步骤：
73.301、对发动机第二声纹序列进行分帧处理，得到分帧处理后的发动机第二声纹序列。
74.在本发明实施例中，上述分帧处理可以是将第二声纹序列按车载图像序列中的帧数进行分帧，即车载图像序列中包括多少帧图像，就将上述第二声纹序列分成多少帧，比如，车载图像序列中包括100帧图像，则将第二声纹序列分为100帧。需要说明的是，车载图像序列与第二声纹序列的时长相同。
75.进一步的，上述第二声纹序列的长度可以通过下述式子进行表示：
76.n＝fs×
t
77.其中，n为第二声纹序列的长度，fs为第二声纹序列的采样频率(声音传感器的采样频率)，t为第二声纹序列的采样时长。
78.进行分帧后，上述发动机第二声纹序列为：
79.{y1,y2,
…
,ym}
80.其中，上述ym为分帧处理后的发动机第二声纹序列中第m个声纹帧，上述m为分帧
处理后的发动机第二声纹序列的声纹帧的总帧数。
81.在一种可能的实施例中，为使分帧处理后的发动机第二声纹序列中声纹帧与声纹帧之间过渡平滑，保持声纹数据其连续性，可以采用交叠分段的方法对发动机第二声纹序列进行分帧处理，上述交叠分段的方法可以理解为当前声纹帧与前一声纹帧存在重叠部分，以及当前声纹帧与后一声纹帧存在重叠部分。此时，设分帧处理后的发动机第二声纹序列中每个声纹帧长度为nfft，分帧处理后的发动机第二声纹序列中相邻两个声纹帧间的交叠长度为overlap，则上述分帧处理后的发动机第二声纹序列的长度l可以通过下述式子进行表示：
82.l＝(nfft－overlap)
×m83.302、对分帧处理后的发动机第二声纹序列进行加窗处理，得到加窗后的发动机第二声纹序列。
84.在本发明实施例中，可以先设置初始窗口类型、窗口长度、滑动步长来确定所要加的窗口参数，进一步的，对分帧处理后的发动机第二声纹序列进行加窗处理，得到加窗后的发动机第二声纹序列。具体的，可以根据自适应时间尺度规则进行计算得到窗函数y
window
及窗口长度，将分帧后的声纹数据与窗函数相乘得到加窗后的发动机第二声纹序列：
85.yi＝yi×ywindow
86.其中，yi为分帧后的第i个声纹帧数据，yi为对应的第i个加窗后的声纹帧。
87.303、对加窗后的发动机第二声纹序列进行快速傅里叶变换点数处理，将发动机第二声纹序列从时域信息转换为频域信息。
88.在本发明实施例中，在得到加窗后的发动机第二声纹序列后，可以对加窗后的发动机第二声纹序列进行快速傅里叶变换点数(fast fourier transform，fft)处理，通过快速傅里叶变换点数处理，将发动机第二声纹序列从时域信息转换为频域信息，得到发动机第二声纹序列在各个时刻对应的频率和幅值信息，即得到本发明实施例中发动机第二声纹序列的时频特征。具体的，首先，以初始窗口类型、窗口长度、滑动步长和快速傅里叶变换点数处理声纹数据。其中，上述的窗口类型可以选择旁瓣抑制较好的窗口，上述滑动步长可以采用100％滑动步长，上述快速傅里叶变换点数可以选取较小的数值。这样，可以对声纹数据进行快速处理，提高声纹数据的处理速度。接着，根据声纹数据频率的高低，对窗口类型、窗口长度、滑动步长和快速傅里叶变换点数进行调整，以满足时频分析要求。具体可以改用主瓣宽度更窄的窗口，同时采用40％的滑动步长，增加快速傅里叶变换点数来进行调整。经过上述自适应时间尺度的调整，得到满足时频分析要求的窗口类型、窗口长度、滑动步长和快速傅里叶变换点数。然后根据满足时频分析要求的窗口类型、窗口长度、滑动步长和快速傅里叶变换点数对声纹数据进行短时傅里叶变换处理。
89.102、通过预设的图像特征提取网络对车载图像序列进行特征提取，得到发动机舱盖的时空特征。
90.在本发明实施例中，上述预设的图像特征提取网络可以理解为预先训练好的图像特征提取网络，上述预设的图像特征提取网络可以是基于卷积神经网络进行构建的。上述的图像特征提取网络中可以包括三维卷积模块，用于提取车载图像序列中发动机舱盖的时空特征。由于发动机本身的抖动，使得车载图像序列在帧与帧之间，会产生抖动量，体现为发动机舱盖的图像抖动，这个抖动量被抽象为高级语义(时空特征)后，具有表达发动机的
状态具有一定的辅助作用。因此，可以将车载图像序列作为辅助发动机异常检测的手段。
91.103、通过预设的声纹特征提取网络对发动机声纹序列进行特征提取，得到发动机的时频声纹特征。
92.在本发明实施例中，上述预设的声纹特征提取网络可以理解为预先训练好的声纹特征提取网络，上述预设的声纹特征提取网络可以是基于卷积神经网络进行构建的。上述的声纹特征提取网络中可以包括三维卷积模块，用于提取发动机的时频声纹特征。通过声纹特征提取网络对发动机声纹序列进行特征提取的方法，替代驾驶人员听觉感知的方法，可以更加充分的利用发动机声纹序列中的发动机信息来进行发动机异常感知，并且能感知到驾驶人员感知不到的异常。
93.104、将发动机舱盖的时空特征与发动机的时频声纹特征进行融合，得到发动机舱盖的时空特征与发动机的时频声纹特征的融合特征。
94.在本发明实施例中，上述融合可以是乘性融合和加性融合，进一步的，可以对发动机舱盖的时空特征与发动机的时频声纹特征进行点乘，得到第一融合特征；对第一融合特征进行累加，得到第二融合特征作为发动机舱盖的时空特征与发动机的时频声纹特征的融合特征。
95.进一步的，上述发动机舱盖的时空特征与发动机的时频声纹特征具有相同的特征维度，这样，可以实现对发动机舱盖的时空特征与发动机的时频声纹特征进行点乘，然后将所有点乘结果进行累加，得到一个融合特征。
96.当然，在一些可能的实施例中，上述发动机舱盖的时空特征与发动机的时频声纹特征也可以具有不同的特征维度，此时，上述的融合可以是拼接融合，比如，发动机舱盖的时空特征是64维特征，发动机的时频声纹特征是128维特征，则可以拼接为192维的第一融合特征，再对该192维的第一整合特征进行线性变换，得到128维的第二融合特征，或得到256维的第二融合特征作为发动机舱盖的时空特征与发动机的时频声纹特征的融合特征。
97.105、通过预设的分类预测网络对融合特征进行分类预测，得到分类预测结果作为车辆发动机异常检测结果。
98.在本发明实施例中，上述预设的分类预测网络可以理解为预先训练好的全连接分类网络，上述预设的分类预测网络可以是基于全连接神经元分类网络进行构建的。上述的分类预测网络中可以包括与融合特征相同维度的输入神经元，以及与异常类型对应的输出神经元。比如，异常类型为二分类时，可以包括发生异常与正常的两个神经元，比如输出分类预测结果为1则车辆发动机异常检测结果为发生异常，输出分类预测结果为0则车辆发动机异常检测结果为正常。当异常类型为多分类时，比如k个异常类型时，则输出神经远可以是k+1个，多出来的一个为正常类型的分类。
99.本发明实施例中，获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；通过预设的分类预测网络对所述融合特征进
行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。能够通过使用发动机启动后的车载图像序列以及发动机声纹序列来对车辆发动机异常检测分类预测，由于异常类型是根据发生过的异常进行确定，可以将异常检测中的阈值设置问题转换为分类问题，而且使用车载图像序列辅助发动机声纹序列进行检测，充分利用了车载图像的复杂信息进行特征提取，进而可以将更多行驶过程中汽车发动机异常的所有因素抽象为高级特征，提高车辆发动机异常检测的准确率。
100.需要说明的是，本发明实施例提供的车辆发动机异常检测方法可以应用于可以进行车辆发动机异常检测的手机、监控器、计算机、服务器等设备。
101.可选的，请参见图4，图4是本发明实施例提供的一种车辆发动机异常检测模型的训练流程图，上述车辆发动机异常检测模型包括图像特征提取网络、声纹特征提取网络、分类预测网络，图像特征提取网络的输出与分类预测网络的输入进行连接，声纹特征提取网络的输出与分类预测网络的输入进行连接，进一步的，上述图像特征提取网络的输出与分类预测网络的输入通过预设的融合层进行连接，声纹特征提取网络的输出与分类预测网络的输入也通过预设的融合层进行连接，如图4所示，包括以下步骤：
102.401、构建第一数据集。
103.在本发明实施例中，上述第一数据集包括样本车载图像序列、样本发动机声纹序列以及对应的故障类型标签，上述样本车载图像序列为车辆在发动机异常情况下的发动机启动后的车载图像序列，上述样本发动机声纹序列为车辆在发动机异常情况下的发动机启动后的发动机声纹序列，上述一个样本车载图像序列对应一个样本发动机声纹序列。
104.上述样本车载图像序列与样本发动机声纹序列具有相同的时长，上述样本车载图像序列与上述图1实施例中的车载图像序列具有相同的时长。上述样本发动机声纹序列包括时域信息与频域信息，具体的，上述样本发动机声纹序列可以通过图2实施例的方法进行获取，上述样本发动机声纹序列中的频域信息可以通过图3实施例的转换方法进行转换得到。
105.402、通过第一数据集，对图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练。
106.在本发明实施例中，具体可以通过待训练的图像特征提取网络对上述样本车载图像序列进行特征提取，得到发动机舱盖的样本时空特征。
107.通过待训练的声纹特征提取网络对上述样本发动机声纹序列进行特征提取，得到发动机的样本时频声纹特征。
108.将上述发动机舱盖的时空特征与上述发动机的时频声纹特征进行融合，得到上述发动机舱盖的样本时空特征与上述发动机的样本时频声纹特征的融合特征。
109.通过待训练的分类预测网络对上述融合特征进行样本分类预测，得到样本分类预测结果，通过预设的损失函数计算上述样本分类预测结果与上述对应的故障类型标签的误差损失，根据上述误差损失对上述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行调整。上述的损失函数可以是交叉熵损失函数，上述对网络参数进行调整可以是在反向传播过程中，通过梯度下降法来进行的。
110.可选的，在本发明实施例中，还可以获取各车辆类型对应车辆在发动机正常情况下的发动机启动后的正常车载图像序列和对应的正常发动机声纹序列、以及上述对应车辆
在发动机异常情况下的发动机启动后的异常车载图像序列和对应的异常发动机声纹序列作为第二数据集，上述第二数据集中一个正常样本车载图像序列对应一个正常样本发动机声纹序列，一个异常样本车载图像序列对应一个异常样本发动机声纹序列，上述一个第二数据集对应一个车辆类型，上述第二数据集中与上述第一数据集的样本不重复；在对用户车辆进行初始化时，获取用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列；根据上述用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列匹配对应的第二数据集，并根据上述对应的第二数据集对上述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调。上述正常样本发动机声纹序列包括时域信息与频域信息，具体的，上述正常样本发动机声纹序列可以通过图2实施例的方法进行获取，上述正常样本发动机声纹序列中的频域信息可以通过图3实施例的转换方法进行转换得到。
111.上述对车辆进行初始化可以是车辆出厂时自动进行的初始化，也可以是用户购入车辆时，由相关工作人员进行手动的初始化。
112.在通过第二数据集对上述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调的过程中，加入了车辆在发动机正常的情况下的车载图像序列和发动机声纹序列，可以更全面的微调网络参数。同时，第二数据集中加入了车辆在发动机正常的情况下的车载图像序列和发动机声纹序列，也可以为具体的车辆索引到对应的第二数据集。这主要是因为新车发动机的情况一般是正常的，基本不会出现异常情况，仅能得到正常情况下的车载图像序列与发动机声纹序列，而且，由于时空关系，同一批次的车可能会在不同时间与不同空间进行售出，针对不同时间与不同空间售出的车匹配对应的第二数据集对图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调，使得车辆异常检测模型的针对性更强，进而可以使得车辆异常检测的准确率提高。
113.请参见图5，图5是本发明实施例提供的一种车辆发动机异常检测装置的结构示意图，如图5所示，所述装置包括：
114.第一获取模块501，用于获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；
115.第一提取模块502，用于通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；
116.第二提取模块503，用于通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；
117.第一融合模块504，用于将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；
118.检测模块505，用于通过预设的分类预测网络对所述融合特征进行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。
119.可选的，如图6所示，所述第一获取模块501，包括：
120.获取子模块5011，用于获取发动机启动后的发动机第一声纹序列；
121.消噪子模块5012，用于对所述发动机第一声纹序列进行消噪，得到发动机第二声
纹序列；
122.转换子模块5013，用于将所述发动机第二声纹序列由时域信息转换为频域信息，并根据所述时域信息与所述频域信息得到发动机声纹序列。
123.可选的，如图7所示，所述转换子模块5013，包括：
124.分帧单元50131，用于对所述发动机第二声纹序列进行分帧处理，得到分帧处理后的发动机第二声纹序列；
125.加窗单元50132，用于对所述分帧处理后的发动机第二声纹序列进行加窗处理，得到加窗后的发动机第二声纹序列；
126.变换单元50133，用于对所述加窗后的发动机第二声纹序列进行快速傅里叶变换点数处理，将所述发动机第二声纹序列从时域信息转换为频域信息。
127.可选的，如图8所示，所述发动机舱盖的时空特征与所述发动机的时频声纹特征具有相同的特征维度，所述融合模块504，包括：
128.第一融合子模块5041，用于对所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行点乘，得到第一融合特征；
129.第二融合子模块5042，用于对所述第一融合特征进行累加，得到第二融合特征作为所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征。
130.可选的，如图9所示，所述图像特征提取网络、声纹特征提取网络、分类预测网络通过同一个数据集进行训练，所述装置还包括：
131.构建模块506，用于构建第一数据集，所述第一数据集包括样本车载图像序列、样本发动机声纹序列以及对应的故障类型标签，所述样本车载图像序列为车辆在发动机异常情况下的发动机启动后的车载图像序列，所述样本发动机声纹序列为车辆在发动机异常情况下的发动机启动后的发动机声纹序列，所述一个样本车载图像序列对应一个样本发动机声纹序列；
132.训练模块507，用于通过所述第一数据集，对所述图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练。
133.可选的，如图10所示，所述训练模块507，包括：
134.第一提取子模块5071，用于通过待训练的图像特征提取网络对所述样本车载图像序列进行特征提取，得到发动机舱盖的样本时空特征；
135.第二提取子模块5072，用于通过待训练的声纹特征提取网络对所述样本发动机声纹序列进行特征提取，得到发动机的样本时频声纹特征；
136.第三融合子模块5073，用于将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的样本时空特征与所述发动机的样本时频声纹特征的融合特征；
137.分类子模块，用于通过待训练的分类预测网络对所述融合特征进行样本分类预测，得到样本分类预测结果，通过预设的损失函数计算所述样本分类预测结果与所述对应的故障类型标签的误差损失，根据所述误差损失对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行调整。
138.可选的，如图11所示，所述装置还包括：
139.第二获取模块508，用于获取各车辆类型对应车辆在发动机正常情况下的发动机
启动后的正常车载图像序列和对应的正常发动机声纹序列、以及所述对应车辆在发动机异常情况下的发动机启动后的异常车载图像序列和对应的异常发动机声纹序列作为第二数据集，所述第二数据集中一个正常样本车载图像序列对应一个正常样本发动机声纹序列，一个异常样本车载图像序列对应一个异常样本发动机声纹序列，所述一个第二数据集对应一个车辆类型，所述第二数据集中与所述第一数据集的样本不重复；
140.第三获取模块509，用于在对用户车辆进行初始化时，获取用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列；
141.微调模块510，用于根据所述用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列匹配对应的第二数据集，并根据所述对应的第二数据集对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调。
142.需要说明的是，本发明实施例提供的车辆发动机异常检测装置可以应用于可以进行车辆发动机异常检测的手机、监控器、计算机、服务器等设备。
143.本发明实施例提供的车辆发动机异常检测装置能够实现上述方法实施例中车辆发动机异常检测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
144.参见图12，图12是本发明实施例提供的一种电子设备的结构示意图，如图12所示，包括：存储器1202、处理器1201及存储在所述存储器1202上并可在所述处理器1201上运行的计算机程序，其中：
145.处理器1201用于调用存储器1202存储的计算机程序，执行如下步骤：
146.获取发动机启动后的车载图像序列以及发动机声纹序列，所述车载图像序列包括发动机舱盖图像，所述发动机声纹序列包括发动机声纹的时域信息与频域信息，所述车载图像序列以及发动机声纹序列为同时获取；
147.通过预设的图像特征提取网络对所述车载图像序列进行特征提取，得到发动机舱盖的时空特征；
148.通过预设的声纹特征提取网络对所述发动机声纹序列进行特征提取，得到发动机的时频声纹特征；
149.将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征；
150.通过预设的分类预测网络对所述融合特征进行分类预测，得到分类预测结果作为所述车辆发动机异常检测结果。
151.可选的，处理器1201执行的所述获取发动机启动后的发动机声纹序列，包括：
152.获取发动机启动后的发动机第一声纹序列；
153.对所述发动机第一声纹序列进行消噪，得到发动机第二声纹序列；
154.将所述发动机第二声纹序列由时域信息转换为频域信息，并根据所述时域信息与所述频域信息得到发动机声纹序列。
155.可选的，处理器1201执行的所述将所述发动机第二声纹序列由时域信息转换为频域信息，包括：
156.对所述发动机第二声纹序列进行分帧处理，得到分帧处理后的发动机第二声纹序列；
157.对所述分帧处理后的发动机第二声纹序列进行加窗处理，得到加窗后的发动机第二声纹序列；
158.对所述加窗后的发动机第二声纹序列进行快速傅里叶变换点数处理，将所述发动机第二声纹序列从时域信息转换为频域信息。
159.可选的，所述发动机舱盖的时空特征与所述发动机的时频声纹特征具有相同的特征维度，处理器1201执行的所述将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征，包括：
160.对所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行点乘，得到第一融合特征；
161.对所述第一融合特征进行累加，得到第二融合特征作为所述发动机舱盖的时空特征与所述发动机的时频声纹特征的融合特征。
162.可选的，所述图像特征提取网络、声纹特征提取网络、分类预测网络通过同一个数据集进行训练，处理器1201执行的所述训练的步骤包括：
163.构建第一数据集，所述第一数据集包括样本车载图像序列、样本发动机声纹序列以及对应的故障类型标签，所述样本车载图像序列为车辆在发动机异常情况下的发动机启动后的车载图像序列，所述样本发动机声纹序列为车辆在发动机异常情况下的发动机启动后的发动机声纹序列，所述一个样本车载图像序列对应一个样本发动机声纹序列；
164.通过所述第一数据集，对所述图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练。
165.可选的，处理器1201执行的所述通过所述数据集，对所述图像特征提取网络、声纹特征提取网络、分类预测网络进行联合训练，包括：
166.通过待训练的图像特征提取网络对所述样本车载图像序列进行特征提取，得到发动机舱盖的样本时空特征；
167.通过待训练的声纹特征提取网络对所述样本发动机声纹序列进行特征提取，得到发动机的样本时频声纹特征；
168.将所述发动机舱盖的时空特征与所述发动机的时频声纹特征进行融合，得到所述发动机舱盖的样本时空特征与所述发动机的样本时频声纹特征的融合特征；
169.通过待训练的分类预测网络对所述融合特征进行样本分类预测，得到样本分类预测结果，通过预设的损失函数计算所述样本分类预测结果与所述对应的故障类型标签的误差损失，根据所述误差损失对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行调整。
170.可选的，在训练完成后，所述处理器1201执行的方法还包括：
171.获取各车辆类型对应车辆在发动机正常情况下的发动机启动后的正常车载图像序列和对应的正常发动机声纹序列、以及所述对应车辆在发动机异常情况下的发动机启动后的异常车载图像序列和对应的异常发动机声纹序列作为第二数据集，所述第二数据集中一个正常样本车载图像序列对应一个正常样本发动机声纹序列，一个异常样本车载图像序列对应一个异常样本发动机声纹序列，所述一个第二数据集对应一个车辆类型，所述第二数据集中与所述第一数据集的样本不重复；
172.在对用户车辆进行初始化时，获取用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列；
173.根据所述用户车辆在发动机正常情况下的发动机启动后的车载图像序列以及对应的发动机声纹序列匹配对应的第二数据集，并根据所述对应的第二数据集对所述图像特征提取网络、声纹特征提取网络、分类预测网络的网络参数进行微调。
174.需要说明的是，上述电子设备可以是可以应用于可以进行车辆发动机异常检测的手机、监控器、计算机、服务器等设备。
175.本发明实施例提供的电子设备能够实现上述方法实施例中车辆发动机异常检测方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
176.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的车辆发动机异常检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
177.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存取存储器(random access memory，简称ram)等。
178.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。