基于深度残差收缩网络的车辆碰撞检测方法及装置与流程

本申请涉及智能交通技术领域，具体涉及一种基于深度残差收缩网络的车辆碰撞检测方法。

背景技术：

随着社会经济不断的发展，道路上行驶的汽车逐渐增多，伴随着车辆碰撞事故的发生日益频繁，如何高效智能地检测车辆碰撞迫在眉睫。目前检测方法主要有基于视频图像的车流量统计判断方法和车辆车速突变检测方法。针对基于视频图像的车流量统计判断方法，在道路发生拥堵时，由于遮挡现象尤其严重，因此流量数据的可靠性大大降低，通过该方式反馈的事故信息比较滞后，并且由于视频检测的范围有限，如果碰撞导致的车辆停车行为不在视频画面中，还会会产生漏检的可能；而针对第二种方法，如果不是由于碰撞导致的车辆快速停车行为则会产生误判。

基于碰撞声信号的方法可以通过提取声信号的声频特征，实时检测碰撞事故的发生，也无需安装高清摄像头，降低了成本，但是由于受到环境背景噪声的干扰太大，而车辆碰撞事故发生现场通常伴随复杂的背景噪声，因此很容易产生误判的情况。

技术实现要素：

为了克服上述现有技术中存在的问题和不足，本申请提出了一种基于声信号特征融合和深度残差收缩网络的车辆碰撞检测方法，本申请融合多种声信号特征，使用深度残差收缩网络进行模型训练，具有更好的鲁棒性，提高了预测准确度。

为了实现上述发明目的，本申请的技术方案如下：

一种基于深度残差收缩网络的车辆碰撞检测方法，包括以下步骤：

s1、采集车辆碰撞事故多发地段的实时音频数据作为样本数据，并对音频数据进行类别标注；

s2、对采集的音频数据进行预处理；

s3、对预处理后的音频数据进行特征计算，包括mfcc特征及其一阶差分计算、gfcc特征及其一阶差分计算以及小波能量特征计算，将计算得到的特征做归一化处理；

s4、特征融合，使用基于dca特征融合策略分别对归一化后的mfcc特性和gfcc特征、特征与特征做特征变换，最大化变换后两个特征集中对应特征的相关关系，同时最大化不同类之间的差异，然后将变换后得到的新的mfcc特征、gfcc特征、特征、特征与小波能量特征依次使用concat方法进行拼接形成新的特征，用于神经网络模型的训练；

s5、构造深度残差收缩网络模型并进行模型训练，保存训练好的模型；

s6、车辆碰撞预测，对新的输入样本做预处理、特征计算以及特征融合后输入至保存好的模型中，计算其属于每个类别的概率值大小，概率值最大的那个类别就代表输入样本声音的类别，以此来判断是否发生了车辆碰撞。

进一步地，所述步骤s1中，采集的实时音频数据包括车辆碰撞声、喇叭声、人声、音乐以及轮胎摩擦声，存储为时长5s、采样频率为32khz的音频文件，并进行类别标注。

进一步地，所述步骤s2中，读取音频数据，首先进行幅值归一化和滤波去噪处理，然后对音频数据进行预加重、分帧以及加窗操作。

进一步地，所述步骤s3中，mfcc特征及其一阶差分计算过程如下：

1）对预处理后的数据进行快速傅里叶变换，将数据从时域转换到频域，得到频谱上的能量分布，取其模的平方得到谱线能量；然后送入mel三角滤波器组得到梅尔频谱图；对得到的梅尔频谱图进行对数运算以获得梅尔对数功率频谱图；最后对该对数功率频谱图进行离散余弦变换后就可得到mfcc特征，mfcc特征计算公式如下：

式（1）；

其中，m是三角滤波器的个数；是第m个对数梅尔频谱图的对数能量；c是倒谱系数的索引；

2）mfcc特征的一阶差分的计算公式如下：

式（2）；

其中，t表示第t帧，k表示取第t帧前后各k帧的mfcc特征参数。

进一步地，所述步骤s3中，gfcc特征及其一阶差分计算过程如下：

1）对预处理后的数据进行快速傅里叶变换，将数据从时域转换到频域，得到频谱上的能量分布，取其模的平方得到谱线能量；然后送入ganmmatone滤波器组得到ganmmatone频谱图；对得到的ganmmatone频谱图进行对数运算以获得ganmmatone对数功率频谱图；最后对该对数功率频谱图进行离散余弦变换后就可得到gfcc特征；

ganmmatone滤波器的时域表达式如下：

式（3）；

其中，为滤波器的增益，为滤波器的中心频率，为阶跃函数，为偏移相位，为滤波器的阶数，为滤波器数目，为滤波器的衰减因子，决定当前滤波器对脉冲响应的衰减速度，与中心频率的对应关系如下：

式（4）；

其中，为等效矩形带宽，与重心频率的关系如下：

式（5）；

最终得到gfcc特征，其计算公式如下：

式（6）；

其中，是gammatone滤波器的个数，是第n个对数gammatone频谱图的对数能量，c是倒谱系数的索引；

2）gfcc特征的一阶差分的计算公式如下：

式（7）；

其中，t表示第t帧，k表示取第t帧前后各k帧的gfcc特征参数。

进一步地，所述步骤s3中，小波能量特征计算具体过程如下：

对预处理后的每帧数据做n层小波分解，得到低频概貌系数ca和高频细节系数；对高频细节系数采用改进的阈值和改进的garrote阈值函数做进一步地阈值处理，使用经过阈值处理后的小波分解系数计算小波系数能量；

改进的阈值计算公式如下：

式（8）；

式（9）；

其中，表示第层的阈值，表示信号长度，表示自然对数，为噪声的标准方差，表示小波分解第一层的细节系数，函数表示取数组的中值；

改进的garrote阈值函数计算公式如下：

式（10）；

其中，表示小波分解第层细节系数的第个值，表示计算得到的第层的阈值；

使用经过阈值处理后的小波分解系数计算小波系数能量，计算公式如下：

式（11）；

式（12）；

其中，表示小波分解第层细节系数，表示第层细节系数的能量值，表示的长度，表示第层细节系数的第个值，表示小波分解的低频概貌系数，表示低频概貌系数的能量值，表示的长度，表示的第个值；

经计算后，得到该帧声信号的小波能量特征如下：

式（13）；

其中，表示第h层的小波细节系数能量值。

进一步地，所述步骤s3中，归一化处理具体过程如下：

使用min-max归一化，对原始数据进行线性变换，映射到[0,1]区间，转换公式如下：

式（14）；

其中，x表示转换前的原始特征数值，表示归一化后的特征数值，max为原始数据的最大值，min为原始数据的最小值。

进一步地，所述步骤s5具体如下：

1）构造深度残差收缩网络模型

所述深度残差收缩网络模型包括输入层、卷积层、深度残差收缩网络基本模块、全局均值池化层以及全连接输出层，构造过程如下：

首先构造深度残差收缩网络基本模块，模块中嵌入了一个子网络，用于自动地设置软阈值化所需要的阈值，采用通道间共享阈值的残差收缩模块，首先对输入特征图经过两次批标准化、relu激活函数和卷积层操作；然后对所有特征求绝对值，取其平均值记为特征；在另一条路径中，将特征的绝对值通过全局均值池化之后，输入到一个两层的全连接网络，然后使用sigmoid函数将输出归一化到0和1之间，获得一个尺度参数，最终的阈值表示为；最后使用tensorfow中的identify将原始输入特征图与阈值进行相加并返回；

a）构造输入层，接收神经网络模型的外部输入，并将其传递给卷积层，这里的外部输入是前述步骤计算的声信号特征；

b）构造卷积层，卷积层接收输入层的输出，然后通过重复一定次数的卷积操作，获得特征图，然后将特征图传递给深度残差收缩网络基本模块；

c）堆叠一定数目的深度残差收缩网络基本模块，卷积层输出的特征图经过这些深度残差收缩网络模块处理后传递给批标准化层；

d）构造批标准化层，激活函数relu和全局均值化层；

e）构造全连接输出层，接收来自全局均值化层的输出；

f）全连接输出层对应样本数据包含的所有类别，输出值是样本属于每个类别的概率值，取最大输出值对应的类别作为模型预测的样本类别；

2）模型训练

将计算后的特征数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行模型训练和测试，得出相应的准确率，最后取这10次结果的准确率的平均值作为对算法精度的估计，最后保存训练好的模型。

一种基于深度残差收缩网络的车辆碰撞检测装置，包括数据采集模块、数据预处理模块、特征提取模块、特征融合模块、模型训练模块以及预测输出模块，其中：

数据采集模块利用声音传感器采集车辆碰撞声、喇叭声、人声、音乐以及轮胎摩擦声等五个类别的音频数据并进行保存；

数据预处理模块读取保存的音频数据，对上述音频数据进行幅值归一化处理、滤波消噪处理、预加重、分帧以及加窗操作；

特征提取模块，计算预处理后的音频数据的各种声信号特征，包括mfcc特征及其一阶差分特征、gfcc特征及其一阶差分特征以及小波能量特征，并对得到的特征进行归一化处理；

特征融合模块使用dca特征融合策略及concat特征融合策略融合计算后的特征，dca融合策略分别对mfcc特征与gfcc特征、特征与特征做变换，然后再将变换后的所有特征以及小波能量特征使用concat方法连接组合成新的声信号特征；

模型训练模块构建深度残差收缩网络模型并将融合后的新特征输入到深度残差收缩网络模型中进行训练，保存训练好的模型参数；

预测输出模块使用训练好的模型对新输入的声音信号样本进行碰撞预测，预测是否发生了车辆碰撞事故。

本申请的有益效果：

（1）本申请构建深度残差收缩网络使并进行模型训练，通过深度残差收缩网络的基本模块自动学习阈值，避免了人工设置阈值，每个样本都学习了各自的阈值，契合不同样本噪声含量不同的情况，能够更好的消除噪声，提高模型的精度，并最终提高车辆碰撞预测的精度。

（2）本申请对采集的音频数据进行了特征融合，相较于单一特征，更加适合复杂的交通领域的声音分类，因此具有更好的鲁棒性，提高了预测的准确度。

（3）本申请使用了基于dca特征融合策略对mfcc特征和gfcc特征以及和做了特征变换，因此能够消除因不同特征集之间的相关性而产生的冗余信息，最后再将变换后的特征与小波能量特征做concat拼接，形成了新的特征，因此消除了冗余信息，特征维度得到了降低，减少了模型的训练时间并且提高了模型精度。

（4）传统的小波阈值去噪中,硬阈值函数和软阈值函数会导致去噪重构后的信号存在固定偏差和不连续等问题，garrote阈值法虽然有效的克服了软、硬阈值法的缺点，但没有考虑到噪声在小波变换下随着尺度增大而减小的特性，因此采用改进的阈值和改进的garrote阈值函数，既能兼顾各尺度下的不同阈值，又能进一步收缩高频细节系数。

附图说明

图1为本申请流程图。

具体实施方式

下面结合实施例对本申请作进一步地详细说明，但本申请的实施方式不限于此。

实施例1

参照说明书附图1，本实施例公开了一种基于深度残差收缩网络的车辆碰撞检测方法，所述方法通过一种基于特征融合和深度残差收缩网络的车辆碰撞检测装置实现，具体包括以下步骤：

s1、数据采集模块利用声音传感器采集车辆碰撞事故多发地段的实时音频数据作为样本数据，采集的实时音频数据包括车辆碰撞声、喇叭声、人声、音乐以及轮胎摩擦声，存储为时长5s、采样频率为32khz的音频文件，并进行类别标注；

s2、数据预处理模块对采集的音频数据进行预处理，读取音频数据，先进行幅值归一化和滤波去噪处理，然后进行预加重、分帧、加窗等操作；

s3、特征提取模块对预处理后的音频数据进行特征计算，包括mfcc特征及其一阶差分计算、gfcc特征及其一阶差分计算以及小波能量特征计算，然后再将上述经计算后得到的特征进行归一化处理，具体过程如下：

s31、mfcc特征及其一阶差分计算：

1）对预处理后的音频数据进行快速傅里叶变换（fft），将数据从时域转换到频域，得到频谱上的能量分布，取其模的平方得到谱线能量；然后送入mel三角滤波器组得到梅尔频谱图；对得到的梅尔频谱图进行对数运算以获得梅尔对数功率频谱图；最后对该对数功率频谱图进行离散余弦变换后就可得到mfcc特征。mfcc计算公式如下：

式（1）；

其中，m是三角滤波器的个数；是第m个对数梅尔频谱图的对数能量；c是倒谱系数的索引；

mfcc主要提取的是语音的静态特征，为了凸显语音信号的动态变化，通常对特征参数进行二次提取，因此本申请mfcc的一阶差分；

2）mfcc特征的一阶差分的计算公式如下：

式（2）；

其中，t表示第t帧，k表示取第t帧前后各k帧的mfcc特征参数；

s32、gfcc特征及其一阶差分计算：

gfcc特征的计算与mfcc特征计算基本相似，只是将使用的mel滤波器更换为gammatone滤波器，具体过程如下：

1）对预处理后的数据进行快速傅里叶变换，将数据从时域转换到频域，得到频谱上的能量分布，取其模的平方得到谱线能量；然后送入ganmmatone滤波器组得到ganmmatone频谱图；对得到的ganmmatone频谱图进行对数运算以获得ganmmatone对数功率频谱图；最后对该对数功率频谱图进行离散余弦变换后就可得到gfcc特征，gammatone滤波器的时域表达式如下：

式（3）；

其中，为滤波器的增益，为滤波器的中心频率，为阶跃函数，为偏移相位，为滤波器的阶数，为滤波器数目，为滤波器的衰减因子，决定当前滤波器对脉冲响应的衰减速度，与中心频率的对应关系如下：

式（4）；

其中，为等效矩形带宽，与重心频率的关系如下：

式（5）；

最终得到gfcc特征，其计算公式如下：

式（6）；

其中，是gammatone滤波器的个数，是第n个对数gammatone频谱图的对数能量，c是倒谱系数的索引；

2）gfcc特征的一阶差分的计算公式如下：

式（7）；

其中，t表示第t帧，k表示取第t帧前后各k帧的gfcc特征参数；

s33、小波能量特征计算：

首先对预处理后的每帧数据做n层小波分解，得到低频概貌系数ca和高频细节系数；由于传统的小波阈值去噪中,硬阈值函数和软阈值函数会导致去噪重构后的信号存在固定偏差和不连续等问题，garrote阈值法虽然有效的克服了软、硬阈值法的缺点，但没有考虑到噪声在小波变换下随着尺度增大而减小的特性，因此本申请采用改进的阈值和改进的garrote阈值函数对高频细节系数做进一步地的阈值处理，既能兼顾各尺度下的不同阈值，又能进一步收缩高频细节系数，最后使用经过阈值处理后的小波分解系数计算小波系数能量；

改进的阈值计算公式如下：

式（8）；

式（9）；

其中，表示第层的阈值，表示信号长度，表示自然对数，为噪声的标准方差，一般使用小波分解第一层细节系数来估计噪声的标准方差，表示小波分解第一层的细节系数，函数表示取数组的中值；

在上述公式中，当时，其结果与固定阈值计算公式一致，当时，阈值随层数的增大而减小，与噪声在小波变换随着层数增大而减小的特性一致；

改进的garrote阈值函数计算公式如下：

式（10）；

其中，表示小波分解第层细节系数的第个值，表示计算得到的第层的阈值；

使用经过阈值处理后的小波分解系数计算小波系数能量，计算公式如下：

式（11）；

式（12）；

其中，表示小波分解第层细节系数，表示第层细节系数的能量值，表示的长度，表示第层细节系数的第个值，表示小波分解的低频概貌系数，表示低频概貌系数的能量值，表示的长度，表示的第个值；

经计算后，得到该帧声信号的小波能量特征如下：

式（13）；

其中，表示第h层的小波细节系数能量值；

s34、计算特征归一化处理

将上述步骤s31-步骤s33计算得到的各种特征做归一化处理，归一化方法使用min-max归一化，对原始数据进行线性变换，映射到[0,1]区间，转换公式如下：

式（14）；

其中，x表示转换前的原始特征数值，表示归一化后的特征数值，max为原始数据的最大值，min为原始数据的最小值；

s4、特征融合模块使用基于dca特征融合策略分别对归一化后的mfcc特性和gfcc特征、特征与特征做特征变换，最大化变换后两个特征集中对应特征的相关关系，同时最大化不同类之间的差异，然后将变换后得到的新的mfcc特征、gfcc特征、特征、特征与小波能量特征依次使用concat方法进行拼接形成新的特征，用于神经网络模型的训练；

s5、模型训练模块构造深度残差收缩网络模型并进行模型训练；

1）构造深度残差收缩网络模型

所述深度残差收缩网络模型包括输入层、卷积层、深度残差收缩网络基本模块、全局均值池化层以及全连接输出层，构造过程如下：

g）首先构造深度残差收缩网络基本模块，深度残差收缩网络基本模块是深度残差网络基本模块的改进，在改进后的残差模块中，不仅有一个软阈值化函数作为非线性层，而且嵌入了一个子网络，用于自动地设置软阈值化所需要的阈值，进一步地，的本实施采用通道间共享阈值的残差收缩模块，首先对输入特征图经过两次批标准化、relu激活函数和卷积层操作；然后对所有特征求绝对值，取其平均值记为特征；在另一条路径中，将特征的绝对值通过全局均值池化之后，输入到一个两层的全连接网络，然后使用sigmoid函数将输出归一化到0和1之间，获得一个尺度参数，最终的阈值表示为；最后使用tensorfow中的identify将原始输入特征图与阈值进行相加并返回；

h）构造输入层，接收神经网络模型的外部输入，并将其传递给卷积层，这里的外部输入是前述步骤计算的声信号特征；

i）构造卷积层，卷积层接收输入层的输出，然后通过重复一定次数的卷积操作，获得特征图，然后将特征图传递给深度残差收缩网络基本模块，卷积操作的次数根据具体的试验情况进行调整；

j）堆叠一定数目的深度残差收缩网络基本模块，卷积层输出的特征图经过这些深度残差收缩网络模块处理后传递给批标准化层，堆叠的数量根据具体的试验情况进行调整，可以是10个，20个，甚至更多；

k）构造批标准化层，激活函数relu和全局均值化层；

l）构造全连接输出层，接收来自全局均值化层的输出；

m）全连接输出层对应样本数据包含的所有类别，输出值是样本属于每个类别的概率值，取最大输出值对应的类别作为模型预测的样本类别；

2）模型训练

将计算后的特征数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行模型训练和测试，得出相应的准确率，最后取这10次结果的准确率的平均值作为对算法精度的估计，若模型未达到预设精度，则对模型进行修改并重新进行训练直至精度满足要求，最后保存训练好的模型；

s6、预测输出模块对新的输入样本做预处理、特征计算以及特征融合后输入至保存好的模型中，计算其属于每个类别的概率值大小，概率值最大的那个类别就代表输入样本声音的类别，以此来判断是否发生了车辆碰撞。

实施例2

在实施例1的基础上，本实施例公开了用于实现上述检测方法的装置，一种基于深度残差收缩网络的车辆碰撞检测装置，所述装置具体包括依次通过信号连接的数据采集模块、数据预处理模块、特征提取模块、特征融合模块、模型训练模块以及预测输出模块，

其中：

数据采集模块利用声音传感器采集车辆碰撞声、喇叭声、人声、音乐以及轮胎摩擦声等五个类别的音频数据并进行保存，所述声音传感器设置在车辆事故多发地；

数据预处理模块读取保存的音频数据，对上述音频数据进行幅值归一化处理、滤波消噪处理、预加重、分帧、加窗等操作；

特征提取模块，计算预处理后的音频数据的各种声信号特征，例如梅尔倒谱系数特征mfcc及其一阶差分、gammatone频率倒谱系数特征gfcc及其一阶差分、小波能量特征等，并对得到的特征进行归一化处理，消除数据之间存在的量纲上的差异性；

特征融合模块使用判别相关性分析（dca）特征融合策略及concat特征融合策略融合计算后的特征，dca特征融合是使用两个输入特征间的相关关系，计算两种变换，最大化变换后两个特征集中对应特征的相关关系，同时最大化不同类之间的差异，使用dca融合策略分别对mfcc特征与gfcc特征、与特征做变换，然后再将变换后的所有特征以及小波能量特征使用concat方法连接组合成新的声信号特征；

模型训练模块构建深度残差收缩网络模型，并将融合后的新特征输入到深度残差收缩网络模型中进行训练，保存训练好的模型参数；

预测输出模块使用训练好的模型对新输入的声音信号样本进行碰撞预测，预测是否发生了车辆碰撞事故。

以上所述，仅是本申请的较佳实施例，并非对本申请做任何形式上的限制，凡是依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本申请的保护范围之内。