基于BERT模型和轻量级IMU自监督训练的特征提取方法及其应用

文档序号:39053461发布日期:2024-08-17 22:17阅读:来源:国知局

技术特征:

1.一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于,包括如下步骤:

2.如权利要求1所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于:所述预处理包括增加白噪声和归一化。

3.如权利要求2所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于:为imu原始观测增加白噪声的计算公式如下:

4.如权利要求3所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于:归一化的计算公式如下:

5.如权利要求1所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于:设置x表示imu序列;n表示数量;l表示序列长度;p表示掩码设置成功的概率;pr表示掩码设置的比例;pm表示掩码设置的概率;lmax表示最大的序列掩码长度,那么掩码处理的具体实现方式如下;

6.如权利要求1所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法,其特征在于:卷积神经网络的处理过程表示为:

7.一种信号降噪处理方法,其特征在于:首先利用权利要求1-6中任一项权利要求所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法进行特征提取,然后构建基于卷积神经网络和全连接层的解码器decoder1,该解码器的设置为重建任务,使用原始imu数据作为训练的标签,输出降噪后的imu数据;编码器具体结构设计为:第一层卷积采用卷积核大小3*3的32个滤波器,并搭配relu激活函数,旨在捕获局部特征;第二层卷积:使用核大小为3*3的64个滤波器,并搭配relu激活函数,以进一步提取特征;之后搭配批量归一化层,用于加速训练过程,并提高模型的泛化能力;接着利用最大池化层减少参数数量和计算量,同时保留重要特征;接着利用扁平化层将卷积层的输出展平,以便输入到全连接层;接着连接到具有256个神经元和具有128个神经元的全连接层及6个神经元的输出层。

8.如权利要求7所述的一种信号降噪处理方法,其特征在于:decoder1利用huber损失函数用于增强训练的稳健性,损失函数定义如下:

9.一种场景识别方法,其特征在于:首先利用权利要求1-6中任一项权利要求所述的一种基于bert模型和轻量级imu自监督训练的特征提取方法进行特征提取,然后构建基于卷积神经网络和全连接层的解码器decoder2,该解码器的设置分类任务,使用场景或情景的类别作为训练的标签,最终输出场景类别;编码器具体结构设计为:第一层卷积采用卷积核大小3*3的64个滤波器,并搭配relu激活函数,旨在捕获局部特征;第二层卷积:使用核大小为3*3的128个滤波器,并搭配relu激活函数,以进一步细化特征表示;之后搭配批量归一化层,用于加速训练过程,并提高模型的泛化能力;接着利用最大池化层减少参数数量和计算量,同时保留重要特征;接着利用扁平化层将卷积层的输出展平,以便输入到全连接层;接着连接到具有512个神经元和具有256个神经元的全连接层及5个神经元的输出层,并使用softmax激活函数,输出每个类别的概率分布。

10.如权利要求9所述的一种场景识别方法,其特征在于:decoder2利用adam优化算法用于增强训练的稳健性,损失函数定义如下:


技术总结
本发明公开了基于BERT模型和轻量级IMU自监督训练的特征提取方法及其应用,旨在提供一种综合深度学习理论和实际应用需求的高效IMU数据处理方法。此技术不仅专注于IMU信号的降噪,而且适用于场景感知和模式识别等多种应用领域。通过对IMU数据进行精确的预处理和增强,包括数据标准化和引入随机噪声,显著提高了模型处理复杂环境数据的能力,并增加了训练数据的多样性。采用特定的IMU数据掩码模块与自监督学习方法相结合,本发明有效地提高了IMU信号特征的识别和学习效率。本发明结合了BERT模型与IMU数据,而且通过其轻量化方案和自监督学习方法,在提取IMU信号特征及执行场景感知和模式识别等任务时表现出显著优势,适合于嵌入式或计算性能有限的移动设备。

技术研发人员:王轩,庄园,杨冰,曹晓祥
受保护的技术使用者:武汉大学
技术研发日:
技术公布日:2024/8/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1