一种识别弹奏乐中错误动作的方法与流程

文档序号:35450685发布日期:2023-09-14 06:08阅读:来源:国知局

技术特征:

1.一种识别弹奏乐中错误动作的方法,其特征在于,包括如下步骤:

2.根据权利要求1所述一种识别弹奏乐中错误动作的方法,其特征在于,步骤2中对原始样本进行数据增强,具体包括如下:

3.根据权利要求2所述一种识别弹奏乐中错误动作的方法,其特征在于,所述外插值增加包括两个步骤,帧内插值和帧间插值:

4.根据权利要求2或3所述一种识别弹奏乐中错误动作的方法,其特征在于,使用一阶马尔科夫链描述骨架数据的状态转移对生成的序列xex进行平滑处理,如下:

5.根据权利要求1所述一种识别弹奏乐中错误动作的方法,其特征在于,所述对比学习模型包括第一查询编码器第二查询编码器第三查询编码器以及每个查询编码器后设置一个mlp投影头g(.);

6.根据权利要求5所述一种识别弹奏乐中错误动作的方法,其特征在于,所述对比学习模型还包括第二键值编码器第二动量编码器、第四查询编码器以及第三和第四查询编码器后均设置一个mlp投影头g(.);

7.根据权利要求5所述一种识别弹奏乐中错误动作的方法,其特征在于,利用梯度停止对外插值序列zex操作,将一致性约束表示为:

8.根据权利要求5所述一种识别弹奏乐中错误动作的方法,其特征在于,对比学习中跨模态对比损失函数写成:

9.根据权利要求5所述一种识别弹奏乐中错误动作的方法,其特征在于,每一个编码查询q都有一个对应的编码键值k作为正样本;

10.根据权利要求9所述一种识别弹奏乐中错误动作的方法,其特征在于,基于聚类掩码的对比损失函数构造为:


技术总结
本申请公开了一种识别弹奏乐中错误动作的方法,包括如下步骤:步骤1,采集弹奏错误的音视频原始数据集。步骤2,对原始样本进行数据增强;步骤3,构建对比学习模型;对原始样本和增加后的数据输入到对比学习模型进行特征提取,同时,实现内插值操作,获得正样品对;步骤4,将原始数据集、进行数据增强后的数据集输入到对比学习模型,对模型进行训练,得到训练好的对比学习模型,基于插值的方法构造更加可靠的正样本对,通过对动作序列的插值扩充,将错误动作的持续时间拉长,更容易捕捉到错误动作。提出一种新的对比损失函数掩盖相同聚类中实例,并设计实例权重避免无效样本对对比学习的干扰。

技术研发人员:陈森霖,沈玉龙,袁博,胡凯
受保护的技术使用者:南京栢拓视觉科技有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1