技术特征：
1.一种骨架动作识别方法，其特征在于，包括：构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器f0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为f1与特征提取器f1的输入为所述第一增强数据，特征提取器的输入为所述第二增强数据，利用所述特征提取器f1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器f0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所述共享的特征提取器f0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器f1与各自连接一个目标分类器，记为与将特征提取器f1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。2.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述左支路中还设有解码器d0，所述解码器d0利用所述共享的特征提取器f0提取的源数据与第一增强数据的特征重构相应的源数据与第一增强数据，并计算重建损失。3.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述右支路中，特征提取器f1为正常更新的特征提取器，特征提取器为滑动平均更新的特征提取器；所述滑动平均更新是指特征提取器的参数在特征提取器f1的参数θ1的基础上通过下述方式进行更新：其中，ω为常数。4.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述利用所述特征提取
器f1与提取的特征计算对比损失包括：所述右支路中设有一个实时更新的存储库m，用来存放特征提取器提取的所有第二增强数据的特征；每一次输入至特征提取器f1与的第一增强数据与第二增强数据都由同一个目标数据通过数据增强方式处理得到，使用对比损失将特征提取器f1输出的特征和特征提取器输出的特征拉近，同时，将特征提取器f1输出的特征和实时更新的存储库m存储的其它第二增强数据的特征远离；对于第i个目标数据x
i
，对比损失的计算方式表示为：其中，z
i
表示特征提取器f1提取第i个目标数据x
i
对应的第一增强数据的特征，表示特征提取器提取的第i个目标数据x
i
对应的第二增强数据的特征，表示特征提取器提取的第j个目标数据x
j
对应的第二增强数据的特征，n表示目标数据的数目，cos表示计算两个特征的余弦距离，ρ为预设定的常数，用来控制输出的平滑性。5.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述第一教师模型与第二教师模型的参数由相应的第一学生模型与第二学生模型的参数滑动平均更新得到；同一目标数据对应的第一增强数据与第二增强数据，对应于相同的伪标签，采用约束生成伪标签是均匀分布的方法，即每个伪标签所包含的目标数据数目是一致的；首先将伪标签的生成问题作为是一个最优传输问题，即生成伪标签的过程是将n个目标数据的特征以最小的传输代价分配给k个类中心，其中，n表示目标数据的数目，k表示目标数据的类别数目；使用n个目标数据的特征和k个类中心之间的距离来衡量传输代价，类中心使用相应目标分类器的权重表示，使用sinkhorn-knopp算法求解最优传输问题。6.根据权利要求5所述的一种骨架动作识别方法，其特征在于，将n个目标数据的伪标签表示为其中的元素q
kn
代表第n个目标数据分配给第k个类中心的概率，通过sinkhorn-knopp算法中，将伪标签q转化为：q＝diag(α)p
λ
diag(β)其中，是教师模型对n个目标数据的预测概率，所述的教师模型为第一教师模型或第二教师模型，其中的元素p
kn
代表第n个目标数据预测为第k个类中心的概率，λ为预定义的常数，用来控制算法的收敛性，和是两个向量，它们通过如下公式迭代更新：其中，k是单个类中心的序号，i是目标数据的序号，α
k
、β
i
代表α的第k元素和β的第i个元素；每一次都同时更新α和β，上一次更新获得的k个α
k
组成α，用于下一次β
i
的更新，上一次更新获得的n个β
i
组成β，用于下一次α
k
的更新；经过若干次的迭代后，得到最优的向量α和β，利用最优的向量α和β计算出伪标签q。7.根据权利要求1所述的一种骨架动作识别方法，其特征在于，每一支路各自进行有监督的对比损失的计算，计算公式表示为：
其中，n
b
是每个batch的目标数据的数目，q
i
和q
l
分别为另一支路的教师模型对第i和第l个目标数据对应的第二增强数据预测的伪标签，δ函数是指示函数，当q
i-q
j
＝0时输出为1，否则输出为0，即第i和第l个目标数据对应的第二增强数据为正对时输出为1，为负对时输出为0；分别表示当前支路的学生模型对第i和l个目标数据对应的第一增强数据的预测概率分数。8.一种骨架动作识别系统，其特征在于，基于权利要求1～7任一项所述的方法实现，该系统包括：网络框架构建与数据获取单元，用于构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；训练单元，应用于训练阶段，训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器f0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为f1与特征提取器f1的输入为所述第一增强数据，特征提取器的输入为所述第二增强数据，利用所述特征提取器f1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器f0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所述共享的特征提取器f0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器f1与各自连接一个目标分类器，记为与将特征提取器f1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；识别单元，用于在训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个
程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
技术总结
本发明公开了一种骨架动作识别方法、系统、设备与存储介质，该方案中：一方面，利用在有标签源数据上的有监督学习方法来获取对动作具有判别力的信息，并且利用在无标签的目标数据上的无监督学习方法来提取目标数据自身的属性，从而充分利用了源数据和目标数据各自的优势，即使这些源数据和目标数据来自不同的分布甚至不同的动作类别，依然可以提供对动作类别有判别力的信息；另一方面，融合了两个支路的知识，通过在两个支路之间互相交换正负对的划分来实现两个支路的伪标签信息传递，以充分发挥两个模型互补的优势，实现相互促进学习；通过以上方式提升了模型训练效果，进而提升了骨架动作识别效果。升了骨架动作识别效果。升了骨架动作识别效果。
技术研发人员：王子磊 刘钦颖
受保护的技术使用者：中国科学技术大学
技术研发日：2022.02.23
技术公布日：2022/6/1