人体动作识别方法、装置、电子设备和可读存储介质与流程

本发明涉及动作检测，尤其涉及一种人体动作识别方法、装置、电子设备和可读存储介质。

背景技术：

1、动作识别技术的主要目标是判断一段视频或者图像帧中人的行为的类别，目前一般采用基于深度学习的动作识别模型对视频或者图像帧中人的行为的类别进行识别。

2、在现有技术中，由于动作识别模型的损失函数不够准确，导致训练出来的动作识别模型的分类效果较差，从而无法准确地识别出人体检测框中的人物正在进行的动作，具体地，现有的动作识别模型存在识别出人物没有在进行的动作，或者正在进行的动作没有被识别出来的技术缺陷。

3、因此，如何准确地识别出人体检测框对应的动作类别，是相关领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供一种人体动作识别方法、装置、电子设备和可读存储介质，用以解决现有技术中如何准确地识别出人体检测框对应的动作类别的技术问题。

2、本发明提供一种人体动作识别方法，包括：

3、获取待检测图像序列以及所述待检测图像序列中的目标人体所在位置对应的目标人体检测框，所述目标人体检测框基于人体检测模型对所述待检测图像序列进行检测得到，用于指示人体图像区域在所述待检测图像序列中的位置；

4、将所述待检测图像序列和所述目标人体检测框输入至动作识别模型中，得到所述目标人体检测框对应目标人体的目标动作识别结果；所述动作识别模型基于目标损失函数对初始识别模型进行优化得到，所述目标损失函数基于单人动作识别损失和交互动作识别损失确定，所述单人动作识别损失基于多种单人动作类别之间的互斥性确定，所述交互动作识别损失基于多种交互动作类别之间的共存性确定。

5、根据本发明提供的一种人体动作识别方法，所述动作识别模型为基于如下方式训练得到的：

6、将预设训练数据集中的样本图像序列输入至所述初始识别模型中，得到所述样本图像序列对应的至少两个维度的图像特征，所述预设训练数据集中包含多种动作类别的样本图像序列以及所述样本图像序列的样本标签，所述样本标签用于标识所述样本图像序列的原始动作类别；

7、将所述至少两个维度的图像特征划分为单人动作类别对应的第一维度图像特征，以及交互动作类别对应的第二维度图像特征；将所述样本图像序列的样本标签划分为单人动作类别对应的第一子样本标签，以及交互动作类别对应的第二子样本标签；

8、基于所述单人动作类别对应的第一维度图像特征和第一子样本标签，确定所述初始识别模型的单人动作识别损失；基于所述交互动作类别对应的第二维度图像特征和第二子样本标签，确定所述初始识别模型的交互动作识别损失；

9、基于所述单人动作识别损失和所述交互动作识别损失，确定所述初始识别模型的目标损失函数，并基于所述目标损失函数更新所述初始识别模型的模型参数，得到优化后的动作识别模型。

10、根据本发明提供的一种人体动作识别方法，所述基于所述单人动作类别对应的第一维度图像特征和第一子样本标签，确定所述初始识别模型的单人动作识别损失，包括：

11、获取所述单人动作类别对应的第一激活函数，所述第一激活函数基于多种单人动作类别之间的互斥性确定；

12、基于所述第一激活函数以及每一种单人动作类别对应的第一维度图像特征，确定每一种单人动作类别对应的第一识别概率值；

13、基于每一种单人动作类别对应的第一识别概率值，获取多种单人动作类别对应的融合识别概率数据；

14、基于所述融合识别概率数据以及所述第一子样本标签，计算所述初始识别模型的单人动作识别损失。

15、根据本发明提供的一种人体动作识别方法，所述基于所述交互动作类别对应的第二维度图像特征和第二子样本标签，确定所述初始识别模型的交互动作识别损失，包括：

16、获取所述交互动作类别对应的第二激活函数，所述第二激活函数基于多种交互动作类别之间的共存性确定；

17、基于所述第二激活函数以及每一种交互动作类别对应的第二维度图像特征，确定每一种交互动作类别对应的第二识别概率值；

18、基于每一种交互动作类别对应的第二识别概率值以及所述第二子样本标签，计算每一种交互动作类别对应的动作识别损失；

19、基于所述每一种交互动作类别对应的动作识别损失，确定所述初始识别模型的交互动作识别损失。

20、根据本发明提供的一种人体动作识别方法，所述基于所述单人动作识别损失和所述交互动作识别损失，确定所述初始识别模型的目标损失函数，包括：

21、获取所述单人动作类别对应的第一样本图像序列的第一样本数量，以及所述交互动作类别对应的第二样本图像序列的第二样本数量；

22、基于所述第一样本数量和所述第二样本数量，确定所述单人动作类别和所述交互动作类别的样本比例；

23、基于所述样本比例确定所述单人动作识别损失对应的第一损失系数，以及所述交互动作识别损失对应的第二损失系数；

24、基于所述单人动作识别损失、所述第一损失系数、所述交互动作识别损失以及所述第二损失系数，确定所述初始识别模型的目标损失函数。

25、根据本发明提供的一种人体动作识别方法，所述方法还包括：

26、获取所述初始识别模型的单人动作识别损失和交互动作识别损失对应的损失比例；

27、基于所述损失比例更新所述单人动作识别损失对应的第一损失系数，以及所述交互动作识别损失对应的第二损失系数。

28、本发明还提供一种人体动作识别装置，包括：

29、数据获取模块，用于获取待检测图像序列以及所述待检测图像序列中的目标人体所在位置对应的目标人体检测框，所述目标人体检测框基于人体检测模型对所述待检测图像序列进行检测得到，用于指示人体图像区域在所述待检测图像序列中的位置；

30、动作识别模块，用于将所述待检测图像序列和所述目标人体检测框输入至动作识别模型中，得到所述目标人体检测框对应目标人体的目标动作识别结果；所述动作识别模型基于目标损失函数对初始识别模型进行优化得到，所述目标损失函数基于单人动作识别损失和交互动作识别损失确定，所述单人动作识别损失基于多种单人动作类别之间的互斥性确定，所述交互动作识别损失基于多种交互动作类别之间的共存性确定。

31、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的人体动作识别方法。

32、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的人体动作识别方法。

33、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的人体动作识别方法。

34、本发明提供的人体动作识别方法、装置、电子设备和可读存储介质，通过基于多种单人动作类别之间的互斥性确定单人动作识别损失，以及基于多种交互动作类别之间的共存性确定交互动作识别损失，以基于单人动作识别损失和交互动作识别损失准确地确定出初始识别模型的目标损失函数，从而基于目标损失函数对初始识别模型进行优化，并将待检测图像序列和目标人体检测框输入至优化后的动作识别模型中，以获取比较准确的目标动作识别结果，通过在损失计算过程考虑了不同动作类别的自身特性，并针对不同的动作类别采用与其自身特性相适应的损失计算方式，从而能够准确获取到各种动作类别对应的动作识别损失，进而结合基于各种动作类别对应的动作识别损失确定的目标损失函数，更好地对初始识别模型进行优化，以提高训练出来的动作识别模型的分类效果，实现更好地对人体检测框中的人体动作进行识别，避免现有技术中识别出人物没有在进行的动作或者正在进行的动作没有被识别出来的技术缺陷，提高人体动作识别结果的准确性，解决了现有技术中如何准确地识别出人体检测框对应的动作类别的技术问题。