技术特征：
1.一种关键点信息的确定方法，包括：根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；根据所述第一关键点信息和所述预测动作姿态的关键点信息，确定与所述当前图像帧对应的第一动作特征；确定离线动作库中与所述第一动作特征之间的特征距离小于距离阈值的目标动作特征；所述离线动作库中包括与多个图像帧分别对应的多个动作特征；以及根据所述目标对象在所述目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定所述当前动作姿态的关键点信息，其中，所述离线动作库中的每个动作特征是根据所对应的图像帧及其在后图像帧确定的。2.根据权利要求1所述的方法，其中，动作特征指示目标对象的多个关键点的关键点信息；所述方法还包括：确定所述离线动作库中的各动作特征所指示的每个关键点的关键点信息与所述第一动作特征指示的所述每个关键点的关键点信息之间的子特征距离，得到多个子特征距离；以及根据与当前动作对应的多个关键点的权重对所述多个子特征距离加权，得到所述各动作特征与所述第一动作特征之间的特征距离。3.根据权利要求1所述的方法，其中，所述方法还包括：响应于所述离线动作库中不存在所述目标动作，但存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第三关键点信息，确定所述当前动作姿态的关键点信息，其中，所述第二动作特征是与所述在前图像帧对应的动作特征。4.根据权利要求1所述的方法，其中，所述根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息包括：响应于所述离线动作库中存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第四关键点信息，预测所述目标对象在所述在后图像帧中的动作姿态，其中，所述第二动作特征是与所述在前图像帧对应的动作特征。5.根据权利要求1所述的方法，其中，所述根据所述目标对象在所述目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定所述当前动作姿态的关键点信息包括：根据所述第二关键点信息对所述第一关键点信息进行平滑处理，得到所述当前动作姿态的关键点信息。6.一种离线动作库的生成方法，包括：针对目标动作的图像序列中前预定数量个图像帧中的每个图像帧，获取目标对象在所述每个图像帧中的动作姿态的第一关键点信息，以及所述目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息；
根据所述第一关键点信息和所述第二关键点信息，确定与所述每个图像帧对应的动作特征；以及确定与所述预定数量个图像帧分别对应的预定数量个动作特征为所述离线动作库中所述目标动作的动作特征。7.根据权利要求6所述的方法，其中，获取目标对象在所述每个图像帧中的动作姿态的第一关键点信息，以及所述目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息包括：采用多目动作捕捉技术捕捉所述图像序列，得到所述目标对象在所述图像序列中每个图像帧中的动作姿态的关键点信息。8.一种关键点信息的确定装置，包括：姿态预测模块，用于根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；特征确定模块，用于根据所述第一关键点信息和所述预测动作姿态的关键点信息，确定与所述当前图像帧对应的第一动作特征；目标动作确定模块，用于确定离线动作库中与所述第一动作特征之间的特征距离小于距离阈值的目标动作特征；所述离线动作库中包括与多个图像帧分别对应的多个动作特征；以及第一信息确定模块，用于根据所述目标对象在所述目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定所述当前动作姿态的关键点信息，其中，所述离线动作库中的每个动作特征是根据所对应的图像帧及其在后图像帧确定的。9.根据权利要求8所述的装置，其中，动作特征指示目标对象的多个关键点的关键点信息；所述装置还包括：第一距离确定模块，用于确定所述离线动作库中的各动作特征所指示的每个关键点的关键点信息与所述第一动作特征指示的所述每个关键点的关键点信息之间的子特征距离，得到多个子特征距离；以及第二距离确定模块，用于根据与当前动作对应的多个关键点的权重对所述多个子特征距离加权，得到所述各动作特征与所述第一动作特征之间的特征距离。10.根据权利要求8所述的装置，还包括：第二信息确定模块，用于响应于所述离线动作库中不存在所述目标动作，但存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第三关键点信息，确定所述当前动作姿态的关键点信息，其中，所述第二动作特征是与所述在前图像帧对应的动作特征。11.根据权利要求8所述的装置，其中，所述姿态预测模块用于：响应于所述离线动作库中存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第四关键点信息，预测所述目标对象在所述在后图像帧中的动作姿态，
其中，所述第二动作特征是与所述在前图像帧对应的动作特征。12.根据权利要求8所述的装置，其中，所述第一信息确定模块用于：根据所述第二关键点信息对所述第一关键点信息进行平滑处理，得到所述当前动作姿态的关键点信息。13.一种离线动作库的生成装置，包括：关键点信息获取模块，用于针对目标动作的图像序列中前预定数量个图像帧中的每个图像帧，获取目标对象在所述每个图像帧中的动作姿态的第一关键点信息，以及所述目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息；第一特征确定模块，用于根据所述第一关键点信息和所述第二关键点信息，确定与所述每个图像帧对应的动作特征；以及第二特征确定模块，用于确定与所述预定数量个图像帧分别对应的预定数量个动作特征为所述离线动作库中所述目标动作的动作特征。14.根据权利要求13所述的装置，其中，所述关键点信息获取模块用于：采用多目动作捕捉技术捕捉所述图像序列，得到所述目标对象在所述图像序列中每个图像帧中的动作姿态的关键点信息。15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～7中任一项所述的方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～7中任一项所述的方法。17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～7中任一项所述方法的步骤。
技术总结
本公开提供了一种关键点信息的确定方法和离线动作库的生成方法、装置，涉及人工智能领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙和虚拟数字人等场景。关键点信息的确定方法的具体实现方案为：根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测目标对象在在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；根据第一关键点信息和预测动作姿态的关键点信息，确定与当前图像帧对应的第一动作特征；确定离线动作库中与第一动作特征之间的特征距离小于距离阈值的目标动作特征；根据目标对象在目标动作特征所对应图像帧中动作姿态的第二关键点信息，确定当前动作姿态的关键点信息。姿态的关键点信息。姿态的关键点信息。
技术研发人员：李丰果 刘豪杰 陈睿智 范斌 赵晨 孙昊
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.12.13
技术公布日：2023/3/30