位姿确定方法、装置、电子设备、介质与流程

本公开涉及人工智能，具体为计算机视觉、增强现实、虚拟现实、深度学习等，可应用于元宇宙、数字人等场景，具体涉及一种位姿确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、在计算机视觉、关键点识别、动态捕捉等技术中，抖动问题一直是业界的关键性问题。所确定的位姿中存在的抖动会非常影响实时动态捕捉的效果。希望获得一种更为有效的位姿确定方法。

技术实现思路

1、本公开提供了一种位姿确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种位姿确定方法，包括：获得关于目标人体的第一图像帧；至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第一人体状态确定第一平滑参数；以及基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。

3、根据本公开的另一方面，提供了一种位姿确定装置，包括：图像帧获得单元，用于获得关于目标人体的第一图像帧；位姿数据确定单元，用于至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；人体状态确定单元，用于确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；平滑参数确定单元，用于至少部分地基于所述第一人体状态确定第一平滑参数；以及平滑单元，用于基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一个或多个实施例的位姿确定方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一个或多个实施例的位姿确定方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的位姿确定方法。

7、根据本公开的一个或多个实施例，可以基于触地信息语义调整平滑参数，从而获得更好的平滑效果。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种位姿确定方法，包括：

2.根据权利要求1所述的方法，其中，至少部分地基于第一图像帧，确定所述目标人体的第一位姿数据包括：

3.根据权利要求1或2所述的方法，其中，确定第一人体状态包括基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态。

4.根据权利要求3所述的方法，其中，基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态包括：

5.根据权利要求1-4中任一项所述的方法，其中，所述第一平滑参数至少包括第一平滑窗口尺寸d，所述第一平滑窗口尺寸表示用于对所述第一位姿数据进行平滑的图像帧的数量，d为正整数，并且其中，基于所述第一平滑参数对所述第一位姿数据进行平滑包括：

6.根据权利要求1-5中任一项所述的方法，其中，至少部分地基于所述第一人体状态确定第一平滑参数包括：

7.根据权利要求6所述的方法，其中，基于所述第一人体状态和第二图像帧的第二人体状态确定所述第一平滑参数包括：

8.根据权利要求7所述的方法，还包括：

9.根据权利要求6所述的方法，其中，基于所述第一人体状态和第二图像帧的第二人体状态确定当前平滑状态包括：

10.一种位姿确定装置，包括：

11.根据权利要求10所述的装置，其中，所述位姿数据确定单元包括用于执行以下操作的单元：

12.根据权利要求10或11所述的装置，其中，所述人体状态确定单元包括用于基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态的单元。

13.根据权利要求12所述的装置，其中，用于基于所述目标人体的至少两个足部关键点的关键点位置确定所述第一人体状态的单元包括用于执行以下操作的单元：

14.根据权利要求10-13中任一项所述的装置，其中，所述第一平滑参数至少包括第一平滑窗口尺寸d，所述第一平滑窗口尺寸表示用于对所述第一位姿数据进行平滑的图像帧的数量，d为正整数，并且其中，所述平滑单元包括用于执行以下操作的单元：

15.根据权利要求10-14中任一项所述的装置，其中，所述平滑参数确定单元包括用于执行以下操作的单元：

16.根据权利要求15所述的装置，其中，基于所述第一人体状态和第二图像帧的第二人体状态确定所述第一平滑参数包括：

17.根据权利要求16所述的装置，还包括用于执行以下操作的单元：

18.一种电子设备，包括：

19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-9中任一项所述的方法。

技术总结
本公开提供了一种位姿确定方法、装置、电子设备和介质，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。位姿确定方法可以包括获得关于目标人体的第一图像帧；至少部分地基于所述第一图像帧，确定所述目标人体的第一位姿数据；确定第一人体状态，所述第一人体状态表示在所述第一图像帧中所述目标人体的足部是否接触地面；至少部分地基于所述第一人体状态确定第一平滑参数；以及基于所述第一平滑参数对所述第一位姿数据进行平滑，以获得经平滑的第一位姿数据。

技术研发人员：刘豪杰,李丰果,陈睿智,赵晨
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13