人体骨架驱动的视频生成方法、系统、存储介质和设备

本申请涉及人工智能领域，特别涉及一种人体骨架驱动的视频生成方法、系统、存储介质和设备。

背景技术：

1、近来，扩散模型在图像、视频生成领域获得了较大进展。但目前在人体骨架驱动视频生成领域，依旧需要事先搜集了大量不同人物id的训练数据并进行了精细化标注。标注工作包括避免多镜头切换或服装、人物id切换的视频切片，修正2d骨架图检测错误的标注修改，对出现特效的视频删除等。其依赖于大量的标注工作，其风格化效果单一，依旧保留了原有特征。

技术实现思路

1、本申请的目的是提供一种人体骨架驱动的视频生成方法、系统、计算机可读存储介质和电子设备，能够根据输入的人物图像和骨架驱动视频，生成具有指定风格的人体骨骼驱动视频。

2、为解决上述技术问题，本申请提供一种人体骨架驱动的视频生成方法，具体技术方案如下：

3、获取待处理图片和骨架驱动视频；

4、检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片；

5、确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息，得到二维姿势序列图；

6、基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频；

7、在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频。

8、可选的，所述检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片包括：

9、检测所述待处理图片中的人体结构的位置信息，得到所述人体结构对应的蒙版信息；

10、根据所述蒙版信息对所述待处理图片进行擦除处理，得到背景图片。

11、可选的，确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息包括：

12、确定所述待处理图片中的人体结构与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例；

13、计算所述骨架驱动视频中的人体二维姿势图；

14、确定锚点，以所述锚点为基准根据所述骨骼比例计算人体二维姿势图中其他关节点的变换后的坐标位置。

15、可选的，所述确定所述待处理图片中的人体结构与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例包括：

16、基于三维骨架检测所述待处理图片中的人体结构与所述骨架驱动视频中任一帧的人体信息，确定关节点的三维坐标；

17、根据所述三维坐标计算相邻关节点之间的关节距离；

18、根据所述关节距离确定所述待处理图片中的人体骨骼长度与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例。

19、可选的，根据所述关节距离确定所述待处理图片中的人体骨骼长度与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例之后，还包括：

20、根据所述骨骼比例确定所述待处理图片中所述人体结构的被遮挡部位的关节坐标。

21、可选的，基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频之前，还包括：

22、将所述骨架驱动视频按照所述待处理图片的长宽比进行补边，以确保所述骨架驱动视频和所述待处理图片的长宽比相同。

23、可选的，在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频之后，还包括：

24、对所述结果视频进行人脸修复、超分和换脸中的至少一项操作，得到结果视频。

25、本申请还提供一种人体骨架驱动的视频生成系统，包括：

26、数据获取模块，用于获取待处理图片和骨架驱动视频；

27、前景擦除模块，用于检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片；

28、动作迁移模块，用于确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息，得到二维姿势序列图；

29、空白视频生成模块，用于基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频；

30、视频蒙版重绘模块，用于在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频。

31、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视频生成方法的步骤。

32、本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的视频生成方法的步骤。

33、本申请提供一种人体骨架驱动的视频生成方法，包括：获取待处理图片和骨架驱动视频；检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片；确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息，得到二维姿势序列图；基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频；在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频。

34、本申请在生成人体骨架驱动视频时，能够根据输入的驱动视频和待处理图片，生成具有指定风格的人体动作视频。本申请在生成人体骨架驱动视频时，无需执行模型微调，减少了训练时间并降低了对计算资源的需求，能够快速生成人体骨架驱动视频。同时本申请具有较高的鲁棒性和可扩展性，能够适配不同类型的待处理图片，并进行视觉风格的匹配。

35、本申请还提供一种人体骨架驱动的视频生成系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。

技术特征：

1.一种人体骨架驱动的视频生成方法，其特征在于，包括：

2.根据权利要求1所述的视频生成方法，其特征在于，所述检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片包括：

3.根据权利要求1所述的视频生成方法，其特征在于，确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息包括：

4.根据权利要求3所述的视频生成方法，其特征在于，所述确定所述待处理图片中的人体结构与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例包括：

5.根据权利要求4所述的视频生成方法，其特征在于，根据所述关节距离确定所述待处理图片中的人体骨骼长度与所述骨架驱动视频中的标准人体骨骼长度之间的骨骼比例之后，还包括：

6.根据权利要求1所述的视频生成方法，其特征在于，基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频之前，还包括：

7.根据权利要求1所述的视频生成方法，其特征在于，在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频之后，还包括：

8.一种人体骨架驱动的视频生成系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的视频生成方法的步骤。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的视频生成方法的步骤。

技术总结
本申请提供一种人体骨架驱动的视频生成方法，包括：获取待处理图片和骨架驱动视频；检测所述待处理图片中的人体结构，擦除所述人体结构，得到背景图片；确定所述待处理图片中的人物执行所述骨架驱动视频对应姿态时在所述待处理图片中的相应坐标信息，得到二维姿势序列图；基于所述背景图片生成与所述骨架驱动视频帧数相同的空白视频；在所述空白视频中基于所述二维姿势序列图进行蒙版重绘，得到结果视频。本申请能够快速生成人体骨架驱动视频。同时本申请具有较高的鲁棒性和可扩展性，能够适配不同类型的待处理图片，并进行视觉风格的匹配。本申请还提供一种人体骨架驱动的视频生成系统、计算机可读存储介质和电子设备，具有上述有益效果。

技术研发人员：何奇凯
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/9/9