根据音乐生成舞蹈的方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，更具体地，涉及一种根据音乐生成舞蹈的方法、装置、电子设备以及存储介质。

背景技术：

1、音乐驱动舞蹈生成是当前数字人驱动领域中的一个重要应用。在数字人驱动方向，音乐驱动舞蹈生成的主要应用包括舞台表演艺术(例如可以通过音乐驱动舞蹈生成技术令数字人扮演角色或者展示表演来创造更具创意的舞蹈表演，同时也可为现场舞蹈表演提供辅助)、影视制作(例如可以通过音乐驱动舞蹈生成技术为数字人提供更具创意的舞蹈表演，使得虚拟人在影视制作中表现更为生动、真实)以及智能助手(例如通过音乐驱动舞蹈生成技术可以使智能助手闻歌起舞，提升智能助手的互动能力和表现力，真正实现智能助手的多模态交互)等。然而，现有的音乐驱动舞蹈生成技术还不能较好的满足用户的需求。

技术实现思路

1、本申请提出了一种根据音乐生成舞蹈的方法、装置、电子设备以及存储介质，以改善上述问题。

2、第一方面，本申请实施例提供了一种根据音乐生成舞蹈的方法，可以应用于电子设备，所述方法包括：获取待处理音乐；获取所述待处理音乐对应的第一风格向量和第一节奏向量；将与所述第一风格向量和第一节奏向量的相似度大于指定阈值的第二风格向量和第二节奏向量所对应的舞蹈动作，作为与所述待处理音乐对应的舞蹈动作。

3、第二方面，本申请实施例提供了一种根据音乐生成舞蹈的装置，可以运行于电子设备，所述装置包括：音乐数据获取模块，用于获取待处理音乐；向量获取模块，用于获取所述待处理音乐对应的第一风格向量和第一节奏向量；舞蹈生成模块，用于将与所述第一风格向量和第一节奏向量的相似度大于指定阈值的第二风格向量和第二节奏向量所对应的舞蹈动作，作为与所述待处理音乐对应的舞蹈动作。

4、第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面的方法。

5、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面的方法。

6、本申请提供的一种根据音乐生成舞蹈的方法、装置、电子设备以及存储介质，本方法通过获取待处理音乐；获取所述待处理音乐对应的第一风格向量和第一节奏向量；将与所述第一风格向量和第一节奏向量的相似度大于指定阈值的第二风格向量和第二节奏向量所对应的舞蹈动作，作为与所述待处理音乐对应的舞蹈动作。从而通过上述方式实现了可以提取出待处理音乐的风格向量以及节奏向量，进而根据待处理音乐的风格向量以及节奏向量匹配出对应的舞蹈动作，使生成的舞蹈跟音乐具备风格一致性和节奏一致性，更加具有艺术感。

技术特征：

1.一种根据音乐生成舞蹈的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述待处理音乐对应的第一风格向量和第一节奏向量；将与所述第一风格向量和第一节奏向量的相似度大于指定阈值的第二风格向量和第二节奏向量所对应的舞蹈动作，作为与所述待处理音乐对应的舞蹈动作，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取所述待处理音乐对应的第一风格向量和第一节奏向量之前，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个片段以及所述风格节奏标注数据对多模态模型进行训练，得到目标模型之前，还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述多个片段以及所述风格节奏标注数据对多模态模型进行训练，得到目标模型之前，还包括：

6.根据权利要求3所述的方法，其特征在于，所述音乐数据包括歌词文本和音乐音频，所述舞蹈数据包括舞蹈动作，所述对所述音乐数据和所述舞蹈动作数据进行切分，分别得到多个片段，包括：

7.根据权利要求3所述的方法，其特征在于，所述对所述多个片段进行风格标注以及节奏标注，得到风格节奏标注数据，包括：

8.一种根据音乐生成舞蹈的装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。

技术总结
本申请公开了一种根据音乐生成舞蹈的方法、装置、电子设备以及存储介质。该方法包括：获取待处理音乐；获取所述待处理音乐对应的第一风格向量和第一节奏向量；将与所述第一风格向量和第一节奏向量的相似度大于指定阈值的第二风格向量和第二节奏向量所对应的舞蹈动作，作为与所述待处理音乐对应的舞蹈动作。本方法实现了可以提取出待处理音乐的风格向量以及节奏向量，进而根据待处理音乐的风格向量以及节奏向量匹配出对应的舞蹈动作，使生成的舞蹈跟音乐具备风格一致性和节奏一致性，更加具有艺术感。

技术研发人员：王闯闯,郑志彤,刘海锋
受保护的技术使用者：深圳市欢太科技有限公司
技术研发日：
技术公布日：2024/1/15