一种基于虚拟数字人技术的民族舞蹈数字化传播方法

本发明涉及人机交互应用的，特别是涉及一种基于虚拟数字人技术的民族舞蹈数字化传播方法。

背景技术：

1、民族舞蹈文化目前主流的传承方式仍主要为一种自发性的传承方式，传承人之间口与口、面对面代代相传其文化的主要内容，较少引入最新的信息技术媒介来保存与传播。这种较为局限化和片面化的传播手段，使得许多民族舞蹈文化的推广和参与度已显得日益黯淡。鉴于此，引入当今高速发展的数字化技术与手段对民族舞蹈进行保护与研究，无疑是一项极具重要性与紧迫性的工作。

2、民族特色舞蹈都有其别具一格的标志性动作与代表性特色。这一特性对于记录与保存民族舞蹈至关重要，也是本发明构建全新的多模态民族舞蹈动作数据集的坚实支撑。以此解决当前原生态民族舞蹈传承方式较为局限及单一、传承脉络濒临断裂的问题。

3、虚拟数字人是指由计算机生成的、具有多重人类特征，包括外貌特征、人类表演能力、人类交互能力等的综合产物。在文化遗产领域，虚拟数字人的应用能有效提升其保护与传播效果。

4、虚拟数字人能够为用户提供真实的沉浸感，比如身穿特定民族服饰，进行特定的民族文化行为等。同时，虚拟数字人能够与用户进行互动以增加他们的参与感，用户能够与数字人进行互动交流，获取对应的舞蹈信息或者学习建议，从而获得独属于自己的文化体验。

5、虚拟数字人的制作涉及大量核心技术，最主要包括形象建模、动画驱动、语音对话，分别对应虚拟数字人的外貌形象、肢体动作和自然对话。具体而言，形象建模是采用计算机建模方法构建数字形象的过程，是制作虚拟数字人外观形象的底层要求。动画驱动则分为动作驱动技术和面部驱动技术，是实现虚拟数字人肢体动作表现的核心关键。语音对话是语音技术的合成，包括语音识别、自然语音处理以及语音合成等内容。

6、现阶段虚拟数字人在民族舞蹈的数字化应用上存在形象识别度低、动画表现僵硬、无指导讲解的问题。

7、目前民族舞蹈数字化的方式大多仅仅面向视频记录方面，很少由技术方案从整体数字化保存流程和集成新兴技术的角度针对民族舞蹈数字化传播的提出解决方案。

8、现有民族舞蹈的数字化传播存在如下缺陷：

9、1、传统民族舞蹈传播方式局限性，现有的民族舞蹈传播方式包括展览、视听解说、人工解说等，互动性弱、枯燥无味、效果不佳。

10、2、传统民族舞蹈文化体验方式的被动型，传统方式普遍采用单向输出的形式，而文化教育传播需要满足自主性特征，提升用户的学习主动性，顺应“求新、求异、求乐、求知”的心理需求。

11、需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于解决如何提升民族舞蹈的数字化传播效果的技术问题，提供一种基于虚拟数字人技术的民族舞蹈数字化传播方法。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于虚拟数字人技术的民族舞蹈数字化传播系统，包括：

4、虚拟数字人技术模块，其通过虚拟数字人人物形象建模、动画数据驱动以及对话语音合成，以实现民族舞蹈的可视化；

5、民族舞蹈动作数据集模块，其将采集的民族舞蹈内容进行数字化保存，并为舞蹈教学智能交互系统提供数字化传播内容；

6、舞蹈教学智能交互系统模块，其基于所述数字化传播内容，进行面向用户的民族舞蹈数字内容交互，通过对用户进行舞蹈教学评估和与用户的智能语音交互，实现民族舞蹈的数字化互动传播。

7、进一步地：

8、所述人物形象建模包括采用计算机建模方法构建数字形象；所述动画数据驱动包括利用动作捕捉技术或aigc算法生成动作数据，驱动虚拟数字人进行民族舞蹈的动画演示；所述对话语音合成包括结合大语言模型和虚幻引擎，实现虚拟数字人的自然语音交互。

9、所述民族舞蹈动作数据集模块通过搭建的舞蹈动作数据捕捉系统，对舞蹈演员的舞蹈动作数据进行捕捉采集，并输出及处理采集到的舞蹈动作数据，形成可用于智能交互的数字化内容，并生成和构建数据集，以训练用于对用户的民族舞蹈动作进行识别和分类的动作识别和分类模型。

10、对采集的舞蹈动作数据的处理包括：

11、利用关键点检测模型对民族舞蹈视频数据进行姿态估计，以提取视频中的骨骼关键点数据；

12、通过上述姿态估计，确定并记录人体的17个关键点位置坐标，包括头部、颈部、胸部、脊柱、左右肩部、左右肘部、左右手、左右髋关节、左右膝关节以及左右脚；

13、利用所确定的关键点坐标，构建时空骨骼图，该图在时间和空间两个维度上表示了舞蹈动作的动态变化；

14、将时空骨骼图中不同时间段内身体各点的关节角度变化情况映射到平面图像中，生成每个时刻的步态轨迹；

15、使用生成的时空骨骼图和步态轨迹数据，构建骨骼行为的数据集；

16、利用所述数据集训练动作识别和分类模型，以实现对用户的民族舞蹈动作进行自动识别和分类。

17、对采集的舞蹈动作数据的处理还包括：

18、在提取视频中的骨骼关键点数据之前，先对采集到的舞蹈动作数据进行后处理，包括去除异常值、坐标变换；

19、以.npy格式保存三维关键点数据，形成包含目标的三维关键点坐标的数据集；

20、在构建骨骼行为的数据集之后，将数据转换成“anim_output”格式，调用“render_animation_all”函数进行动画渲染，生成关键点的可视化和三维姿态的可视化结果。

21、所述舞蹈教学智能交互系统模块通过动作识别和评估算法对用户的舞蹈动作进行评估，并通过智能语音交互实现虚拟数字人与用户之间的自然语言交互，提供民族舞蹈文化讲解和学习反馈。

22、一种基于虚拟数字人技术的民族舞蹈数字化传播方法，使用所述的系统实现民族舞蹈的数字化传播。

23、本发明具有如下有益效果：

24、本发明提出的一种基于虚拟数字人技术的民族舞蹈数字化传播系统及方法，其中，虚拟数字人技术模块为民族舞蹈数字化传播的基础，该模块主要通过人物形象建模、动画数据驱动以及语音对话合成构成，民族舞蹈动作数据集模块实现舞蹈动作数据捕捉系统搭建、舞蹈动作捕捉数据采集和舞蹈动作数据输出及处理，舞蹈教学智能交互模块实现舞蹈教学评估和智能语音交互，利用虚拟数字人在虚拟空间内为用户提供与民族舞蹈相关的语言及动作的交互体验，增强用户对民族舞蹈的文化体验和学习效果。本发明能够增强民族舞蹈数字化的互动性和沉浸感，利用虚拟数字人技术，增强用户的民族舞蹈文化学习内容与体验，从而提升民族舞蹈的数字化传播效果。

25、优选的方案中，本发明不仅实现了民族舞蹈动作的高精度捕捉和数字化存储，而且通过关键点检测和姿态估计技术，精确提取了舞蹈动作的关键骨骼数据，构建了时空骨骼图，为动作识别和分类提供了丰富的特征信息。此外，系统还将复杂的舞蹈动作转换为平面图像上的步态轨迹，进一步增强了数据的可读性和可用性。通过这些数据，本发明能够训练出高效的动作识别和分类模型，这些模型能够自动识别和分类用户的民族舞蹈动作，从而为用户提供实时的舞蹈教学评估和反馈。这种智能化的交互方式，极大地提升了民族舞蹈教学的效率和质量，同时也为用户提供了更加自然和沉浸式的学习体验。此外，本发明的系统和方法还具有很好的扩展性和适应性，可以广泛应用于不同的民族舞蹈教学和文化传播场景，对于推动民族舞蹈的数字化保护和传承具有重要的意义。

26、总之，本发明利用虚拟数字人技术，将我国民族舞蹈动作中的典型动作尽可能精确而有效地保存为数字信息，并通过这些信息的整合与分析应用，构建一套完整的民族舞蹈保存与发扬的数字化体系，实现与用户的数字化智能交互，提升用户学习民族舞蹈的效果与体验，并增强用户的文化体验和感知。本发明有利于民族舞蹈的活态化地传承，促进更多少数民族舞蹈创新应用，让这一独特且经典的艺术形式得以永续流传，为舞蹈艺术领域注入新的活力。

27、本发明实施例中的其他有益效果将在下文中进一步述及。