一种数字人音视频生成系统的制作方法

文档序号:37231031发布日期:2024-03-05 15:42阅读:来源:国知局

技术特征:

1.一种数字人音视频生成系统,其特征在于,所述系统包括数字人形象生成模块、音视频生成模块以及画质优化模块,其中:

2.根据权利要求1所述的数字人音视频生成系统,其特征在于,所述音视频生成模块包括语音合成单元以及嘴型合成单元,其中:

3.根据权利要求1或2所述的数字人音视频生成系统,其特征在于,所述画质优化模块包括人脸修复输入单元以及人脸修复处理单元,其中:

4.根据权利要求3所述的数字人音视频生成系统,其特征在于,所述系统还包括语音合成训练模块、嘴型合成训练模块以及人脸修复训练模块,其中:

5.根据权利要求4所述的数字人音视频生成系统,其特征在于,所述语音合成训练模块包括第一音频获取单元、音频预处理单元以及语音合成训练单元,包括:

6.根据权利要求4所述的数字人音视频生成系统,其特征在于,所述嘴型合成训练模块包括第二音频获取单元、音频图像配对单元、音视频生成单元以及音频口型同步判别单元,所述预设嘴型合成模型包括音视频生成器以及音频口型同步判别器,其中:

7.根据权利要求4所述的数字人音视频生成系统,其特征在于,所述人脸修复训练模块包括人脸图像获取单元以及人脸修复训练单元,其中:

8.根据权利要求1所述的数字人音视频生成系统,其特征在于,所述系统还包括数字人形象存储模块,其中:

9.根据权利要求8所述的数字人音视频生成系统,其特征在于,所述音视频生成模块,还用于在所述根据所述录制文本数据以及所述目标数字人形象的音视频,生成初始数字人音视频之前,从所述数字人形象库中获取所述目标数字人形象的音视频。

10.根据权利要求1所述的数字人音视频生成系统,其特征在于,所述系统还包括素材存储模块,其中:


技术总结
本申请实施例公开了一种数字人音视频生成系统,所述系统包括数字人形象生成模块、音视频生成模块以及画质优化模块,其中:所述数字人形象生成模块,用于获取初始音视频,所述初始音视频为包括目标用户形象和语音的音视频,以及,根据所述初始音视频创建得到与所述目标用户形象和语音对应的目标数字人形象的音视频;所述音视频生成模块,用于获取录制文本数据,以及,根据所述录制文本数据以及所述目标数字人形象的音视频,生成初始数字人音视频;所述画质优化模块,用于对所述初始数字人音视频进行人脸修复处理,生成目标数字人音视频。用户利用该系统不仅可以自动生成数字人音视频,还提高了音视频质量、画质,从而提高了用户的观看体验。

技术研发人员:邱述洪,高唯唯,谭琼丽,曾杰川,吴诗韵,柳子用,蔡德贵
受保护的技术使用者:联通(广东)产业互联网有限公司
技术研发日:
技术公布日:2024/3/4
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1