一种口型动画的生成方法、装置、电子设备和存储介质与流程

本申请涉及计算机，更具体地，涉及一种口型动画的生成方法、装置、电子设备和存储介质。

背景技术：

1、语音作为一种自然交流形式，在人机交互领域表现出了突出的影响力。然而在人机交互过程中，产生逼真的口型动画是极为复杂的。

2、现有技术中，一般仅依靠有限、单一的关键帧动画产生符合高斯分布的口型动画帧数据。该方案很难表现出正常人在说话时口型及面部肌肉的运动，导致最终生成的口型动画效果不符合正常的说话规律。

3、因此，如何更加准确的生成口型动画，是目前有待解决的技术问题。

4、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本申请实施例公开了一种口型动画的生成方法、装置、电子设备和存储介质，用以更加准确的生成口型动画。

2、第一方面，提供一种口型动画的生成方法，所述方法包括：获取目标语音，基于预设语音识别算法对所述目标语音进行处理，得到带有时间戳信息的目标文本；根据所述目标文本的拼音信息和所述时间戳信息生成音素序列；按第一预设转换规则将所述音素序列转换为视素序列，其中，所述视素序列包括多个视素，所述视素表征了发音时的口型视觉特征；基于所述视素序列渲染出与所述目标语音对应的口型动画。

3、第二方面，提供一种口型动画的生成装置，所述装置包括：语音识别模块，用于获取目标语音，基于预设语音识别算法对所述目标语音进行处理，得到带有时间戳信息的目标文本；生成模块，用于根据所述目标文本的拼音信息和所述时间戳信息生成音素序列；转换模块，用于按第一预设转换规则将所述音素序列转换为视素序列，其中，所述视素序列包括多个视素，所述视素表征了发音时的口型视觉特征；渲染模块，用于基于所述视素序列渲染出与所述目标语音对应的口型动画。

4、第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的口型动画的生成方法。

5、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的口型动画的生成方法。

6、通过应用以上数据方案，获取目标语音，基于预设语音识别算法对所述目标语音进行处理，得到带有时间戳信息的目标文本；根据所述目标文本的拼音信息和所述时间戳信息生成音素序列；按第一预设转换规则将所述音素序列转换为视素序列，其中，所述视素序列包括多个视素，所述视素表征了发音时的口型视觉特征；基于所述视素序列渲染出与所述目标语音对应的口型动画，以此将口型动画的发音动作与目标语音准确的匹配，实现了更加准确的生成口型动画。

技术特征：

1.一种口型动画的生成方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述目标文本的拼音信息和所述时间戳信息生成音素序列，包括：

3.如权利要求2所述的方法，其特征在于，所述第二预设转换规则包括：

4.如权利要求2所述的方法，其特征在于，在按所述时间戳信息排列各所述音子，得到所述音素序列之后，所述方法还包括：

5.如权利要求1所述的方法，其特征在于，在按第一预设转换规则将所述音素序列转换为视素序列之后，所述方法还包括：

6.如权利要求1所述的方法，其特征在于，所述基于所述视素序列渲染出与所述目标语音对应的口型动画，包括：

7.如权利要求6所述的方法，其特征在于，所述基于所述动画帧序列生成所述口型动画，包括：

8.一种口型动画的生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的口型动画的生成方法。

技术总结
本发明公开了一种口型动画的生成方法、装置、电子设备和存储介质，该方法包括：获取目标语音，基于预设语音识别算法对所述目标语音进行处理，得到带有时间戳信息的目标文本；根据所述目标文本的拼音信息和所述时间戳信息生成音素序列；按第一预设转换规则将所述音素序列转换为视素序列，其中，所述视素序列包括多个视素，所述视素表征了发音时的口型视觉特征；基于所述视素序列渲染出与所述目标语音对应的口型动画，以此将口型动画的发音动作与目标语音准确的匹配，实现了更加准确的生成口型动画。

技术研发人员：杨建顺,陈军宏
受保护的技术使用者：厦门黑镜科技有限公司
技术研发日：
技术公布日：2024/1/13