一种通过收集用户喜好自动生成数字人风格的方法及装置与流程

本发明涉及虚拟数字，具体涉及一种通过收集用户喜好自动生成数字人风格的方法及装置。

背景技术：

1、在人工智能、虚拟现实等新技术浪潮的带动下，虚拟数字人的制作变得有效简化，而且制作的虚拟数字人在各方面的性能获得了飞跃式提升；虚拟数字人已从外观的数字化逐渐深入到行为的交互化、思想的智能化。以虚拟偶像、虚拟主播、数字员工等为代表的数字人，已经成功进入大众视野，并且开始活跃在大家身边。

2、在现有的虚拟数字人的制作技术中，需要大量的手工设计和调整，费时费力，占用的人工成本高，并且这种方式生成的虚拟数字人的风格多是由专业人士主导设计的，难以满足用户个性化需求，且生成的虚拟数字人的风格单一，缺乏变化和个性，因此，现有的虚拟数字人的制作技术无法快速、精准地生成符合用户喜好的虚拟数字人。

技术实现思路

1、本发明的目的之一在于提供一种通过收集用户喜好自动生成数字人风格的方法及装置，以解决现有的虚拟数字人的制作技术无法快速、精准地生成符合用户喜好的虚拟数字人的问题。

2、为了实现上述目的，本发明采用的技术方案如下：

3、一种通过收集用户喜好自动生成数字人风格的方法，包括以下步骤：

4、采集用户图像，并根据所述用户图像分析得到用户的外貌特征；

5、获取用户日常语音，并根据所述用户日常语音分析得到用户的形象关键词；

6、获取用户个性化属性信息，并根据所述用户的外貌特征、所述用户的形象关键词以及所述用户个性化属性信息匹配数字人模板库，确定用户偏好的属性集合；

7、根据所述用户偏好的属性集合进行优化和调整，生成与用户喜好对应的虚拟数字人。

8、根据上述技术手段，由于获取了用户图像、用户日常语音以及用户个性化属性信息等信息，可根据这些信息进行分析得到用户的外貌特征、形象关键词以及个性化属性信息，进而可根据分析得到的信息与数字人模板库进行匹配，从而经过优化和调整后，即可生成与用户喜好对应的虚拟数字人。

9、进一步，所述采集用户图像，之前包括：

10、基于深度学习建立用于调整脸部特征的深度学习的人脸识别引擎。

11、根据上述技术手段，由于预先建立了深度学习的人脸识别引擎，可基于该深度学习的人脸识别引擎准确地对采集的用户图像进行特征识别，以及便于后续准确地根据用户修改的个性化属性信息以及参数进行优化和调整，从而生成与用户喜好对应的虚拟数字人。

12、进一步，所述采集用户图像，之前还包括：

13、收集不同类型的人物样本数据集；

14、对收集的样本数据集进行去噪、对齐、归一化以及标注处理，并根据处理后的样本数据集进行建模，得到所述数字人模板库。

15、根据上述技术手段，由于预先配置了不同类型人物的数字人模型，可得到一个用于属性匹配的数字人模板库，从而便于后续准确而快速地根据用户的外貌特征、形象关键词以及个性化属性信息，匹配得到用户偏好的属性集合。

16、进一步，所述采集用户图像，并根据所述用户图像分析得到用户的外貌特征，包括：

17、采集预设区域的用户图像；

18、对所述用户图像进行对齐及去噪处理，得到处理后的用户图像；

19、对处理后的用户图像进行分割及特征提取，并将提取的特征与所述数字人模板库中的特征进行对比识别；

20、根据识别的特征进行三维重建，得到所述用户的外貌特征。

21、根据上述技术手段，由于采集了指定区域的图像，可准确采集得到包含用户人脸信息的用户图像；并且，由于对用户图像进行了对齐及去噪处理，可得到图像大小一致且方向一致的用户图像；以及通过深度学习的人脸识别引擎对用户图像进行分割及特征提取，可将提取的特征与数字人模板库中的特征进行对比识别，从而准确地重建得到用户的外貌特征。

22、进一步，所述根据所述用户日常语音分析得到用户的形象关键词，包括：

23、对所述用户日常语音进行噪声去除、语音分段以及语音增强处理，得到预处理的音频信息；

24、从所述预处理的音频信息中提取音频特征，并将提取的音频特征转换为对应的文本信息；

25、根据预设过滤条件对转换的文本信息进行筛选，得到所述用户的形象关键词；

26、其中，所述预设过滤条件包括：外貌特征、发型特征、体型特征、性格特征、语言风格特征以及声音特征。

27、根据上述技术手段，由于对用户日常语音进行噪声去除、语音分段以及语音增强处理，可得到清晰的用户日常语音信息，并且，通过音频特征提取、文本转换处理，可根据过滤条件筛选得到用户偏好的形象关键词，以便于后续根据这些形象关键词生成与用户喜好对应的虚拟数字人。

28、进一步，所述获取用户个性化属性信息，并根据所述用户的外貌特征、所述用户的形象关键词以及所述用户个性化属性信息匹配数字人模板库，确定用户偏好的属性集合，包括：

29、收集用户的点击记录、搜索历史、购买记录、社交媒体互动信息，并根据收集的信息确定所述用户个性化属性信息；其中，所述用户个性化属性信息包括：基本属性、兴趣爱好以及社交关系；

30、根据所述用户的外貌特征、所述用户的形象关键词以及所述用户个性化属性信息匹配数字人模板库，确定用户偏好的属性集合。

31、根据上述技术手段，由于配置了用户个性化属性信息获取功能，可通过收集用户的点击记录、搜索历史、购买记录、社交媒体互动信息等方式，确定所述用户个性化属性信息；进而，通过将用户的外貌特征、形象关键词以及个性化属性信息相结合，在与数字人模板库的匹配后，即可确定用户偏好的属性集合，从而便于根据偏好的属性生成初始的虚拟数字人模型。

32、进一步，所述根据所述用户偏好的属性集合进行优化和调整，生成与用户喜好对应的虚拟数字人，包括：

33、基于深度学习的人脸识别引擎，结合所述用户偏好的属性集合生成初始模型；

34、根据用户修改的个性化属性信息以及参数进行优化和调整，生成与所述用户喜好对应的虚拟数字人。

35、根据上述技术手段，由于采用了训练后的深度学习的人脸识别引擎，可准确地根据匹配后的用户偏好的属性集合生成初始模型；进而，由于设置了属性信息和参数修改的选项，可在训练后的深度学习的人脸识别引擎的作用下，准确地根据用户修改的个性化属性信息以及参数进行优化和调整，从而生成与用户喜好对应的虚拟数字人，得到更符合用户喜好的虚拟数字人。

36、一种通过收集用户喜好自动生成数字人风格的装置，包括：

37、图像分析模块，用于采集用户图像，并根据所述用户图像分析得到用户的外貌特征；

38、语音分析模块，用于获取用户日常语音，并根据所述用户日常语音分析得到用户的形象关键词；

39、偏好属性匹配模块，用于获取用户个性化属性信息，并根据所述用户的外貌特征、所述用户的形象关键词以及所述用户个性化属性信息匹配数字人模板库，确定用户偏好的属性集合；

40、虚拟数字人生成模块，用于根据所述用户偏好的属性集合进行优化和调整，生成与用户喜好对应的虚拟数字人。

41、进一步，所述装置还包括：

42、人脸识别模块，用于基于深度学习建立用于调整脸部特征的深度学习的人脸识别引擎。

43、进一步，所述装置还包括：

44、样本收集模块，用于收集不同类型的人物样本数据集；

45、数字人模板库模块，用于对收集的样本数据集进行去噪、对齐、归一化以及标注处理，并根据处理后的样本数据集进行建模，得到所述数字人模板库。

46、进一步，所述图像分析模块包括：

47、图像采集模块，用于采集预设区域的用户图像；

48、图像预处理模块，用于对所述用户图像进行对齐及去噪处理，得到处理后的用户图像；

49、特征识别模块，用于对处理后的用户图像进行分割及特征提取，并将提取的特征与所述数字人模板库中的特征进行对比识别；

50、外貌特征重建模块，用于根据识别的特征进行三维重建，得到所述用户的外貌特征。

51、进一步，所述语音分析模块包括：

52、音频预处理模块，用于对所述用户日常语音进行噪声去除、语音分段以及语音增强处理，得到预处理的音频信息；

53、文本转换模块，用于从所述预处理的音频信息中提取音频特征，并将提取的音频特征转换为对应的文本信息；

54、关键词筛选模块，用于根据预设过滤条件对转换的文本信息进行筛选，得到所述用户的形象关键词；

55、其中，所述预设过滤条件包括：外貌特征、发型特征、体型特征、性格特征、语言风格特征以及声音特征。

56、进一步，所述偏好属性匹配模块包括：

57、属性信息确定模块，用于收集用户的点击记录、搜索历史、购买记录、社交媒体互动信息，并根据收集的信息确定所述用户个性化属性信息；其中，所述用户个性化属性信息包括：基本属性、兴趣爱好以及社交关系；

58、属性集合确定模块，用于根据所述用户的外貌特征、所述用户的形象关键词以及所述用户个性化属性信息匹配数字人模板库，确定用户偏好的属性集合。

59、进一步，所述虚拟数字人生成模块包括：

60、初始模型生成模块，用于基于深度学习的人脸识别引擎，结合所述用户偏好的属性集合生成初始模型；

61、模型优化模块，用于根据用户修改的个性化属性信息以及参数进行优化和调整，生成与所述用户喜好对应的虚拟数字人。

62、一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上所述的通过收集用户喜好自动生成数字人风格的方法。

63、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行，以用于实现如上所述的通过收集用户喜好自动生成数字人风格的方法。

64、本发明的有益效果：

65、(1)本发明实施例由于获取了用户图像、用户日常语音以及用户个性化属性信息等信息，可根据这些信息进行分析得到用户的外貌特征、形象关键词以及个性化属性信息，进而可将分析得到的信息与数字人模板库进行匹配，从而在优化和调整后，生成与用户喜好对应的虚拟数字人。

66、(2)本发明实施例通过收集用户喜好，可以快速、精准地生成符合用户喜好的虚拟数字人。

67、(3)本发明实施例可以根据用户的喜好变动而实时修改，满足用户个性化需求，生成的数字人的风格多样化、个性化，提高了客户服务体验。