一种基于人工智能的数字人平台交互系统及方法与流程

本发明涉及人机交互，具体为一种基于人工智能的数字人平台交互系统及方法。

背景技术：

1、数字人最初主要出现在电影和游戏领域，用于制作简单的虚拟人物或角色动画。这些早期的数字人形象相对较为粗糙，主要通过手工建模和关键帧动画的方式来实现，交互性也非常有限，通常只能按照预设的脚本进行简单的动作和对话表演；随着计算机图形学和人工智能技术的初步发展，数字人的外观和动作表现有了一定的提升，开始具备一些简单的交互功能，如通过鼠标点击或键盘输入等方式与用户进行有限的互动。同时，一些虚拟助手类的数字人应用开始出现，但在语音识别、自然语言理解等方面的技术还不够成熟，交互体验相对较为生硬。人工智能领域的深度学习技术取得重大突破，为数字人交互带来了质的飞跃。数字人开始广泛应用于多个领域，如智能客服、虚拟主播、教育等。语音交互技术逐渐成熟，数字人能够较为准确地识别和理解用户的语音指令，并以自然流畅的语音进行回应。同时，面部表情和肢体动作的生成也更加自然和逼真，能够更好地与语音内容相匹配，增强了交互的真实感和趣味性。但是在现今用户与数字人交互时，均是一种形象服务于所有用户，当用户在进行交互时存在隔阂感和疏离感，并且数字人对于用户问题生成答案时无法切身根据用户实时状态改变答案形式，对于用户与数字人交互时的体验和感官存在较大的影响。

技术实现思路

1、本发明的目的在于提供一种基于人工智能的数字人平台交互系统及方法，以解决现有技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于人工智能的数字人平台交互方法，所述方法包括以下步骤：

4、s100、对与数字人交互的所有使用用户进行统计，收集每个用户在历史记录中和数字人交互时不同情绪和对应的面部数据，提取用户不同情绪时的面部特征，收集历史记录中每个用户与数字人交互时用户对于交互结果的反馈数据，利用反馈数据得到用户对交互结果的偏好；利用数字孪生技术将用户不同情绪时的面部特征和偏好进行结合构建虚拟用户形象；

5、进一步的，利用数字孪生技术将用户不同情绪时的面部特征和偏好进行结合构建虚拟用户形象的具体步骤为：

6、s101、对与数字人交互的所有使用用户进行统计得到用户数量为n个，收集每个用户在历史记录中和数字人交互时的情绪种类为，表示收集的每个用户在历史记录中和数字人交互时第1、2、3、...、n种情绪，n为正整数；提取用户不同情绪时用户与数字人交互时的面部数据，利用dlib库查找得到面部数据中的关键点为，表示查找的面部数据中第1、2、3、...、m个关键点，m为正整数；

7、s102、在用户面部数据中建立坐标系，提取每个关键点的坐标点为，表示面部数据中第、1、2、3、...、m个关键点的坐标，计算每两个关键点之间的几何距离，公式为：

8、；

9、公式中，表示m个关键点中第i个和第j个关键点的几何距离，和表示第i个关键点的横坐标和纵坐标，和表示第j个关键点的横坐标和纵坐标；i和j属于1至m；根据计算得到用户不同情绪下每种关键点的几何距离为，表示计算的第1、2、3、...、对关键点的几何距离，将用户不同情绪时的关键点几何距离集合a作为每种情绪的面部特征；

10、s103、收集历史记录中每个用户与数字人交互时用户对于交互结果的反馈数据，对应的提取用户与数字人历史交互时数字人的结果特征；将收集的用户反馈数据和对应的数字人的结果特征进行匹配得到构成元素组合为，表示匹配后得到的第1、2、3、...、k个元素组合，其中f表示反馈数据，j表示数字人的结果特征；k为正整数；对每种元素组合的次数进行采集并计算平均值，将次数大于平均值的元素组合定义为频繁组；计算所有频繁组的置信度，公式为：

11、；

12、公式中，表示计算的第t个频繁组的置信度，表示采集的第t个频繁组的次数，表示采集的第t个频繁组中反馈数据的次数；计算得到所有频繁组的置信度，经过判断选择置信度最大的频繁组中数字人的结果特征为用户的偏好，重复计算得到所有用户的偏好；利用数字孪生技术将用户不同情绪时的面部特征和偏好进行结合构建虚拟用户形象。

13、利用历史记录中用户与数字人交互时的面部数据和反馈数据，得到不同情绪的面部特征和用户偏好，构建虚拟用户形象；通过对虚拟形象的分析，可以深入了解用户的外貌特征、表情习惯、动作偏好等个性化信息。数字人能够根据这些分析结果，为用户提供更加贴合其个人喜好和需求的交互内容及服务方式，使交互过程更加自然、流畅和舒适，增强用户的参与感和沉浸感。

14、虚拟形象可以作为用户潜意识需求的一种外在表现形式。对其进行分析有助于挖掘用户未明确表达的潜在需求，企业或服务提供商可以提前布局和优化产品或服务，更好地满足用户未来的需求，提高用户的满意度和忠诚度 。

15、通过持续对虚拟形象进行分析，可以实时监测和评估策略的实施效果。根据分析结果及时发现策略执行过程中存在的问题和偏差，并做出相应的调整和优化，确保策略始终能够朝着预期的目标前进，实现对业务的有效管理和持续优化。

16、s200、针对构建的每个用户的虚拟用户形象，收集每个用户在网络中浏览的虚拟形象，提取浏览的虚拟形象的外貌特征构建独属于每个用户的数字人形象；收集每个用户在网络中收听的音频数据，提取音频数据的语音特征，构建独属于每个用户的数字人语音；将生成的每个用户的数字人形象和语音构建独属于每个用户的数字人，将每个用户的数字人进行保存构建数字人仓库；

17、进一步的，将每个用户的数字人进行保存构建数字人仓库的具体步骤为：

18、s201、针对构建的每个用户的虚拟用户形象，收集每个用户在网络中浏览的虚拟形象，利用人脸检测算法提取收集的虚拟形象的面部关键点，对每个面部关键点的数据值进行标准化，统一为相同的数据格式，计算得到每个面部关键点的表现数值，公式为：

19、；

20、公式中，b表示每个关键点的表现数值，r表示每个关键点中每两个数据值差值的总个数，h和h’分别表示每个关键点中不同的数据值；在计算得到每个关键点的表现数值后，利用图像分割技术将面部数据中每个关键点进行分割形成单独的外貌特征；

21、分别提取历史记录中用户对于每个分割后外貌特征的浏览次数，构建概率模型，表示为：；模型中表示第v个外貌特征的概率，表示第v个外貌特征的浏览次数，表示用户对所有外貌特征的总浏览次数；利用深度学习模型对所有外貌特征的概率进行训练，选择所有概率大于二分之一的外貌特征作为用户喜爱的外貌；最后利用图像生成技术将所有用户喜爱的外貌特征进行组合生成用户喜爱的数字人形象；

22、s202、收集每个用户在网络中收听的音频数据，使用音频处理算法提取收集的音频数据中的音色特征，使用s201中相同的概率模型计算得到每种音色特征的概率，选择其中概率最大的音色特征作为用户最喜爱的音频特征；重复操作计算得到每个用户最喜爱的音频特征；

23、s203、在计算得到每个用户喜爱的数字人形象和音频特征后，利用对抗网络算法根据每个用户喜爱的数字人形象和音频特征构建独属于每个用户的数字人，将每个用户的数字人进行保存构建数字人仓库。

24、不同用户对于数字人的外貌和音色有着各自不同的喜好和需求。有些用户可能喜欢青春活力的外貌形象和清脆悦耳的音色，而有些用户则可能偏好成熟稳重的外貌和低沉醇厚的音色。生成独属于每个用户的数字人，能够精准地满足这些多样化的需求，为用户提供贴合其个人品味的专属数字伙伴。

25、在用户与数字人进行交互时熟悉的外貌和音色有助于用户更快速地理解数字人所传达的信息。例如，在语音交互场景下，用户自身的音色风格能让其更本能地捕捉到数字人话语中的重点和情感，减少因音色陌生而可能产生的理解障碍，从而使沟通更加顺畅，提高信息传递的效率。

26、s300、当用户和数字人进行交互时，实时采集用户的面部数据和虚拟用户形象进行匹配，匹配后根据虚拟用户形象选择独属于实时用户的数字人并进行显示；

27、进一步的，匹配后根据虚拟用户形象选择独属于实时用户的数字人并进行显示的具体步骤为：

28、s301、当用户和数字人进行交互时，实时采集用户的面部数据，提取实时用户面部数据中的关键点，对应采集每个关键点的数据值，提取虚拟用户形象中每个关键点的数据值；计算实时用户和所有虚拟用户形象的面部相似度，公式为：

29、；

30、公式中，表示实时用户和每个虚拟用户形象的面部相似度，e表示提取的实时用户面部数据中关键点的个数，表示实时用户第p个关键点的数据值，表示虚拟用户形象中第p个关键点的数据值；

31、s302、计算得到实时用户和每个虚拟用户形象的面部相似度后，选择面部相似度最靠近1的虚拟用户形象和实时用户进行匹配，得到实时用户的映射虚拟形象；根据实时用户的映射虚拟形象在数字人仓库中选择独属于实时用户的数字人进行显示。

32、s400、当选择实时用户的数字人后，采集用户与数字人交互时的语音数据，利用自然语言处理算法对用户语音数据进行分析，生成实时用户向数字人提出的交互问题；数字人根据交互问题在网络中搜集答案并对搜集的所有答案进行分类；

33、进一步的，数字人根据交互问题在网络中搜集答案并对搜集的所有答案进行分类的具体步骤为：

34、s401、当选择实时用户的数字人后，采集用户与数字人交互时的语音数据，利用自然语言处理算法对用户语音数据进行分析，生成实时用户向数字人提出的交互问题；

35、s402、数字人根据交互问题在网络中搜集答案并对搜集的所有答案，之后根据s100历史记录中交互结果特征对搜集的所有答案进行分类为，表示分类后得到的第1、2、3、...、b种答案，b为正整数。

36、s500、提取用户虚拟形象中的偏好对分类后每种答案进行判断，选择用户满意的交互问题答案；

37、进一步的，选择用户满意的交互问题答案的具体步骤为：

38、s501、提取用户虚拟形象中的偏好对分类后每种答案进行判断，选择具有和用户偏好相同的结果特征的答案作为最优答案。

39、s600、在选择出交互问题答案后，采集用户和数字人交互时的实时面部数据，在用户虚拟形象中进行对应判断实时用户的情绪，数字人根据用户情绪对交互问题答案进行修饰后向实时用户输出。

40、进一步的，数字人根据用户情绪对交互问题答案进行修饰后向实时用户输出的具体步骤为：

41、s601、在选择出交互问题答案后，采集用户和数字人交互时的实时面部数据，提取实时用户面部数据中每个关键点的坐标，计算实时用户面部数据中每两个关键点几何距离为，表示计算的第1、2、3、...、个关键点之间几何距离，利用实时用户的关键点几何距离a’与实时用户的映射虚拟形象中关键点几何距离集合a进行对比；

42、s602、当a=a’时，提取a集合对应的用户情绪作为实时用户的交互情绪，利用自然语言处理算法对选择的最佳答案添加实时用户交互情绪修饰词，最后向实时用户输出。

43、分析虚拟形象的表情、姿态等元素，可以帮助数字人更好地理解用户的情绪状态。从而数字人能够做出相应的情感回应，与用户建立更深入的情感连接，让用户在交互中感受到更多的理解和共鸣，提升交互的质量和深度。

44、一种基于人工智能的数字人平台交互系统，数字人平台交互系统包括数据收集模块、虚拟用户形象构建模块、数字人构建模块、实时交互模块、输出模块；

45、所述数据收集模块用于对用户历史记录中与数字人交互的数据进行收集；

46、所述虚拟用户形象构建模块用于根据收集的历史记录中用户交互时的面部数据，提取用户不同情绪时的面部特征，利用反馈数据得到用户对交互结果的偏好，利用数字孪生技术将用户不同情绪时的面部特征和偏好进行结合构建虚拟用户形象；

47、所述数字人构建模块用于提取收集的历史记录中浏览虚拟形象的外貌特征构建独属于每个用户的数字人形象，提取音频数据的语音特征，构建独属于每个用户的数字人语音，构建独属于每个用户的数字人；

48、所述实时交互模块用于采集实时用户的面部数据查找映射虚拟形象，之后根据用户偏好选择数字人答案，根据实时用户的面部数据判断实时用户情绪；

49、所述输出模块用于对选择的最佳答案根据实时用户情绪添加修饰词后向实时用户输出。

50、虚拟用户形象构建模块包括情绪单元和偏好单元；

51、所述情绪单元用于对根据收集的历史记录中用户交互时的面部数据，提取用户不同情绪时的面部特征；

52、所述偏好单元用于根据收集的用户反馈数据和结果特征计算得到每个用户的偏好。

53、实时交互模块包括映射虚拟形象单元、答案选择单元和情绪判断单元；

54、所述映射虚拟形象单元用于采集实时用户的面部数据，计算实时用户和虚拟用户形象的相似度，选择实时用户的映射虚拟形象；

55、所述答案选择单元用于采集实时用户的面部数据查找映射虚拟形象后根据用户偏好选择数字人答案；

56、所述情绪判断单元用于根据实时用户的面部数据判断实时用户情绪。

57、与现有技术相比，本发明的有益效果是：

58、1、本发明利用历史记录中用户与数字人交互时的面部数据和反馈数据，得到不同情绪的面部特征和用户偏好，构建虚拟用户形象；通过对虚拟形象的分析，可以深入了解用户的外貌特征、表情习惯、动作偏好等个性化信息。数字人能够根据这些分析结果，为用户提供更加贴合其个人喜好和需求的交互内容及服务方式，使交互过程更加自然、流畅和舒适，增强用户的参与感和沉浸感。

59、2、本发明构建独属于每个用户的数字人后，在用户与数字人进行交互时熟悉的外貌和音色有助于用户更快速地理解数字人所传达的信息。例如，在语音交互场景下，用户自身的音色风格能让其更本能地捕捉到数字人话语中的重点和情感，减少因音色陌生而可能产生的理解障碍，从而使沟通更加顺畅，提高信息传递的效率。