一种多模态信息推荐方法、装置、电子设备及存储介质与流程

本申请实施例涉及通信，尤其涉及一种多模态信息推荐方法、装置、电子设备及存储介质。

背景技术：

1、目前，企业通常利用外呼推荐系统为用户提供信息服务，如通过与用户进行通话为用户提供产品信息、文章等。外呼推荐系统虽然在自动化语音交互方面取得了一定的进展，但是在为用户提供信息服务的过程中，仍然依赖于标准化的对话脚本。这种推荐信息的方式未能充分考虑用户的个性和实际需求，无法提供个性化的沟通，从而影响用户体验。

技术实现思路

1、本申请提供了一种多模态信息推荐方法、装置、电子设备及存储介质，用于为用户提供更加个性化的推荐信息，提升用户体验。

2、为达到上述目的，本申请采用如下技术方案：

3、第一方面，提供了一种多模态信息推荐方法，应用于电子设备，该方法包括：显示第一目标界面，第一目标界面包括多个第一推荐信息；获取用户的多模态数据；多模态数据包括眼动数据、面部表情数据和语音数据中的至少两者；多模态数据用于指示用户感兴趣的目标推荐信息；目标推荐信息为多个第一推荐信息之一；根据多模态数据，显示第二目标界面；第二目标界面包括至少一个第二推荐信息；至少一个第二推荐信息是根据目标推荐信息得到的。

4、通过上述技术手段，通过实时捕捉用户对第一目标界面的反应，如眼神注视、面部表情变化、语音反馈，能够更加准确地理解用户感兴趣的信息，从而为用户提供更加个性化的推荐信息，减少用户浏览不感兴趣的内容的时间，提高了用户获取信息的效率。此外，当看到感兴趣的推荐信息时，用户更有可能积极参与互动，增强用户互动性和满意度。

5、一种可能的实现方式中，根据多模态数据，显示第二目标界面，包括：根据眼动数据，确定第一目标推荐信息；根据面部表情数据，确定第二目标推荐信息；根据语音数据，确定第三目标推荐信息；根据第一目标推荐信息、第二目标推荐信息、第三目标推荐信息，得到目标推荐信息；根据目标推荐信息，显示第二目标界面。

6、通过上述技术手段，眼动数据揭示了用户的视觉焦点，面部表情数据反映了用户的情感变化，语音数据提供了用户的直接反馈，将眼动数据、面部表情数据、语音数据结合起来，能够更加全面准确地捕捉到用户的兴趣信息，减少错误推荐信息的发生。

7、一种可能的实现方式中，眼动数据包括用户在各第一推荐信息上的注视时间和注视频率；注视频率用于指示用户的注视点在第一推荐信息上的停留次数。

8、通过上述技术手段，注视时间的长短和注视频率的高低直接反映了用户对于推荐信息的兴趣程度，例如，长时间注视、高频次注视通常意味着用户对该推荐信息有较高的兴趣，通过用户对第一目标界面中推荐信息的注视时间和注视频率可以准确评估哪些推荐信息吸引了用户的注意力。

9、一种可能的实现方式中，根据眼动数据，确定第一目标推荐信息，包括：根据各第一推荐信息的注视时间和预设注视时间，筛选各第一推荐信息，得到至少一个第四目标推荐信息；根据各第四目标推荐信息的注视频率和预设注视频率，筛选各第四目标推荐信息，得到第一目标推荐信息。

10、通过上述技术手段，利用注视时间筛选出用户长时间关注的推荐信息，排除短暂浏览或无意注意的可能性，然后通过注视频率进一步是阿悬出用户多次回看的推荐信息，确保推荐信息的准确性。

11、一种可能的实现方式中，面部表情数据包括用户注视各第一推荐信息时，用户的面部表情；根据面部表情数据，确定第二目标推荐信息，包括：根据各面部表情，识别各面部表情对应的情绪状态；根据各情绪状态，确定第二目标推荐信息。

12、通过上述技术手段，不同的情绪状态反映了用户对第一推荐信息的兴趣程度。例如，当用户看到不感兴趣的推荐信息时，会出现皱眉等面部表情，反映出了用户对该推荐信息的反感。通过捕捉用户在注视第一目标界面过程中各第一推荐信息的面部表情，能够更加深入地了解用户在阅读第一推荐信息时的情感变化，从而间接得到用户对各第一推荐信息是否感兴趣。

13、一种可能的实现方式中，根据各情绪状态，确定第二目标推荐信息，包括：将满足预设情绪状态的第一推荐信息确定为第二目标推荐信息。

14、通过上述技术手段，基于用户对推荐信息的情感反馈，确定用户感兴趣的推荐信息，为调整目标界面中的推荐信息提供依据，使得用户能够获得真正感兴趣的内容。此外，用户不再只是被动地接受推荐信息，通过自己的情感表达影响目标界面中的推荐信息，增强了用户的参与感。

15、一种可能的实现方式中，根据语音数据，确定第三目标推荐信息，包括：根据语音数据，识别语音数据包含的语义信息；根据语义信息，确定第三目标推荐信息。

16、通过上述技术手段，语音数据通常含有用户直接表达的信息需求，通过识别语音数据中的语义信息，能够更加直接地理解用户的意图和需求，从而推送更加有针对性的推荐信息，提高推荐信息的效率，增强用户的满意度。

17、一种可能的实现方式中，显示第一目标界面，包括：接收到通话请求；响应于通话请求，显示第一目标界面；多模态数据是在用户的通话过程中获得的。

18、第二方面，提供了一种多模态信息推荐装置，该装置包括：

19、第一显示模块，用于显示第一目标界面，第一目标界面包括多个第一推荐信息；

20、获取模块，用于获取用户的多模态数据；多模态数据包括眼动数据、面部表情数据和语音数据中的至少两者；多模态数据用于指示用户感兴趣的目标推荐信息；目标推荐信息为多个第一推荐信息之一；

21、第二显示模块，用于根据多模态数据，显示第二目标界面；第二目标界面包括至少一个第二推荐信息；至少一个第二推荐信息是根据目标推荐信息得到的。

22、第三方面，提供一种电子设备，包括存储器和处理器；存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；当处理器执行计算机指令时，电子设备执行上述第一方面及其任一种可能的实现方式提供的多模态信息推荐方法。

23、第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在电子设备上运行时，使得电子设备执行上述第一方面及其任一种可能的实施方式提供的多模态信息推荐方法。

24、需要说明的是，第二方面至第四方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式所带来的技术效果，此处不再赘述。

25、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种多模态信息推荐方法，其特征在于，所述方法包括：

2.根据权利要求1所述的信息推荐方法，其特征在于，所述根据所述多模态数据，显示第二目标界面，包括：

3.根据权利要求2所述的信息推荐方法，其特征在于，所述眼动数据包括所述用户在各所述第一推荐信息上的注视时间和注视频率；所述注视频率用于指示所述用户的注视点在所述第一推荐信息上的停留次数。

4.根据权利要求3所述的信息推荐方法，其特征在于，所述根据所述眼动数据，确定第一目标推荐信息，包括：

5.根据权利要求2所述的信息推荐方法，其特征在于，所述面部表情数据包括所述用户注视各所述第一推荐信息时，所述用户的面部表情；所述根据所述面部表情数据，确定第二目标推荐信息，包括：

6.根据权利要求5所述的信息推荐方法，其特征在于，所述根据各所述情绪状态，确定所述第二目标推荐信息，包括：

7.根据权利要求2所述的信息推荐方法，其特征在于，所述根据所述语音数据，确定第三目标推荐信息，包括：

8.根据权利要求1-7中任一项所述的信息推荐方法，其特征在于，所述显示第一目标界面，包括：

9.一种多模态信息推荐装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括存储器和处理器；

11.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任意一项所述的多模态信息推荐方法。

技术总结
本申请公开了一种多模态信息推荐方法、装置、电子设备及存储介质，涉及通信技术领域。该方法包括：显示第一目标界面，第一目标界面包括多个第一推荐信息；获取用户的多模态数据；多模态数据包括眼动数据、面部表情数据和语音数据中的至少两者；多模态数据用于指示用户感兴趣的目标推荐信息；目标推荐信息为多个第一推荐信息之一；根据多模态数据，显示第二目标界面；第二目标界面包括至少一个第二推荐信息；至少一个第二推荐信息是根据目标推荐信息得到的。通过上述方法，根据用户实时的反应，可以更加准确地理解用户感兴趣的内容，从而提供更加个性化的推荐信息，增强用户互动性和满意度。

技术研发人员：谢园园
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/10/31