一种虚拟机器人的交互方法、系统及机器人与流程

本发明涉及机器人交互技术领域，尤其涉及一种虚拟机器人的交互方法、系统及机器人。

背景技术：

机器人作为与人类的交互工具，使用的场合越来越多，例如一些老人、小孩较孤独时，就可以与机器人交互，包括对话、娱乐等。为了让用户使用机器人的体验感更好，就需要将机器人设计的更加智能，而不仅仅是对话这种简单的功能，为了增加机器人的智能交互体验，需要加入到更多的功能，例如作画、作诗、作曲等，让机器人可以根据用户的意思进行对应的交互，增加机器人的功能。然而，如何实现这些功能成为本技术领域亟需解决的技术问题。

技术实现要素：

本发明的目的是提供一种虚拟机器人的交互方法、系统及机器人，使机器人能够提供更多、更拟人化的交互，提升用户的使用体验。

本发明的目的是通过以下技术方案来实现的：

一种虚拟机器人的交互方法，包括：

获取用户的多模态信息；

对所述多模态信息进行预处理，识别用户意图；

根据所述多模态信息和用户意图生成内容信息和选择生成模板；

将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；

将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；

机器人根据所述交互内容生成评价信息。

本发明公开一种虚拟机器人的交互系统，包括：

获取模块，用于获取用户的多模态信息；

意图识别模块，用于对所述多模态信息进行预处理，识别用户意图；

处理模块，用于根据所述多模态信息和用户意图生成内容信息和选择生成模板；

生成模块，用于将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；

发送模块，用于将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；

评价模块，机器人根据所述交互内容生成评价信息。

本发明公开一种机器人，其特征在于，包括如上述任一所述的一种虚拟机器人的交互系统。

相比现有技术，本发明具有以下优点：本发明的虚拟机器人的交互方法包括：获取用户的多模态信息；对所述多模态信息进行预处理，识别用户意图；根据所述多模态信息和用户意图生成内容信息和选择生成模板；将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；机器人根据所述交互内容生成评价信息。这样就可以根据用户的多模态信息确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。

附图说明

图1是本发明实施例一的一种虚拟机器人的交互方法的流程图；

图2是本发明实施例二的一种虚拟机器人的交互系统的示意图。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例一

如图1所示，本实施例中公开一种虚拟机器人的交互方法，包括：

S101、获取用户的多模态信息；

S102、对所述多模态信息进行预处理，识别用户意图；

S103、根据所述多模态信息和用户意图生成内容信息和选择生成模板；

S104、将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；

S105、将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；

S106、机器人根据所述交互内容生成评价信息。

这样就可以根据用户的多模态信息(例如图像、语音、文字、手机端等)确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。

本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。

本实施例中方法可以应用在不同的功能上，例如作画，作曲，作诗，朗读故事，朗读小说等等。

根据其中一个示例，在生成交互内容的步骤之后还包括：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。

这样就让用户在移动终端上也可以查看到交互内容，让用户可以以更多方式接收到机器人的反馈和回复。

根据其中一个示例，在将交互内容发送到成像系统和移动终端的步骤之后还包括：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。

这样就可以方便用户查看对该功能的评价例如使用感受，评分等，从而方便用户去选取适合自己的功能进行使用。

本实施例中，为了更加详细的说明机器人的交互，对所述多模态信息进行预处理，识别用户意图的步骤具体包括：对多模态信息进行预处理，识别用户控制机器人作画的意图；

所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图生成图像信息和选择图像风格模板；

所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据选择的图像风格模板与图像信息进行组合后生成交互内容；

所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。

这样就可以机器人进行作画，并展示出来动作和图像，增加用户的使用体验。

其中，所述图像信息通过机器人数据库或用户图库获取。这样用户就可以将自己拍照的图片或者自拍的图片发送给机器人，让机器人按照图片进行作图。

本实施例中，进一步详细的说明机器人的交互方式中，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作曲的意图；

所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作曲风格模板和作曲内容；

所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作曲风格模板和作曲内容生成交互内容；

所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。

这样就可以让机器人进行作曲，例如，用户哼了一段小曲，然后机器人就可以根据这段小曲和作曲风格的模板，进行组合匹配等，从而生成一段新的小曲，来接上用户哼的一段小曲。

本实施例中，进一步详细的说明机器人的交互方式中，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作诗的意图；

所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作诗风格模板和作诗内容；

所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作诗风格模板和作诗内容生成交互内容；

所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。

这样就可以让机器人作诗，例如用户读出一句诗，机器人就可以根据这句诗，结合作诗的模板，对出另一句诗，回复用户，而且还可以配上读出诗句时的动作，更加拟人化和形象。

本实施例中，进一步详细的说明机器人的交互方式中，所述对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人朗读的意图；

所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择朗读内容和朗读背景；

所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据朗读内容和朗读背景生成交互内容；

所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。

这样就可以让机器人根据用户的意图选择一本小说或故事或杂志进行朗读，从而让机器人与用户交互时更加智能化，提高用户使用的体验度。

实施例二

如图2所示，本实施中公开一种虚拟机器人的交互系统，包括：

获取模块201，用于获取用户的多模态信息；

意图识别模块202，用于对所述多模态信息进行预处理，识别用户意图；

处理模块203，用于根据所述多模态信息和用户意图生成内容信息和选择生成模板；

生成模块204，用于将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；

发送模块205，用于将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；

评价模块206，机器人根据所述交互内容生成评价信息。

这样就可以根据用户的多模态信息确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。

本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。

本实施例中方法可以应用在不同的功能上，例如作画，作曲，作诗，朗读故事，朗读小说等等。

根据其中一个示例，所述发送模块还用于：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。

这样就让用户在移动终端上也可以查看到交互内容，让用户可以以更多方式接收到机器人的反馈和回复。

根据其中一个示例，所述评价模块还用于：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。

这样就可以方便用户查看对该功能的评价例如使用感受，评分等，从而方便用户去选取适合自己的功能进行使用。

本实施例中，为了更加详细的说明机器人的交互，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作画的意图；

所述处理模块用于：根据多模态信息和用户意图生成图像信息和选择图像风格模板；

所述生成模块用于：根据选择的图像风格模板与图像信息进行组合后生成交互内容；

所述发送模块用于：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。

这样就可以机器人进行作画，并展示出来动作和图像，增加用户的使用体验。

其中，所述图像信息通过机器人数据库或用户图库获取。这样用户就可以将自己拍照的图片或者自拍的图片发送给机器人，让机器人按照图片进行作图。

本实施例中，进一步详细的说明机器人的交互方式中，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作曲的意图；

所述处理模块用于：根据多模态信息和用户意图选择作曲风格模板和作曲内容；

所述生成模块用于：根据作曲风格模板和作曲内容生成交互内容；

所述发送模块用于：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。

这样就可以让机器人进行作曲，例如，用户哼了一段小曲，然后机器人就可以根据这段小曲和作曲风格的模板，进行组合匹配等，从而生成一段新的小曲，来接上用户哼的一段小曲。

本实施例中，进一步详细的说明机器人的交互方式中，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作诗的意图；

所述处理模块用于：根据多模态信息和用户意图选择作诗风格模板和作诗内容；

所述生成模块用于：根据作诗风格模板和作诗内容生成交互内容；

所述发送模块用于：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。

这样就可以让机器人作诗，例如用户读出一句诗，机器人就可以根据这句诗，结合作诗的模板，对出另一句诗，回复用户，而且还可以配上读出诗句时的动作，更加拟人化和形象。

本实施例中，进一步详细的说明机器人的交互方式中，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人朗读的意图；

所述处理模块用于：根据多模态信息和用户意图选择朗读内容和朗读背景；

所述生成模块用于：根据朗读内容和朗读背景生成交互内容；

所述发送模块用于：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。

这样就可以让机器人根据用户的意图选择一本小说或故事或杂志进行朗读，从而让机器人与用户交互时更加智能化，提高用户使用的体验度。

本实施例中公开一种机器人，包括如上述任一所述的一种虚拟机器人的交互系统。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。