实时人机协作方法、装置、智能体及存储介质

本申请涉及人工智能、人机协作，特别涉及一种实时人机协作方法、装置、智能体及存储介质。

背景技术：

1、随着人工智能、机器学习、计算机视觉、自然语言处理等技术的不断进步，实时人机协作的技术水平也在不断提高。构建能够与人类配合良好的智能体是一个长久以来的问题，在人机协作中，智能体应当听从人类指令，理解人类复杂的意图；并能够表达自己的想法，以进行双向对话；并具有较高的实时性，能够在环境变化或人类给出指令后迅速行动。

2、人机协作主要归结为两类，一类是基于llm(large language model，大语言模型)的方法，另一类是基于轻量化语言模型或反应性策略的方法。

3、llm在推理和泛化方面表现出了显著的优势，能够解决较为复杂的问题，以及与人类双向沟通。例如，利用llm的能力设计一个能够自主与环境交互的智能体，构建一个技能库，实现自主探索地图；使用llm驱动多个角色在一个虚拟小镇生活，展现出了类似人类的沟通和社交能力；利用llm和视觉模型合作驱动机器人，能够根据人类的指令做出相应的动作。然而，智能体依赖于复杂llm提示词驱动的llm推理，带来较高的延迟，因此在高实时性要求的场景中，基于llm的人机交互方法难以胜任。

4、另一类方法基于反应性策略，智能体能够快速行动以便实时响应。例如使用多智能体强化学习算法训练智能体，利用自博弈得到能够与人类配合良好的队友；在训练时考虑了人类的偏好。虽然智能体具有较快的反应速度，可以根据环境变化做出快速的动作响应，但是不具备复杂的推理和分析能力，也无法与人类双向对话交流，因此人机协作效果有限。

技术实现思路

1、本申请提供一种实时人机协作方法、装置、智能体及存储介质，以解决相关技术中llm方法反应速度慢，带来高延迟，反应性策略无法与人类双向对话交流，不能理解和执行复杂人类指令等问题。

2、本申请第一方面实施例提供一种实时人机协作方法，包括以下步骤：获取人类的当前指令；将所述当前指令输入层次化大语言模型，其中，所述层次化大语言模型对所述人类指令进行不同层次的推理，根据推理结果生成响应所述当前指令的目标宏动作，控制智能体的执行机构执行所述目标宏动作，实现所述智能体与环境的交互。

3、可选地，所述层次化大语言模型包括推理层、宏动作层和执行层，其中，所述推理层用于推理所述当前指令的意图信息；所述宏动作层根据所述意图信息生成所述目标宏动作；所述执行层将通过反应性策略控制所述智能体执行所述当前宏动作。

4、可选地，所述推理层的运行频率小于所述宏动作层的运行频率，所述宏动作层的运行频率小于所述执行层的运行频率。

5、可选地，所述推理层的运行流程包括：获取所述当前指令、历史指令和环境信息；根据所述当前指令、所述历史指令和所述环境信息推理人类意图；根据所述人类意图、所述环境信息和和历史宏动作中的多个确定所述意图信息。

6、可选地，所述意图信息包括发送给人类的交流消息、人类意图和对所述人类意图是否满足的评估。

7、可选地，所述宏动作层的运行流程包括：识别所述意图信息中的交流消息和人类意图；获取可执行宏动作和历史宏动作，根据所述当前指令、所述人类意图和所述交流信息、所述可执行宏动作和所述历史宏动作中多个计算宏动作偏好；根据所述环境信息计算每一个宏动作的价值，根据所述价值和所述宏动作偏好确定所述目标宏动作。

8、可选地，所述反应性策略包括：将所述目标宏动作分解为原子动作，由智能体执行所述原子动作；若执行过程中接收到新的目标宏动作，则放弃当前的目标宏动作并开始执行所述新的目标宏动作；若所述当前的目标宏动作执行完成或执行失败，则请求所述宏动作层给出一个新的目标宏动作。

9、本申请第二方面实施例提供一种实时人机协作装置，包括：获取模块，用于获取人类的当前指令；输入模块，用于将所述当前指令输入层次化大语言模型；推理模块，用于所述层次化大语言模型对所述人类指令进行不同层次的推理；生成模块，用于根据推理结果生成响应所述当前指令的目标宏动作；执行模块，用于控制智能体的执行机构执行所述目标宏动作，实现所述智能体与环境的交互。

10、本申请第三方面实施例提供一种智能体，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的实时人机协作方法。

11、本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的实时人机协作方法。

12、由此，本申请至少具有如下有益效果：

13、本申请实施例可以根据获取的当前指令输入层次化大语言模型进行推理，推理结果生成目标宏动作，控制智能体执行目标宏动作，提高了智能体对于复杂指令的理解和执行能力，并实现了与人类的双向对话交流，同时提高了智能体的动作实时性，从而实现智能体与环境的交互。由此，解决了相关技术中llm方法反应速度慢，带来高延迟，反应性策略无法与人类双向对话交流，不能理解和执行复杂人类指令等技术问题。

14、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种实时人机协作方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的实时人机协作方法，其特征在于，所述层次化大语言模型包括推理层、宏动作层和执行层，其中，

3.根据权利要求2所述的实时人机协作方法，其特征在于，所述推理层的运行频率小于所述宏动作层的运行频率，所述宏动作层的运行频率小于所述执行层的运行频率。

4.根据权利要求2所述的实时人机协作方法，其特征在于，所述推理层的运行流程包括：

5.根据权利要求2或4所述的实时人机协作方法，其特征在于，所述意图信息包括发送给人类的交流消息、人类意图和对所述人类意图是否满足的评估。

6.根据权利要求2所述的实时人机协作方法，其特征在于，所述宏动作层的运行流程包括：

7.根据权利要求2所述的实时人机协作方法，其特征在于，所述反应性策略包括：

8.一种实时人机协作装置，其特征在于，所述装置包括：

9.一种智能体，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的实时人机协作方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的实时人机协作方法。

技术总结
本申请涉及人工智能、人机协作技术领域，特别涉及一种实时人机协作方法、装置、智能体及存储介质，其中，方法包括：获取人类的当前指令；将当前指令输入层次化大语言模型，其中，层次化大语言模型对人类指令进行不同层次的推理，根据推理结果生成响应当前指令的目标宏动作，控制智能体的执行机构执行目标宏动作，实现智能体与环境的交互。由此，解决了相关技术中LLM方法反应速度慢，带来高延迟，反应性策略的方法无法与人类双向对话交流，不能理解和执行复杂人类指令等问题。

技术研发人员：于超,刘吉加,高嘉煊,吴翼,汪玉
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/3/12