智能体导航方法、装置、计算机设备及存储介质与流程

1.本技术涉及人工智能领域，尤其涉及一种智能体导航方法、装置、计算机设备及存储介质。


背景技术：

2.导航系统(navigation system)一直以来都是人工智能(artificial intelligence，ai)领域重要的研究方向，智能体(agent)的智能导航已经应用在了工业界的各个领域，包括：无人驾驶，无人配送，交通调度，游戏ai等等。导航系统的智能性节省了工业成本的同时，还能提高了整体环境的运作效率。但是随着虚拟环境复杂度的提高，现有的智能体导航方法无法适应复杂场景的导航需求。
3.申请内容
4.本技术提一种智能体导航方法、装置、计算机设备及存储介质，以解决现有智能体导航技术中无法适应复杂场景的技术问题。
5.第一方面，提供一种智能体导航方法，所述方法包括：
6.构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；
7.获取第一智能体的观察变量；
8.将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；
9.将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；
10.将所述第二导航信息输入至所述微观层，所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；
11.根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
12.结合第一方面，在一种可能的实现方式中，所述方法还包括：获取用户输入的第一干预信息；将所述第一干预信息输入至所述宏观层，所述宏观层基于所述第一干预信息对所述第一导航信息进行干预，输出第四导航信息，所述第四导航信息包括所述第一智能体运行的第四目标位置；将所述第四导航信息输入至所述决策层，所述决策层基于所述第四导航信息输出第五导航信息，所述第五导航信息包括所述第一智能体运行的第五目标位置；所述微观层基于所述第五导航信息输出第六导航信息；所述第六导航信息包括所述第一智能体的第六目标位置；根据所述第六目标位置导航所述第一智能体向所述第五目标位置运行，直至所述第一智能体到达所述第四目标位置。
13.结合第一方面，在一种可能的实现方式中，所述方法还包括：获取用户输入的第二
干预信息；将所述第二干预信息输入至所述决策层，所述决策层基于所述第二干预信息对所述第二导航信息进行干预，输出第七导航信息，所述第七导航信息包括所述第一智能体运行的第七目标位置；所述微观层基于所述第七导航信息输出第八导航信息；所述第八导航信息包括所述第一智能体的第八目标位置；根据所述第八目标位置导航所述第一智能体向所述第七目标位置运行，直至所述第一智能体到达所述第一目标位置。
14.结合第一方面，在一种可能的实现方式中，所述方法还包括：获取用户输入的第三干预信息；将所述第三干预信息输入至所述微观层，所述微观层基于所述第三干预信息对所述第三导航信息进行干预，输出第九导航信息；所述第九导航信息包括所述第一智能体的第九目标位置；根据所述第九目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
15.结合第一方面，在一种可能的实现方式中，所述路径规划模型还包括特征提取层与编码映射层；所述特征提取层与所述输出层通过所述编码映射层连接，所述将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息，包括：将所述观察变量输入到所述路径规划模型中，通过所述特征提取层对所述观察变量进行特征提取，得到与所述观察变量对应的特征数据；通过所述编码映射层对所述特征数据进行编码映射处理，得到与所述观察变量对应的特征向量；所述宏观层基于所述特征向量输出第一导航信息。
16.结合第一方面，在一种可能的实现方式中，所述宏观层不具有时效性，所述决策层与所述微观层具有时效性。
17.结合第一方面，在一种可能的实现方式中，所述构建路径规划模型，包括：获取样本智能体的样本观察变量以及与所述样本智能体的离线导航轨迹数据；根据所述离线导航轨迹数据确定所述样本智能体的第一标签、第二标签以及第三标签；所述第一标签用于指示所述样本智能体的样本目标地点，所述第二标签用于指示所述样本智能体到达所述样本目标地点时的路过地点，所述第三标签用于指示所述样本智能体到达所述样本目标地点时的方向；将所述样本智能体、所述第一标签、所述第二标签以及所述第三标签输入到深度学习模型中进行训练，得到路径规划模型。
18.第二方面，提供一种智能体导航装置，所述装置包括：
19.模型构建模块，用于构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；
20.变量获取模块，用于获取第一智能体的观察变量；
21.第一导航模块，用于将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；
22.第二导航模块，用于将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；
23.第三导航模块，用于所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；
24.控制模块，用于根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
25.结合第二方面，在一种可能的实现方式中，所述装置还包括第四导航模块，第四导航模块用于获取用户输入的第一干预信息；将所述第一干预信息输入至所述宏观层，所述宏观层基于所述第一干预信息对所述第一导航信息进行干预，输出第四导航信息，所述第四导航信息包括所述第一智能体运行的第四目标位置；将所述第四导航信息输入至所述决策层，所述决策层基于所述第四导航信息输出第五导航信息，所述第五导航信息包括所述第一智能体运行的第五目标位置；所述微观层基于所述第五导航信息输出第六导航信息；所述第六导航信息包括所述第一智能体的第六目标位置；根据所述第六目标位置导航所述第一智能体向所述第五目标位置运行，直至所述第一智能体到达所述第四目标位置。
26.结合第二方面，在一种可能的实现方式中，所述装置还包括第五导航模块，第五导航模块用于获取用户输入的第二干预信息；将所述第二干预信息输入至所述决策层，所述决策层基于所述第二干预信息对所述第二导航信息进行干预，输出第七导航信息，所述第七导航信息包括所述第一智能体运行的第七目标位置；所述微观层基于所述第七导航信息输出第八导航信息；所述第八导航信息包括所述第一智能体的第八目标位置；根据所述第八目标位置导航所述第一智能体向所述第七目标位置运行，直至所述第一智能体到达所述第一目标位置。
27.结合第二方面，在一种可能的实现方式中，所述装置还包括第六导航模块，第六导航模块用于获取用户输入的第三干预信息；将所述第三干预信息输入至所述微观层，所述微观层基于所述第三干预信息对所述第三导航信息进行干预，输出第九导航信息；所述第九导航信息包括所述第一智能体的第九目标位置；根据所述第九目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
28.结合第二方面，在一种可能的实现方式中，所述路径规划模型还包括特征提取层与编码映射层；所述特征提取层与所述输出层通过所述编码映射层连接，第一导航模块具体用于将所述观察变量输入到所述路径规划模型中，通过所述特征提取层对所述观察变量进行特征提取，得到与所述观察变量对应的特征数据；通过所述编码映射层对所述特征数据进行编码映射处理，得到与所述观察变量对应的特征向量；所述宏观层基于所述特征向量输出第一导航信息。
29.结合第二方面，在一种可能的实现方式中，所述宏观层不具有时效性，所述决策层与所述微观层具有时效性。
30.结合第二方面，在一种可能的实现方式中，模型构建模块具体用于获取样本智能体的样本观察变量以及与所述样本智能体的离线导航轨迹数据；根据所述离线导航轨迹数据确定所述样本智能体的第一标签、第二标签以及第三标签；所述第一标签用于指示所述样本智能体的样本目标地点，所述第二标签用于指示所述样本智能体到达所述样本目标地点时的路过地点，所述第三标签用于指示所述样本智能体到达所述样本目标地点时的方向；将所述样本智能体、所述第一标签、所述第二标签以及所述第三标签输入到深度学习模型中进行训练，得到路径规划模型。
31.本技术可以实现如下有益效果：本技术通过构建包括宏观层、决策层以及微观层的路径规划模型，并将宏观层的输出作为决策层的输入、决策层的输出作为微观层的输入，
能够适应复杂场景的导航需求，解决导航问题中复杂场景决策的问题，提升智能体导航的准确性。
附图说明
32.图1为本技术实施例提供的一种智能体导航方法的流程示意图；
33.图2为本技术实施例提供的一种路径规划模型的结构示意图；
34.图3为本技术实施例提供的一种构建路径规划模型的流程示意图；
35.图4为本技术实施例提供的一种智能体导航方法的流程示意图；
36.图5为本技术实施例提供的一种智能体导航方法的流程示意图；
37.图6为本技术实施例提供的一种智能体导航方法的流程示意图；
38.图7为本技术实施例提供的一种智能体导航装置的结构示意图；
39.图8是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
40.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
41.本技术的技术方案可以适用于智能体导航的各种场景，具体的，本技术的技术方案可用于在智能体导航的场景中基于智能日的观察变量对智能体进行导航。在智能体导航的场景中，通过预先训练的路径规划模型对该场景下的智能体的观察变量进行识别，从而确定出智能体导航的目标地点、导航过程中会路过的地点以及导航前进方向，从而对智能体进行导航。
42.其中，智能体是指虚拟环境中的虚拟对象，虚拟对象是计算机设备可操作的数字化对象。虚拟对象可以是三维对象或者二维对象等。可以是虚拟人物、虚拟动物等。具体的，虚拟环境可以是计算机游戏的游戏环境，智能体可以是游戏环境中的游戏角色。例如，虚拟环境可以是计算机游戏和平精英中的游戏环境，智能体可以和平精英中的各种游戏角色。需要说明的是，本技术中的智能体并不局限于游戏角色，还可以是其它虚拟环境中的虚拟对象；同样，本技术中的虚拟环境也并不局限于游戏环境，还可以是其它的虚拟环境。
43.其中，观察变量用于表达虚拟对象对虚拟环境、其他虚拟对象等的感知。
44.在一个实施例中，本技术提出一种智能体导航方法，如图1所示，图1为本技术实施例提供的一种智能体导航方法的流程示意图，所述方法包括：
45.步骤101，构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层。
46.其中，在对智能体进行导航时，需要先构建用于导航的路径规划模型，在构建好路径规划模型后，便可以对智能体进行导航。
47.在一个实施例中，如图2所示，图2为本技术实施例提供的一种路径规划模型的结构示意图。路径规划模型包括特征提取层、编码映射层以及输出层；特征提取层用于对输入模型的数据进行特征提取，得到特征参数；编码映射层用于对特征参数进行编码映射，将特征参数映射为预设维度的的特征向量；输出层用于根据特征向量输出导航信息。
48.其中，路径规划模型的输出层包括宏观层、决策层以及微观层，所述宏观层不具有时效性，所述决策层与所述微观层具有时效性。
49.具体的，宏观层用于输出本次导航的目的地或者终点，也就是我们的导航目标，使我们最终要到达的地方，在一次完整的导航中，这个点的位置应该是相对不变的，同时这个宏观层是不用考虑时间的。
50.具体的，决策层用于对宏观层输出的导航目标进行分解，输出要到达导航目标所要路过的地方；要完成导航目标，我下一步的小目标应该到达什么地方，这个小目标具有很强的时效性，比如多久大概率要达到哪里，这是把宏观层的目标进行分解的过程；可以理解的是，随着导航的进行，这个小目标是会发生变化的。
51.具体的，微观层用于对决策层输出的小目标进行分解，输出实现小目的方法，例如行走方向等；微观层的工作可以理解为要实现这个小目标，我们当前需要怎么做；因为实现小目标的路径也有很多，所以我们在不同状态下的微观操作也是不同的，但是微观操作只代表当前时间点，做了这个操作之后，我们立刻就会产生下一个微观操作，非常多了微观操作构成了一个小目标，非常多的小目标构成了我们需要到达的导航目标。也就是说，微观层具有更强的时效性。
52.在路径规划模型中，我们还将宏观层的输出作为决策层的输入，决策层的输出作为微观层的输入，这样能更好的对不同层级的信息进行表达和表示，实现动态调整路径规划模型的目标，从而能够适应复杂场景的导航需求。
53.在一个实施例中，如图3所示，图3为本技术实施例提供的一种构建路径规划模型的流程示意图，所述构建路径规划模型，包括：
54.步骤1011，获取样本智能体的样本观察变量以及与所述样本智能体的离线导航轨迹数据。
55.其中，样本智能体是指作为样本记性模型训练的智能体。样本观察变量用于表达样本智能体对虚拟环境、其他虚拟对象等的感知。
56.其中，获取样本数据集；样本数据集中包括有多个样本，一个样本对应一个样本智能体，样本包括样本智能体的样本观察变量以及与该样本智能体的离线导航轨迹数据，也就是一个样本智能体的样本观察变量以及该样本智能体的离线导航轨迹数据构成一个样本；通过获取的样本数据集对深度学习模型进行训练，便能够得到路径规划模型。
57.步骤1012，根据所述离线导航轨迹数据确定所述样本智能体的第一标签、第二标签以及第三标签；所述第一标签用于指示所述样本智能体的样本目标地点，所述第二标签用于指示所述样本智能体到达所述样本目标地点时的路过地点，所述第三标签用于指示所述样本智能体到达所述样本目标地点时的方向。
58.其中，在一个样本中，将该样本中的离线导航轨迹数据进行分解，分解得到该样本对应的样本智能体的导航目标，也就是导航的目的地、终端，将分解到的导航目标作为样本目标地点，并将样本目标地点作为该样本智能体的第一标签。
59.在上述样本中，将该样本中的离线导航轨迹数据进行分解，得到该样本智能体导航到导航目标所经过的地点，将样本智能体到达导航目标(样本目标地点)所述经过的地点作为该样本智能体的第二标签。
60.在上述样本中，将该样本中的离线导航轨迹数据进行分解，得到该样本智能体从出发点到导航目标的过程中每个时刻的行走方向，也就是样本智能体的行走方向，将样本智能体的行走方向作为该样本智能体的第三标签。
61.具体的，在一个样本中，包含样本智能体的样本观察变量，以及根据该样本智能体的离线导航轨迹数据得到的第一标签、第二标签以及第三标签；样本观察变量与第一标签、第二标签、第三标签具有对应关系。
62.步骤1013，将所述样本智能体、所述第一标签、所述第二标签以及所述第三标签输入到深度学习模型中进行训练，得到路径规划模型。
63.其中，将由样本智能体的样本观察变量、样本智能体的第一标签、第二标签以及第三标签构成的样本输入到深度学习模型中进行训练，使得深度学习模型能够学习到离线导航轨迹数据的轨迹特征，使得训练得到的深度学习模型基于各样本输出的路径规划能够无限逼近于样本的第一标签、第二标签以及第三标签，也就是使得深度学习模型具有路径规划的能力，具有路径规划能力的深度学习模型就是路径规划模型。
64.步骤102，获取第一智能体的观察变量。
65.其中，观察变量用于表达虚拟对象对虚拟环境、其他虚拟对象等的感知。在一些实施例中，当第一智能体为游戏中的智能体时，计算机设备可以从游戏内核中获取到第一智能体的观察变量。第一智能体的观察变量包括第一智能体的场景参数、第二智能体的场景参数以及虚拟物品的场景参数。第一智能体是指在本次导航中需要进行导航的智能体。第二智能体是指本次导航中不需要进行导航的智能体，也就是虚拟环境中除第一智能体外的其它智能体。虚拟物品是指门窗、河流等虚拟环境中的物品。
66.具体的，第二智能体的场景参数包括第二智能体的运行状态数据以及第二智能体的虚拟角色数据；第二智能体的运行状态数据可以包括第二智能体的运行速度、运行方向、运行目的地等数据，第二智能体的虚拟角色数据可以包括第二智能体与第一智能体的关系数据等数据，例如，关系数据可以是喜欢、不喜欢，也可以是敌对阵营、盟友阵营。
67.具体的，虚拟物品的场景参数包括虚拟物品的连通性，比如：梯子可以允许智能体攀爬，河流不允许智能体通过，需要智能体使用一定的工具才能够通过等等。
68.步骤103，将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点。
69.其中，第一导航信息用于指示本次导航从出发点到达目的地的导航信息，包括本次导航的目的地或者终点的位置信息、到达目的地的方式等信息。示例性的，到达目的地的方式可以是步行、骑行、驾车等。
70.其中，第一目标位置用于指示本次导航的目的地或者终点，第一目标地点用于指示本次导航第一智能体的目的地或终点。
71.在一个实施例中，所述特征提取层与所述输出层通过所述编码映射层连接，所述将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息，包括：将所述观察变量输入到所述路径规划模型中，通过所述特征提取层对所述观察变量进行特征提取，得到与所述观察变量对应的特征数据；通过所述编码映射层对所述特征数据进行编码映射处理，得到与所述观察变量对应的特征向量；所述宏观层基于所述特征向量输出第一导航信息。
72.其中，路径规划模型包括特征提取层、编码映射层以及输出层；将第一智能体的观察变量输入至路径规划模型中后，路径规划模型的特征提取层对观察变量进行特征提取得
到特征参数，然后路径规划模型的编码映射层对特征参数进行进行编码映射，将特征参数映射为预设维度的的特征向量；最后路径规划模型的输出层根据特征向量输出导航信息，具体的，路径规划模型的宏观层基于特征向量输出第一导航信息。
73.具体的，预设维度由观察变量的数量决定，例如，预设维度可以和观察变量的数量相同。
74.步骤104，将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点。
75.其中，第二导航信息用于指示本次导航到达出发点与目的地之间任意地点的导航信息，出发点与目的地之间任意地点的位置信息、到达目的地的方式等信息。示例性的，到达出发点与目的地之间某一点的方式可以是步行。
76.其中，第二目标位置用于指示本次导航出发点与目的地之间任意地点，也就是到达本次导航路过的地点。第一目标地点用于指示本次导航第一智能体路过的地点。
77.在一个实施例中，将第一智能体的观察变量输入至路径规划模型后，路径规划模型的决策层会根据第一智能体的场景参数、第二智能体的场景参数以及虚拟物品的场景参数等参数来进行导航。
78.具体的，决策层可以根据第二智能体的虚拟角色数据、第二智能体的运行状态数据，确定导航过程中第一智能体与第二智能体是否会面。例如，根据第二智能体的运行状态数据判断第一智能体导航到目的地时是否会与第二智能体相遇；若判断出导航到目的地时会与第二智能体相遇，则根据第二智能体的虚拟角色数据判断第一智能体与第二智能体的关系；若判断出第一智能体与第二智能体的关系为喜欢或盟友阵营，则不对第二导航信息进行更新；若判断出第一智能体与第二智能体的关系为不喜欢或敌对阵营，则对第二导航信息进行更新，得到更新后的第二导航信息，并输出更新后的第二导航信息。
79.在一个实施例中，将第一智能体的观察变量输入至路径规划模型后，路径规划模型的决策层会根据虚拟物品的场景参数来进行导航。
80.具体的，根据虚拟物品的场景参数判断虚拟物品的连通性，若虚拟物品的连通性为可以通过，则不对第二导航信息进行更新；若虚拟物品的连通性为不可以通过，则对第二导航信息进行更新，并输出更新后的第二导航信息。例如，若判断出导航到目的地时会经过一条河，判断河流的连通性为不可以通过，则第二导航信息进行更新，使得更新后的第二导航信息不包括该河流。
81.通过第二智能体的场景参数、虚拟物品的场景参数来进行导航，能够提高导航路径规划的真实性，进而解决了路径规划真实性较差的技术问题。
82.步骤105，将所述第二导航信息输入至所述微观层，所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向。
83.其中，第三导航信息用于指示本次导航从出发点出发时的导航信息，包括出发后到的下一位置的位置信息，通过下一位置的位置信息确定出发的到达目的地的方向。例如，出发后到的下一位置位于出发点的西北方向，那么第一智能体出发去目的地就是向西北方向出发。
84.其中，第三目标位置用于指示本次导航从出发点出发后到的下一位置，也即用于表示第一智能体出发去目的地的方向。
85.可以理解的是，在第一智能体出发去往目的地的过程中，路上的任意一点都可以看做出发点，在每一个出发点都需要导航出去往目的地的方向。
86.步骤106，根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
87.其中，在确定出本次导航的第一目标位置、第二目标位置以及第三目标位置，也就是在确定出本次导航的目的地、去往目的地会路过的地点以及去往目的地的方向后，便能够对第一智能体进行导航。具体的，控制智能体以去往目的地的方向前进，到达会路过的地点，然后从路过的地点出发到达目的地。
88.本技术提出一种智能体导航方法，所述方法包括：构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；获取第一智能体的观察变量；将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；将所述第二导航信息输入至所述微观层，所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。本技术通过构建包括宏观层、决策层以及微观层的路径规划模型，并将宏观层的输出作为决策层的输入、决策层的输出作为微观层的输入，能够适应复杂场景的导航需求，解决导航问题中复杂场景决策的问题，提升智能体导航的准确性。
89.在一个实施例中，如图4所示，图4为本技术实施例提供的一种智能体导航方法的流程示意图。在本实施例中，对图1-图3所述的智能体导航方法增加了第一人工干预，第一人工干预是对宏观层做出的。所述方法还包括：
90.步骤401，获取用户输入的第一干预信息。
91.其中，第一干预信息是对宏观层做出的人为影响，例如目的地的改变、去往目的地的方式的改变。需要说明的是，由于决策层的输出受宏观层的影响，微观层的输出受决策层的影响，所以在宏观层受到干预的情况下，决策层与微观层的输出也会受到影响。
92.步骤402，将所述第一干预信息输入至所述宏观层，所述宏观层基于所述第一干预信息对所述第一导航信息进行干预，输出第四导航信息，所述第四导航信息包括所述第一智能体运行的第四目标位置。
93.步骤403，将所述第四导航信息输入至所述决策层，所述决策层基于所述第四导航信息输出第五导航信息，所述第五导航信息包括所述第一智能体运行的第五目标位置。
94.步骤404，所述微观层基于所述第五导航信息输出第六导航信息；所述第六导航信息包括所述第一智能体的第六目标位置。
95.步骤405，根据所述第六目标位置导航所述第一智能体向所述第五目标位置运行，
直至所述第一智能体到达所述第四目标位置。
96.具体的，以人为对导航目的地做出改变为例，此时第一干预信息为新的目的地。示例性的，人为干预之前的目的地为上海，人为干预后新的目的地为北京。首先，将北京输入到宏观层后，宏观层会生成第四导航信息，并使用第四导航信息替代第一导航信息做为输出，也就是使用导航到北京的导航信息替换导航到上海的导航信息；第四导航信息是指导航到新目的地的导航信息，也就是指导航到北京的导航信息；第四目标位置是指新目的地，也就指北京。其次，将第四导航信息输入至决策层，也就是将导航到北京的导航信息输入到决策层，决策层会生成第五导航信息，并使用第五导航信息替代第二导航信息作为输出；第五导航信息是指导航到达出发点与北京之间的任一点的导航信息，第五目标位置是指出发点与北京之间的任一点。接下来，将第五导航信息输入至微观层，也就是将导航到出发点与北京之间的任一点的导航信息输入至微观层，微观层会生成第六导航信息，并使用第六导航信息替代第三导航信息作为输出；第六导航信息是指从出发点出发时的导航信息，第六目标位置用于指示出发去北京的方向。最后导航智能体按照去北京的方向到达出发点与北京之间的任一点，并从出发点与北京之间的任一点到达北京。
97.本实施例中，通过输入人工干预信息，能够使得路径规划的模型不再是完全黑河，而是能够根据实际需求进行改变，提升导航的便捷性。
98.在一个实施例中，如图5所示，图5为本技术实施例提供的一种智能体导航方法的流程示意图。在本实施例中，对图1-图3所述的智能体导航方法增加了第二人工干预，第二人工干预是对决策层做出的。所述方法还包括：
99.步骤501，获取用户输入的第二干预信息。
100.其中，第二干预信息是对决策层做出的人为影响，例如途径地点的改变等。需要说明的是，由于决策层的输出不作为宏观层的输入，因此在决策层受到干预的情况下，宏观层的输出不会受到影响。而决策层的输出作为微观层的输入，因此在决策层受到干预的情况下，微观层的输出同样会受到影响。
101.步骤502，将所述第二干预信息输入至所述决策层，所述决策层基于所述第二干预信息对所述第二导航信息进行干预，输出第七导航信息，所述第七导航信息包括所述第一智能体运行的第七目标位置。
102.步骤503，所述微观层基于所述第七导航信息输出第八导航信息；所述第八导航信息包括所述第一智能体的第八目标位置。
103.步骤504，根据所述第八目标位置导航所述第一智能体向所述第七目标位置运行，直至所述第一智能体到达所述第一目标位置。
104.具体的，以人为对导航的途径地做出改变为例。示例性的，干预之前导航的途径地为苏州、干预之后导航的途径地为扬州。首先，将苏州输入到决策层后，决策层会生成第七导航信息，并使用第七导航信息替代第二导航信息做为输出，也就是使用导航到扬州的导航信息替换导航到苏州的导航信息；第七导航信息是指导航到新途径地的导航信息，也就是指导航到扬州的导航信息；第七目标位置是指新途径地，也就指扬州。其次，将第七导航信息输入至微观层，也就是将导航到扬州的导航信息输入到微观层，微观层会生成第八导航信息，并使用第八导航信息替代第三导航信息作为输出；第八导航信息是指出从出发点出发时的导航信息，第八目标位置用于指示去扬州的方向，也就是出发去导航目的地的方
向。最后导航智能体按照去目的地的方向到达扬州，并从扬州到达目的地。
105.本实施例中，通过输入人工干预信息，能够使得路径规划的模型不再是完全黑河，而是能够根据实际需求进行改变，提升导航的便捷性。
106.在一个实施例中，如图6所示，图6为本技术实施例提供的一种智能体导航方法的流程示意图。在本实施例中，对图1-图3所述的智能体导航方法增加了第三人工干预，第三人工干预是对微观层做出的。所述方法还包括：
107.步骤601，获取用户输入的第三干预信息。
108.其中，第三干预信息是对微观层做出的人为影响，例如导航方向的改变等。需要说明的是，由于微观层的输出不作为宏观层与决策层的输入，因此在微观层受到干预的情况下，宏观层与决策层的输出不会受到影响。
109.步骤602，将所述第三干预信息输入至所述微观层，所述微观层基于所述第三干预信息对所述第三导航信息进行干预，输出第九导航信息；所述第九导航信息包括所述第一智能体的第九目标位置。
110.步骤603，根据所述第九目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
111.具体的，以人为对导航的方向做出改变为例。示例性的，干预之前导航的方向为向东、干预之后导航方向为向南。首先，将向南输入到微观层后，微观层会生成第九导航信息，并使用第九导航信息替代第三导航信息作为输出；第九导航信息是指出从出发点出发时的导航信息，第九目标位置用于指示向南走，可以理解的是通过第九目标位置与出发点的地理位置关系来指示方向。最后导航智能体按向南到达目的地。
112.本技术通过构建包括宏观层、决策层以及微观层的路径规划模型，并将宏观层的输出作为决策层的输入、决策层的输出作为微观层的输入，能够适应复杂场景的导航需求，解决导航问题中复杂场景决策的问题，提升智能体导航的准确性。通过输入人工干预信息，能够使得路径规划的模型不再是完全黑河，而是能够根据实际需求进行改变，提升导航的便捷性。
113.上述介绍了本技术的方法，为了更好地实施本技术的方法，接下来介绍本技术的装置。
114.在一个实施例中，如图7所示，图7为本技术实施例提供的一种智能体导航装置的结构示意图，所述装置包括：
115.模型构建模块701，用于构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；
116.变量获取模块702，用于获取第一智能体的观察变量；
117.第一导航模块703，用于将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；
118.第二导航模块704，用于将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；
119.第三导航模块705，用于所述微观层基于所述第二导航信息输出第三导航信息；所
述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；
120.控制模块706，用于根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
121.如图8所示，在一个实施例中，为一种计算机设备的内部结构图。该计算机设备可以是一种智能体导航装置、或与一种智能体导航装置连接的终端或服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现一种智能体导航方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种智能体导航方法。网络接口用于与外接进行通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
122.在一个实施例中，本技术提供的一种智能体导航方法可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该智能体导航装置的各个程序模板。比如，模型构建模块701，变量获取模块702，第一导航模块703，第二导航模块704，第三导航模块705，控制模块706。
123.一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；获取第一智能体的观察变量；将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；将所述第二导航信息输入至所述微观层，所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
124.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：获取用户输入的第一干预信息；将所述第一干预信息输入至所述宏观层，所述宏观层基于所述第一干预信息对所述第一导航信息进行干预，输出第四导航信息，所述第四导航信息包括所述第一智能体运行的第四目标位置；将所述第四导航信息输入至所述决策层，所述决策层基于所述第四导航信息输出第五导航信息，所述第五导航信息包括所述第一智能体运行的第五目标位置；所述微观层基于所述第五导航信息输出第六导航信息；所述第六导航信息包括所述第一智能体的第六目标位置；根据所述第六目标位置导航所述第一智能体向所述第五目标位置运行，直至所述第一智能体到达所述第四目标位置。
125.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步
骤：获取用户输入的第二干预信息；将所述第二干预信息输入至所述决策层，所述决策层基于所述第二干预信息对所述第二导航信息进行干预，输出第七导航信息，所述第七导航信息包括所述第一智能体运行的第七目标位置；所述微观层基于所述第七导航信息输出第八导航信息；所述第八导航信息包括所述第一智能体的第八目标位置；根据所述第八目标位置导航所述第一智能体向所述第七目标位置运行，直至所述第一智能体到达所述第一目标位置。
126.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：获取用户输入的第三干预信息；将所述第三干预信息输入至所述微观层，所述微观层基于所述第三干预信息对所述第三导航信息进行干预，输出第九导航信息；所述第九导航信息包括所述第一智能体的第九目标位置；根据所述第九目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
127.结合第一方面，在一种可能的实现方式中，所述路径规划模型还包括特征提取层与编码映射层；所述特征提取层与所述输出层通过所述编码映射层连接，所述将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息，包括：将所述观察变量输入到所述路径规划模型中，通过所述特征提取层对所述观察变量进行特征提取，得到与所述观察变量对应的特征数据；通过所述编码映射层对所述特征数据进行编码映射处理，得到与所述观察变量对应的特征向量；所述宏观层基于所述特征向量输出第一导航信息。
128.结合第一方面，在一种可能的实现方式中，所述宏观层不具有时效性，所述决策层与所述微观层具有时效性。
129.结合第一方面，在一种可能的实现方式中，所述构建路径规划模型，包括：获取样本智能体的样本观察变量以及与所述样本智能体的离线导航轨迹数据；根据所述离线导航轨迹数据确定所述样本智能体的第一标签、第二标签以及第三标签；所述第一标签用于指示所述样本智能体的样本目标地点，所述第二标签用于指示所述样本智能体到达所述样本目标地点时的路过地点，所述第三标签用于指示所述样本智能体到达所述样本目标地点时的方向；将所述样本智能体、所述第一标签、所述第二标签以及所述第三标签输入到深度学习模型中进行训练，得到路径规划模型。
130.一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时，使得该处理器执行如下步骤：构建路径规划模型，所述路径规划模型的输出层包括宏观层、决策层以及微观层；获取第一智能体的观察变量；将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息；所述第一导航信息包括所述第一智能体运行的第一目标位置；所述第一目标位置用于指示所述第一智能体的第一目标地点；将所述第一导航信息输入至所述决策层，所述决策层基于所述第一导航信息输出第二导航信息，所述第二导航信息包括所述第一智能体的第二目标位置；所述第二目标位置用于指示所述第一智能体到达所述第一目标地点时的路过地点；将所述第二导航信息输入至所述微观层，所述微观层基于所述第二导航信息输出第三导航信息；所述第三导航信息包括所述第一智能体的第三目标位置；所述第三目标位置用于指示所述第一智能体出发去所述第一目标地点时的方向；根据所述第三目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
131.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：获取用户输入的第一干预信息；将所述第一干预信息输入至所述宏观层，所述宏观层基于所述第一干预信息对所述第一导航信息进行干预，输出第四导航信息，所述第四导航信息包括所述第一智能体运行的第四目标位置；将所述第四导航信息输入至所述决策层，所述决策层基于所述第四导航信息输出第五导航信息，所述第五导航信息包括所述第一智能体运行的第五目标位置；所述微观层基于所述第五导航信息输出第六导航信息；所述第六导航信息包括所述第一智能体的第六目标位置；根据所述第六目标位置导航所述第一智能体向所述第五目标位置运行，直至所述第一智能体到达所述第四目标位置。
132.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：获取用户输入的第二干预信息；将所述第二干预信息输入至所述决策层，所述决策层基于所述第二干预信息对所述第二导航信息进行干预，输出第七导航信息，所述第七导航信息包括所述第一智能体运行的第七目标位置；所述微观层基于所述第七导航信息输出第八导航信息；所述第八导航信息包括所述第一智能体的第八目标位置；根据所述第八目标位置导航所述第一智能体向所述第七目标位置运行，直至所述第一智能体到达所述第一目标位置。
133.在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：获取用户输入的第三干预信息；将所述第三干预信息输入至所述微观层，所述微观层基于所述第三干预信息对所述第三导航信息进行干预，输出第九导航信息；所述第九导航信息包括所述第一智能体的第九目标位置；根据所述第九目标位置导航所述第一智能体向所述第二目标位置运行，直至所述第一智能体到达所述第一目标位置。
134.结合第一方面，在一种可能的实现方式中，所述路径规划模型还包括特征提取层与编码映射层；所述特征提取层与所述输出层通过所述编码映射层连接，所述将所述观察变量输入至所述路径规划模型，所述路径规划模型通过所述宏观层输出第一导航信息，包括：将所述观察变量输入到所述路径规划模型中，通过所述特征提取层对所述观察变量进行特征提取，得到与所述观察变量对应的特征数据；通过所述编码映射层对所述特征数据进行编码映射处理，得到与所述观察变量对应的特征向量；所述宏观层基于所述特征向量输出第一导航信息。
135.结合第一方面，在一种可能的实现方式中，所述宏观层不具有时效性，所述决策层与所述微观层具有时效性。
136.结合第一方面，在一种可能的实现方式中，所述构建路径规划模型，包括：获取样本智能体的样本观察变量以及与所述样本智能体的离线导航轨迹数据；根据所述离线导航轨迹数据确定所述样本智能体的第一标签、第二标签以及第三标签；所述第一标签用于指示所述样本智能体的样本目标地点，所述第二标签用于指示所述样本智能体到达所述样本目标地点时的路过地点，所述第三标签用于指示所述样本智能体到达所述样本目标地点时的方向；将所述样本智能体、所述第一标签、所述第二标签以及所述第三标签输入到深度学习模型中进行训练，得到路径规划模型。
137.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁
碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
138.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。