虚拟角色控制方法、装置、电子设备以及存储介质与流程

本发明涉及计算机技术领域，具体涉及一种虚拟角色控制方法、装置、电子设备以及存储介质。

背景技术：

人工智能(artificialintelligence,ai)是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向，机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域

例如，可以应用于在线游戏中，如多人在线战术竞技游戏(multiplayeronlinebattlearenagames，moba)中，用户或服务器可通过控制虚拟角色执行调度策略以期获得收益，当虚拟角色受服务器控制时，需要使用ai对虚拟角色进行控制，以完成游戏对局，在目前的虚拟角色控制方案中，由于在线游戏所要考虑的因素较为复杂，导致预测虚拟角色的游戏行为的准确率低。

技术实现要素：

本申请提供一种虚拟角色控制方法、装置、电子设备以及存储介质，可以提高预测虚拟角色的游戏行为的准确率。

本申请提供了一种虚拟角色控制方法，包括：

采集目标游戏中虚拟角色对局的历史游戏数据；

从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息；

将所述属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征；

基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征；

根据所述共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过所述操作预测模型对目标游戏中的虚拟角色进行控制。

相应的，本申请还提供了一种虚拟角色控制装置，包括：

采集模块，用于采集目标游戏中虚拟角色对局的历史游戏数据；

提取模块，用于从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息；

融合模块，用于将所述属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征；

构建模块，用于基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征；

训练模块，用于根据所述共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过所述操作预测模型对目标游戏中的虚拟角色进行控制。

可选的，在本发明的一些实施例中，所述虚拟角色包括第一虚拟角色、第二虚拟角色以及固定虚拟角色，所述第一虚拟角色与第二虚拟角色为历史游戏对局中处于不同对局方的虚拟角色，所述提取模块包括：

第一提取单元，用于采用预设特征提取网络从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征；

第二提取单元，用于采用预设信息提取网络从历史游戏数据中提取第一虚拟角色执行目标游戏行为的行为信息；

所述融合模块具体用于：将第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征、第一虚拟角色的局部视野特征以及第一虚拟角色的行为信息进行融合处理，得到融合后特征。

可选的，在本发明的一些实施例中，所述第二提取单元包括：

确定子单元，用于确定在目标游戏中第一虚拟角色执行目标游戏行为的时间信息；

获取子单元，用于基于所述时间信息从历史游戏数据中获取多个连续的游戏图像；

提取子单元，用于采用预设信息提取网络从多个游戏图像中提取第一虚拟角色执行目标游戏行为的行为信息。

可选的，在本发明的一些实施例中，所述提取子单元具体用于：

根据多个连续的游戏图像获取第一虚拟角色执行目标游戏行为的位置信息数据和操作信息数据；

根据所述位置信息数据和操作信息数据，构建第一虚拟角色执行目标游戏行为的行为数据；

采用预设行为信息提取网络从所述行为标签中提取第一虚拟角色执行目标游戏行为的行为信息。

可选的，在本发明的一些实施例中，所述第一提取单元具体用于：

从历史游戏数据中提取第一虚拟角色的角色数据，得到第一角色数据；

从历史游戏数据中提取第二虚拟角色的角色数据，得到第二角色数据，以及；

从历史游戏数据中提取固定虚拟角色的角色数据，得到第三角色数据；

采用预设特征提取网络分别对所述第一角色数据、第二角色数据以及第三角色数据进行特征提取，得到第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征。

可选的，在本发明的一些实施例中，所述融合模块包括：

第一处理单元，用于对所述属性特征进行最大池化处理，得到处理后属性特征；

第二处理单元，用于对所述局部视野特征进行卷积处理，得到处理后视野特征；

融合单元，用于将所述处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征。

可选的，在本发明的一些实施例中，所述融合单元具体用于：

拼接所述处理后属性特征与处理后视野特征，得到拼接后特征；

将所述行为信息嵌入至所述拼接后特征中，得到融合后特征。

可选的，在本发明的一些实施例中，所述构建模块具体用于：

对所述融合后特征进行特征空间变换，得到变换后特征；

从所述变换后特征中选择与预置策略对应数量的特征分量，得到虚拟角色之间共享的共有特征；

在所述变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征。

本申请在采集目标游戏中虚拟角色对局的历史游戏数据后，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，将所述属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，根据所述共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过所述操作预测模型对目标游戏中的虚拟角色进行控制。因此，该方案可以提高预测虚拟角色的游戏行为的准确率。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请提供的虚拟角色控制方法的场景示意图；

图1b是本申请提供的虚拟角色控制方法的流程示意图；

图1c是本申请提供的虚拟角色控制方法中各个特征的示意图；

图1d是本申请提供的虚拟角色控制方法中执行目标游戏行为的路径图；

图2a是本申请提供的虚拟角色控制方法的另一流程示意图；

图2b是本申请提供的虚拟角色控制方法的另一场景示意图；

图2c是本申请提供的虚拟角色控制中融合层的示意图；

图3是本申请提供的目标检测装置的结构示意图；

图4是本申请提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供一种虚拟角色控制方法、装置、电子设备和存储介质。

其中，该虚拟角色控制装置具体可以集成在服务器中服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器，服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，请参阅图1a，该虚拟角色控制装置集成在服务器上，服务器可以采集目标游戏中虚拟角色对局的历史游戏数据，目标游戏可以是多人在线战术竞技游戏或多人射击游戏，具体根据实际需求进行选择，以下以moba游戏为例进行说明，服务器采集目标游戏中虚拟角色对局的历史游戏数据后，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，服务器将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，服务器基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，服务器根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制，比如，当服务器接收到用户针对游戏引擎触发的人机对抗模式请求，服务器基于人机对抗模式请求控制目标游戏中的虚拟角色。

需要说明的是，moba游戏的一种玩法玩法是5v5对战，即两支角色集合之间进行对抗，且每支角色集合分别由5名玩家组成。每个玩家控制一个英雄，先推掉对方水晶基地的一方为获胜方，在moba游戏中，需要5个英雄以合作的方式进行游戏。无论是在地图上的资源分配，还是团战中的操作，都需要5个英雄之间良好的配合。比如，上路、中路和下路的“英雄”需要在各自线路上发育，打野英雄则在野区发育，输出英雄需要在后排进行输出，辅助英雄需要在前排承受伤害，刺客英雄需要最后入场收割，比如，服务器控制的虚拟角类型为此输出英雄，那么服务器可以通过操作预测模型控制目标游戏中虚拟角色对敌方的虚拟角色进行攻击。

本申请提供的虚拟角色控制方案利用属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，并基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，在实际运用时，通过本申请的操作预测模型所控制的虚拟角色不仅可以关注到同一阵营中的虚拟角色间共享的信息(共有特征)，还可以关注到虚拟角色本身的信息(私有特征)，使得在复杂的游戏场景下，虚拟角色可以根据共享的信息以及虚拟角色本身的信息执行正确的游戏行为完成游戏对局，因此，本申请的方案可以预测虚拟角色的游戏行为的准确率。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。

一种虚拟角色控制方法，包括：采集目标游戏中虚拟角色对局的历史游戏数据，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

请参阅图1b，图1b为本申请提供的虚拟角色控制方法的流程示意图。该虚拟角色控制方法的具体流程可以如下：

101、采集目标游戏中虚拟角色对局的历史游戏数据。

其中，目标游戏可以是多人在线战术竞技游戏或多人射击游戏，具体可以从目标游戏的数据库中采集虚拟角色历史对局的数据(即历史游戏数据)，该历史游戏数据可以是保存在本地的，也可以是通过访问网络接口拉取得到的，具体根据实际情况而定。

需要说明的是，历史游戏数据可以是人类玩家在实际游戏过程中生成的数据，也可以是由机器模拟人类玩家操作后得到的数据，本申请主要是以人类玩家提供的数据为主。以一局游戏平均30分钟，且每秒15帧来计算，每局游戏平局有27000帧图像。为了降低数据的复杂度，本申请主要选择与大局观任务和微操任务相关的数据进行训练，其中，大局观任务是以操作意图来划分的，包括：“打野”、“清兵”、“团战”以及“推塔”，每局游戏只有平均100个左右的大局观任务，而每个大局观任务中的微操决策则是以操作类型来划分的，包括：“技能攻击”、“普通攻击”、“移动至目标位置”以及“回城”等等，每个大局观任务中所包含的微操任务也相对较少。

102、从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息。

例如，在moba游戏中，每个英雄具有自己的属性值，如“血量”、“物理防御”以及“魔法防御”，并且每个英雄在不同的对局中的定位也不相同，因此，在一局游戏中，即便是同一个英雄，其基于在该对局中所属的定位而选择的装备，导致同一个英雄在不同对局中的“血量”、“物理防御”以及“魔法防御”可能也是不相同的，同时，在不同的对局中，即便在同一张地图上，同一虚拟角色所享的视野范围也不尽相同，比如，在对局一中，虚拟角色a为胜利方，虚拟角色a在攻击对方的基地时，则享有敌对方基地的视野；而在对局二中，虚拟角色a为失败方，并且虚拟角色a没能进入到敌对方基地，因此，虚拟角色a在对局二中，则没有敌对方基地的视野，大局观任务以及微操任务都是虚拟角色在对局胜利条件的基础上所执行的任务，因此，本申请将大局观任务信息以及微操任务信息都纳入至行为信息中。

需要说明的是，在一局游戏中，虚拟角色可以包括第一虚拟角色、第二虚拟角色以及固定虚拟角色，第一虚拟角色与第二虚拟角色为历史游戏对局中处于不同对局方的虚拟角色，固定虚拟角色为可以与第一虚拟角色和/或第二虚拟角色交互的虚拟角色，固定虚拟角色可以为“防御塔”以及“小兵”等具有所属阵营的虚拟角色，固定虚拟角色也可以为“野怪”、“大龙”以及“小龙”等没有所属阵营的虚拟角色，因此，为了提高后续模型的预测能力，可以从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征、第一虚拟角色的局部视野特征以及第一虚拟角色执行目标游戏行为的行为信息，即，可选的，在一些实施例中，步骤“从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息”，具体可以包括：

(11)采用预设特征提取网络从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征；

(12)采用预设信息提取网络从历史游戏数据中提取第一虚拟角色执行目标游戏行为的行为信息。

其中，特征提取网络和信息提取网络为不同类型的神经网络，特征提取网络用于对数据进行特征提取，信息提取网络用于根据输入来预测标签，即，通过信息提取网络识别虚拟角色在游戏对局中所执行的游戏行为的标签(行为信息)，可选的，为了进一步提高后续操作预测模型的预测能力，可以从历史游戏数据中获取处于对战场景的游戏数据，得到对战游戏数据，然后，再采用预设特征提取网络从对战游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征，以及，采用预设信息提取网络从对战游戏数据中提取第一虚拟角色执行目标游戏行为的行为信息。

请参阅图1c，图1c为在对战场景中提取到的虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息的表现形式，采用第一类表达方式表达第一虚拟角色、第二虚拟角色以及固定虚拟角色的属性特征，采用第二类表达方式表达第一虚拟角色的行为信息，采用第三类表达方式表达第一虚拟角色的局部视野特征，其中，属性特征包括虚拟角色的血量、防御以及攻击力等特征，如我方英雄的属性、敌方英雄的属性、小兵的属性、野怪的属性以及防御塔的属性等等，局部视野特征包括虚拟校色视野范围内“技能”范围的特征以及障碍物位置等特征，行为信息包括大局观任务信息以及微操任务信息，如虚拟角色的“装备”信息以及对战时所使用的技能信息等等，即，可选的，在一些实施例中，步骤“采用预设特征提取网络从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征”，具体可以包括：

(21)从历史游戏数据中提取第一虚拟角色的角色数据，得到第一角色数据，从历史游戏数据中提取第二虚拟角色的角色数据，得到第二角色数据，以及，从历史游戏数据中提取固定虚拟角色的角色数据，得到第三角色数据；

(22)采用预设特征提取网络分别对所述第一角色数据、第二角色数据以及第三角色数据进行特征提取，得到第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征。

进一步的，可以根据第一虚拟角色执行目标游戏行为的时间信息，获取与该时间信息对应的图像，并采用预设信息提取网络从获取到的图像中提取行为信息，即，在一些实施例中，步骤“采用预设信息提取网络从历史游戏数据中提取第一虚拟角色执行目标游戏行为的行为信息”，包括：

(31)确定在目标游戏中第一虚拟角色执行目标游戏行为的时间信息；

(32)基于时间信息从历史游戏数据中获取多个连续的游戏图像；

(33)采用预设信息提取网络从多个游戏图像中提取第一虚拟角色执行目标游戏行为的行为信息。

需要说明的是，执行目标游戏行为的时间信息包括执行起点和执行终点，比如，第一虚拟角色执行的目标游戏行为是“攻击”，那么则以该次攻击发生的时间点作为执行终点，以上一次攻击发生的时间点作为执行起点，执行目标游戏行为的路径如图1d所示，第一虚拟角色a在t0时刻到ts时刻分别发生攻击行为，那么t0时刻第一虚拟角色所在的位置则作为ts时刻发生攻击行为的执行起点，ts时刻则为执行终点，同理，ts时刻第一虚拟角色所在的位置为ts+1时刻发生攻击行为的执行起点。

比如，在目标游戏的一个游戏对局a中，在对局a的游戏时间为2分35秒时，在第一虚拟角色所处阵营的防御塔处触发了3v3对战事件，第一虚拟角色从所处阵营的基地前往发生对战的地点支援，第一虚拟角色到打对战的地点后，使用技能h攻击敌对方虚拟角色，战斗结束时，对局a的游戏时间3分05秒，那么，可以根据2分35秒到3分05秒这一段时间内的游戏数据，构建第一虚拟角色支援行为的行为标签，即，可选的，在一些实施例中，步骤“采用预设信息提取网络从多个游戏图像中提取第一虚拟角色执行目标游戏行为的行为信息”，具体可以包括：

(41)根据多个连续的游戏图像获取第一虚拟角色执行目标游戏行为的位置信息数据和操作信息数据；

(42)根据位置信息数据和操作信息数据，构建第一虚拟角色执行目标游戏行为的行为数据；

(43)采用预设行为信息提取网络从行为数据中提取第一虚拟角色执行目标游戏行为的行为信息。

其中，位置信息数据记录了第一虚拟角色执行目标游戏行为时的移动路径信息以及位置变换信息，即，从地图上的j位置移动到k位置，操作信息数据记录了第一虚拟角色执行目标游戏行为所选择的操作标签，如选择了操作标签“q技能”、操作标签“召唤师技能”以及操作标签“普通攻击”等等，然后，再将根据位置信息数据和操作信息数据，构建第一虚拟角色执行目标游戏行为的行为数据，最后，采用预设行为信息提取网络从行为数据中提取第一虚拟角色执行目标游戏行为的行为信息。

103、将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征。

其中，在moba游戏中涉及到多个虚拟角色之间交互的问题，如同一阵营中的虚拟角色之间的协战以及回复生命值等操作，或者不同阵营之间的虚拟角色之间的对战，如1v1或5v5等，因此，对于虚拟角色而言有一些信息是可共享的，有一些信息是虚拟角色自身独享的，所以，为了提高虚拟角色间的配合能力，还需要将属性特征、局部视野特征以及行为信息进行融合，以便于提高预设模型的预测能力。

例如，具体的，可以对属性特征进行最大池化处理，并对局部视野特征进行卷积处理，然后，将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征，即，可选的，在一些实施例中，步骤“将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征”，具体可以包括：

(51)对属性特征进行最大池化处理，得到处理后属性特征；

(52)对局部视野特征进行卷积处理，得到处理后视野特征；

(53)将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征。

例如，具体的，首先可以对属性特征进行编码，然后，再对编码结果进行最大池化处理，对编码结果进行最大池化处理可以对属性特征进行降维，并再属性特征中提取出特征差异最大的值，随后，可以对处理后属性特征以及处理后视野特征进行拼接，并将行为信息嵌入至拼接后特征中，得到融合后特征，即，可选的，在一些实施例中，步骤“将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征”，具体可以包括：

(61)拼接处理后属性特征与处理后视野特征，得到拼接后特征；

(62)将行为信息嵌入至拼接后特征中，得到融合后特征。

104、基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征。

由于融合后特征包含了属性特征、局部视野特征以及行为信息，对于一个虚拟角色而言，其具有与同阵营的虚拟角色共享信息的能力，如被我方击杀的野怪的刷新时间，当然，也具有与敌对方阵营的虚拟角色共享信息的能力，如敌对方阵营所使用技能的伤害范围等等，因此，通过融合后特征对预设模型进行训练，训练得到的模型预测虚拟角色的游戏行为的能力必然较差的，因此，需要基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，具体的，可以基于预置策略对融合后特征进行划分，从而得到虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，即，可选的，在一些实施例中，步骤“基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征”，具体可以包括：

(71)对融合后特征进行特征空间变换，得到变换后特征；

(72)从变换后特征中选择与预置策略对应数量的特征分量，得到虚拟角色之间共享的共有特征；

(73)在变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征。

例如，具体的，可以通过一个全连接层以及一个激活函数将融合后特征分量数变为2048(即特征空间变换)，然后，再从变换后特征中选取前512个分量，得到虚拟角色之间共享的共有特征，最后，在变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征，即，私有特征为第512至2048个分量的特征。

105、根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

由于moba游戏的时效性较长，虚拟角色在游戏对局中所执行的每个游戏行为，都可能会影响到所属阵营在游戏对局中的走向，也就是说，虚拟角色不仅需要关注当前执行的游戏行为，还需要关注历史时间之前的游戏行为，故，可选的，本申请采用长短期记忆人工神经网络模型(long-shorttermmemorymodel，lstm)，lstm模型是一种时间递归神经网络模型，其可以连接先前的信息到当前的任务上，例如，根据过去的游戏行为来评估当前的游戏行为对于胜率的影响，其中，在本申请中，该模型可以根据实际应用的需求进行设定，比如，该模型可以包括四个卷积层和一个全连接层。

卷积层：主要用于对输入的样本(比如训练样本或需要识别的图像)进行特征提取，其中，卷积核大小可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu(线性整流函数，rectifiedlinearunit)”，而padding(padding，指属性定义元素边框与元素内容之间的空间)方式均设置为“same”，“same”填充方式可以简单理解为以0填充边缘，左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的，卷积层与卷积层之间可以通过直连的方式连接，从而加快网络收敛速度，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1～2层进行下采样(pooling)操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(averagepooling)等，为了描述方便，在本申请中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为maxpooling为例进行说明。

需说明的是，为了描述方便，在本申请中，将激活函数所在层和下采样层(也称为池化层)均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层，当然，还可以包括用于输入数据的输入层和用于输出数据的输出层，在此不再赘述。

全连接层：可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，在该孪生神经网络模型的上半分支网络和下半分支网络中，全连接层的神经元数量可以均设置为512个，或者，也可以均设置为128个，等等。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid(s型函数)。

具体的，以共有特征以及私有特征作为模型的输入，采用梯度下降算法对模型参数进行更新，最终得到操作预测模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制，比如，在moba游戏中，当用户选择与目标游戏的客户端中的机器人进行对局时，可以通过操作预测模型对目标游戏中的虚拟角色进行控制，以完成与用户控制的虚拟角色进行对局。

本申请在采集目标游戏中虚拟角色对局的历史游戏数据后，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。本申请提供的虚拟角色控制方案利用属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，并基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，在实际运用时，通过本申请的操作预测模型所控制的虚拟角色不仅可以关注到同一阵营中的虚拟角色间共享的信息(共有特征)，还可以关注到虚拟角色本身的信息(私有特征)，使得在复杂的游戏场景下，虚拟角色可以根据共享的信息以及虚拟角色本身的信息执行正确的游戏行为完成游戏对局，因此，本申请的方案可以预测虚拟角色的游戏行为的准确率。

根据实施例所述的方法，以下将举例进一步详细说明。

在本实施例中将以该虚拟角色控制装置具体集成在服务器中为例进行说明。

请参阅图2a，一种虚拟角色控制方法，具体流程可以如下：

201、服务器采集目标游戏中虚拟角色对局的历史游戏数据。

其中，目标游戏可以是多人在线战术竞技游戏或多人射击游戏，具体可以从目标游戏的数据库中采集虚拟角色历史对局的数据(即历史游戏数据)，该历史游戏数据可以是保存在本地的，也可以是通过访问网络接口拉取得到的，具体根据实际情况而定。

需要说明的是，历史游戏数据可以是人类玩家在实际游戏过程中生成的数据，也可以是由机器模拟人类玩家操作后得到的数据，本申请主要是以人类玩家提供的数据为主。

202、服务器从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息。

例如，具体的，服务器可以从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征、第一虚拟角色的局部视野特征以及第一虚拟角色执行目标游戏行为的行为信息。

203、服务器将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征。

例如，具体的，服务器可以对属性特征进行最大池化处理，并对局部视野特征进行卷积处理，并将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征。

204、服务器基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征。

比如，服务器可以对融合后特征进行特征空间变换，得到变换后特征，然后，服务器从变换后特征中选择与预置策略对应数量的特征分量，得到虚拟角色之间共享的共有特征，并在变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征。

205、服务器根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

具体的，服务器以共有特征以及私有特征作为模型的输入，采用梯度下降算法对模型参数进行更新，最终得到操作预测模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制，比如，在moba游戏中，当用户选择与目标游戏的客户端中的机器人进行对局时，服务器可以通过操作预测模型对目标游戏中的虚拟角色进行控制，以完成与用户控制的虚拟角色进行对局。

为了便于对本申请提供的虚拟角色控制方法的理解，请参阅图2b，本申请采用端到端建立多智能体人工智能模型，其包括编码层、融合层以及输出层，其中，编码层可以用于定义目标游戏中的虚拟角色的属性特征如英雄、小兵、野怪、龙以及防御塔的属性特征。融合层用于将编码层传输过来的数据进行融合，如局部视野特征、虚拟角色的属性特征以及虚拟角色的行为信息，在进行融合时，可以通过一个全连接层以及一个激活函数将融合后特征分量数变为2048，然后，再从变换后特征中选取前512个分量，得到虚拟角色之间共享的共有特征，最后，在变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征，如图2c所示。输出层用于根据融合层输出的共有特征以及私有特征，预测虚拟角色的游戏行为。

本申请的服务器在采集目标游戏中虚拟角色对局的历史游戏数据后，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，服务器将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，服务器基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，服务器根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。本申请提供的虚拟角色控制方案利用属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，并基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，在实际运用时，通过本申请的操作预测模型所控制的虚拟角色不仅可以关注到同一阵营中的虚拟角色间共享的信息(共有特征)，还可以关注到虚拟角色本身的信息(私有特征)，使得在复杂的游戏场景下，虚拟角色可以根据共享的信息以及虚拟角色本身的信息执行正确的游戏行为完成游戏对局，因此，本申请的方案可以预测虚拟角色的游戏行为的准确率。

为便于更好的实施本申请的目标检测方法，本申请还提供一种基于上述虚拟角色控制装置(简称控制装置)。其中名词的含义与上述虚拟角色控制方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图3，图3为本申请提供的虚拟角色控制装置的结构示意图，其中该检测装置可以包括采集模块301、提取模块302、融合模块303、构建模块304、训练模块305，具体可以如下：

采集模块301，用于采集目标游戏中虚拟角色对局的历史游戏数据。

其中，目标游戏可以是多人在线战术竞技游戏或多人射击游戏，具体可以从目标游戏的数据库中采集虚拟角色历史对局的数据(即历史游戏数据)，该历史游戏数据可以是保存在本地的，也可以是通过访问网络接口拉取得到的，具体根据实际情况而定。

提取模块302，用于从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息。

其中，虚拟角色包括第一虚拟角色、第二虚拟角色以及固定虚拟角色，所述第一虚拟角色与第二虚拟角色为历史游戏对局中处于不同对局方的虚拟角色，可选的，在一些实施例中，提取模块302具体可以包括：

第一提取单元，用于采用预设特征提取网络从历史游戏数据中提取第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征；

第二提取单元，用于采用预设信息提取网络从历史游戏数据中提取第一虚拟角色执行目标游戏行为的行为信息。

可选的，在一些实施例中，第二提取单元具体可以包括：

确定子单元，用于确定在目标游戏中第一虚拟角色执行目标游戏行为的时间信息；

获取子单元，用于基于时间信息从历史游戏数据中获取多个连续的游戏图像；

提取子单元，用于采用预设信息提取网络从多个游戏图像中提取第一虚拟角色执行目标游戏行为的行为信息。

可选的，在一些实施例中，提取子单元具体可以用于：根据多个连续的游戏图像获取第一虚拟角色执行目标游戏行为的位置信息数据和操作信息数据，根据位置信息数据和操作信息数据，构建第一虚拟角色执行目标游戏行为的行为数据，采用预设行为信息提取网络从行为标签中提取第一虚拟角色执行目标游戏行为的行为信息。

可选的，在一些实施例中，第一提取单元具体可以用于：从历史游戏数据中提取第一虚拟角色的角色数据，得到第一角色数据，从历史游戏数据中提取第二虚拟角色的角色数据，得到第二角色数据，以及从历史游戏数据中提取固定虚拟角色的角色数据，得到第三角色数据，采用预设特征提取网络分别对所述第一角色数据、第二角色数据以及第三角色数据进行特征提取，得到第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征以及第一虚拟角色在虚拟场景中视野范围内的局部视野特征。

融合模块303，用于将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征；

例如，具体的，融合模块303可以对属性特征进行最大池化处理，并对局部视野特征进行卷积处理，然后，融合模块303将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征。

可选的，在一些实施例中，融合模块303具体可以包括：

第一处理单元，用于对属性特征进行最大池化处理，得到处理后属性特征；

第二处理单元，用于对局部视野特征进行卷积处理，得到处理后视野特征；

融合单元，用于将处理后属性特征、处理后视野特征以及行为信息进行融合处理，得到融合后特征。

可选的，在一些实施例中，融合单元具体可以用于：拼接处理后属性特征与处理后视野特征，得到拼接后特征，将行为信息嵌入至拼接后特征中，得到融合后特征。

可选的，在一些实施例中，融合模块303具体可以用于：将第一虚拟角色的属性特征、第二虚拟角色的属性特征、固定虚拟角色的属性特征、第一虚拟角色的局部视野特征以及第一虚拟角色的行为信息进行融合处理，得到融合后特征。

构建模块304，用于基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征；

例如，具体的，构建模块304可以基于预置策略对融合后特征进行划分，从而得到虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征。

可选的，在一些实施例中，构建模块304具体可以用于：对融合后特征进行特征空间变换，得到变换后特征，从变换后特征中选择与预置策略对应数量的特征分量，得到虚拟角色之间共享的共有特征，在变换后特征中去除虚拟角色之间共享的共有特征，得到虚拟角色之间独享的私有特征。

训练模块305，用于根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

本申请的采集模块301在采集目标游戏中虚拟角色对局的历史游戏数据后，提取模块302从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，融合模块303将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，构建模块304基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，训练模块305根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。本申请提供的虚拟角色控制方案利用属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，并基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，在实际运用时，通过本申请的操作预测模型所控制的虚拟角色不仅可以关注到同一阵营中的虚拟角色间共享的信息(共有特征)，还可以关注到虚拟角色本身的信息(私有特征)，使得在复杂的游戏场景下，虚拟角色可以根据共享的信息以及虚拟角色本身的信息执行正确的游戏行为完成游戏对局，因此，本申请的方案可以预测虚拟角色的游戏行为的准确率。

此外，本申请还提供一种电子设备，如图4所示，其示出了本申请所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

采集目标游戏中虚拟角色对局的历史游戏数据，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本申请在采集目标游戏中虚拟角色对局的历史游戏数据后，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，然后，将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，接着，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，最后，根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。本申请提供的虚拟角色控制方案利用属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，并基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，在实际运用时，通过本申请的操作预测模型所控制的虚拟角色不仅可以关注到同一阵营中的虚拟角色间共享的信息(共有特征)，还可以关注到虚拟角色本身的信息(私有特征)，使得在复杂的游戏场景下，虚拟角色可以根据共享的信息以及虚拟角色本身的信息执行正确的游戏行为完成游戏对局，因此，本申请的方案可以预测虚拟角色的游戏行为的准确率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请所提供的任一种虚拟角色控制方法中的步骤。例如，该指令可以执行如下步骤：

采集目标游戏中虚拟角色对局的历史游戏数据，从历史游戏数据中提取虚拟角色的属性特征、虚拟角色在虚拟场景中视野范围内的局部视野特征以及虚拟角色执行目标游戏行为的行为信息，将属性特征、局部视野特征以及行为信息进行融合处理，得到融合后特征，基于融合后特征构建虚拟角色之间独享的私有特征以及虚拟角色之间共享的共有特征，根据共有特征以及私有特征对预设模型进行训练，得到操作控制模型，以通过操作预测模型对目标游戏中的虚拟角色进行控制。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请所提供的任一种虚拟角色控制中的步骤，因此，可以实现本申请所提供的任一种虚拟角色控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请所提供的一种虚拟角色控制方法、装置、电子设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。