在线虚拟解说方法、设备和介质与流程

本公开涉及人工智能的领域，更具体地说，涉及在线虚拟解说方法、设备和介质。

背景技术：

随着人工智能(artificialintelligence，ai)各方向不同能力的发展，大众已渐渐不满足于在实际场景中只应用某个ai能力，因此对于ai综合能力应用场景的探索也在不断推进。

例如，提出了针对新闻播报场景的虚拟主持人技术。首先，预先准备好需要播报的文本、播报时的语速、说话情绪等。然后，通过应用tts(text-to-speech)技术转换为模拟人声的声音播放出来，并且把离线配置好的人脸表情参数、动作参数等人体参数应用3d技术转换为拟人的表情和动作，并展示出来。

然而，这种新闻播报虚拟主持人技术只适用于离线场景。虚拟主持人的播报内容、语音效果、动作效果在播报前已经固定下来，不能适用于实时在线解说、播报主持的场景。

技术实现要素：

鉴于以上情形，期望提供对于当前正在播放的视频，能够实时同步地输出解说内容的在线虚拟解说方法、设备和介质。

根据本公开的一个方面，提供了一种在线虚拟解说方法，包括：至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据；基于所述属性数据，提取用于表示帧图像中与解说相关的综合信息的特征数据；基于所述特征数据，生成候选事件；从生成的候选事件中，选择解说事件；基于所选择的解说事件，确定对应的解说文本；以及基于所述解说文本，输出对应的解说内容。

另外，在根据本公开实施例的方法中，其中至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据进一步包括：基于正在播放的视频的帧图像以及对于帧图像输入的帧指令，获取用于描述帧图像内的元素的基础信息的属性数据。

另外，在根据本公开实施例的方法中，所述属性数据包括直接属性数据和间接属性数据，并且其中至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据进一步包括：获取当前帧图像内的元素在当前帧的直接属性数据；通过对当前帧图像内的元素在当前帧的直接属性执行分析处理，确定间接属性数据。

另外，在根据本公开实施例的方法中，所述属性数据包括直接属性数据和间接属性数据，并且，其中至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据进一步包括：获取当前帧图像内的元素在当前帧以及先前帧的直接属性数据；通过对当前帧图像内的元素在当前帧以及先前帧的直接属性数据执行分析处理，确定间接属性数据。

另外，在根据本公开实施例的方法中，基于所述属性数据，提取帧图像的特征数据进一步包括：针对预先建立的解说特征库中包括的每一个特征，从所述属性数据中选择与该特征相关联的属性数据；通过对与该特征相关联的属性数据执行分析处理，确定该特征的取值作为帧图像的特征数据。

另外，在根据本公开实施例的方法中，所述解说特征库通过以下处理来建立：基于作为标准的参考解说视频，提取参考解说文本；基于所述参考解说文本，确定参考解说事件；基于所述参考解说事件，确定用于表征与解说相关的综合信息的参考特征数据；以及基于所述参考特征数据，建立解说特征库。

另外，在根据本公开实施例的方法中，基于所述特征数据，生成候选事件进一步包括：加载预先定义的所有事件对应的条件；当基于所述特征数据，确定与一个事件对应的条件满足时，生成该事件作为一个候选事件。

另外，在根据本公开实施例的方法中，所述候选事件包括基础事件和高级事件，所述基础事件基于特征数据而生成，且所述高级事件基于基础事件而生成或者基于基础事件和特征数据而生成。

另外，在根据本公开实施例的方法中，从生成的候选事件中，选择解说事件进一步包括：基于所述视频的播放状态，选择解说事件。

另外，在根据本公开实施例的方法中，从生成的候选事件中，选择解说事件进一步包括：依据预定的规则，确定生成的候选事件的重要性程度；选取重要性程度最高的候选事件作为解说事件。

另外，在根据本公开实施例的方法中，所述正在播放的视频为在线游戏，并且所述候选事件包括团战事件和非团战事件，所述团战事件为当前帧之前的预定时间段内多个游戏角色共同参与的候选事件的集合，所述非团战事件为所述团战事件以外的事件。

另外，在根据本公开实施例的方法中，从生成的候选事件中，选择解说事件进一步包括：当在所述预定时间段内存在多个团战事件时，依据预定的规则，确定各团战事件的重要性程度；选取重要性程度最高的团战事件；依据预定的规则，对选中的团战事件中包括的所有候选事件，确定各候选事件的重要性程度；以及选取重要性程度最高的候选事件作为解说事件。

另外，在根据本公开实施例的方法中，基于所选择的解说事件，确定对应的解说文本进一步包括：基于预先建立的解说文本库，确定与所选择的解说事件对应的解说模板；基于与所述解说事件对应的属性数据，替换所述解说模板中的模板字段，并生成所述解说文本。

另外，在根据本公开实施例的方法中，基于所述解说文本，输出对应的解说内容进一步包括以下处理中的一个或多个：输出所述解说文本；输出用于播报所述解说文本的语音；显示虚拟形象，并输出与所述虚拟形象相配合的语音来播报所述解说文本；以及显示虚拟形象，并通过所述虚拟形象的动作来播报所述解说文本。

根据本公开的另一方面，提供了一种在线虚拟解说设备，包括：属性获取单元，用于至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据；特征提取单元，用于基于所述属性数据，提取用于表示帧图像中与解说相关的综合信息的特征数据；事件生成单元，用于基于所述特征数据，生成候选事件；选择单元，用于从生成的候选事件中，选择解说事件；文本生成单元，用于基于所选择的解说事件，确定对应的解说文本；以及输出单元，用于基于所述解说文本，输出对应的解说内容。

另外，在根据本公开实施例的设备中，其中所述属性获取单元进一步被配置为：基于正在播放的视频的帧图像以及对于帧图像输入的帧指令，获取用于描述帧图像内的元素的基础信息的属性数据。

另外，在根据本公开实施例的设备中，所述属性数据包括直接属性数据和间接属性数据，并且其中所述属性获取单元进一步被配置为：获取当前帧图像内的元素在当前帧的直接属性数据；通过对当前帧图像内的元素在当前帧的直接属性执行分析处理，确定间接属性数据。

另外，在根据本公开实施例的设备中，所述属性数据包括直接属性数据和间接属性数据，并且，其中所述属性获取单元进一步被配置为：获取当前帧图像内的元素在当前帧以及先前帧的直接属性数据；通过对当前帧图像内的元素在当前帧以及先前帧的直接属性数据执行分析处理，确定间接属性数据。

另外，在根据本公开实施例的设备中，所述特征提取单元进一步被配置为：针对预先建立的解说特征库中包括的每一个特征，从所述属性数据中选择与该特征相关联的属性数据；通过对与该特征相关联的属性数据执行分析处理，确定该特征的取值作为帧图像的特征数据。

另外，根据本公开实施例的设备进一步包括解说特征库构建单元，被配置为通过执行以下处理来建立所述解说特征库：基于作为标准的参考解说视频，提取参考解说文本；基于所述参考解说文本，确定参考解说事件；基于所述参考解说事件，确定用于表征与解说相关的综合信息的参考特征数据；以及基于所述参考特征数据，建立解说特征库。

另外，在根据本公开实施例的设备中，所述事件生成单元进一步被配置为：加载预先定义的所有事件对应的条件；当基于所述特征数据，确定与一个事件对应的条件满足时，生成该事件作为一个候选事件。

另外，在根据本公开实施例的设备中，所述候选事件包括基础事件和高级事件，所述事件生成单元基于特征数据而生成所述基础事件，且所述事件生成单元基于基础事件而生成所述高级事件或者基于基础事件和特征数据而生成所述高级事件。

另外，在根据本公开实施例的设备中，所述选择单元进一步被配置为：基于所述视频的播放状态，选择解说事件。

另外，在根据本公开实施例的设备中，所述选择单元进一步被配置为：依据预定的规则，确定生成的候选事件的重要性程度；选取重要性程度最高的候选事件作为解说事件。

另外，在根据本公开实施例的设备中，所述正在播放的视频为在线游戏，并且所述候选事件包括团战事件和非团战事件，所述团战事件为当前帧之前的预定时间段内多个游戏角色共同参与的候选事件的集合，所述非团战事件为所述团战事件以外的事件。

另外，在根据本公开实施例的设备中，所述选择单元进一步被配置为：当在所述预定时间段内存在多个团战事件时，依据预定的规则，确定各团战事件的重要性程度；选取重要性程度最高的团战事件；依据预定的规则，对选中的团战事件中包括的所有候选事件，确定各候选事件的重要性程度；以及选取重要性程度最高的候选事件作为解说事件。

另外，在根据本公开实施例的设备中，所述文本生成单元进一步被配置为：基于预先建立的解说文本库，确定与所选择的解说事件对应的解说模板；基于与所述解说事件对应的属性数据，替换所述解说模板中的模板字段，并生成所述解说文本。

另外，在根据本公开实施例的设备中，所述输出单元进一步被配置为执行以下处理中的一个或多个：输出所述解说文本；输出用于播报所述解说文本的语音；显示虚拟形象，并输出与所述虚拟形象相配合的语音来播报所述解说文本；以及显示虚拟形象，并通过所述虚拟形象的动作来播报所述解说文本。

根据本公开的再一方面，提供了一种在线虚拟解说设备，包括：处理器；以及存储器，其中所述存储器中存储有计算机程序，当由所述处理器执行所述计算机程序时，执行上文中所述的在线虚拟解说方法。

根据本公开的又一方面，提供了一种计算机可读记录介质，其上存储有计算机程序，当由处理器执行所述计算机程序时，执行上文中所述的在线虚拟解说方法。

通过根据本公开的实施例的在线虚拟解说方法和设备，能够解决实时在线解说的问题。对于当前正在进行中的视频(如，在线游戏或体育赛事)，可以实时同步地输出解说内容，甚至可以通过虚拟解说主持人播报解说语音，并搭配相应的表情、动作等拟人效果。

附图说明

图1是示出根据本公开的实施例的在线虚拟解说方法的过程的流程图；

图2是示出根据本公开的实施例的用于建立解说特征库的过程的流程图；

图3示出了在在线游戏的应用场景下解说特征库中包括的特征分类的一种示例；

图4示出了在在线游戏虚拟解说的应用场景下用于特征提取的数据流图；

图5示出了在体育赛事虚拟解说的应用场景下用于特征提取的数据流图；

图6示出了在在线游戏虚拟解说的应用场景下事件生成的数据流图；

图7示出了单帧事件与多帧事件之间的关系；

图8示出了在在线游戏虚拟解说的应用场景下事件选取的数据流图；

图9示出了解说内容生成的数据流图的一种示例；

图10示出了在在线游戏虚拟解说的应用场景下输出的解说内容的一种示例；

图11是图示根据本公开的实施例的在线虚拟解说设备的配置的功能性框图；以及

图12示出了根据本公开实施例的一种示例性的计算设备的架构的示意图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

将参照图1描述根据本公开的实施例的在线虚拟解说方法。如图1所示，所述方法包括以下步骤。

首先，在步骤s101，至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据。

例如，根据本公开的在线虚拟解说方法可以应用于在线游戏虚拟解说的场景中。在这种情况下，正在播放的视频为在线游戏的视频。游戏玩家可以对在线游戏输入游戏指令，用于在游戏进行时操控游戏内玩家角色、非玩家角色等元素的移动、技能、动作等行为。并且，在这种情况下，至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据进一步包括：基于正在播放的视频的帧图像以及对于帧图像输入的帧指令(如，游戏指令)，获取用于描述帧图像内的元素的基础信息的属性数据。

例如，属性数据包括直接属性数据和间接属性数据。至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据可以进一步包括：获取当前帧图像内的元素在当前帧的直接属性数据。这里，直接属性数据是由游戏应用自动生成的。例如，直接属性数据可以包括游戏角色在图像中的坐标位置。然后，通过对当前帧图像内的元素在当前帧的直接属性数据执行分析处理，确定间接属性数据。也就是说，间接属性数据是在直接属性数据的基础上进一步计算得到的数据。例如，沿用上文中的例子，在直接属性数据包括游戏角色在图像中的坐标位置的情况下，通过将该游戏角色的坐标位置与野区的坐标位置进行比较，可以得到“该游戏角色在野区”的间接属性数据。或者，在直接属性数据的基础上，通过对游戏指令的理解，可以得到间接属性数据。例如，如果游戏玩家输入了移动的游戏指令，那么基于游戏玩家对应的游戏角色的当前坐标位置，可以计算出该游戏角色移动后位于地图的新坐标位置。或者，又如，如果游戏玩家输入了施放技能的游戏指令，那么基于当前时间，可以计算出游戏玩家对应的游戏角色在技能施放后的技能冷却剩余时间。

当然，除了仅考虑当前帧图像的直接属性数据之外，还可以进一步结合一个或多个先前帧的图像的直接属性数据，来获取间接属性数据。具体来说，至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据可以进一步包括：获取当前帧图像内的元素在当前帧和先前帧的直接属性数据；以及通过对当前帧图像内的元素在当前帧以及先前帧的直接属性数据执行分析处理，确定间接属性数据。这里先前帧是在时间顺序上排在当前帧之前的帧，并且先前帧的数量可以是一个或多个。例如，直接属性数据可以包括当前帧和先前帧游戏图像中的信息框。通过对所述信息框执行图像分析处理，可以得到游戏角色在当前帧和先前帧游戏图像中的血量数据，并将当前帧与先前帧游戏图像中的血量数据进行比较，确定“游戏角色的血量变化量”的间接属性数据。

或者，又如，根据本公开的在线虚拟解说方法也可以应用于体育赛事虚拟解说的场景中。在这种情况下，正在播放的视频为正在进行中的体育赛事。与在线游戏不同，体育赛事不需要接收用户的输入，即每帧不存在输入的游戏指令，可以将其看作自动播放的视频。并且，针对每一帧图像，仅基于帧图像，获取图像内的元素的属性数据。例如，在正在进行中的体育赛事为篮球比赛的情况下，直接属性数据可以包括球员在一帧图像中的坐标位置。通过将该球员的坐标位置与场地各区域的坐标位置进行比较，可以得到“该球员在前场”的间接属性数据。

可以看出，在步骤s101，对于至少基于正在播放的视频的帧图像而获取的属性数据，不论是直接获取的直接属性数据，还是基于直接获取的直接属性数据进一步分析得到的间接属性数据，都是用于描述单个维度的基础信息的数据。

然后，在步骤s102，基于所述属性数据，提取用于表示帧图像中与解说相关的综合信息的特征数据。这里，需要指出的是，基于帧图像获得的直接属性数据和间接属性数据可以复用于提取不同类型的特征数据。也就是说，当提取不同特征数据时，所使用的属性数据中可能有部分是相同的。

作为一种可能的实施方式，基于所述属性数据，提取帧图像的特征数据可以进一步包括：针对预先建立的解说特征库中包括的每一个特征，从所述属性数据中选择与该特征相关联的属性数据。例如，针对解说特征库中包括的特征“是否在草里”，与该特征相关联的属性数据为游戏角色的坐标和草的坐标。然后，通过对与该特征相关联的属性数据执行分析处理，确定该特征的取值作为帧图像的特征数据。例如，通过将游戏角色的坐标和草的坐标进行比较，确定特征“是否在草里”的取值为“在草里”或“不在草里”。

下面，将具体描述解说特征库的构建方法。

正向的解说流程为从属性数据到特征数据，然后从特征数据到解说事件。然而，解说特征库是基于反向的解说流程而建立的，即：解说特征库是针对解说过程涉及到的解说事件进行事件到特征、特征到属性的拆解，通过应用先验标注、挖掘的方式逐步建立和完善。

通过参照图2具体描述建立所述解说特征库的过程。如图2所示，用于建立所述解说特征库的方法具体包括以下步骤。

首先，在步骤s201，基于作为标准的参考解说视频，提取参考解说文本。

这里，作为标准的参考解说视频可以是已经人工完成解说的视频，如游戏视频或体育赛事。也就是说，在该参考解说视频中，已经包括了输出的解说内容。期望基于已有的参考解说视频，反向推导出解说过程具体关注哪些特征。通常，在实践中，将选取多个作为标准的参考解说视频。选取的参考解说视频的数量越多，则建立的解说特征库中包括的特征将越完备。

并且，这里需要指出的是，建立的解说特征库是与待解说的视频的具体类型一一对应的。例如，用于在线游戏的解说特征库与用于体育赛事的解说特征库必然是不同的。另外，同样在在线游戏虚拟解说的应用场景下，不同类型的在线游戏所对应的解说特征库也是不同的。

具体来说，在步骤s201，首先，可以从参考解说视频中提取出解说音频，然后将提取出的解说音频转换为参考解说文本。例如，提取出的参考解说文本为“这沈梦溪丢了一个混合炸弹伤害真心高，佩服佩服”。

然后，在步骤s202，基于所述参考解说文本，确定参考解说事件。沿用上文中的示例，基于“这沈梦溪丢了一个混合炸弹伤害真心高，佩服佩服”的参考解说文本，可以确定参考解说事件为“沈梦溪丢炸弹”和“炸弹伤害高”。

接下来，在步骤s203，基于所述参考解说事件，确定用于表征与解说相关的综合信息的参考特征数据。例如，基于“沈梦溪丢炸弹”的参考解说事件，可以确定“游戏角色的名字”和“游戏角色的动作”的参考特征数据。基于“炸弹伤害高”的参考解说事件，可以确定“对其他游戏角色的伤害输出”的参考特征数据。

最后，在步骤s204，基于所述参考特征数据，建立解说特征库。

可以采用人工标注和自动标注相结合的方式来从参考解说文本中确定参考解说事件并从参考解说事件中确定参考特征数据。具体来说，首先，通过人工标注的方式对一批参考解说视频进行事件的提取和特征的标注，以初步地建立所述解说特征库。然后，更换新的一批参考解说视频，通过自动标注的方式对这批新的参考解说视频进行事件的提取和特征的标注。在自动标注之后，再通过人工检查的方式进行纠错和补充，从而进一步扩充和完善所述解说特征库。按照这样人工和自动交替进行的方式，不断地更换新的参考解说视频。随着处理的进行，将发现人工纠错和补充的部分将越来越少。当不再存在人工纠错和补充的部分时，这意味着解说特征库已经完备，且可以用于在线虚拟解说的特征提取中。

由于解说特征库包括海量的特征数据，因此为了便于检索和管理，将其划分为不同的类别。例如，图3示出了在在线游戏的应用场景下解说特征库中包括的特征分类的一种示例。

如图3所示，解说特征主要包括英雄、非玩家角色(npc)、战斗(团战)、总结分析、时间描述、全局数据、阵营、前期等分类。其中，英雄类特征主要与英雄的状态(血量、位置等)、动作(使用技能、移动位置等)有关；npc类特征主要与游戏内非玩家角色的状态(血量、位置等)、动作(攻击英雄、打塔、出生等)有关；战斗类特征主要与游戏内英雄参与形成的多对多团战的属性(开始结束时间、参团英雄、结局、产生效果等)有关；总结分析类特征主要是对当前游戏局势的统计、分析，时间描述主要是划分当前游戏阶段(前期、中期、后期等)；全局数据类特征主要是游戏进行的整体数据统计(如游戏第一视角的英雄、游戏视野位置及范围、游戏进行时间等)；阵营类特征主要为对双方阵营维度进行属性统计(阵营经济、阵营塔状态、阵营击杀野怪情况等)；前期类特征主要是针对游戏解说开局介绍(开头、解说引导、阵容介绍、场外背景等)。

可以看出，各个类别的特征数据都是基于属性数据计算而来的，这是特征提取的关键所在。

另外，这里需要指出的是，解说特征库包括哪些特征数据以及包括的特征数据的数量是需要权衡的。如果解说特征库包括尽可能多的类别和数量的特征数据，那么将不会出现遗漏发生的事件的问题，但是每帧事件生成的计算量将大大提高。如果解说特征库仅包括少量的关键特征数据，并且基于这些关键特征数据所生成的事件将被大概率地选择作为解说事件，那么这将大大地减少每帧事件生成的计算量并提升实时解说性能。当然，选择哪些关键特征数据需要根据特定的解说场合，并依靠多次实验来确定。

图4示出了在在线游戏虚拟解说的应用场景下用于特征提取的数据流图。如图4所示，基于游戏图像和游戏指令，可以通过实时的游戏内元素属性计算来产生间接的属性数据，再结合针对游戏解说建立起来的解说特征库，可以提取出游戏特征。

图5示出了在体育赛事虚拟解说的应用场景下用于特征提取的特征流图。如图5所示，与图4不同的是，基于比赛图像，可以通过实时的图像内元素属性计算来产生间接的属性数据，再结合针对体育赛事解说建立起来的解说特征库，可以提取出比赛特征。

接下来，返回参照图1，在步骤s103，基于所述特征数据，生成候选事件。候选事件是指在视频的播放过程中发生的事件。当然，这里生成的候选事件并不一定是在视频的播放过程中发生的所有事件。生成哪些候选事件取决于已经提取了哪些特征数据。另外，生成的候选事件也并不一定都要解说出来。

作为一种可能的实施方式，基于所述特征数据，生成候选事件进一步包括：加载预先定义的所有事件对应的条件。一个事件可以对应于一个或多个条件。举例而言，“英雄被野怪杀死”的事件可以对应于两个条件：c1.英雄死亡；c2.野怪杀的。当基于所述特征数据，确定与一个事件对应的条件满足时，生成该事件作为一个候选事件。例如，如果提取的特征数据的取值指示英雄状态为存活或者击杀者类别为其他英雄，换言之，没有同时满足条件c1和条件c2，那么将不会生成“英雄被野怪杀死”的事件。如果提取的特征数据的取值指示英雄状态为被击杀且击杀者类别为野怪，换言之，同时满足条件c1和条件c2，那么将生成“英雄被野怪杀死”的事件，并将该事件作为一个候选事件。

按照这样的方式，遍历预先定义的所有事件对应的条件，并生成对应条件都满足的事件。

当一个事件的实现复杂度较高时，该事件所对应的条件和特征数据的数量将增多。因此，作为一种可能的实施方式，从实现复杂度角度上，将事件区分为基础事件和高级事件。前面所列举的“英雄被野怪杀死”的事件属于基础事件。如前所述，基础事件基于特征数据而生成。高级事件是相对于基础事件而定义的。高级事件可以基于基础事件而生成或者可以基于基础事件和特征数据而生成。

由于高级事件可以由基础事件合成，因此对于那些特征非常复杂、条件层级非常多的事件，它们可以很轻易地由基础事件组合而成，不但可以避免拆分成非常多的游戏特征的问题，也提升了所有事件的复用率。

以高级事件h1：辅助蹲暴君后面的草丛帮打野卡视野打龙为例进行描述。对于这个高级事件，直接拆分成的游戏特征包括：f1.英雄职业-辅助，f2.暴君状态-被攻击，f3.暴君攻击者职业-打野，f4.辅助英雄位置-暴君后草丛。由于之前已经定义并提取到了基础事件：e1.辅助蹲暴君后草丛，e2.打野英雄在打暴君，因此可以直接基于基础事件e1+e2组合形成高级事件h1，而不用定义冗长的f1、f2、f3、f4组合，并执行多次条件判断。

在上文中，从实现复杂度角度上，将事件区分为基础事件和高级事件。当然，还可以存在其他的用于区分事件的方式。例如，图6示出了在在线游戏虚拟解说的应用场景下事件生成的数据流图。如图6所示，除了基础事件和高级事件之外，从事件特点角度上，还可以将事件区分为团战事件和非团战事件。具体来说，所述团战事件为当前帧之前的预定时间段内多个游戏角色共同参与的候选事件的集合，所述非团战事件为所述团战事件以外的事件。团战事件和非团战事件可以是基础事件，也可以是高级事件。

另外，从事件的时间跨度角度上，可以将事件区分为单帧事件和多帧事件。图7示出了单帧事件与多帧事件之间的关系。单帧事件是基于一帧图像得到的事件，而多帧事件是多个单帧事件的集合。在图7中，以第1帧图像、第2帧图像和第3帧图像为例，示出了单帧事件的生成过程。并且，多帧事件包括基于第1帧图像、第2帧图像和第3帧图像而生成的三个单帧事件。然而，本领域的技术人员可以理解，本公开并不仅限于此。多帧事件可以任意数量的单帧事件。另外，上文中描述的团战是基于游戏内一段时间进行的，游戏数据以帧的形式存在，且一个游戏时间段包含多个游戏帧，因此团战事件可以看作是多帧事件。

针对每一个游戏帧，执行上文中所述的特征提取和事件生成流程。并且，生成的事件都将作为候选事件，进入后续的事件选取流程，这将在下文中具体描述。

然后，返回参照图1，在步骤s104，从生成的候选事件中，选择解说事件。也就是说，仅有一部分候选事件将被选择为解说事件，并被解说出来。

作为一种可能的实施方式，从生成的候选事件中，选择解说事件可以进一步包括：基于所述视频的播放状态，选择解说事件。例如，为了增强解说的现场效果，生成的候选事件包括运营事件，用于补充当前正在播放的视频的介绍(例如，游戏介绍或体育赛事介绍)、新闻等解说开场白事件。这类事件可以在与解说无关的时间段(如，游戏加载中、游戏暂停、体育赛事中场休息等)播出。因此，当所述视频的播放状态为游戏暂停或体育赛事中场休息时，从候选事件中选择运营事件作为解说事件(运营选取)。

除了上文中所述的事件选取依据之外，还可以按照如下的方式选择解说事件。具体来说，从生成的候选事件中，选择解说事件进一步包括：依据预定的规则，确定生成的候选事件的重要性程度；选取重要性程度最高的候选事件作为解说事件。例如，在在线体育赛事虚拟解说的应用场景下，当体育事件的发生位置位于画面中央区域时，认为该候选事件的重要性程度高。或者，当体育事件引起分数变化时，认为该候选事件的重要性程度高。

此外，在在线游戏虚拟解说的应用场景下，可以按照如下的方式来选择解说事件。如上文中所述，所述候选事件包括团战事件和非团战事件。从生成的候选事件中，选择解说事件进一步包括：当在所述预定时间段内存在多个团战事件时，例如，基于参与的游戏角色的位置，在所述预定时间段内存在位于区域a的团战、位于区域b的团战和位于区域c的团战，依据预定的规则，确定各团战事件的重要性程度。然后，选取重要性程度最高的团战事件(团战选取)。例如，带来最大数量的击杀数的团战事件的重要性程度高。或者，施放技能次数最多的团战事件的重要性高。或者，出现在解说视野内的团战事件的重要性高。接下来，依据预定的规则，对选中的团战事件中包括的所有候选事件，确定各候选事件的重要性程度；以及选取重要性程度最高的候选事件作为解说事件(团内选取)。例如，可以根据事件的静态权重(例如，游戏角色是否位于c位)和事件的动态权重(如，事件是否出现在解说视野内、团战结果、技能效果等)进行打分加权，并选取分数最高的团内事件作为解说事件。

此外，在不存在团战事件的情况下，可以直接从单帧事件中选取静态权重最高的事件作为解说事件(团外选取)。

当然，预定规则并不仅限于以上所列举的示例。任何其他可能的规则也应该包括在本公开的范围内。

图8示出了在在线游戏虚拟解说的应用场景下事件选取的数据流图。如图8所示，针对所有的候选事件，可以按照运营选取801、团战选取802、团内选取803和团外选取804的顺序来选择解说事件。首先，判断当前游戏的播放状态是否位游戏加载中、游戏暂停等。如果是，则选取运营事件。如果否，则进一步执行团战选取和团内选取。如果不存在团战，则执行团外选取。

接着，返回参照图1，在步骤s105，基于所选择的解说事件，确定对应的解说文本。也就是说，在确定了需要进行解说的事件之后，需要生成对应事件的解说词。

具体来说，基于所选择的解说事件，确定对应的解说文本进一步包括以下步骤。

首先，基于预先建立的解说文本库，确定与所选择的解说事件对应的解说模板。解说文本库本质上是一个(事件，解说模板)集合，并且包括所有解说词干内容以及每个解说模板对应的解说事件。例如，解说模板【m1.<英雄名字>先不要着急，吃口药先保存一下实力】对应解说事件【e1.英雄使用回血技能】。

然后，基于与所述解说事件对应的属性数据，替换所述解说模板中的模板字段，并生成所述解说文本。例如，将在上文中描述的特征提取过程中获取的属性数据，英雄名字-阿轲，动态替换进去，以得到所述解说文本。

最后，在步骤s106，基于所述解说文本，输出对应的解说内容。这里的解说内容可以是文字，可以是音频，也可以是视频。

具体来说，基于所述解说文本，输出对应的解说内容进一步包括以下处理中的一个或多个：输出所述解说文本(字幕解说)；输出用于播报所述解说文本的语音(音频解说)；显示虚拟形象，并输出与所述虚拟形象相配合的语音来播报所述解说文本(虚拟主持人视频解说)；以及显示虚拟形象，并通过所述虚拟形象的动作来播报所述解说文本(虚拟主持人视频解说)，如手语播报。

图9示出了解说内容生成的数据流图的一种示例。如图9所示，基于在之前的处理中确定的解说事件，首先基于预先建立的解说文本库，确定与所选择的解说事件对应的解说模板(解说模板选取901)。然后，基于与所述解说事件对应的属性数据，替换所述解说模板中的模板字段，并生成所述解说文本(词干替换902)。接下来，基于解说文本生成对应的语音(语音生成903)和表情动作(表情动作904)。例如，基于解说文本生成对应的语音可以通过tts(text-to-speech)技术来实现。并且，由于本公开应用于实时解说的场景，因此在应用tts技术来实现文本到语音的转换时，需要采用文本翻译和语音输出并行进行的方式。

图10示出了在在线游戏虚拟解说的应用场景下输出的解说内容的一种示例。如图10所示，解说内容包括字幕形式的解说文本1001。当然，在此基础之上，解说内容还可以进一步包括用于播报该解说文本的音频数据。

在上文中，已经参照图1至图10详细描述了根据本公开的实施例的在线虚拟解说方法。通过根据本公开的实施例的在线虚拟解说方法，能够解决实时在线解说的问题。对于当前正在进行中的视频(如，在线游戏或体育赛事)，可以实时同步地输出解说内容，甚至可以通过虚拟解说主持人播报解说语音，并搭配相应的表情、动作等拟人效果。

在下文中，将参照图11描述根据本公开实施例的在线虚拟解说设备。

如图11所示，所述在线虚拟解说设备1100包括：属性获取单元1101、特征提取单元1102、事件生成单元1103、选择单元1104、文本生成单元1105和输出单元1106。

属性获取单元1101用于至少基于正在播放的视频的帧图像，获取用于描述帧图像内的元素的基础信息的属性数据。例如，根据本公开的在线虚拟解说设备可以应用于在线游戏虚拟解说的场景中。在这种情况下，正在播放的视频为在线游戏的视频。游戏玩家可以对在线游戏输入游戏指令，用于在游戏进行时操控游戏内玩家角色、非玩家角色等元素的移动、技能、动作等行为。并且，在这种情况下，属性获取单元1101进一步被配置为：基于正在播放的视频的帧图像以及对于帧图像输入的帧指令(如，游戏指令)，获取用于描述帧图像内的元素的基础信息的属性数据。

例如，属性数据包括直接属性数据和间接属性数据。所述属性获取单元1101可以进一步被配置为：获取当前帧图像内的元素在当前帧的直接属性数据。这里，直接属性数据是由游戏应用自动生成的。例如，直接属性数据可以包括游戏角色在图像中的坐标位置。然后，通过对当前帧图像内的元素在当前帧的直接属性数据执行分析处理，所述属性获取单元1101确定间接属性数据。也就是说，间接属性数据是在直接属性数据的基础上进一步计算得到的数据。例如，沿用上文中的例子，在直接属性数据包括游戏角色在图像中的坐标位置的情况下，通过将该游戏角色的坐标位置与野区的坐标位置进行比较，可以得到“该游戏角色在野区”的间接属性数据。或者，在直接属性数据的基础上，通过对游戏指令的理解，可以得到间接属性数据。例如，如果游戏玩家输入了移动的游戏指令，那么基于游戏玩家对应的游戏角色的当前坐标位置，可以计算出该游戏角色移动后位于地图的新坐标位置。或者，又如，如果游戏玩家输入了施放技能的游戏指令，那么基于当前时间，可以计算出游戏玩家对应的游戏角色在技能施放后的技能冷却剩余时间。

当然，除了仅考虑当前帧图像的直接属性数据之外，还可以进一步结合一个或多个先前帧的图像的直接属性数据，来获取间接属性数据。具体来说，所述属性获取单元1101可以进一步被配置为：获取当前帧图像内的元素在当前帧和先前帧的直接属性数据；以及通过对当前帧图像内的元素在当前帧以及先前帧的直接属性数据执行分析处理，确定间接属性数据。这里先前帧是在时间顺序上排在当前帧之前的帧，并且先前帧的数量可以是一个或多个。例如，直接属性数据可以包括当前帧和先前帧游戏图像中的信息框。通过对所述信息框执行图像分析处理，可以得到游戏角色在当前帧和先前帧游戏图像中的血量数据，并将当前帧与先前帧游戏图像中的血量数据进行比较，确定“游戏角色的血量变化量”的间接属性数据。

或者，又如，根据本公开的在线虚拟解说设备也可以应用于体育赛事虚拟解说的场景中。在这种情况下，正在播放的视频为正在进行中的体育赛事。与在线游戏不同，体育赛事不需要接收用户的输入，即每帧不存在输入的游戏指令，可以将其看作自动播放的视频。并且，针对每一帧图像，仅基于帧图像，获取图像内的元素的属性数据。例如，在正在进行中的体育赛事为篮球比赛的情况下，直接属性数据可以包括球员在一帧图像中的坐标位置。通过将该球员的坐标位置与场地各区域的坐标位置进行比较，可以得到“该球员在前场”的间接属性数据。

可以看出，对于所述属性获取单元1101基于正在播放的视频的帧图像而获取的属性数据，不论是直接获取的直接属性数据，还是基于直接获取的直接属性数据进一步分析得到的间接属性数据，都是用于描述单个维度的基础信息的数据。

特征提取单元1102用于基于所述属性数据，提取用于表示帧图像中与解说相关的综合信息的特征数据。如上文中所述，基于帧图像获得的直接属性数据和间接属性数据可以复用于提取不同类型的特征数据。也就是说，当特征提取单元1102提取不同特征数据时，所使用的属性数据中可能有部分是相同的。

作为一种可能的实施方式，特征提取单元1102进一步被配置为：针对预先建立的解说特征库中包括的每一个特征，从所述属性数据中选择与该特征相关联的属性数据。例如，针对解说特征库中包括的特征“是否在草里”，与该特征相关联的属性数据为游戏角色的坐标和草的坐标。然后，通过对与该特征相关联的属性数据执行分析处理，确定该特征的取值作为帧图像的特征数据。例如，通过将游戏角色的坐标和草的坐标进行比较，确定特征“是否在草里”的取值为“在草里”或“不在草里”。

下面，将具体描述解说特征库的构建方法。

正向的解说流程为从属性数据到特征数据，然后从特征数据到解说事件。然而，解说特征库是基于反向的解说流程而建立的，即：解说特征库是针对解说过程涉及到的解说事件进行事件到特征、特征到属性的拆解，通过应用先验标注、挖掘的方式逐步建立和完善。

根据本公开的在线虚拟解说设备可以进一步包括解说特征库构建单元(图中未示出)，被配置为通过执行以下处理来建立所述解说特征库：基于作为标准的参考解说视频，提取参考解说文本；基于所述参考解说文本，确定参考解说事件；基于所述参考解说事件，确定用于表征与解说相关的综合信息的参考特征数据；基于所述参考特征数据，建立解说特征库。

这里，作为标准的参考解说视频可以是已经人工完成解说的视频，如游戏视频或体育赛事。也就是说，在该参考解说视频中，已经包括了输出的解说内容。期望基于已有的参考解说视频，反向推导出解说过程具体关注哪些特征。通常，在实践中，将选取多个作为标准的参考解说视频。选取的参考解说视频的数量越多，则建立的解说特征库中包括的特征将越完备。

并且，这里需要指出的是，建立的解说特征库是与待解说的视频的具体类型一一对应的。例如，用于在线游戏的解说特征库与用于体育赛事的解说特征库必然是不同的。另外，同样在在线游戏虚拟解说的应用场景下，不同类型的在线游戏所对应的解说特征库也是不同的。

具体来说，首先，解说特征库构建单元可以从参考解说视频中提取出解说音频，然后将提取出的解说音频转换为参考解说文本。例如，提取出的参考解说文本为“这沈梦溪丢了一个混合炸弹伤害真心高，佩服佩服”。

然后，解说特征库构建单元基于所述参考解说文本，确定参考解说事件。沿用上文中的示例，基于“这沈梦溪丢了一个混合炸弹伤害真心高，佩服佩服”的参考解说文本，可以确定参考解说事件为“沈梦溪丢炸弹”和“炸弹伤害高”。

接下来，解说特征库构建单元基于所述参考解说事件，确定用于表征与解说相关的综合信息的参考特征数据。例如，基于“沈梦溪丢炸弹”的参考解说事件，可以确定“游戏角色的名字”和“游戏角色的动作”的参考特征数据。基于“炸弹伤害高”的参考解说事件，可以确定“对其他游戏角色的伤害输出”的参考特征数据。

最后，解说特征库构建单元基于所述参考特征数据，建立解说特征库。

可以采用人工标注和自动标注相结合的方式来从参考解说文本中确定参考解说事件并从参考解说事件中确定参考特征数据。具体来说，首先，通过人工标注的方式对一批参考解说视频进行事件的提取和特征的标注，以初步地建立所述解说特征库。然后，更换新的一批参考解说视频，通过自动标注的方式对这批新的参考解说视频进行事件的提取和特征的标注。在自动标注之后，再通过人工检查的方式进行纠错和补充，从而进一步扩充和完善所述解说特征库。按照这样人工和自动交替进行的方式，不断地更换新的参考解说视频。随着处理的进行，将发现人工纠错和补充的部分将越来越少。当不再存在人工纠错和补充的部分时，这意味着解说特征库已经完备，且可以用于在线虚拟解说的特征提取中。

由于解说特征库包括海量的特征数据，因此为了便于检索和管理，将其划分为不同的类别。可以看出，各个类别的特征数据都是基于属性数据计算而来的，这是特征提取的关键所在。

另外，这里需要指出的是，解说特征库包括哪些特征数据以及包括的特征数据的数量是需要权衡的。如果解说特征库包括尽可能多的类别和数量的特征数据，那么将不会出现遗漏发生的事件的问题，但是每帧事件生成的计算量将大大提高。如果解说特征库仅包括少量的关键特征数据，并且基于这些关键特征数据所生成的事件将被大概率地选择作为解说事件，那么这将大大地减少每帧事件生成的计算量并提升实时解说性能。当然，选择哪些关键特征数据需要根据特定的解说场合，并依靠多次实验来确定。

事件生成单元1103用于基于所述特征数据，生成候选事件。候选事件是指在视频的播放过程中发生的事件。当然，这里生成的候选事件并不一定是在视频的播放过程中发生的所有事件。生成哪些候选事件取决于已经提取了哪些特征数据。另外，生成的候选事件也并不一定都要解说出来。

作为一种可能的实施方式，所述事件生成单元1103进一步被配置为：加载预先定义的所有事件对应的条件。一个事件可以对应于一个或多个条件。举例而言，“英雄被野怪杀死”的事件可以对应于两个条件：c1.英雄死亡；c2.野怪杀的。当基于所述特征数据，确定与一个事件对应的条件满足时，所述事件生成单元1103生成该事件作为一个候选事件。例如，如果提取的特征数据的取值指示英雄状态为存活或者击杀者类别为其他英雄，换言之，没有同时满足条件c1和条件c2，那么所述事件生成单元1103将不会生成“英雄被野怪杀死”的事件。如果提取的特征数据的取值指示英雄状态为被击杀且击杀者类别为野怪，换言之，同时满足条件c1和条件c2，那么所述事件生成单元1103将生成“英雄被野怪杀死”的事件，并将该事件作为一个候选事件。

按照这样的方式，所述事件生成单元1103遍历预先定义的所有事件对应的条件，并生成对应条件都满足的事件。

当一个事件的实现复杂度较高时，该事件所对应的条件和特征数据的数量将增多。因此，作为一种可能的实施方式，从实现复杂度角度上，将事件区分为基础事件和高级事件。前面所列举的“英雄被野怪杀死”的事件属于基础事件。如前所述，所述事件生成单元1103可以基于特征数据而生成基础事件。高级事件是相对于基础事件而定义的。所述事件生成单元1103可以基于基础事件而生成或者可以基于基础事件和特征数据而生成高级事件。

由于高级事件可以由基础事件合成，因此对于那些特征非常复杂、条件层级非常多的事件，它们可以很轻易地由基础事件组合而成，不但可以避免拆分成非常多的游戏特征的问题，也提升了所有事件的复用率。

以高级事件h1：辅助蹲暴君后面的草丛帮打野卡视野打龙为例进行描述。对于这个高级事件，直接拆分成的游戏特征包括：f1.英雄职业-辅助，f2.暴君状态-被攻击，f3.暴君攻击者职业-打野，f4.辅助英雄位置-暴君后草丛。由于之前已经定义并提取到了基础事件：e1.辅助蹲暴君后草丛，e2.打野英雄在打暴君，因此所述事件生成单元1103可以直接基于基础事件e1+e2组合形成高级事件h1，而不用定义冗长的f1、f2、f3、f4组合，并执行多次条件判断。

在上文中，从实现复杂度角度上，将事件区分为基础事件和高级事件。当然，还可以存在其他的用于区分事件的方式。例如，从事件特点角度上，还可以将事件区分为团战事件和非团战事件。具体来说，所述团战事件为当前帧之前的预定时间段内多个游戏角色共同参与的候选事件的集合，所述非团战事件为所述团战事件以外的事件。团战事件和非团战事件可以是基础事件，也可以是高级事件。另外，从事件的时间跨度角度上，可以将事件区分为单帧事件和多帧事件。团战是基于游戏内一段时间进行的，游戏数据以帧的形式存在，且一个游戏时间段包含多个游戏帧，因此团战事件可以看作是多帧事件。

针对每一个游戏帧，分别由上文中所述的属性获取单元1101、特征提取单元1102和事件生成单元1103执行属性获取、特征提取和事件生成的流程。并且，生成的事件都将作为候选事件，提供给后续的选择单元1104。

选择单元1104用于从生成的候选事件中，选择解说事件。也就是说，仅有一部分候选事件将被选择为解说事件，并被解说出来。

作为一种可能的实施方式，所述选择单元1104进一步被配置为：基于所述视频的播放状态，选择解说事件。例如，为了增强解说的现场效果，事件生成单元1103生成的候选事件包括运营事件，用于补充当前正在播放的视频的介绍(例如，游戏介绍或体育赛事介绍)、新闻等解说开场白事件。这类事件可以在与解说无关的时间段(如，游戏加载中、游戏暂停、体育赛事中场休息等)播出。因此，当所述视频的播放状态为游戏暂停或体育赛事中场休息时，所述选择单元1104从候选事件中选择运营事件作为解说事件(运营选取)。

除了上文中所述的事件选取依据之外，还可以按照如下的方式选择解说事件。具体来说，所述选择单元1104进一步被配置为：依据预定的规则，确定生成的候选事件的重要性程度；选取重要性程度最高的候选事件作为解说事件。例如，在在线体育赛事虚拟解说的应用场景下，当体育事件的发生位置位于画面中央区域时，认为该候选事件的重要性程度高。或者，当体育事件引起分数变化时，认为该候选事件的重要性程度高。

此外，在在线游戏虚拟解说的应用场景下，可以按照如下的方式来选择解说事件。如上文中所述，所述候选事件包括团战事件和非团战事件。所述选择单元1104可以进一步被配置为执行以下处理。

当在所述预定时间段内存在多个团战事件时，例如，基于参与的游戏角色的位置，在所述预定时间段内存在位于区域a的团战、位于区域b的团战和位于区域c的团战，依据预定的规则，确定各团战事件的重要性程度。然后，所述选择单元1104选取重要性程度最高的团战事件(团战选取)。例如，带来最大数量的击杀数的团战事件的重要性程度高。或者，施放技能次数最多的团战事件的重要性高。或者，出现在解说视野内的团战事件的重要性高。

接下来，所述选择单元1104依据预定的规则，对选中的团战事件中包括的所有候选事件，确定各候选事件的重要性程度；并选取重要性程度最高的候选事件作为解说事件(团内选取)。例如，可以根据事件的静态权重(例如，游戏角色是否位于c位)和事件的动态权重(如，事件是否出现在解说视野内、团战结果、技能效果等)进行打分加权，并选取分数最高的团内事件作为解说事件。

此外，在不存在团战事件的情况下，所述选择单元1104可以直接从单帧事件中选取静态权重最高的事件作为解说事件(团外选取)。

当然，预定规则并不仅限于以上所列举的示例。任何其他可能的规则也应该包括在本公开的范围内。

文本生成单元1105用于基于所选择的解说事件，确定对应的解说文本。也就是说，在确定了需要进行解说的事件之后，需要生成对应事件的解说词。

具体来说，文本生成单元1105可以进一步被配置为：基于预先建立的解说文本库，确定与所选择的解说事件对应的解说模板。解说文本库本质上是一个(事件，解说模板)集合，并且包括所有解说词干内容以及每个解说模板对应的解说事件。例如，解说模板【m1.<英雄名字>先不要着急，吃口药先保存一下实力】对应解说事件【e1.英雄使用回血技能】。然后，文本生成单元1105基于与所述解说事件对应的属性数据，替换所述解说模板中的模板字段，并生成所述解说文本。例如，文本生成单元1105将由上文中描述的属性获取单元获取的属性数据，英雄名字-阿轲，动态替换进去，以得到所述解说文本。

输出单元1106用于基于所述解说文本，输出对应的解说内容。这里的解说内容可以是文字，可以是音频，也可以是视频。

具体来说，所述输出单元进一步被配置为执行以下处理中的一个或多个：输出所述解说文本(字幕解说)；输出用于播报所述解说文本的语音(音频解说)；显示虚拟形象，并输出与所述虚拟形象相配合的语音来播报所述解说文本(虚拟主持人视频解说)；以及显示虚拟形象，并通过所述虚拟形象的动作来播报所述解说文本(虚拟主持人视频解说)，如手语播报。

通过根据本公开的实施例的在线虚拟解说设备，能够解决实时在线解说的问题。对于当前正在进行中的视频(如，在线游戏或体育赛事)，可以实时同步地输出解说内容，甚至可以通过虚拟解说主持人播报解说语音，并搭配相应的表情、动作等拟人效果。

此外，根据本公开实施例的方法或设备也可以借助于图12所示的计算设备1200的架构来实现。如图12所示，计算设备1200可以包括总线1210、一个或多个cpu1220、只读存储器(rom)1230、随机存取存储器(ram)1240、连接到网络的通信端口1250、输入/输出组件1260、硬盘1270等。计算设备1200中的存储设备，例如rom1230或硬盘1270可以存储本公开提供的图像处理方法的处理和/或通信使用的各种数据或文件以及cpu所执行的程序指令。当然，图12所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图12示出的计算设备中的一个或多个组件。

本公开的实施例也可以被实现为计算机可读存储介质。根据本公开实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的在线虚拟解说方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。

迄今为止，已经参照图1到图12描述了根据本公开实施例的在线虚拟解说方法和设备。通过根据本公开的实施例的在线虚拟解说方法和设备，能够解决实时在线解说的问题。对于当前正在进行中的视频(如，在线游戏或体育赛事)，可以实时同步地输出解说内容，甚至可以通过虚拟解说主持人播报解说语音，并搭配相应的表情、动作等拟人效果。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。