直播互动方法、直播互动装置及直播设备与流程

本公开涉及网络直播技术领域，具体而言，涉及一种直播互动方法、直播互动装置及直播设备。

背景技术：

在网络直播领域，主播可通过直播app(application)进行视频直播，为观众放送精彩的节目，观众也可以通过直播app观看直播。直播app还可以实现观众与主播互动，经研究发现，在直播过程中，互动方式较为单一，交互性有待提高。

技术实现要素：

有鉴于此，本公开提供一种直播互动方法、直播互动装置及直播设备，提升直播的交互性，增强直播交互体验。

一方面，本公开提供一种直播互动方法，应用于提供直播服务的直播设备，所述方法包括：

根据至少两个直播发起端发起的加入同一直播间的请求，获得直播背景视频流；

接收每个所述直播发起端发送的直播视频流，所述直播视频流中包括该直播发起端对应的虚拟主播的视频流；

将所述直播视频流和直播背景视频流进行合成，得到直播互动视频流，并将所述直播互动视频流发送至直播接收端。

另一方面，本公开实施例还提供了一种直播互动装置，应用于提供直播服务的直播设备，所述直播互动装置包括：

视频流获得模块，用于根据至少两个直播发起端发起的加入同一直播间的请求，获得直播背景视频流；

视频流接收模块，用于接收每个所述直播发起端发送的直播视频流，所述直播视频流中包括该直播发起端对应的虚拟主播的视频流；

视频流合成模块，用于将所述直播视频流和直播背景视频流进行合成，得到直播互动视频流，并将所述直播互动视频流发送至直播接收端。

在上述基础上，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述的直播互动方法的步骤。

在上述基础上，本公开实施例还提供了一种直播设备，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现上述的直播互动方法的步骤。

本公开提供的直播互动方法、直播互动装置及直播设备，在至少两个直播发起端发起加入同一直播间的请求时，将直播间的直播背景视频流和各直播发起端发起的直播视频流进行合成，得到包括同一直播背景下各虚拟主播之间的互动信息的直播互动视频流，增强了直播的交互性，为实现多样化的互动方式提供了可能。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本公开实施例提供的应用场景示意图。

图2为本公开实施例提供的直播设备的方框示意图。

图3为本公开实施例提供的直播互动方法的流程示意图。

图4为本公开实施例提供的直播互动方法的另一流程示意图。

图5为本公开实施例提供的一种直播互动界面示意图。

图6为本公开实施例提供的直播互动装置包括的功能模块的方框示意图。

图标：10-直播设备；12-存储器；13-直播互动装置；14-处理器；131-视频流获得模块；132-视频流接收模块；133-视频流合成模块；20-直播发起端；30-直播接收端。

具体实施方式

鉴于现今直播过程中的互动方式较为单一，交互性有待提高，为了丰富直播互动性，在直播过程中可以在直播界面展示虚拟主播(主播的虚拟形象)，通过该虚拟主播与观众进行互动，以提升交互性，进而提升用户体验。然而，直播过程通常是一个主播与多个观众进行互动，互动效果和直播气氛较弱。或者多个位于不同位置的主播接入同一个直播间与多个观众进行互动，然而此种方式仅为简单的画面合成，直播过程中在直播界面展示的每个主播都处于各自的直播背景，并且都为实际形象直播，缺乏现场真实性，各主播之间的交互性亦有待提升。

例如，一般来说，观众可能同时关注不同的主播，或者不同的主播可能就相同的直播主题分别在不同的直播间进行直播。如果观众想要在某个时间段分别观看所关注的不同主播的直播内容，则需要不断的在不同的直播间进行切换才能实现。相应地，若不同的主播就相同话题在不同的直播间进行直播，也无法让同一观众同时观看不同直播间的直播内容，从而导致直播的交互感以及体验感都有所欠缺。

有鉴于此，本公开提供一种直播互动方法、直播互动装置及直播设备，各主播分别对应一虚拟主播，在至少两个直播发起端发起加入同一直播间的请求时，将直播间的直播背景视频流和各直播发起端发起的直播视频流进行合成，得到包括同一直播背景下各虚拟主播之间的互动信息的直播互动视频流，即使各主播位于不同位置，接入同一直播间之后，展现出的为在同一直播背景下的直播交互，增强了直播的交互性，为实现多样化的互动方式提供了可能，增强了直播交互体验。

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本公开的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

如图1所示，本公开实施例提供了一种直播互动方案的应用场景，其中，直播设备10与直播发起端20和直播接收端30通信连接。直播设备10可以是为直播发起端20和直播接收端30提供直播服务的服务器。直播发起端20可以为主播端对应的终端设备，主播可以通过直播发起端20向直播设备10发起加入直播间的请求，将直播视频流发送至直播设备10。直播接收端30可以为观众端(用户端)对应的终端设备，观众可以通过直播接收端30获取直播设备10发送的直播互动视频流，从而观看直播视频。

在一些实施场景中，直播发起端20和直播接收端30可以互换使用。例如，主播可以使用直播发起端20为观众提供直播视频服务，也可以作为直播观众使用直播发起端20查看其他主播提供的直播视频。又例如，观众可以使用直播接收端30观看主播提供的直播视频，也可以作为主播使用直播接收端30为其他观众提供直播视频服务。

本实施例中，直播发起端20和直播接收端30可以是但不限于智能手机、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中，直播发起端20和直播接收端30中可以安装有用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序app、web(worldwideweb，全球广域网)网页、小程序等。

图1中仅示出了直播设备10与一个直播发起端20和一个直播接收端30通信连接的示意图，应当理解，本公开中的直播设备10可以与多个直播发起端20和多个直播接收端30通信连接。

请结合参阅图2，在一种实现方式中，所述直播设备10可以包括存储器12、直播互动装置13和处理器14。所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述直播互动装置13包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述直播互动装置13所包括的软件功能模块及计算机程序等，以实现本公开中的直播互动方法。

可以理解，图2所示的结构仅为示意，所述直播设备10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置，例如，直播设备10还可以包括用于与其它设备进行信息交互的通信单元。其中，图2中所示的各组件可以采用硬件、软件或其组合实现。

请结合参阅图3，本公开实施例提供一种可应用于上述提供直播服务的直播设备10的直播互动方法。其中，所述直播互动方法有关的流程所定义的方法步骤可以由所述直播设备10实现。下面将对图3所示的具体流程进行详细阐述。

步骤s110：根据至少两个直播发起端20发起的加入同一直播间的请求，获得直播背景视频流。

在一种实现方式中，直播设备10中可以存储不同场景分别对应的直播间，若存在至少两个直播发起端20选择同一场景，则判定该至少两个直播发起端发起加入与该同一场景对应的同一直播间的请求。

其中，各直播间分别对应的场景可以灵活设定，例如，可以为互动玩游戏的场景、互动主持的场景、互动比赛的场景等。与不同场景对应的各直播间的直播背景视频流分别设置，例如，与互动玩游戏的场景对应的直播间的背景视频流可以为模拟出的所玩游戏的场景。又例如，与互动主持的场景对应的直播间的背景视频流可以为模拟出的所主持的场景，场景中可以包括麦克风、乐队、舞台等。又例如，背景视频流还可以包括背景特效等。基于此，在存在至少两个直播发起端20发起加入同一直播间的请求时，即可获得所请求加入的直播间的直播背景视频流。

可以理解的是，各直播间的直播背景视频流可以存储在直播设备10本地，也可以存储在直播设备10能够访问的云端，本公开对此不作限制。

步骤s120：接收每个所述直播发起端20发送的直播视频流，所述直播视频流中包括该直播发起端20对应的虚拟主播的视频流。

在一种实现方式中，各主播分别对应一虚拟形象，该虚拟形象构成虚拟主播，各直播发起端20可以获取主播的直播视频数据并根据主播的直播视频数据生成包括虚拟主播的视频流的直播视频流。直播设备10接收请求加入同一直播间的各直播发起端20发送的直播视频流，即可得到各直播发起端20对应的各虚拟主播在同一直播背景中的视频流。

本公开中，直播视频流可以通过多种方式得到，例如，直播发起端20可以实时获取主播所执行的直播操作，如声音、表情、动作等，基于所获取的主播的直播操作，控制虚拟主播执行对应的操作，生成包括虚拟主播的视频流的直播视频流。

在一种实现方式中，基于所获取的主播的直播操作，控制虚拟主播执行对应的操作，生成包括虚拟主播的视频流的直播视频流包括：直播发起端20实时获取主播的声音、表情、动作、外形(发型、衣着类型、颜色等)，并参照所获取的主播的声音、表情、动作和外形，自动调整虚拟主播的外形，并结合声音控制虚拟主播执行类似的表情和动作，根据调整外形后的虚拟主播所执行的表情和动作，以及主播的声音生成包括虚拟主播的视频流的直播视频流。

在另一种实现方式中，基于所获取的主播的直播操作，控制虚拟主播执行对应的操作，生成包括虚拟主播的视频流的直播视频流包括：直播发起端20实时获取主播通过声音、动作等发出的直播操作，该直播操作包括通过声音、手势等控制虚拟形象的移动方向、所执行的动作、表情、所发出的声音、所展示的外形等，直播发起端20将虚拟主播根据直播操作所展示的外形、所执行的动作和表情，以及发出的声音生成包括虚拟主播的视频流的直播视频流。

步骤s130：将所述直播视频流和直播背景视频流进行合成，得到直播互动视频流，并将所述直播互动视频流发送至直播接收端30。

可以通过以下方式得到直播互动视频流：将所述至少两个直播发起端20发送的直播视频流中的虚拟主播的视频流进行合成，得到至少两个虚拟主播的互动视频流。将所述互动视频流和直播背景视频流进行合成，得到直播互动视频流。

其中，将虚拟主播的视频流进行合成的方式有多种，例如，发起的加入直播间的请求中可以包括画面合成参数，画面合成参数包括虚拟主播的尺寸参数和所占区域大小参数。相应地，直播设备10可以根据每个所述直播发起端20发起的加入直播间的请求，分别获得画面合成参数，进而根据获得的各所述画面合成参数将每个所述直播视频流中的虚拟主播的视频流进行合成。

在直播视频流中包括调整外形后的虚拟主播所执行的表情和动作，以及主播的声音的情况下，将各直播视频流合成得到的至少两个虚拟主播的互动视频流包括：至少两个虚拟主播相互之间的朝向、各虚拟主播的动作、各虚拟主播的外形和声音。

在一种实现方式中，直播设备10获得直播背景视频流之后，可以将直播背景视频流分别发送至发起加入同一直播间的请求的各直播发起端20并进行展示，各主播在展示有直播背景的直播发起端20对虚拟主播在直播背景中的尺寸参数、所占区域的大小参数等画面合成参数进行调整，将完成参数调整之后的画面合成参数发送至直播设备10，直播设备10从而结合直播背景和接收到的各画面合成参数对接收到的各直播视频流中的虚拟主播的视频流进行合成。

直播设备10可以在接收到各画面合成参数之后，自动分配各虚拟主播在直播背景中的位置。位置分配方式有多种，例如，可以为自动分配。又例如，可以根据预存的各主播级别进行分配，如将定义的更优位置分配给级别更高的主播。

虚拟主播在直播背景中的位置亦可以由各主播在直播发起端20上自定义设置，该种情况下，直播设备10可以在任一主播选择虚拟主播在直播背景中的位置信息之后，将该主播所选择的虚拟主播的位置信息实时共享给请求加入同一直播间的其他直播发起端20，以提醒其他主播选择其他位置，以此类推，直至完成对各虚拟主播在直播背景中的位置选择。

合成的直播互动视频流可以发送至各直播发起端20，使得加入同一直播间的各主播能够准确获知展现给观众的直播互动画面，并根据展现给观众的直播互动画面调节直播操作，从而进一步提升各主播(如位于不同位置的各主播)之间的交互真实性，提升各主播的交互体验。

考虑到目前的直播过程主要为平面视角，对于观众而言无法切换成立体的场景，无法从各角度调整虚拟主播的视角。为了改善该问题，本公开中，各虚拟主播和背景可以为三维(threedimensions，3d)画面，从而提高了直播画面立体感和真实感，并支持各角度调整虚拟主播的视角，满足个性化的直播观看视角需求。具体地，在一种实现方式中，本公开实施例中的直播背景视频流、直播视频流和直播互动视频流为3d视频流。3d的直播背景视频流、直播视频流和直播互动视频流可以基于预设的3d模型生成。

请结合参阅图4，在展现的直播互动视频流为3d视频流的情况下，直播互动方法还可以包括以下步骤。

步骤s140：接收直播视角调节请求。

其中，直播视角调节请求可以由直播发起端20发送，也可以由直播接收端30发送。直播视角调节请求中可以包括自定义的调节信息，也可以包括默认的调节信息。其中，自定义的调节信息可以包括请求调节的角度、方向等信息。默认的调节信息可以为按一定时间间隔自动调节的角度、方向等信息。

步骤s150：根据所述直播视角调节请求对所述直播互动视频流中的虚拟主播和背景的直播角度进行调节，生成调节直播角度后的直播互动视频流。

在直播视角调节请求中包括调节信息时，根据调节信息对虚拟主播和背景的直播角度进行调节，从而生成调节直播角度后的直播互动视频流。

步骤s160：将调节直播角度后的直播互动视频流进行发送。

将调节直播角度后的直播互动视频流发送至请求调节直播视角的直播发起端20和/或直播接收端30，从而在请求调节直播视角的直播发起端20和/或直播接收端30展示调节直播角度后的直播互动画面。

为了更为清楚地阐述本公开的实现方案，现以下述场景为例对本公开的实现方案进行举例说明。

假设主播a和主播b位于不同位置处，主播a对应虚拟主播a，主播b对应虚拟主播b。主播a通过直播发起端a选择一多人表演场景，并设定画面合成参数，如虚拟主播a加入多人表演场景之后的尺寸参数和所占区域大小参数。主播b通过直播发起端b选择同一多人表演场景，并设定画面合成参数，如虚拟主播b加入多人表演场景之后的尺寸参数和所占区域大小参数。该多人表演场景对应同一直播间c，该直播间c的背景视频流为一多人表演舞台的3d视频流，该多人表演舞台的3d视频流中包括舞台布景、灯光、表演设备如麦克风、乐队等。那么，直播设备判定直播发起端a和直播发起端b发起加入同一直播间c的请求，从而执行以下操作。

直播发起端a获得主播a执行的直播操作(主播a的声音、表情和动作)，基于主播a的声音、表情和动作，控制虚拟主播a执行与主播a类似的表情和动作，并进行声音合成，从而生成包括虚拟主播a的3d视频流的直播视频流a，将直播视频流a发送至直播设备。

直播发起端b获得主播b执行的直播操作(主播b通过声音、手势所控制的虚拟形象b的移动方向、所执行的动作、表情、所发出的声音等)，根据直播操作控制虚拟主播b执行相应的动作和表情，以及发出的声音，从而生成包括虚拟主播b的3d视频流的直播视频流b，将直播视频流b发送至直播设备。

直播设备获得直播间c的背景视频流，并接收直播发起端a发送的直播视频流a和接收直播发起端b发送的直播视频流b。直播设备根据直播发起端a和直播发起端b发起的请求中的画面合成参数，将虚拟主播a和虚拟主播b的3d视频流进行合成，得到虚拟主播a和虚拟主播b的3d互动视频流，该3d互动视频流中包括虚拟主播a和虚拟主播b尺寸、所占区域、所执行的动作、表情、所发出的声音等。直播设备将虚拟主播a和虚拟主播b的3d互动视频流和直播间c的背景视频流进行合成，得到虚拟主播a和虚拟主播b在直播间c所对应的同一多人表演舞台上的3d直播互动视频流。

直播设备将得到的3d直播互动视频流发送至观众的直播接收端，观众即可在直播接收端观看到虚拟主播a和虚拟主播b在同一3d多人表演舞台上的直播画面。请结合参阅图5，为本公开提供的一种虚拟主播a和虚拟主播b在同一3d多人表演舞台上的直播画面示意图。可以理解的是，图5中通过几何图形描绘的人物形象、背景等仅为示意。

可以理解的是，上述举例仅为示意，直播互动方法还可以通过其他方式实现，例如，直播设备可以将得到的3d直播互动视频流实时共享给直播发起端a和直播发起端b，从而主播a和主播b可以基于实时共享的3d直播互动视频流调整直播操作，使得处于不同位置的主播a和主播b展现出的直播交互画面更为真实。

基于上述3d直播互动视频流所展示的3d直播画面，在主播a、主播b、观众中的任意一者需要调节直播画面观看角度时，只需通过直播发起端、直播接收端向直播设备发送直播视角调节请求，自定义设置请求调节的角度、方向。直播设备接收到该直播视角调节请求之后，根据直播视角调节请求中请求调节的角度和方向对3d直播互动视频流中的虚拟主播和背景的直播角度进行调节，即可生成调节直播角度后的3d直播互动视频流。直播设备将调节直播角度后的直播互动视频流发送至相应的直播发起端、直播接收端，即可展示出所需观看角度的直播画面。

可以理解的是，本公开中的直播互动方法还可以有其他扩展性实现方案，例如，主播还可以对3d直播背景中的布置进行自定义设置。

请结合参阅图6，本公开实施例还提供一种直播互动装置13，可应用于上述提供直播服务的直播设备10。其中，直播互动装置13包括视频流获得模块131、视频流接收模块132和视频流合成模块133。

视频流获得模块131用于根据至少两个直播发起端发起的加入同一直播间的请求，获得直播背景视频流。

在本实施例中，视频流获得模块131可用于执行图3所示的步骤s110，关于视频流获得模块131的相关内容可以参照前文对步骤s110的描述。

视频流接收模块132用于接收每个所述直播发起端20发送的直播视频流，所述直播视频流中包括该直播发起端对应的虚拟主播的视频流。

在本实施例中，视频流接收模块132可用于执行图3所示的步骤s120，关于视频流接收模块132的相关内容可以参照前文对步骤s120的描述。

视频流合成模块133用于将所述直播视频流和直播背景视频流进行合成，得到直播互动视频流，并将所述直播互动视频流发送至直播接收端。

在本实施例中，视频流合成模块133可用于执行图3所示的步骤s130，关于视频流接收模块132的相关内容可以参照前文对步骤s130的描述。

在本公开实施例中，对应于图3和图4所示的直播互动方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述直播互动方法的各个步骤。

其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述直播互动方法的解释说明。

综上所述，本公开提供的直播互动方法、直播互动装置13和直播设备10，通过对直播背景视频流和各直播发起端发起的直播视频流进行合成，得到同一直播背景下包括各虚拟主播之间的互动信息的直播互动视频流，增强了直播的交互性，为实现多样化的互动方式提供了可能。通过将请求加入同一直播间的各主播的虚拟形象合并到同一3d背景中进行直播互动，从而显著提高不同主播(如位于不同位置的主播)之间的互动方式和展现给观众的互动真实性，从而提升直播交互性和可玩性。

在本公开实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。