交互方法、系统、装置、电子设备及存储介质与流程

1.本申请涉及计算机领域，具体而言，涉及一种交互方法、系统、装置、电子设备及存储介质。


背景技术：

2.主播在直播的过程中，不仅需要输出直播内容，还需要与观众有良好的互动。然而，随着直播行业的发展，现在出现了多种多样的直播方式，其中一些直播方式在直播的过程中，存在主播与观众交互不便的问题。


技术实现要素：

3.为了克服现有技术中的至少一个不足，第一方面，本申请实施例提供一种交互方法，应用于与直播终端以及观众终端通信连接的服务器，所述方法包括：
4.获取所述直播终端发送的直播视频；
5.检测所述直播视频中是否出现预设直播事件；
6.若出现所述预设直播事件，则向所述观众终端发起与所述预设直播事件相对应的交互请求，其中，所述交互请求用于触发所述观众终端显示与所述预设直播事件相对应的交互画面。
7.第二方面，本申请实施例提供一种交互方法，应用于与服务器通信连接的观众终端，所述服务器与直播终端通信连接，所述方法包括：
8.接收所述服务器发送的交互请求，其中，所述交互请求表征所述服务器检测到所述直播终端发送的直播视频中出现了预设直播事件；
9.根据所述交互请求，显示与所述预设直播事件相对应的交互画面。
10.第三方面，本申请实施例提供一种交互系统，所述交互系统包括服务器、直播终端以及观众终端；
11.所述直播终端发送直播视频；
12.所述服务器检测所述直播视频中是否出现预设直播事件；
13.若出现所述预设直播事件，则向所述观众终端发起与所述预设直播事件相对应的交互请求；
14.所述观众终端根据所述交互请求，显示与所述预设直播事件相对应的交互画面。
15.第四方面，本申请实施例提供一种交互装置，应用于与直播终端以及观众终端通信连接的服务器，所述交互装置包括：
16.视频获取模块，用于获取所述直播终端发送的直播视频；
17.事件检测模块，用于检测所述直播视频中是否出现预设直播事件；
18.交互请求模块，用于若出现所述预设直播事件，则向所述观众终端发起与所述预设直播事件相对应的交互请求，其中，所述交互请求用于触发所述观众终端显示与所述预设直播事件相对应的交互画面。
19.第五方面，本申请实施例提供一种交互装置，应用于与服务器通信连接的观众终端，所述服务器与直播终端通信连接，所述交互装置包括：
20.交互接收模块，用于接收所述服务器发送的交互请求，其中，所述交互请求表征所述服务器检测到所述直播终端发送的直播视频中出现了预设直播事件；
21.交互响应模块，用于根据所述交互请求，显示与所述预设直播事件相对应的交互画面。
22.第六方面，本申请实施例提供一种电子设备，所述电子设备包括处理器以及存储器，所处存储器存储有计算机程序，所述计算机程序被处理器执行时，实现所述交互方法。
23.第七方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述交互方法。
24.相对于现有技术而言，本申请具有以下有益效果：
25.本申请实施例提供的交互方法、系统、装置、电子设备及存储介质中，服务器对直播终端发送的直播视频进行识别，在检测到直播视频中的预设直播事件时，向观众终端发起交互请求。由于交互请求由服务器自动识别完成，继而不需要主播端刻意发起交互操作即可在直播过程中与观众进行互动。
附图说明
26.为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1为本申请实施例提供的场景示意图；
28.图2为本申请实施例提供的交互方法步骤示意图之一；
29.图3为本申请实施例提供的交互方法步骤示意图之二；
30.图4为本申请实施例提供的交互方法步骤示意图之三；
31.图5为本申请实施例提供的交互系统交互流程示意图；
32.图6为本申请实施例提供的交互装置示意图之一；
33.图7为本申请实施例提供的交互装置示意图之二；
34.图8为本申请实施例提供的电子设备结构示意图。
35.图标：100
‑
服务器；120
‑
存储器；130
‑
处理器；140
‑
通信装置；200
‑
直播终端；300
‑
观众终端；1101
‑
视频获取模块；1102
‑
事件检测模块；1103
‑
交互请求模块；2101
‑
交互接收模块；2102
‑
交互响应模块。
具体实施方式
36.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
37.因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护
的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
38.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
39.在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
40.随着直播行业的发展，现在出现了多种多样的直播方式，其中一些直播方式在直播的过程中，存在主播与观众交互不便的问题。
41.以直播游戏为例，主播进行游戏直播的过程中，产生一些精彩游戏操作瞬间(例如，《英雄联盟》、《王者荣耀》游戏中的五杀、超神等瞬间)。然而，主播一方面需要专注地玩游戏，继而难以分心与观众进行互动，另一方面，网络游戏在比赛过程中无法单方面暂停，主播往往只能在比赛结束或其他空闲时间，再与观众进行互动，继而错过了最佳的互动时机。
42.鉴于此，本申请实施例提供一种交互方法，应用于与直播终端以及观众终端通信连接的服务器。其中，该服务器通过对直播终端发送的直播视频进行识别，在检测到直播视频中的预设直播事件(例如，《英雄联盟》、《王者荣耀》游戏中的五杀、超神等事件)时，向观众终端发起交互请求。由于交互请求由服务器自动识别完成，继而不需要主播端刻意发起交互操作即可在直播过程中与观众进行互动。
43.为了清楚阐述本申请实施例提供的技术方案，下面先结合图1对直播场景进行示例性的介绍。如图1所示，直播场景下，通常需要服务器100、直播终端200以及观众终端300。其中，直播终端200用于产生直播视频，经网络推送给服务器100。该服务器100检测位于该直播视频对应房间号内的观众终端300，并将直播视频发送给观众终端300。如此，观众终端300的观众即可观看主播的直播内容。
44.示例性的，该直播内容可以是，但不限于，游戏、唱歌、跳舞等。
45.基于上述直播场景的介绍，下面结合图2所示的交互方法示意图对该方法的各步骤进行详细阐述。如图2所示，应用于上述服务器100的交互方法，包括：
46.步骤s103a，获取直播终端发送的直播视频。
47.步骤s104a，检测直播视频中是否出现预设直播事件。
48.本申请实施例中，根据直播视频内容的不同，需要检测的预设直播事件同样存在一定的差异。
49.示例性的，在游戏《英雄联盟》中，根据玩家击杀的对手数量，可以分为三杀、五杀以及超神等事件。服务器100可以检测《英雄联盟》的直播视频中，是否出现了三杀、五杀以及超神等事件。
50.当然，该直播视频还可以是真人舞蹈直播视频。由于主播在跳舞的时候，需要远离
直播终端200，以达到展示真人全貌的目的，因此，导致主播在直播的过程中，难以直接通过设备与观众进行互动。
51.该实施方式中，上述预设直播事件可以是主播做出了特定动作(例如，主播用双手做出桃心形状、鞠躬、飞吻等)。
52.步骤s107a，若出现预设直播事件，则向观众终端发起与预设直播事件相对应的交互请求。
53.其中，交互请求用于触发观众终端300显示与预设直播事件相对应的交互画面。该交互画面的具体交互内容，本领域技术人员可以根据实际需求，进行适应性调整。
54.示例性的，同样以上述游戏《英雄联盟》为例，若服务器100检测到《英雄联盟》的直播视频中出现了五杀事件，则向观众终端300发送携带该事件对应标识的交互请求。该交互请求可以触发观众终端300显示预设的庆祝特效。
55.当然，交互请求还可以触发观众终端300显示预设的打分留言界面。观众终端300的观众可以通过该打分留言界面对上述五杀事件进行打分，并对主播完成上述五杀事件的游戏操作技巧进行评论。直播终端200的主播也可以在游戏结束后，查看评分结果以及评论，继而知道观众对自己直播效果的评价。
56.另外，考虑到直播往往会依据具体的直播内容持续一定的直播时长，因此，无论出现预设直播事件或者未出现预设直播事件，该服务器100均需要在直播期间持续获取直播终端200发送的直播视频，即执行步骤s101a。
57.因此，该服务器100对直播终端200发送的直播视频进行识别，在检测到直播视频中的预设直播事件时，向观众终端300发起交互请求。由于交互请求由服务器100自动识别完成，继而不需要主播端刻意发起交互操作即可在直播过程中与观众进行互动。
58.本申请实施例中，还考虑到同一直播视频中，可能存在多种预设直播事件，然而，主播可能仅关注多种预设直播事件中的一部分，因此，请参照图3，在开始直播之前，该服务器100执行的交互方法还包括：
59.步骤s101a，接收直播终端发送的事件配置请求。
60.步骤s102a，根据事件配置请求，从候选直播事件中确定出预设直播事件。
61.示例性的，同样以上述游戏《英雄联盟》为例。三杀、五杀以及超神等候选直播事件中，一些主播可能只关注五杀事件，而另外一些主播则关注超神事件。鉴于此，为了适应不同主播的个性化需求，本申请实施例中，主播在直播之前，可以使用直播终端200将只关注五杀事件这一需求，以事件配置请求的方式发送给服务器100。服务器100基于该事件配置请求，只有在检测到直播视频中出现了五杀时，才会向观众终端300发送交互请求。相对应的，该服务器100会忽略三杀以及超神等事件。
62.因此，本申请实施例中，该服务器可以通过事件配置请求满足不同主播的个性化需求。
63.发明人研究发现，无论是真人直播或者是游戏直播，候选直播事件发生时，都会呈现相对应的画面内容和/或声音内容。
64.同样以上述真人舞蹈直播为例，该服务器100可以通过图像识别的方式，识别视频帧中主播是否做出了用双手做出桃心形状、鞠躬、飞吻等动作。
65.同理，上述游戏《英雄联盟》的直播视频中，游戏会在出现三杀、五杀以及超神等事
件后，在游戏界面中呈现相对应的画面特效，并伴随有相对应的音效。
66.因此，上述步骤s140a包括以下子步骤：
67.步骤s140a
‑
1，从所述直播视频中截取视频帧和/或音频片段。
68.示例性的，该服务器100可以每间隔第一预设时长，从直播视频中截取一视频帧，和/或基于该视频帧的时间戳，截取该时间戳前后第二预设时长内的音频片段。其中，该第一预设时长可以是1s，该第二预设时长可以是0.5s。当然，本领域技术人员可以根据实际需求，适应性调整第一预设时长和第二预设时长，其基于本申请实施例不需要做出创造性的贡献。
69.步骤s140a
‑
2，根据视频帧和/或音频片段的识别结果，判断直播视频中是否出现预设直播事件。
70.在本申请实施例一种可能的实现方式中，该服务器100可以通过携带候选直播事件特征信息的训练样本，对待训练的识别模型进行训练，获得预训练的识别模型，并将该预训练的识别模型配置到服务器100中，用于检测直播视频中的候选直播事件。
71.基于该识别模型，该服务器100从直播视频中截取视频帧和/或音频片段；根据识别模型对视频帧和/或音频片段的识别结果，判断直播视频中是否出现候选直播事；若出现候选直播事件，则进一步判断该候选直播事件是否为预设直播事件。
72.其中，该服务器100记录有预设直播事件的事件标识，上述视频帧和/或音频片段的识别结果同样为候选直播事件的事件标识，将两者进行比较，判断该候选直播事件是否为预设直播事件。
73.在本申请实施例另外一种可能的实现方式中，该服务器100针对预设直播事件，配置有基于携带预设直播事件特征信息的训练样本，获得的预训练的识别模型。基于该识别模型，该服务器100从直播视频中截取视频帧和/或音频片段；根据识别模型对视频帧和/或音频片段的识别结果，判断直播视频中是否出现预设直播事件。
74.进一步地，本申请实施例中，考虑到直播视频为多个直播对象的直播内容，因此，这就导致不仅需要检测预设直播事件，还需要确定出产生该预设直播事件的对象是否为预设参考对象。
75.示例性的，同样以上述游戏《英雄联盟》为例。《英雄联盟》的游戏画面中，通常会显示多个玩家的角色，因此，当出现三杀、五杀或者超神等事件，且游戏界面中有多个玩家的时，则需要确定出产生该事件的角色是否为主播所选择的游戏角色。
76.鉴于此，请参照图3，在上述步骤s107a之前，服务器100所执行的交互方法还包括：
77.步骤s105a，从多个直播对象中确定出触发预设直播事件的目标对象。
78.其中，以游戏直播场景为例。首先，游戏直播的原理在于，直播终端200运行有屏幕录制软件，该软件将直播终端200的显示内容录制成直播视频，发送给服务器100。因此，该直播视频中不仅携带有游戏内容，还携带有直播终端200中显示的标识信息。
79.该标识信息可以是，但不限于，主播击杀对手的统计数据、游戏角色携带的装备以及游戏事件的统计信息。
80.因此，根据上述标识信息，可以确定出触发该预设直播事件的目标对象。
81.步骤s106a，判断目标对象是否为预设参考对象。
82.步骤s107a，若为预设参考对象，则向观众终端发起与预设直播事件相对应的交互
请求。
83.由此可见，当存在多个直播对象的直播视频，在向观众终端300发送交互请求之前，对触发预设直播事件的对象进行校验，以达到避免误触发的目的。
84.基于相同的发明构思，本申请实施例还提供一种交互方法，应用于与服务器100通信连接的观众终端300，服务器100还与观众终端300通信连接。下面结合图4，对观众终端300执行的交互方法的各步骤进行详细阐述。如图4所示，包括：
85.步骤s101b，接收服务器100发送的交互请求。
86.其中，交互请求表征服务器100检测到直播终端200发送的直播视频中出现了预设直播事件。
87.步骤s102b，根据交互请求，显示与预设直播事件相对应的交互画面。
88.其中，该交互画面的具体显示内容，本领域技术人员可以根据具体直播视频的内容，以及对应的具体事件，进行适应性配置。
89.基于上述服务器100以及观众终端300所执行的交互方法，本申请实施例还提供一种交互系统，交互系统包括服务器100、直播终端200以及观众终端300。
90.该交互系统中，直播终端200发送直播视频。
91.服务器100检测直播视频中是否出现预设直播事件。
92.若出现预设直播事件，则向观众终端300发起与预设直播事件相对应的交互请求。
93.观众终端300根据交互请求，显示与预设直播事件相对应的交互画面。
94.关于该交互系统，作为一种可能的实现方式，下面结合图5所示的交互系统示意图，以游戏直播为例，对该交互系统的交互流程进行详细说明。
95.如图5所示，服务器100中运行有画面识别系统以及第一业务应用程序。直播终端200中配置有直播软件以及基于该直播软件的第二业务程序(类似于小程序)。
96.主播使用直播终端200启动直播软件后，启动第二业务程序；通过第二业务程序进行预设直播事件以及预设直播事件对应的交互画面的配置，将配置结果以事件配置请求的方式发送给服务器100，使得服务器100启动事件监听器。
97.服务器100中的第一业务程序响应事件配置请求，通过事件监听器向服务器100中运行的画面识别系统订阅事件消息。
98.主播在进行游戏直播的过程中，直播终端200的直播软件产生直播视频，并推送给服务器100。
99.该服务器100中的画面识别系统从直播视频中截取视频帧，进行图像识别；将识别结果以事件消息的形式推动给服务器100中的第一业务程序。其中，该事件消息包括识别的事件类型以及事件触发对象。
100.服务器100中的第一业务应用程序根据事件消息，通过事件配置请求对事件消息进行校验，若满足交互触发条件，则向观众终端300发送交互请求。
101.观众终端300根据该交互请求，显示与预设直播事件相对应的交互画面。观众终端300的观众可以根据该交互画面参与该预设直播事件的交互。
102.基于与服务器100所执行交互方法相同的发明构思，本申请实施例还提供一种交互装置，应用于与直播终端200以及观众终端300通信连接的服务器100。该交互装置包括至少一个可以软件形式存储于存储器中的功能模块。请参照图6，从功能上划分，该交互装置
包括：
103.视频获取模块1101，用于获取直播终端200发送的直播视频。
104.其中，该视频获取模块1101对应计算机可执行指令被处理器执行时，实现图2中的步骤s103a，关于该视频获取模块1101的详细描述，可以参考步骤s103a的详细描述。
105.事件检测模块1102，用于检测直播视频中是否出现预设直播事件。
106.其中，该事件检测模块1102对应计算机可执行指令被处理器执行时，实现图2中的步骤s104a，关于该事件检测模块1102的详细描述，可以参考步骤s104a的详细描述。
107.交互请求模块1103，用于若出现预设直播事件，则向观众终端300发起与预设直播事件相对应的交互请求，其中，交互请求用于触发观众终端300显示与预设直播事件相对应的交互画面。
108.其中，该交互请求模块1103对应计算机可执行指令被处理器执行时，实现图2中的步骤s107a，关于该交互请求模块1103的详细描述，可以参考步骤s107a的详细描述。
109.当然，上述视频获取模块1101、事件检测模块1102以及交互请求模块1103还可以用于实现服务器100所执行交互方法的其他步骤或者子步骤，本申请实施例不做具体的限定。
110.基于与直播终端200所执行交互方法相同的发明构思，本申请实施例还提供一种交互装置，应用于与服务器100通信连接的直播终端200，服务器100与观众终端300通信连接。该交互装置包括至少一个可以软件形式存储于存储器中的功能模块。请参照图7，从功能上划分，该交互装置包括：
111.交互接收模块2101，用于接收服务器100发送的交互请求，其中，交互请求表征服务器100检测到直播终端200发送的直播视频中出现了预设直播事件。
112.其中，其中，该交互接收模块2101对应计算机可执行指令被处理器执行时，实现图4中的步骤s101b，关于该交互接收模块2101的详细描述，可以参考步骤s101b的详细描述。
113.交互响应模块2102，用于根据交互请求，显示与预设直播事件相对应的交互画面。
114.其中，其中，该交互响应模块2102对应计算机可执行指令被处理器执行时，实现图4中的步骤s102b，关于该交互响应模块2102的详细描述，可以参考步骤s102b的详细描述。
115.本申请实施例还提供一种电子设备。请参照图8，该电子设备包括处理器130以及存储器120，所处存储器120存储有计算机程序。其中，若该电子设备是上述服务器100，计算机程序被处理器执行时，实现服务器100所执行的交互方法。
116.若该电子设备是上述观众终端300，则实现观众终端300所执行的交互方法。该观众终端300可以是，但不限于智能手机、个人电脑(personal computer，pc)、平板电脑、个人数字助理(personal digital assistant，pda)、移动上网设备(mobile internet device，mid)等。
117.请再次参见图8，该电子设备还包括通信装置140，该存储器120、处理器130以及通信装置140等元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
118.其中，该存储器120可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read
‑
only memory，prom)，可擦除只读存储器(erasable programmable read
‑
only memory，eprom)，
电可擦除只读存储器(electric erasable programmable read
‑
only memory，eeprom)等。其中，存储器120用于存储程序，该处理器130在接收到执行指令后，执行该程序。该通信装置140用于通过网络收发数据。
119.该处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
120.本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，计算机程序被处理器执行时，实现上述服务器100执行的交互方法或者观众终端300所执行的交互方法。
121.综上所述，本申请实施例提供的交互方法、系统、装置、电子设备及存储介质中，服务器对直播终端发送的直播视频进行识别，在检测到直播视频中的预设直播事件时，向观众终端发起交互请求。由于交互请求由服务器自动识别完成，继而不需要主播端刻意发起交互操作即可在直播过程中与观众进行互动。
122.在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
123.另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
124.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
125.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
126.以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。