麦上用户语音状态标识方法、装置、终端设备及介质与流程

1.本技术涉及云游戏技术领域，尤其涉及一种麦上用户语音状态标识方法、装置、终端设备及介质。


背景技术：

2.在云游戏直播房间内，通常会有多个麦位供房间内的观众上麦进行语音交流。上麦观众说话或听到的声音都是通过游戏多媒体引擎(gme)进行传输的。gme引擎可以获取当前麦上观众的语音状态，但其成本很高。为了支持更多人进入房间，一般麦下观众看到视频和听到的声音都是通过拉取内容分发网络(cdn)发出的音视频流来获取的，但该方式会导致麦下用户无法获取麦上用户的语音状态信息，虽然能获取到房间里的视频和音频信息，但是却不能标识出是哪个用户在说话，如此就会为多人房间内的交流带来诸多不便。


技术实现要素：

3.本技术的目的在于提供一种麦上用户语音状态标识方法、装置、终端设备及介质，以解决现有的直播房间内麦下用户通过拉取cdn获取房间的音视频时，无法标识麦上用户的问题。
4.为实现上述目的，本技术提供一种麦上用户语音状态标识方法，应用于云服务器端，所述方法包括：
5.作为用户身份加入游戏多媒体引擎中，读取游戏多媒体引擎采集到的麦上用户的音视频信息；
6.将所述音视频信息封装在补充增强信息的扩展字段中；
7.将扩展字段发送至内容分发网络，以使麦下用户进入云游戏房间后拉取内容分发网络中的音视频流，并通过解析所述扩展字段以标识麦上用户语音状态。
8.进一步，作为优选地，在所述作为用户身份加入游戏多媒体引擎中之前，还包括：
9.发送采集指令至游戏多媒体引擎，以使所述游戏多媒体引擎采集麦上用户的音视频信息。
10.本技术还提供一种麦上用户语音状态标识方法，应用于麦下用户端，所述方法包括：
11.进入云游戏房间，读取内容分发网络中的音视频流；
12.解析音视频流中的扩展字段，所述扩展字段为游戏多媒体引擎将采集的麦上用户的音视频信息封装在补充增强信息的扩展字段中得到；
13.根据解析后的扩展字段标识麦上用户语音状态。
14.进一步，作为优选地，所述根据解析后的扩展字段标识麦上用户语音状态，包括：
15.将解析后的扩展字段中的音视频信息与云游戏房间中各用户的声音波纹进行匹配，以进行麦上用户语音状态标识。
16.本技术还提供一种麦上用户语音状态标识装置，应用于云服务器端，所述装置包
括：
17.进入单元，用于作为用户身份加入游戏多媒体引擎中，读取游戏多媒体引擎采集到的麦上用户的音视频信息；
18.封装单元，用于将所述音视频信息封装在补充增强信息的扩展字段中；
19.发送单元，用于将扩展字段发送至内容分发网络，以使麦下用户进入云游戏房间后拉取内容分发网络中的音视频流，并通过解析所述扩展字段以标识麦上用户语音状态。
20.进一步，作为优选地，所述的麦上用户语音状态标识装置，还包括：
21.采集单元，用于发送采集指令至游戏多媒体引擎，以使所述游戏多媒体引擎采集麦上用户的音视频信息。
22.本技术还提供一种麦上用户语音状态标识装置，应用于麦下用户端，所述装置包括：
23.读取单元，用于进入云游戏房间，读取内容分发网络中的音视频流；
24.解析单元，用于解析音视频流中的扩展字段，所述扩展字段为游戏多媒体引擎将采集的麦上用户的音视频信息封装在补充增强信息的扩展字段中得到；
25.标识单元，用于根据解析后的扩展字段标识麦上用户语音状态。
26.进一步，作为优选地，所述标识单元，还用于：
27.将解析后的扩展字段中的音视频信息与云游戏房间中各用户的声音波纹进行匹配，以进行麦上用户语音状态标识。
28.本技术还提供一种终端设备，包括：
29.一个或多个处理器；
30.存储器，与所述处理器耦接，用于存储一个或多个程序；
31.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的麦上用户语音状态标识方法。
32.本技术还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的麦上用户语音状态标识方法。
33.相对于现有技术，本技术的有益效果在于：
34.本技术公开了一种麦上用户语音状态标识方法、装置、终端设备及介质，当该方法应用于云服务器时，包括：作为用户身份加入游戏多媒体引擎中，读取游戏多媒体引擎采集到的麦上用户的音视频信息；将所述音视频信息封装在补充增强信息的扩展字段中；将扩展字段发送至内容分发网络，以使麦下用户进入云游戏房间后拉取内容分发网络中的音视频流，并通过解析所述扩展字段以标识麦上用户语音状态。本技术通过将云服务器作为一个用户进入房间，并将游戏多媒体引擎采集的麦上用户的音视频信息以扩展字段的形式发送至内容分发网络中，最终实现了麦下用户对麦上用户语音状态的识别，具有操作简单、扩展性强的优点，能够为云游戏房间内的多用户交流提供便利。
附图说明
35.为了更清楚地说明本技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本技术某一实施例提供的应用于云服务器端的麦上用户语音状态标识方法的流程示意图；
37.图2是本技术又一实施例提供的应用于云服务器端的麦上用户语音状态标识方法的流程示意图；
38.图3是本技术某一实施例提供的应用于麦下用户端的麦上用户语音状态标识方法的流程示意图；
39.图4是本技术又一实施例提供的应用于麦下用户端的麦上用户语音状态标识方法的流程示意图；
40.图5是本技术某一实施例提供的云服务器与麦下用户数据交互的原理图；
41.图6是本技术某一实施例提供的应用于云服务器端的麦上用户语音状态标识装置的结构示意图；
42.图7是本技术又一实施例提供的应用于云服务器端的麦上用户语音状态标识装置的结构示意图；
43.图8是本技术某一实施例提供的应用于麦下用户端的麦上用户语音状态标识装置的结构示意图；
44.图9是本技术某一实施例提供的终端设备的结构示意图。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
47.应当理解，在本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
48.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
49.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
50.本技术的麦上用户语音状态标识方法可以在云服务器端执行，也可以在用户端执行，为进一步说明本实施例的方案，首先对本技术所采用的术语进行解释，如下：
51.云游戏：是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力。
52.云服务器：既可以是物理机，也可以是虚拟机，不同的游戏对其cpu、gpu内存有符合自身的要求，其主要职责是完成游戏画面的渲染。
53.游戏多媒体引擎：英文全称是game multimedia engine，简称gme，为腾讯云提供
的一站式语音解决方案。
54.补充增强信息：英文全称是supplemental enhancement information，简称sei。它提供了一种向视频码流中加入额外信息的方法，是h.264/h.265类视频压缩标准的特性之一。
55.内容分发网络：内容分发网络content delivery network，简称cdn。cdn是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
56.在下面的实施例中，为了叙述方便，会用英文简称代替中文术语。
57.请参阅图1，本技术某一实施例提供一种麦上用户语音状态标识方法，应用于云服务器端。如图1所示，该麦上用户语音状态标识方法包括步骤s10至步骤s30。各步骤具体如下：
58.s10、作为用户身份加入游戏多媒体引擎中，读取游戏多媒体引擎采集到的麦上用户的音视频信息。
59.在执行步骤s10之前，通常需要执行步骤s40，如图2所示，具体为：
60.发送采集指令至游戏多媒体引擎，以使所述游戏多媒体引擎采集麦上用户的音视频信息。
61.具体地，云服务器先发送采集指令至gme，然后gme会主动采集麦上用户的音视频信息，包括麦上用户开始说话、停止说话以及音量大小等信息。
62.待gme采集好麦上用户的音视频信息后，云服务器会作为一个新的用户进入该gme，进而可以读取到gme采集到的麦上用户的音视频信息。
63.s20、将所述音视频信息封装在补充增强信息的扩展字段中。
64.本步骤中，云服务器会将读取到的音视频信息封装在sei的扩展字段中。
65.s30、将扩展字段发送至内容分发网络，以使麦下用户进入云游戏房间后拉取内容分发网络中的音视频流，并通过解析所述扩展字段以标识麦上用户语音状态。
66.本步骤中，云服务器会把扩展字段发送至cdn，即把带有sei数据的音视频流推送到cdn中进行音视频流的分发，然后麦下用户可以在进入房间后拉取cdn音视频流，并从中解析出sei的扩展字段，从中得到麦上用户的音视频信息，最后以对麦上用户的语音状态进行标注。
67.在某一实施例中，以麦下用户端为执行主体，另外提供了一种麦上用户语音状态标识方法，如图3所示。具体地，该方法包括以下步骤：
68.s01、进入云游戏房间，读取内容分发网络中的音视频流；
69.s02、解析音视频流中的扩展字段，所述扩展字段为游戏多媒体引擎将采集的麦上用户的音视频信息封装在补充增强信息的扩展字段中得到；
70.s03、根据解析后的扩展字段标识麦上用户语音状态。
71.可以理解的是，本实施例中，麦下用户进入云游戏房间后会读取cdn中的音视频流并解析其中的sei字段，最后得到麦上用户的音视频信息。
72.作为可选地实施方式，步骤s03具体包括以下子步骤，如图4所示。具体地，该步骤包括：
73.s031、将解析后的扩展字段中的音视频信息与云游戏房间中各用户的声音波纹进行匹配，以进行麦上用户语音状态标识。
74.本步骤中，麦下用户得到麦上用户的音视频信息后，可以开始进行标注。在实际应用中，麦上用户通常一个人对应一个头像，且头像附近会有声音波纹虚拟图标。当麦下用户获取到他们的音视频信息后，就可以开始进行匹配：例如语音信息的开始即标志的麦上某位用户开始展示声音波纹；语音信息的停止标志着停止展示声音波纹，而语音音量的大小则标志着声音波纹的大小(幅度)。如此，麦上用户谁在说话，麦下用户则可以清楚的分辨出来。
75.综上所述，本技术通过将云服务器作为一个用户进入房间，并将游戏多媒体引擎采集的麦上用户的音视频信息以扩展字段的形式发送至内容分发网络中，最终实现了麦下用户对麦上用户语音状态的识别，具有操作简单、扩展性强的优点，能够为云游戏房间内的多用户交流提供便利。
76.在本技术一个示例性的实施例中，还提供了在进行麦上用户语音状态标识过程中云服务器与麦下用户的数据交互过程，如图5所示。
77.具体地，gme首先会从麦上观众或者房主那里读取他们的音频数据，然后获得麦上观众的语音状态信息，并发送至云服务器。此时，云服务器会将麦上观众的语音状态信息封装在sei扩展字段中，并将带有sei数据的音视频流发送至cdn视频流服务器。接着cdn视频流服务器会将该带有sei数据的音视频分发至麦下用户，最后麦下用户会解码该音视频数据，从sei数据中提取麦上观众信息，与正在说话和的观众头像上展示的声音波纹效果进行匹配，就可以清楚的分辨出麦上用户的语音状态。
78.请参阅图6，本技术某一实施例还提供一种麦上用户语音状态标识装置，应用于云服务器端，所述装置包括：
79.进入单元01，用于作为用户身份加入游戏多媒体引擎中，读取游戏多媒体引擎采集到的麦上用户的音视频信息；
80.封装单元02，用于将所述音视频信息封装在补充增强信息的扩展字段中；
81.发送单元03，用于将扩展字段发送至内容分发网络，以使麦下用户进入云游戏房间后拉取内容分发网络中的音视频流，并通过解析所述扩展字段以标识麦上用户语音状态。
82.作为优选地，该麦上用户语音状态标识装置，还包括采集单元04，如图7所示。具体地，该采集单元04，用于发送采集指令至游戏多媒体引擎，以使所述游戏多媒体引擎采集麦上用户的音视频信息。
83.请参阅图8，在本技术某一实施例中，还提供一种麦上用户语音状态标识装置，应用于麦下用户端，所述装置包括：
84.读取单元05，用于进入云游戏房间，读取内容分发网络中的音视频流；
85.解析单元06，用于解析音视频流中的扩展字段，所述扩展字段为游戏多媒体引擎将采集的麦上用户的音视频信息封装在补充增强信息的扩展字段中得到；
86.标识单元07，用于根据解析后的扩展字段标识麦上用户语音状态。
87.作为优选地，该标识单元07，还用于：
88.将解析后的扩展字段中的音视频信息与云游戏房间中各用户的声音波纹进行匹
配，以进行麦上用户语音状态标识。
89.可以理解的是，本实施例能够实现如上述实施例中的麦上用户语音状态标识方法相同的技术效果。即通过将云服务器作为一个用户进入房间，并将游戏多媒体引擎采集的麦上用户的音视频信息以扩展字段的形式发送至内容分发网络中，最终实现了麦下用户对麦上用户语音状态的识别，具有操作简单、扩展性强的优点，能够为云游戏房间内的多用户交流提供便利。
90.请参阅图9，本技术某一实施例提供一种终端设备，包括：
91.一个或多个处理器；
92.存储器，与所述处理器耦接，用于存储一个或多个程序；
93.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的麦上用户语音状态标识方法。
94.处理器用于控制该终端设备的整体操作，以完成上述的麦上用户语音状态标识方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
95.在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(application specific 1ntegrated circuit，简称as1c)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的麦上用户语音状态标识方法，并达到如上述方法一致的技术效果。
96.在另一示例性实施例中，还提供一种包括计算机程序的计算机可读介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的云游戏离线模式快速进入方法的步骤。例如，该计算机可读介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的云游戏离线模式快速进入方法，并达到如上述方法一致的技术效果。
97.其中，本技术实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后
将其存储在计算机存储器中。
98.在本技术实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(radio frequency，rf)等等，或者上述的任意合适的组合。
99.以上所述是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本技术的保护范围。