延迟控制方法、延迟控制装置和计算机可读存储介质与流程

本申请属于计算机软件应用领域，尤其是延迟控制方法及延迟控制装置。

背景技术：

随着互联网技术的不断发展，流媒体技术的应用越来越广泛，简单来说，流媒体就是用户通过网络一边下载一边观看多媒体节目的一种服务方式，不需要花费很长时间将视频文件完整下载到本地，而仅需缓存空间数秒后即可开始播放，后面的数据会源源不断地输入到该缓存空间，维持连续播放。

在目前的直播方案中，应用流媒体服务，为了应对带宽的抖动，降低卡顿率，在客户端一般会缓存一定的数据，这种做法的弊端是带来一定的延迟。并且对于所有用户，缓存的数据量一般是提前预定的，也即所有用户的最低延迟都是提前预定义好的，在观看直播的过程中，不会动态改变。但是预设缓存数据量的选择非常困难，在缓存过多时，对于网络好的用户而言，会额外引入过大的延迟；而在缓存过少时，对于网络状态不够好的用户，又难以达到抗带宽抖动的目的，导致卡顿。

技术实现要素：

为克服相关技术中存在的问题，本申请公开一种自适应延迟控制方法和延迟控制装置，在直播环境下，能依据用户的网络状态，动态控制每个用户的延迟，选择最佳的缓存数据量，提升观看体验。

根据本申请实施例的第一方面，提供一种延迟控制方法，包括：初始化缓存数据量，设定初始延迟阈值；获得客户端的实时缓存数据并据此判断所述客户端的网络状态；以及根据所述网络状态对当前延迟阈值进行调整。

可选地，所述根据所述网络状态对当前延迟阈值进行调整包括：当所述网络状态良好时，降低所述当前延迟阈值；当发生卡顿时，增大所述当前延迟阈值；以及当所述网络状态一般且没发生卡顿时，保持所述当前延迟阈值不变。

可选地，根据所述网络状态对当前延迟阈值进行调整还包括：当缓存数据量大于所述当前延迟阈值时，启动追帧逻辑，直到缓存数据量不大于所述当前延迟阈值。

可选地，根据所述网络状态对当前延迟阈值进行调整还包括：每次启动所述追帧逻辑后，判断是否发生卡顿。

可选地，所述缓存数据包括：视频码率、平均下载带宽和在每个滑动窗口中的缓存数据量。

可选地，根据每个所述滑动窗口中的最小缓存数据量与所述当前延迟阈值的倍数关系，和所述平均下载带宽与所述视频码率的倍数关系来判断所述网络状态。

可选地，当每个所述滑动窗口中的最小缓存数据量大于等于所述当前延迟阈值的设定倍数，且所述平均下载带宽大于所述视频码率的设定倍数时，认为所述网络状态良好；否则，认为所述网络状态一般。

可选地，所述平均下载带宽大于所述视频码率的设定倍数包括：对于单码率视频，所述平均下载带宽大于所述视频码率的设定倍数；对于多码率视频，所述每个滑动窗口中的最小所述视频码率等于最大可用视频码率，且所述平均下载带宽大于所述视频码率的设定倍数。

可选地，根据所述网络状态对当前延迟阈值进行调整还包括：预设延迟调整时间，根据所述延迟调整时间调整所述当前延迟阈值。

可选地，降低所述当前延迟阈值时，选择每个所述滑动窗口中的最小缓存数据量和所述当前延迟阈值与所述延迟调整时间的倍数差之间的较大值作为调整后的延迟阈值；增大所述当前延迟阈值时，选择每个所述滑动窗口中的最大缓存数据量和所述当前延迟阈值与所述延迟调整时间的倍数和之间的较小值作为调整后的延迟阈值。

根据本发明实施例的第二方面，提供一种延迟控制装置，包括：初始化模块，用于初始化缓存数据量，设定初始延迟阈值；数据获取模块，用于获得客户端的实时缓存数据并据此判断所述客户端的网络状态；以及调整模块，用于根据所述网络状态对当前延迟阈值进行调整。

可选地，所述调整模块包括：延迟降低模块，用于当所述网络状态良好时，降低所述当前延迟阈值；延迟增大模块，用于当发生卡顿时，增大所述当前延迟阈值；以及延迟维持模块，用于当所述网络状态一般且没发生卡顿时，保持所述当前延迟阈值不变。

可选地，所述缓存数据包括：视频码率、平均下载带宽和在每个滑动窗口中的缓存数据量。

可选地，根据每个所述滑动窗口中的最小缓存数据量与所述当前延迟阈值的倍数关系，和所述平均下载带宽与所述视频码率的倍数关系来判断所述网络状态。

根据本发明实施例的第三方面，提供一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述任意一项所述的延迟控制方法。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述延迟控制方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

该延迟控制方法是根据用户端的缓存数据来判断用户端的网络状态，并对延迟时间进行的调整，使得在大规模的直播场景下，播放器能依据每个用户的网络状态，实时、动态地控制每个用户端的延迟时间，提升用户的观看体验。

本申请的另一实施例提供的技术方案可以包括以下有益效果：

根据网络状态对客户端的当前延迟阈值进行调整，当网络状态良好时降低延迟阈值，当发生卡顿时增大延迟阈值，使得用户在网络良好时，可以及时跟进直播情况，而在发生卡顿时，及时调整缓存，减小卡顿，提升观看体验，而且可以达到实时调整，保证用户的观看质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的延迟控制方法的流程图；

图2是根据一示例性实施例示出的延迟阈值调整的流程图；

图3是是根据一示例性实施例示出的延迟控制装置的示意图；

图4是是根据一示例性实施例示出的的延迟控制装置中的调整模块的示意图；

图5是根据一示例性实施例示出的一种执行延迟控制方法的电子设备的框图；

图6是根据一示例性实施例示出的一种执行延迟控制方法的延迟控制装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的延迟控制方法的流程图，具体包括以下步骤。

在步骤s101中，初始化缓存数据量，设定初始延迟阈值。

在步骤s102中，获得客户端的实时缓存数据并据此判断客户端的网络状态。

在步骤s103中，根据网络状态对当前延迟阈值进行调整。

直播过程中，一般会在客户端缓存一定的数据，初始缓存的数据量记为t(单位为秒)，用于对抗网络的抖动，但会带来一定的延迟。例如，主播a直播推流到服务s，s在服务端至少存储t秒的数据，观众b观看主播a的直播，从s拉流。当前时刻记为t，则s将(t-t)之后的数据全部发送给b，因此观众b观看到的画面，相对于主播a的延迟为t秒。

首先初始化缓存数据量，设定初始延迟阈值t。将初始延迟阈值t作为当前阈值，再根据客户端的实时缓存数据判断客户端的网络状态，例如在观众b所在的客户端，持续统计缓存数据，例如每500ms统计一次。在一个实施例中，缓存数据包括：视频码率、平均下载带宽和在每个滑动窗口中的缓存数据量。记录在一个滑动窗口中的缓存数据量的大小时，设定窗口大小为w，例如w＝60，时间间隔为500ms，即记录历史30秒的缓存状态。其中，视频码率指视频编码/转码的目标码率；下载带宽为估计的实际下载带宽，可以采用任意的带宽估计方案；缓存大小为播放器可用于播放的数据量，单位为秒。

本实施例主要依据缓存大小的变化、带宽的变化来动态控制当前缓存的大小，从而动态控制用户的延迟，降低卡顿率。在一个实施例中，可以根据每个滑动窗口中的最小缓存数据量与当前延迟阈值的倍数关系，和平均下载带宽与视频码率的倍数关系来判断网络状态。

根据网络状态对当前延迟阈值进行调整。t的大小直接决定了用户端延迟的最小值。如果用户网络足够好，在观看过程中没有发生卡顿，那么用户的延迟就稳定在t；如果用户网络不好，在观看过程中发生卡顿，那么用户的延迟就会增大，此时一般会通过跳帧或追帧的方式，将延迟再次降到t。

本实施例中，根据用户端的缓存数据来判断用户端的网络状态，并对延迟时间进行的调整，使得在大规模的直播场景下，能依据每个用户的网络状态，实时、动态地控制每个用户端的延迟时间，降低卡顿率，提升用户的观看体验。

图2是根据一示例性实施例示出的延迟阈值调整的流程图。

在步骤s201中，当网络状态良好时，降低当前延迟阈值；

在步骤s202中，当发生卡顿时，增大当前延迟阈值；

在步骤s203中，当网络状态一般且没发生卡顿时，保持当前延迟阈值不变；

在步骤s204中，当缓存数据量大于当前延迟阈值时，启动追帧逻辑，直到缓存数据量不大于当前延迟阈值；

在步骤s205中，每次启动追帧逻辑后，判断是否发生卡顿。

本实施例是图1的步骤s103的延迟阈值调整的优化方案，其中，步骤s201-s203是根据网络状态对延迟阈值作出的整体调整的判断。

首先根据缓存数据对当前客户端的网络状态进行评估，缓存数据包括：视频码率v_rate、平均下载带宽bw_estimate和在每个滑动窗口w中的缓存数据量。根据每个滑动窗口w中的最小缓存数据量与当前延迟阈值的倍数关系，和平均下载带宽bw_estimate与视频码率v_rate的倍数关系来判断网络状态。

例如，当每个滑动窗口w中的最小缓存数据量大于等于当前延迟阈值的设定倍数，且平均下载带宽bw_estimate大于视频码率v_rate的设定倍数时，认为网络状态良好；否则，认为网络状态一般。例如，当前延迟阈值为t1，滑动窗口w中的最小缓存数据量不小于0.95*t1时，且平均下载带宽bw_estimate大于视频码率v_rate的1.2倍时，两个条件都满足，认为网络良好。

关于平均下载带宽bw_estimate与视频码率v_rate的比较又可以分为两种情况：对于单码率视频，需要满足平均下载带宽bw_estimate大于视频码率v_rate的设定倍数(例如1.2倍)；而对于多码率视频，不仅需要满足平均下载带宽bw_estimate大于视频码率v_rate的设定倍数(例如1.2倍)，且需要满足每个滑动窗口中的最小视频码率等于最大可用视频码率。

在设定好条件之后，根据采集的实时缓存数据判断网络状态，当网络状态良好时，降低当前延迟阈值t1；当发生卡顿时，增大当前延迟阈值t1；当网络状态一般且没发生卡顿时，保持当前延迟阈值t1不变。

在一个实施例中，还包括：预设延迟调整时间delta，根据延迟调整时间delta调整当前延迟阈值t1的大小。

例如，当缓存数据同时满足上述的两个条件，认为网络状态良好，此时降低当前延迟阈值t1，选择每个滑动窗口w中的最小缓存数据量和当前延迟阈值t1与延迟调整时间delta的倍数差之间的较大值作为调整后的延迟阈值。用公式表达为：更新当前延迟阈值t1，即t1＝max(t1-delta,t_min)，t_min为每个滑动窗口w中的最小缓存数据量，单位为秒。其中0<delta<t1，例如delta＝0.5秒。

而当发生卡顿时，增大当前延迟阈值t1，记录卡顿时长t，选择每个滑动窗口w中的最大缓存数据量和当前延迟阈值t1与延迟调整时间delta的倍数和之间的较小值作为调整后的延迟阈值。用公式表达为：更新当前延迟阈值t1，即t1＝min(t1+2*delta,t_max)，t_max为每个滑动窗口w中的最大缓存数据量，单位为秒。在步骤s204中，当缓存数据量大于当前延迟阈值时，启动追帧逻辑，直到缓存数据量不大于当前延迟阈值。例如，在步骤s201中，当网络状态良好时，降低当前延迟阈值，使得缓存数据量大于当前延迟阈值，此时，播放器启动追帧逻辑，开始追帧，直到缓存数据量不大于当前延迟阈值。而在视频播放的任意时刻，只要缓存数据量大于当前延迟阈值，就启动追帧。

在步骤s205中，每次启动追帧逻辑后，判断是否发生卡顿。追帧后，延迟降低，此时判断视频播放是否卡顿，若发生卡顿现象，则返回步骤s202，增大当前延迟阈值；若未发生卡顿，则保持当前状态，等待一段时间后，重新返回图1的步骤s103，重新判断网络状态。

本实施例中，根据网络状态对客户端的当前延迟阈值进行调整，当网络状态良好时降低延迟阈值，当发生卡顿时增大延迟阈值，使得用户在网络良好时，可以及时跟进直播情况，而在发生卡顿时，及时调整缓存，减小卡顿，提升观看体验，而且可以达到实时调整，保证用户的观看质量。

图3是根据一示例性实施例示出的延迟控制装置的示意图。该延迟控制装置包括视初始化模块301、数据获取模块302、和调整模块303。

初始化模块301用于初始化缓存数据量，设定初始延迟阈值；数据获取模块302用于获得客户端的实时缓存数据并据此判断客户端的网络状态；以及调整模块303用于根据网络状态对当前延迟阈值进行调整。

本实施例的延迟控制装置的整个系统能实时监测客户端的网络状况，并根据网络状况对应调整当前的延迟阈值和缓存数据量，使直播时可以动态控制客户端的延迟，提升客户观看体验。

图4是是根据一示例性实施例示出的延迟控制装置中的调整模块的示意图。

调整模块303包括：延迟降低模块3031、延迟增大模块3032、延迟维持模块3033和追帧模块3034。

延迟降低模块3031用于当网络状态良好时，降低当前延迟阈值；延迟增大模块3032用于当发生卡顿时，增大当前延迟阈值；延迟维持模块3033用于当网络状态一般且没发生卡顿时，保持当前延迟阈值不变。

可选地，追帧模块3034用于当缓存数据量大于当前延迟阈值时，启动追帧逻辑，直到缓存数据量不大于当前延迟阈值。例如，在延迟降低模块3031将当前延迟阈值降低时，缓存数据量会大于当前延迟阈值，系统启动追帧逻辑，迅速调整延迟。

在一个可选的实施例中，调整模块303还包括卡顿判断模块(图中未示出)，用于在每次启动追帧逻辑后，判断是否发生卡顿，若发生卡顿，则利用延迟增大模块3032进行延迟阈值的调整。

关于上述实施例中的延迟控制装置，由于其中各个模块的功能已经在上述延迟控制方法的实施例中进行了详细描述，由此进行了相对简略的描述。

图5是根据一示例性实施例示出的一种用于上述延迟控制方法的电子设备1200的框图。例如，电子设备1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，电子设备1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(i/o)的接口1212，传感器组件1214，以及通信组件1216。

处理组件1202通常控制电子设备1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。

存储器1204被配置为存储各种类型的数据以支持在电子设备1200的操作。这些数据的示例包括用于在电子设备1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1206为电子设备1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为电子设备1200生成、管理和分配电力相关联的组件。

多媒体组件1208包括在所述电子设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当电子设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(mic)，当电子设备1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。

i/o接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1214包括一个或多个传感器，用于为电子设备1200提供各个方面的状态评估。例如，传感器组件1214可以检测到电子设备1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测电子设备1200，或电子设备1200一个组件的位置改变，用户与电子设备1200接触的存在或不存在，电子设备1200方位或加速/减速和电子设备1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1216被配置为便于电子设备1200和其他设备之间有线或无线方式的通信。电子设备1200可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备1200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由电子设备1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种用于上述延迟控制方法的延迟控制装置1300的框图。例如，装置1300可以被提供为一服务器。参照图7，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述延迟控制方法。

装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(i/o)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。