一种基于无服务器计算的自适应视频流传输方法及系统

本发明涉及一种基于无服务器计算的自适应视频流传输方法及系统，属于流媒体传输。

背景技术：

1、近年来，5g网络的普及为视频内容服务商向用户传输视频流提供了前所未有的机会，极大地推动了视频流应用的发展，例如直播和短视频服务等。尽管5g网络有效地提升了网络带宽，但互联网仍有可能被大量的视频流媒体流量所淹没，这将不可避免地影响用户的观看体验(qoe)。因此，开发一种高效的自适应视频流传输技术，兼顾当前网络状况和客户端缓冲区等条件，对于提高用户观看体验是非常有必要的。

2、目前，视频服务提供商大多采用动态自适应流(dash)协议，通过内容分发网络传输视频流。在这种情况下，云服务器将视频分割为等长的块，并以不同的比特率对视频块进行编码。然后，客户端播放器运行abr算法根据当前可用资源(网络、缓冲区等)选择恰当的比特率视频块进行播放。然而，现有的研究大多只关注动态网络条件下视频比特率和网络带宽之间的权衡，考虑视频块的比特率和下载速度，这可能会产生频繁的视频块切换破坏播放的流畅性，严重影响用户体验，因为最初的视频块状比特率决策不一定是下载视频块时的最佳选择，而且这种粗粒度的比特率决策一旦做出，就不能回滚。此外，现有的视频流方案往往是由客户端根据本地可用网络等资源情况做出视频块比特率决策，缺乏全局视角下的决策。鉴于互联网的大规模分布特性，单个节点只能观察到视频流媒体系统的部分片段，这将导致长尾性能不佳。

3、边缘平台可以在靠近用户的地方提供视频流服务。目前，基于边缘计算的解决方案主要利用边缘缓存就近提供服务来减少视频传输延迟。此外，尽管边缘平台比终端用户有更广阔的视野，这些解决方案也很少在边缘进行比特率自适应决策，不可避免地导致用户较差的观看体验。

4、为了提供定制化的服务，近年来，云服务商提出了无服务器计算范式，通常以功能即服务(faas)的形式出现。在无服务器架构中，faas直接地处理由事件触发的服务请求，以保证相互关联的无状态函数的可用性和弹性。无服务器计算架构是具有高度数据并行性和间歇性活动的视频流服务应用的理想选择。目前，尚未见到有基于无服务器计算架构的、边缘辅助的细粒度视频流自适应决策方案公开。

技术实现思路

1、本发明的目的是为了解决复杂动态网络环境下如何进行视频流高效传输服务的技术问题，创新性地提出一种边缘计算架构下基于无服务器计算的视频流传输方法及系统。本发明通过实现无服务器支持的细粒度的视频流管道来加强对视频请求事件的响应，降低视频流服务的传输时延，提高了用户观看体验。

2、本发明的创新点包括：首次设计了一个基于无服务器架构支持的边缘辅助的自适应视频流系统，该系统由细粒度的无服务器管道实现视频交付，利用无状态函数来加强对视频请求事件的响应，根据其可用资源(算力、网络)在边缘做出视频块比特率决策。由于视频比特率自适应过程的马尔可夫特性，本发明使用一种基于三端剪辑的近端策略优化(ppo)的深度强化学习算法来解决视频播放过程中的比特率自适应序列决策问题。此外，本发明将动态视频块质量因素纳入用户体验qoe指标，用以配置qoe模型，为每个视频块分配一个优先权重，提高视频比特率决策的鲁棒性，从而减小视频流传输时延，提高用户观看体验。

3、本发明的目的是通过下述技术方案实现的。

4、一种基于无服务器计算的自适应视频流传输方法，包括以下步骤：

5、步骤1：搭建边缘计算下基于无服务器计算的自适应视频流传输系统，包括视频流服务端、边缘端和视频用户端。

6、其中，视频流服务端负责存储视频内容和以不同比特率编码切分为固定长度的视频块，并向视频用户端通过复杂变化的动态网络传输视频内容；

7、边缘端通过实现基于无服务器架构的高并行无状态函数，负责响应来自多个用户的视频内容请求，并与按照地理分布的服务端互动。将视频内容从距离用户最近的服务端交付，从而减少视频传输时延，实现最大化用户体验质量。

8、客户端用于将本地播放器状态(缓冲区、网络等)信息和视频块请求信息发送至边缘端，以事件形式触发无状态函数响应，生成最优视频块比特率决策。

9、步骤2：利用基于深度强化学习近端策略优化的比特率自适应算法，优化视频块的自适应比特率决策。

10、包括以下步骤：

11、步骤2.1：采用一个端到端的深度强化学习框架，用于执行视频流播放过程中的比特率自适应决策。

12、强化学习是解决动态环境中序列决策问题的经典策略之一。深度神经网络也可以处理多维输入条件，深入提取特征。端到端意味着该框架直接接受来自视频流服务的信息驱动并输出动作，而不需要将手工制作的特征编码为输入或在决策过程中进行反复推理。

13、在基于深度强化学习的视频流传输优化过程中，视频流状态空间信息包括当前和历史视频流信息、网络信息和采取的动作信息。代理人根据当前状态空间信息的视频块比特率，选取某个视频流比特率的动作，并试图赢得最大化的累积用户体验(qoe)奖励。为了捕捉视频流状态、所执行的动作和qoe奖励之间的复杂关系，采用伪暹罗结构来学习内在的关系。

14、因此，可以将该问题转化为马尔科夫决策过程，并通过代理和环境之间的相互作用，设计出一个基于深度强化学习的解决方案。

15、步骤2.2：状态空间表示。

16、现有研究通常将视频内容和网络状态信息分为不同的类别，并使用它们的串联one-hot编码向量作为状态空间的表示，以使模型迭代推理过程执行。然而，抽象化的编码向量非常容易忽略重要的状态信息，可能无法捕捉到视频信息和最佳比特率决策之间的复杂关系。

17、为了获得一个高效和合适的特征表示，从而直接从状态空间学习到所需的比特率决策的特征，本发明设计了一个新的多维特征，用于编码当前和历史视频块状态信息。在视频流服务中，与视频传输相关的信息表现为不同的特征维度。因此，将它们表示为离散的三维张量，从而让深度神经网络根据历史经验学习系统模型。

18、具体地，将状态空间张量设计为九个通道，分别代表代理网络信息、视频块信息、播放器信息和历史决策信息。每个通道均是一个稀疏二进制矩阵，每个位置代表相应的状态空间信息。

19、步骤2.3：动作空间表示。

20、经过状态空间表示，将视频块比特率的决策设计为不同的视频清晰度动作(例如选择720p的视频块)。对于视频块播放序列输入类型(如过去的视频块的比特率、下载时间等)，使用卷积层提取基本特征。然后，所有的处理结果被串联到一个全连接层，以学习复杂特征之间的内在关系。最后，输出结果被转换到归一化函数层来计算动作的概率分布。

21、具体地，通过调整神经网络的参数θ对策略πθ进行优化。例如，对于行动者张量，由于每轮通常最多只有4个可选的连续动作，可以将其设计为四个通道，每个通道是一个1*nb的稀疏二进制矩阵，nb代表所选的视频块的不同比特率。因此，在视频流媒体会话中，当用户端播放器下载视频块时，代理选择合适的动作，从而最大化长期累积的qoe奖励。

22、步骤2.4：奖励函数设置。

23、经过状态和动作设计，进一步设计在某一个状态st下采取一个动作at的奖励rt。一旦视频流系统开始执行比特率决策，代理将根据当前的状态采取不同的动作，在历史经验缓冲池形成不同的状态-动作序列，从而最大化累积奖励函数。

24、具体地，将用户观看体验qoe指标作为奖励函数。考虑到不同视频块所含内容的差异，为每个视频块内容分配一个特定的权重，用于编码内容质量的敏感性。深度强化学习模型通过使用qoe奖励函数，权衡用户感知视频清晰度，卡顿时间等因素，鼓励以更高的比特率下载视频块，并尽可能的减少播放卡顿和比特率切换。

25、步骤2.5：深度强化学习模型训练。

26、在多维输入特征表示下，策略梯度训练的核心因素是寻找具有合适损失函数的深度学习范式。具体地，采用一个具有在线策略训练的演员评论家框架。代理人根据相关策略参数θ的预期收益梯度直接学习参数化的政策πθ。演员批判范式训练价值函数vθ(st)和政策πθ(at|st)，并通过从重放的历史经验池中反复取样更新它们。

27、步骤3：使用基于三端裁剪机制，提升近端策略优化性能。

28、根据步骤2学习到的深度强化学习演员评论家(actor-critic)模型，通过近端策略优化算法对策略进行参数化。在训练过程中，通过优化梯度来更新参数，实现目标函数最优。近似策略优化(ppo)算法修正系数定义为当前策略πθ和旧策略πθ′的概率比值。

29、在近端策略优化算法中，为了控制策略的更新幅度，使用三端裁剪机制削弱某些离群的策略梯度，从而加速算法收敛。具体地，在算法迭代的训练步骤中。采用三端裁剪法，将rt(θ)即新旧策略的比值限制在一个区域中，通过控制区域的大小来限制更新的步幅。相较于使用kl散度进行限制，通过使用clip函数裁剪更加方便，其中，clip(rt(θ),1-∈,1+∈)将修正系数rt(θ)约束在范围(1-∈,1+∈)内，∈为超参数。当策略更新的偏移超出预定区间时，截断项就会起到限制的作用。

30、为进一步提升近端策略优化算法的性能，可以使用优势函数估计方法。具体地，使用泛化优势估计构造优势函数降低方差，使算法不会产生较大的波动，t表示时间步，t表示总的时间步。在对目标函数的梯度进行更新时，每一次计算梯度都需要使用当前最新的策略模型进行交互采样得到相应的样本序列，从而进行梯度计算。更新模型之后，使用过的样本经验将通过修正系数的旧策略分布来得到利用。

31、有益效果

32、本发明，对比现有技术，具有以下优点：

33、1.本发明提出了一个基于无服务器架构支持的边缘辅助的自适应视频流系统，是一个涵盖“用户-边缘-服务端”的端到端的视频流传输系统，该系统由细粒度的无服务器管道实现视频流比特率决策功能，其能根据当前动态网络环境与客户端缓存等因素自适应地调整视频流的比特率，降低了视频流传输延迟，从而提升用户的观看体验质量。

34、2.本发明提出了一种新的基于三端裁剪的近端策略优化算法，优化了视频流比特率决策过程。在视频流传输过程中，将其形式化为一个马尔科夫的序列决策问题，结合深度强化学习技术自适应地为视频块选择合适的比特率，生成最佳视频块比特率决策，从而获得更好的用户体验质量。