数据传输路径的确定方法和装置与流程

本技术属于实时音视频通信，尤其涉及一种数据传输路径的确定方法和装置。

背景技术：

1、实时音视频传输网络(real-time network，rtn)是一个全新架构的音视频实时传输网络，对音视频的实时性有强烈的要求。原理上，全球端到端的时延通过rtn网络可以控制在300ms以内。rtn网络中包括多个节点和路由决策模块。若将推流设备接入边缘节点a，将拉流设备接入边缘节点d，则如何规划一条从节点a到节点d的路径，使节点a到节点d的时延最低，是路由决策模块的核心功能。

2、但是，目前路由决策模块只将时延最低作为唯一追求的目标，忽略了用户实际的使用体验，导致用户对rtn网络的使用体验较低。

技术实现思路

1、本技术实施例提供了一种数据传输路径的确定方法、装置、设备、计算机可读存储介质及计算机程序产品，能够提高播放体验质量，进而提高用户对rtn网络的使用体验。

2、第一方面，本技术实施例提供了一种数据传输路径的确定方法，该方法包括：

3、在接收到目的节点针对源节点的拉流请求的情况下，获取实时音视频传输网络中与所述源节点对应的第一数据集，所述第一数据集包括所述源节点对应的第一网络指标值和从所述源节点到目标节点的多个第二网络指标值，所述目标节点为所述实时音视频传输网络中与所述源节点相邻的任一节点；

4、利用路由决策模型，基于所述第一数据集对所述源节点的下一跳节点进行预测，得到第一预测节点，所述路由决策模型为基于深度强化学习的原理构建的用于确定数据传输路径的神经网络模型，所述路由决策模型的训练数据为满足播放体验质量要求的数据传输路径及其对应的网络状态信息；

5、在所述第一预测节点与所述目的节点不同的情况下，将所述第一预测节点确定为从所述源节点到所述目的节点的数据传输路径中所述源节点的下一跳中间节点；

6、将所述第一预测节点作为所述源节点，并返回执行所述获取实时音视频传输网络中与所述源节点对应的第一数据集，直至所述第一预测节点与所述目的节点相同，得到从所述源节点到所述目的节点的数据传输路径，所述数据传输路径包括按照节点预测顺序排列的所述源节点，多个所述第一预测节点和所述目的节点。

7、在一种可能的实现方式中，所述路由决策模型的训练数据包括多个第三网络指标和多个体验质量指标，所述多个第三网络指标包括首帧时延和/或端到端时延，所述多个体验质量指标包括视频清晰度、视频流畅度、音频清晰度和音频流畅度中的至少一个。

8、在一种可能的实现方式中，所述路由决策模型包括基础网络模型，所述利用路由决策模型，基于所述第一数据集对所述源节点的下一跳节点进行预测之前，所述方法还包括：

9、获取源样本节点、目的样本节点、与所述源样本节点对应的第一样本数据集，所述第一样本数据集包括所述源样本节点的所述第一网络指标值和从所述源样本节点到所述目的样本节点的所述多个第二网络指标值，所述源样本节点和所述目的样本节点为满足时延要求的数据传输路径中两个相邻的节点；

10、利用初始基础网络模型，基于所述第一样本数据集对所述源样本节点的下一跳节点进行预测，得到第二预测节点；

11、根据所述第二预测节点和所述目的样本节点之间的相似度确定第一损失函数值；

12、根据所述第一损失函数值调整所述初始基础网络模型的模型参数，训练得到所述基础网络模型；

13、将所述基础网络模型确定为所述路由决策模型。

14、在一种可能的实现方式中，所述路由决策模型还包括奖励网络模型，所述根据所述第一损失函数值调整所述初始基础网络模型的模型参数，训练得到所述基础网络模型之前，所述方法还包括：

15、获取与所述目的样本节点对应的第二样本数据集，所述第二样本数据集包括多个第三网络指标值和多个体验质量指标值；

16、利用所述奖励网络模型对所述第二样本数据集进行统计分析，确定所述目的样本节点的评分值；

17、根据所述评分值和所述第一损失函数值确定第二损失函数值；

18、所述根据所述第一损失函数值调整所述初始基础网络模型的模型参数，训练得到所述基础网络模型，包括：

19、基于策略梯度提升的方法，根据所述第二损失函数值调整所述初始基础网络模型的模型参数，训练得到所述基础网络模型。

20、在一种可能的实现方式中，所述利用所述奖励网络模型对所述第二样本数据集进行统计分析，确定所述目的样本节点的评分值，包括：

21、获取与所述多个第三网络指标值和所述多个体验质量指标值分别对应的第一权重；

22、利用所述奖励网络模型，根据多个所述第一权重对所述多个第三网络指标值和所述多个体验质量指标值进行加权求和，得到所述评分值。

23、在一种可能的实现方式中，所述根据所述评分值和所述第一损失函数值确定第二损失函数值，包括：

24、获取所述评分值和所述第一损失函数值分别对应的第二权重；

25、根据多个所述第二权重对所述评分值和所述第一损失函数值进行加权求和，得到所述第二损失函数值。

26、在一种可能的实现方式中，所述第一网络指标值包括所述源节点的节点负载率；所述多个第二网络指标值包括从所述源节点到所述目标节点的链路时延值、链路丢包率和链路利用率中的至少一个。

27、第二方面，本技术实施例提供了一种数据传输路径的确定装置，该装置包括：

28、第一获取模块，用于在接收到目的节点针对源节点的拉流请求的情况下，获取实时音视频传输网络中与所述源节点对应的第一数据集，所述第一数据集包括所述源节点对应的第一网络指标值和从所述源节点到目标节点的多个第二网络指标值，所述目标节点为所述实时音视频传输网络中与所述源节点相邻的任一节点；

29、第一预测模块，用于利用路由决策模型，基于所述第一数据集对所述源节点的下一跳节点进行预测，得到第一预测节点，所述路由决策模型为基于深度强化学习的原理构建的用于确定数据传输路径的神经网络模型，所述路由决策模型的训练数据为满足播放体验质量要求的数据传输路径及其对应的网络状态信息；

30、第一确定模块，用于在所述第一预测节点与所述目的节点不同的情况下，将所述第一预测节点确定为从所述源节点到所述目的节点的数据传输路径中所述源节点的下一跳中间节点；

31、执行模块，用于将所述第一预测节点作为所述源节点，并返回执行所述获取实时音视频传输网络中与所述源节点对应的第一数据集，直至所述第一预测节点与所述目的节点相同，得到从所述源节点到所述目的节点的数据传输路径，所述数据传输路径包括按照节点预测顺序排列的所述源节点，多个所述第一预测节点和所述目的节点。

32、第三方面，本技术实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；

33、所述处理器执行所述计算机程序指令时实现上述第一方面中任一种可能的实现方法中的方法。

34、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第一方面中任一种可能的实现方法中的方法。

35、第五方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如上述第一方面中任一种可能的实现方法中的方法。

36、在本技术实施例的数据传输路径的确定方法、装置、设备、计算机可读存储介质及计算机程序产品中，路由决策模型是基于深度强化学习的原理构建的用于确定数据传输路径的神经网络模型，且路由决策模型的训练数据为满足播放体验质量要求的数据传输路径及其对应的网络状态信息。因此，路由决策模型是已经学习到满足播放体验质量要求的数据传输路径和网络状态信息之间的对应关系的神经网络模型。因此，通过利用路由决策模型，基于源节点对应的第一数据集(即网络状态信息)对源节点的下一跳节点进行预测，得到第一预测节点，能够在任意网络状态下确定满足播放体验质量要求的第一预测节点。通过将第一预测节点作为源节点，并重复上述步骤，直至第一预测节点与目的节点相同，能够在任意网络状态下确定满足播放体验质量要求的数据传输路径。如此，通过本技术实施例确定的数据传输路径进行数据传输，能够提高播放体验质量，进而提高用户对rtn网络的使用体验。