直播数据流交互方法、装置、服务器及可读存储介质与流程

1.本技术涉及移动互联网直播技术领域，具体而言，涉及一种直播数据流交互方法、装置、服务器及可读存储介质。


背景技术：

2.在移动互联网终端的直播过程中，直播平台的视频直播延迟性能可能会影响用户互动，或者影响用户获取关键信息的时机，从而对用户体验造成较大影响。基于此，如何在保障观看体验的同时，有效改善直播平台的视频直播延迟性能，是本领域亟待解决的技术问题。


技术实现要素：

3.有鉴于此，本技术的目的在于提供一种直播数据流交互方法、装置、服务器及可读存储介质，在保障观看体验的同时极大降低传输数据量，并降低带宽成本和直播延迟。
4.根据本技术的第一方面，提供一种直播数据流交互方法，应用于直播数据流交互系统，所述直播数据流交互系统包括服务器以及与所述服务器通信连接的直播提供终端和直播观看终端，所述方法包括：
5.所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流，并将所述残缺化视频流发送给所述服务器，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
6.所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流，并将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端；
7.所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
8.在第一方面的一种可能的实施方式中，所述直播提供终端对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流的步骤中，所述特征残缺化处理包括以下方式中的一种或者多种组合：
9.对所述待交互的直播视频流进行尺寸裁剪；
10.对所述待交互的直播视频流的色彩度进行降低；
11.对所述待交互的直播视频流中的部分视频帧进行剔除。
12.在第一方面的一种可能的实施方式中，所述服务器对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流的步骤，包括：
13.将所述残缺化视频流输入到预先训练的完整内容重绘模型中，基于所述完整内容重绘模型预测所述残缺化视频流中的残缺内容信息；
14.基于预测的残缺内容信息对所述残缺化视频流进行内容重绘，获得所述残缺化视频流对应的重绘视频流。
15.在第一方面的一种可能的实施方式中，所述方法还包括：
16.获取针对每个目标可直播活动的原始训练图像数据，其中，所述目标可直播活动
具有规则化的图像特征；
17.对所述原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据，所述残缺化训练图像数据与所述原始训练图像数据存在至少一个残缺化维度的内容损失；
18.根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型。
19.在第一方面的一种可能的实施方式中，所述根据所述残缺化训练图像数据以及所述残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型的步骤，包括：
20.将所述残缺化训练图像数据输入到初始内容重绘模型中，基于所述初始内容重绘模型对所述残缺化训练图像数据中的残缺内容信息进行预测；
21.基于预测的残缺内容信息和对应的标注残缺部分数据，确定针对所述预测的残缺内容信息的预测误差参数，并基于所述预测误差参数对初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到所述预测误差参数收敛时，输出训练完成的完整内容重绘模型。
22.在第一方面的一种可能的实施方式中，所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示的步骤，包括：
23.所述直播观看终端将所述压缩视频流输入到预先训练的预设分辨率对应的视频流转换模型中，基于所述视频流转换模型将所述压缩视频流的分辨率转换为预设分辨率后，将转换视频流进行显示。
24.在第一方面的一种可能的实施方式中，所述方法还包括：
25.获取训练样本数据，其中，所述训练样本数据包括第一分辨率的第一视频流样本数据和对应的第二分辨率的第二视频流样本数据；
26.将所述第一视频流样本数据输入到初始视频流转换模型中，基于所述初始视频流转换模型对所述第一视频流样本数据进行针对于所述第二分辨率的转换，获得第三视频流样本数据；
27.根据所述第三视频流样本数据与所述第二视频流样本数据之间的差异对所述初始视频流转换模型进行训练，获得训练完成的视频流转换模型。
28.根据本技术的第二方面，提供一种直播数据流交互方法，应用于服务器，所述服务器与直播提供终端和直播观看终端通信连接，所述方法包括：
29.获取所述直播提供终端对待交互的直播视频流进行特征残缺化处理后发送的残缺化视频流，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
30.对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流；
31.将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端，以使得所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
32.根据本技术的第三方面，提供一种直播数据流交互装置，应用于服务器，所述服务器与直播提供终端和直播观看终端通信连接，所述装置包括：
33.获取模块，用于获取所述直播提供终端对待交互的直播视频流进行特征残缺化处
理后发送的残缺化视频流，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失；
34.重绘模块，用于对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流；
35.发送模块，用于将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端，以使得所述直播观看终端对所述压缩视频流进行转换以将转换视频流进行显示。
36.根据本技术的第四方面，提供一种服务器，所述服务器包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该服务器实现前述的直播数据流交互方法。
37.根据本技术的第五方面，提供一种可读存储介质，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现前述直播数据流交互方法。
38.基于上述任一方面，本技术实施例中，直播提供终端在直播交互过程中通过对待交互的直播视频流进行特征残缺化处理后发送残缺化视频流给服务器，可以有效节省数据传输量，提高数据传输速度，而后服务器对残缺化视频流进行完整内容重绘，对重绘视频流进行压缩后再将压缩视频流发送给直播观看终端，通过直播内容完整性的预测与重绘，可以降低直播观看终端的性能资源消耗，并且只是发送压缩视频流至直播观看终端，也极大节省了数据传输量，而后直播观看终端可对压缩视频流进行转换以将转换视频流进行显示，进而在保障观看体验的同时可极大降低传输数据量，同时降低带宽成本和直播延迟。
附图说明
39.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
40.图1示出了本技术实施例所提供的直播系统的应用场景示意图；
41.图2示出了本技术实施例所提供的直播数据流交互方法的流程示意图之一；
42.图3示出了图2中所示的步骤s110的残缺化处理示例对照图之一；
43.图4示出了图2中所示的步骤s110的残缺化处理示例对照图之二；
44.图5示出了图2中所示的步骤s120的子步骤流程示意图；
45.图6示出了本技术实施例所提供的完整内容重绘模型训练方法的流程示意图；
46.图7示出了本技术实施例所提供的视频流转换模型训练方法的流程示意图；
47.图8示出了本技术实施例所提供的直播数据流交互方法的流程示意图之二；
48.图9示出了本技术实施例所提供的直播数据流交互装置的功能模块示意图；
49.图10示出了本技术实施例所提供的用于实现上述的直播数据流交互方法的服务器的结构示意框图。
具体实施方式
50.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图
仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
51.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本技术保护的范围。
52.参照图1所示，图1示出了本技术实施例提供的直播系统10的交互场景示意图。例如，直播系统10可以是用于诸如互联网直播之类的服务平台。直播系统10可以包括服务器100、直播提供终端200和直播观看终端300，服务器100分别与直播提供终端200直播观看终端300通信连接，用于为直播提供终端200和直播观看终端300提供直播服务，并为直播提供终端200和直播观看终端300提供直播过程中的相关产品直播服务，如游戏直播服务等。
53.在一些实施场景中，直播提供终端200和直播观看终端300可以互换使用。例如，直播提供终端200的主播可以使用直播提供终端200来为观众提供直播视频服务，或者作为观众查看其它主播提供的直播视频。又例如，直播观看终端300的观众也可以使用直播观看终端300观看所关注的主播提供的直播视频，或者作为主播为其它观众提供直播视频服务。
54.本实施例中，直播提供终端200和直播观看终端300可以是，但不限于智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。在具体实施过程中，可能有零个、一个或多个直播提供终端200和直播观看终端300接入该服务器100，图1中仅示出一个。其中，直播提供终端200和直播观看终端300中可以安装用于提供互联网直播服务的程序产品，例如，程序产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序app、web网页、小程序等。
55.本实施例中，服务器100可以是单个物理服务器，也可以是一个由多个用于执行不同数据处理功能的物理服务器构成的服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器100可以是分布式系统)。在一些可能的实施方式中，如服务器100采用单个物理服务器，可以基于不同直播服务功能为该物理服务器分配不同的逻辑服务器组件。
56.可以理解，图1所示的直播系统10仅为一种可行的示例，在其它可行的实施例中，该直播系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
57.下面结合图1所示的应用场景对本技术实施例提供的直播数据流交互方法进行示例性说明。首先，请参阅图2，本实施例提供的直播数据流交互方法可以由图1中的直播系统10执行，应当理解，在其它实施例中，本实施例的直播数据流交互方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该直播系统10执行的直播数据流交互方法的详细步骤介绍如下。
58.步骤s110，直播提供终端200对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流，并将残缺化视频流发送给服务器100。
59.本实施例中，残缺化视频流与直播视频流可存在至少一个残缺化维度的内容损失，当直播视频流出现部分内容损失时，即可作为残缺化视频流。作为一种示例，所述残缺化维度的内容损失可以是待交互直播视频流中重要性程度较低的部分内容，例如处于直播视频边缘位置或者与直播焦点(如主播)无关的一些内容。其中，残缺化视频流相对于直播视频流而言，存在部分视频内容的残缺丢失，如某个视频帧中部分图像区域的残缺丢失，或者一段连续视频帧中部分视频帧的残缺丢失，又或者某个视频帧的色彩度降低等，但不限于此，对于本领域技术人员而言，可以在以上示例的基础上对待交互的直播视频流进行任意涉及内容损失的特征残缺化处理，以获得相较于待交互的直播视频流而言内容特征量更少的残缺化视频流，从而可以有效节省直播提供终端200与服务器100之间在数据交互过程中的数据传输量，提高数据传输速度。
60.步骤s120，服务器100对残缺化视频流进行完整内容重绘，获得残缺化视频流对应的重绘视频流，并将重绘视频流进行压缩后将压缩视频流发送给直播观看终端300。
61.本实施例中，以上残缺化视频流的目的是为了提高数据传输效率，然而针对后续直播交互过程而言，仅向直播观看终端300传输残缺化视频流是无法为观众提供完整直播内容的，因此为了使得后续直播观看终端300能够提供完整直播内容，还需要在服务器100侧对前述的残缺化视频流进行完整内容重绘，获得残缺化视频流对应的重绘视频流，这样重绘视频流可以具有完整内容特征，也即与前述待交互的直播视频流相同或者接近的内容特征。而后，为了提高数据传输效率，服务器100可以将重绘视频流进行压缩后将压缩视频流发送给直播观看终端300。值得说明的是，关于该重绘视频流的压缩方式不作特殊限定，例如可以采用降低该重绘视频流的分辨率、缩小该重绘视频流的最终文件大小等方式实现，但不限于此。
62.步骤s130，直播观看终端300对压缩视频流进行转换以将转换视频流进行显示。
63.本实施例中，为了保证观众的观看体验，直播观看终端300可以对压缩视频流进行转换以将转换视频流进行显示。例如可以提高压缩视频流的分辨率大小到预设分辨率大小，如可以提高到1080p、2k、4k分辨率等。
64.基于以上步骤，直播提供终端200在直播交互过程中通过对待交互的直播视频流进行特征残缺化处理后发送残缺化视频流给服务器100，可以有效节省数据传输量，提高数据传输速度，而后服务器100对残缺化视频流进行完整内容重绘，将重绘视频流进行压缩后将压缩视频流发送给直播观看终端300，通过直播内容完整性的猜测与重绘，可以降低直播观看终端300的性能资源消耗，并且只是发送压缩视频流至直播观看终端300，也极大节省了数据传输量，而后直播观看终端300可对压缩视频流进行转换以将转换视频流进行显示，进而在保障观看体验的同时极大降低传输数据量，降低带宽成本和直播延迟。
65.一种可能的实施方式中，针对步骤s110，直播提供终端200对待交互的直播视频流进行特征残缺化处理，获得残缺化视频流的步骤中，特征残缺化处理包括以下方式(1)
‑
(3)中的任意一种或者多种的组合：
66.(1)对待交互的直播视频流进行尺寸裁剪。例如，参阅图3所示，a1是待交互的直播视频流，a2是对待交互的直播视频流a1进行尺寸裁剪后的残缺化视频流。以直播活动为某个游戏为例，在a1中，可以包括完整的人物模型p以及局部事物q1、q2、q3以及q4，人物模型p以及局部事物q1、q2、q3以及q4可以构成一个全景图，而在a2中，只包括人物模型p以及部分
区域的局部事物q1、q2、q3以及q4。因此，a2相较于a1的尺寸更小，a2之外的区域a3可以理解为残缺化区域，从而可以有效减少数据传输量。
67.(2)对待交互的直播视频流的色彩度进行降低。例如，可以针对待交互的直播视频流的色彩度进行不同程度的调节处理，当色彩度降低时，相应的像素值降低，从而使得降低色彩度后的视频流的内容特征减少，从而可以有效减少数据传输量。
68.(3)对待交互的直播视频流中的部分视频帧进行剔除。例如，可以在某一段完整的直播视频流中删减掉某个时间段的中间视频帧。比如参阅图4所示，以直播活动为某个游戏为例，人物模型p从l1点移动到l2点，只保留l1点时的视频帧b1和l2点时的视频帧bn，而中间的移动过程的视频帧b2、b3、......bn
‑
1则进行删除，从而可以有效减少数据传输量。
69.一种可能的实施方式中，针对步骤s120，本实施例可以基于人工智能学习与预测的方式对残缺化视频流进行完整内容重绘，获得残缺化视频流对应的重绘视频流，例如请结合参阅图5，步骤s120可以通过以下示例性的步骤进一步实现。
70.子步骤s121，将残缺化视频流输入到预先训练的完整内容重绘模型中，基于完整内容重绘模型预测残缺化视频流中的残缺内容信息。
71.子步骤s122，基于预测的残缺内容信息对残缺化视频流进行内容重绘，获得残缺化视频流对应的重绘视频流。
72.本实施例中，该预先训练的完整内容重绘模型可以具有预测残缺化视频流中的残缺内容信息的能力，进而基于预测的残缺内容信息对残缺化视频流进行内容重绘，获得残缺化视频流对应的重绘视频流，通过直播内容完整性的猜测与重绘，可以降低直播观看终端300的性能资源消耗。
73.一种可能的实施方式中，下面结合一种示例性的实施例来介绍以上完整内容重绘模型的具体训练步骤，请结合参阅图6，本技术实施例提供一种完整内容重绘模型训练方法，该方法可以通过以下步骤实现，具体描述如下。
74.步骤s210，获取针对每个目标可直播活动的原始训练图像数据。
75.本实施例中，目标可直播活动具有规则化的图像特征，例如目标可直播活动可以为游戏直播活动，针对游戏场景而言，其运行过程中的场景画面的图像特征往往是规则性的，例如全景图、局部图、人物模型，动画效果等都是预先设计的固定贴图，具有规则性的特征，因此应用于后续的训练过程可以获得较好的学习效果。
76.步骤s220，对原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据，残缺化训练图像数据与原始训练图像数据存在至少一个残缺化维度的内容损失。
77.本实施例中，在获得原始训练图像数据后，可以对原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据。例如以前述的图3为例，残缺化训练图像数据可以是指a2，对应的标注残缺部分数据可以是指a3，再例如以前述的图4为例，残缺化训练图像数据可以是指b1和bn，对应的标注残缺部分数据可以是指b2、b3、......、bn
‑
1。
78.步骤s230，根据残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型。
79.例如，一种可能的实施方式中，步骤s230可以通过以下示例性的子步骤实现。
80.子步骤s231，将残缺化训练图像数据输入到初始内容重绘模型中，基于初始内容重绘模型对残缺化训练图像数据中的残缺内容信息进行预测。
81.本实施例中，将残缺化训练图像数据输入到初始内容重绘模型中，可以让初始内容重绘模型对残缺化训练图像数据中的残缺内容信息进行预测。例如以前述的图3为例，通过将a2输入到初始内容重绘模型中，可以让初始内容重绘模型对a2对应的a3进行预测。再例如以前述的图4为例，通过将b1和bn输入到初始内容重绘模型中，可以让初始内容重绘模型对b1和bn对应的b2、b3、......、bn
‑
1进行预测。
82.子步骤s232，基于预测的残缺内容信息和对应的标注残缺部分数据，确定针对预测的残缺内容信息的预测误差参数，并基于预测误差参数对初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到预测误差参数收敛时，输出训练完成的完整内容重绘模型。
83.本实施例中，可以基于预测的残缺内容信息和对应的标注残缺部分数据的差距，来确定该初始内容重绘模型的预测准确性。例如，可以通过确定的预测的残缺内容信息的预测误差参数来衡量该初始内容重绘模型的预测准确性，如果预测的残缺内容信息和对应的标注残缺部分数据的差距越大，表示该初始内容重绘模型的预测准确性越低，也即预测误差参数越大，此时需要结合预测误差参数来调整初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到预测误差参数收敛时，输出训练完成的完整内容重绘模型。
84.例如，可以按照不断降低预测误差参数的方向调整初始内容重绘模型的模型参数信息，直到预测误差参数低于预设误差参数，或者不再继续下降时，表明本次训练过程可以终止，此时则输出训练完成的完整内容重绘模型。
85.值得说明的是，在其它可能的实施方式中，也可以基于其它条件来判断本次训练过程是否可以终止，例如还可以在迭代训练次数达到预设训练次数后，确定本次训练过程可以终止，输出训练完成的完整内容重绘模型。
86.一种可能的实施方式中，针对前述的步骤s130，直播观看终端300可以通过人工智能学习和预测的方式对压缩视频流进行转换以将转换视频流进行显示。例如，直播观看终端300将压缩视频流输入到预先训练的预设分辨率对应的视频流转换模型中，基于视频流转换模型将压缩视频流的分辨率转换为预设分辨率后，将转换视频流进行显示。
87.其中，该预先训练的预设分辨率对应的视频流转换模型可以具有将压缩视频流的分辨率转换为预设分辨率的能力，其原理通常是通过预测压缩视频流的像素点来增加压缩视频流的像素数量，进而提高其分辨率。
88.一种可能的实施方式中，下面结合具体的示例来介绍前述视频流转换模型的具体训练步骤，请结合参阅图7，本技术实施例还提供一种视频流转换模型训练方法，该方法可以通过以下示例性的步骤实现，具体描述如下。
89.步骤s310，获取训练样本数据。
90.本实施例中，训练样本数据例如可以包括第一分辨率的第一视频流样本数据和对应的第二分辨率的第二视频流样本数据。其中，第二分辨率高于第一分辨率，例如第一分辨率可以为360p分辨率，第二分辨率可以为2k分辨率。
91.步骤s320，将第一视频流样本数据输入到初始视频流转换模型中，基于初始视频流转换模型对第一视频流样本数据进行针对于第二分辨率的转换，获得第三视频流样本数
据。
92.步骤s330，根据第三视频流样本数据与第二视频流样本数据之间的差异对初始视频流转换模型进行训练，获得训练完成的视频流转换模型。
93.本实施例中，可以第三视频流样本数据与第二视频流样本数据之间的差异，来确定该初始视频流转换模型的预测准确性，如果预测的第三视频流样本数据与对应的第二视频流样本数据的差异越大，表示该初始视频流转换模型的预测准确性越低，此时需要结合该差异来调整初始视频流转换模型的模型参数信息进行调整后继续迭代训练，直到该差异收敛时，输出训练完成的视频流转换模型。
94.例如，可以按照不断降低差异的方向调整初始视频流转换模型的模型参数信息，直到差异低于预设差异参数，或者不再继续下降时，表明本次训练过程可以终止，此时则输出训练完成的视频流转换模型。
95.值得说明的是，在其它可能的实施方式中，也可以基于其它条件来判断本次训练过程是否可以终止，例如还可以在迭代训练次数达到预设训练次数后，确定本次训练过程可以终止，输出训练完成的视频流转换模型。
96.基于同一发明构思，图8示出了本技术实施例提供的另一种直播数据流交互方法的流程示意图，与前述实施例不同的是，该直播数据流交互方法由图1中所示的服务器100执行。需要说明的是，接下来要描述的直播数据流交互方法中涉及的步骤在上面实施例中已经描述过，具体各个步骤的详尽内容可参照上面的实施例描述，在此不再加以详述。下面仅对第二服务器100执行的步骤进行简要说明。
97.步骤s410，获取直播提供终端200对待交互的直播视频流进行特征残缺化处理后发送的残缺化视频流，残缺化视频流与直播视频流存在至少一个残缺化维度的内容损失。
98.步骤s420，对残缺化视频流进行完整内容重绘，获得残缺化视频流对应的重绘视频流。
99.步骤s430，将重绘视频流进行压缩后将压缩视频流发送给直播观看终端300，以使得直播观看终端300对压缩视频流进行转换以将转换视频流进行显示。
100.一种可能的实施方式中，步骤s420可以将残缺化视频流输入到预先训练的完整内容重绘模型中，基于完整内容重绘模型预测残缺化视频流中的残缺内容信息，基于预测的残缺内容信息对残缺化视频流进行内容重绘，获得残缺化视频流对应的重绘视频流。
101.一种可能的实施方式中，完整内容重绘模型的训练步骤可以包括：
102.获取针对每个目标可直播活动的原始训练图像数据，其中，目标可直播活动具有规则化的图像特征。
103.对原始训练图像数据进行特征残缺化处理，获得残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据，残缺化训练图像数据与原始训练图像数据存在至少一个残缺化维度的内容损失。
104.根据残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型。
105.一种可能的实施方式中，根据残缺化训练图像数据以及残缺化训练图像数据对应的标注残缺部分数据对初始内容重绘模型进行训练，获得完整内容重绘模型的步骤，可以包括：将残缺化训练图像数据输入到初始内容重绘模型中，基于初始内容重绘模型对残缺
化训练图像数据中的残缺内容信息进行预测。然后，基于预测的残缺内容信息和对应的标注残缺部分数据，确定针对预测的残缺内容信息的预测误差参数，并基于预测误差参数对初始内容重绘模型的模型参数信息进行调整后继续迭代训练，直到预测误差参数收敛时，输出训练完成的完整内容重绘模型。
106.一种可能的实施方式中，直播观看终端300对压缩视频流进行转换以将转换视频流进行显示的步骤，可以包括：直播观看终端300将压缩视频流输入到预先训练的预设分辨率对应的视频流转换模型中，基于视频流转换模型将压缩视频流的分辨率转换为预设分辨率后，将转换视频流进行显示。
107.基于同一发明构思，请参阅图9，示出了本技术实施例提供的直播数据流交互装置110的功能模块示意图，本实施例可以根据上述方法实施例对直播数据流交互装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图9示出的直播数据流交互装置110只是一种装置示意图。其中，直播数据流交互装置110可以包括获取模块111、重绘模块112以及发送模块113，下面分别对该直播数据流交互装置110的各个功能模块的功能进行详细阐述。
108.获取模块111，用于获取所述直播提供终端200对待交互的直播视频流进行特征残缺化处理后发送的残缺化视频流，所述残缺化视频流与所述直播视频流存在至少一个残缺化维度的内容损失。可以理解，该获取模块111可以用于执行上述步骤s410，关于该获取模块111的详细实现方式可以参照上述对步骤s410有关的内容。
109.重绘模块112，用于对所述残缺化视频流进行完整内容重绘，获得所述残缺化视频流对应的重绘视频流。可以理解，该重绘模块112可以用于执行上述步骤s420，关于该重绘模块112的详细实现方式可以参照上述对步骤s420有关的内容。
110.发送模块113，用于将所述重绘视频流进行压缩后将压缩视频流发送给所述直播观看终端300，以使得所述直播观看终端300对所述压缩视频流进行转换以将转换视频流进行显示。可以理解，该发送模块113可以用于执行上述步骤s430，关于该发送模块113的详细实现方式可以参照上述对步骤s430有关的内容。
111.基于同一发明构思，请参阅图10，示出了本技术实施例提供的用于执行上述直播数据流交互方法的服务器100的结构示意框图，该服务器100可以包括直播数据流交互装置110、机器可读存储介质120和处理器130。
112.本实施例中，机器可读存储介质120与处理器130均位于服务器100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于服务器100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。
113.处理器130是该服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据，执行该服务器100的各种功能和处理数据，从而对服务器100进行整体监控。可选地，处理器130可包括一个或多个处理核心；例如，处理
器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
114.其中，处理器130可以是一个通用的中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application
‑
specific integrated circuit，asic)，或一个或多个用于控制上述方法实施例提供的直播数据流交互方法的程序执行的集成电路。
115.机器可读存储介质120可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmabler
‑
only memory，eeprom)、只读光盘(compactdisc read
‑
only memory，cd
‑
rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本技术方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以实现前述方法实施例提供的直播数据流交互方法。
116.直播数据流交互装置110可以包括存储于机器可读存储介质120中的软件功能模块(例如获取模块111、重绘模块112以及发送模块113)，当处理器130执行直播数据流交互装置110包括的各个软件功能模块时可以执行前述方法实施例提供的直播数据流交互方法。
117.由于本技术实施例提供的服务器100是上述服务器100执行的方法实施例的另一种实现形式，且服务器100可用于执行上述方法实施例提供的直播数据流交互方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
118.进一步地，本技术实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的直播数据流交互方法。
119.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本技术任意实施例所提供的直播数据流交互方法中的相关操作。
120.本技术实施例是参照根据本技术实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
121.尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干
项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
122.以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。