直播视频数据的传输方法、装置、主播客户端及服务器与流程

本发明涉及直播，尤其涉及一种直播视频数据的传输方法、装置、主播客户端及服务器。

背景技术：

1、随着网络直播行业的快速发展，网络传输已经成为制约直播稳定性和观看体验的主要因素。例如，在户外直播场景下，不稳定的移动网络可能会导致信号中断、画面模糊等问题，进而影响观众的观看体验。解决这一问题的方法之一是使用背包加网络聚合器，这样可以提高视频编码的性能和网络带宽，从而提高直播的稳定性。但即便如此，在某些场景下，仍然会出现带宽不足的情况，例如基站服务用户太多造成基站负载过高而出现网络瓶颈，或者区域性的移动基站过少造成了网络波动太大等。

2、目前，针对带宽不足的情况，也可以根据网络情况自动降低或增加码率对抗弱网环境，该方法可以在不保证视频清晰度和用户体验的情况下基本满足弱网环境的下视频数据传输。但是，通过降低编码码率去适配已经降低的传输带宽，会导致画质变差、变模糊、动态部分重影等诸多问题，实用效果很差。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种直播视频数据的传输方法，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

2、本发明的第二个目的在于提出另一种直播视频数据的传输方法。

3、本发明的第三个目的在于提出一种直播视频数据的传输装置。

4、本发明的第四个目的在于提出另一种直播视频数据的传输装置。

5、本发明的第五个目的在于提出一种主播客户端。

6、本发明的第六个目的在于提出一种服务器。

7、本发明的第七个目的在于提出一种计算机可读存储介质。

8、为达到上述目的，本发明第一方面实施例提出了一种直播视频数据的传输方法，应用于主播客户端，方法包括：获取直播视频数据，并将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，其中，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率；获取当前时刻的网络性能参数，并根据网络性能参数确定当前时刻的目标视频数据，其中，目标视频数据包括第一编码视频数据或者第二编码视频数据；通过预设传输通道向服务器发送目标视频数据，以便服务器在确定目标视频数据为第一编码视频数据后，将第一编码视频数据发送至观众客户端，以及在确定目标视频数据为第二编码视频数据后，对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。

9、根据本发明实施例的直播视频数据的传输方法，主播客户端通过获取直播视频数据，并将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，其中，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率；获取当前时刻的网络性能参数，并根据网络性能参数确定当前时刻的目标视频数据，其中，目标视频数据包括第一编码视频数据或者第二编码视频数据；通过预设传输通道向服务器发送目标视频数据，以便服务器在确定目标视频数据为第一编码视频数据后，将第一编码视频数据发送至观众客户端，以及在确定目标视频数据为第二编码视频数据后，对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。由此，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

10、根据本发明的一个实施例，通过预设传输通道向服务器发送目标视频数据，包括：获取上一时刻发送的视频数据的结束发送位置；根据结束发送位置，确定当前时刻的目标视频数据的开始发送位置；通过预设传输通道，从开始发送位置开始向服务器发送目标视频数据。

11、根据本发明的一个实施例，若上一时刻发送的视频数据的分辨率和目标视频数据的分辨率不相同，则根据结束发送位置，确定当前时刻的目标视频数据的开始发送位置，包括：根据结束发送位置，确定切换到目标视频数据的切换位置；确定目标即时解码刷新idr帧和目标idr帧的位置，其中，目标idr帧为位于切换位置之后位置的下一个画面组gop中的第一个idr帧；将目标idr帧的位置，作为开始发送位置。

12、根据本发明的一个实施例，网络性能参数包括以下至少一项：网络带宽、网络延迟和网络抖动。

13、根据本发明的一个实施例，若网络性能参数包括网络带宽，则根据网络性能参数确定当前时刻的目标视频数据，包括：若网络带宽大于第一预设预设阈值，则确定第一编码视频数据为目标视频数据；若网络带宽小于第二预设阈值，则确定第二编码视频数据为目标视频数据，其中，第一预设阈值大于第二预设阈值。

14、为达到上述目的，本发明第二方面实施例提出了另一种直播视频数据的传输方法，应用于服务器，方法包括：通过预设传输通道接收主播客户端发送的目标视频数据，其中，目标视频数据由主播客户端将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率，并根据当前时刻的网络性能参数确定当前时刻的目标视频数据，目标视频数据包括第一编码视频数据或者第二编码视频数据；判断目标视频数据为第一编码视频数据或者第二编码视频数据；若确定目标视频数据为第一编码视频数据，则将第一编码视频数据发送至观众客户端；若确定目标视频数据为第二编码视频数据，则对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。

15、根据本发明实施例的直播视频数据的传输方法，服务器通过预设传输通道接收主播客户端发送的目标视频数据，其中，目标视频数据由主播客户端将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率，并根据当前时刻的网络性能参数确定当前时刻的目标视频数据，目标视频数据包括第一编码视频数据或者第二编码视频数据；判断目标视频数据为第一编码视频数据或者第二编码视频数据；若确定目标视频数据为第一编码视频数据，则将第一编码视频数据发送至观众客户端；若确定目标视频数据为第二编码视频数据，则对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。由此，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

16、根据本发明的一个实施例，目标视频数据包括分辨率信息，判断目标视频数据为第一编码视频数据或者第二编码视频数据，包括：根据分辨率信息，判断目标视频数据为第一编码视频数据或者第二编码视频数据。

17、为达到上述目的，本发明第三方面实施例提出一种直播视频数据的传输装置，应用于主播客户端，装置包括：编码模块，用于获取直播视频数据，并将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，其中，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率；确定模块，用于获取当前时刻的网络性能参数，并根据网络性能参数确定当前时刻的目标视频数据，其中，目标视频数据包括第一编码视频数据或者第二编码视频数据；第一发送模块，用于通过预设传输通道向服务器发送目标视频数据，以便服务器在确定目标视频数据为第一编码视频数据后，将第一编码视频数据发送至观众客户端，以及在确定目标视频数据为第二编码视频数据后，对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。

18、根据本发明实施例的直播视频数据的传输装置，通过编码模块，获取直播视频数据，并将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，其中，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率；通过确定模块，获取当前时刻的网络性能参数，并根据网络性能参数确定当前时刻的目标视频数据，其中，目标视频数据包括第一编码视频数据或者第二编码视频数据；通过第一发送模块，基于预设传输通道向服务器发送目标视频数据，以便服务器在确定目标视频数据为第一编码视频数据后，将第一编码视频数据发送至观众客户端，以及在确定目标视频数据为第二编码视频数据后，对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。由此，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

19、为达到上述目的，本发明第四方面实施例提出另一种直播视频数据的传输装置，应用于服务器，装置包括：接收模块，用于通过预设传输通道接收主播客户端发送的目标视频数据，其中，目标视频数据由主播客户端将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率，并根据当前时刻的网络性能参数确定当前时刻的目标视频数据，目标视频数据包括第一编码视频数据或者第二编码视频数据；判断模块，用于判断目标视频数据为第一编码视频数据或者第二编码视频数据；第二发送模块，用于若确定目标视频数据为第一编码视频数据，则将第一编码视频数据发送至观众客户端；若确定目标视频数据为第二编码视频数据，则对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。

20、根据本发明实施例的直播视频数据的传输装置，通过接收模块，基于预设传输通道接收主播客户端发送的目标视频数据，其中，目标视频数据由主播客户端将直播视频数据分别编码为第一编码视频数据和第二编码视频数据，第一编码视频数据对应的分辨率大于第二编码视频数据对应的分辨率，并根据当前时刻的网络性能参数确定当前时刻的目标视频数据，目标视频数据包括第一编码视频数据或者第二编码视频数据；通过判断模块，判断目标视频数据为第一编码视频数据或者第二编码视频数据；通过第二发送模块，若确定目标视频数据为第一编码视频数据，则将第一编码视频数据发送至观众客户端；若确定目标视频数据为第二编码视频数据，则对第二编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端。由此，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

21、为达到上述目的，本发明第五方面实施例提出一种主播客户端，包括：第一存储器、第一处理器及存储在第一存储器上并可在第一处理器上运行的程序，第一处理器执行程序时，实现第一方面实施例的直播视频数据的传输方法。

22、上述主播客户端中，可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

23、为达到上述目的，本发明第六方面实施例提出一种服务器，包括：第二存储器、第二处理器及存储在第二存储器上并可在第二处理器上运行的程序，第二处理器执行程序时，实现第二方面实施例的直播视频数据的传输方法。

24、上述服务器中，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

25、为达到上述目的，本发明第七方面实施例提出一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现第一方面实施例和第二方面实施例的直播视频数据的传输方法。

26、上述计算机可读存储介质中，主播客户端可以只通过一个预设传输通道向服务器发送不同分辨率的目标视频数据，这样解决了带宽不足的问题；可以无需通过切换不同传输通道的方式实现不同分辨率的目标视频数据的发送，这样解决了由于切换传输通道所导致的流媒体传输不流畅的问题，而不会引入不必要的延迟与超时处理问题；并且，服务器可以对接收到的低分辨率编码视频数据进行超分辨率重建处理，并将重建后的视频数据发送至观众客户端，这样可以解决弱网环境下的直播推流造成的流畅度和清晰度之间的矛盾，在保障分辨率和流畅度的前提下，提高了视频清晰度，从而提高了用户的观看体验度。

27、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。