![直播视频流转换方法、装置、设备及存储介质与流程](https://img.xjishu.com/img/zl/2022/12/6/pns5om66j.jpg)
1.本发明涉及计算机技术领域,尤其涉及一种直播视频流转换方法、装置、设备及存储介质。
背景技术:2.高动态范围hdr是近年图像与视频领域新兴的一种技术,目的是展现更加生动细腻的画面。相比于标准动态范围sdr格式,hdr具有更深的色深,更广的色彩范围,更高的亮度对比,因此,hdr能够传达高动态画面并展现更多的细节,营造沉浸式的观看体验。随着移动设备硬件技术的发展,hdr视频的受众范围也逐渐扩大。目前,hdr技术主要应用于影视作品的播放,直播领域对于hdr画质的支持较少,而观众对于直播尤其是游戏赛事直播增强画质与观看体验的需求又不断增高。但是大多数游戏直播的游戏画面本身是sdr格式,如何将sdr格式的主播游戏画面,扩展为高动态的hdr格式,经过实时高效编码与传输后提供给观众观看,是其中的重点与难点。
3.在现有技术中,将sdr转换为hdr的方法可以分为两大类,一类是利用传统逆色调映射算法,即建立一个函数模型对图像进行全局映射或局部映射。比较典型的有线性缩放模型、幂函数模型以及反向色调映射算子tmo等。考虑到图像的局部信息特征,加强对高频细节的保护,一些方法在基本逆色调映射模型的基础上加入双边滤波将图像中的细节层分离出来处理。另一类则利用基于深度学习的人工智能模型进行sdr到hdr的自动转换。而将现有转换方法应用于hdr格式的视频流,均存在视频转换速度慢、转换效果差以及视频编码造成色度失真的问题。
技术实现要素:4.本发明提供了一种直播视频流转换方法、装置、设备及存储介质,用于提高视频转换速度和转换效果,以及消除视频编码的色度失真。
5.为实现上述目的,本发明第一方面提供了一种直播视频流转换方法,包括:获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
6.一种可行的实施方式中,所述对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据,包括:获取所述标准动态范围直播视频流对应的视频编码格式;将所述标准动态范围直播视频流输入至与所述视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。
7.一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据,包括:对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据;对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据;通过感知量化映射函数将所述转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
8.一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据,包括:根据所述标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数;按照所述目标线性转换函数对所述解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。
9.一种可行的实施方式中,所述对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据,包括:按照预设色域转换算法将所述线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,所述第一色彩空间为bt.709色彩空间,所述第二色彩空间为bt.2020色彩空间。
10.一种可行的实施方式中,所述基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据,包括:从所述预设的查找表中提取所述至少一种图像参数的映射关系,所述图像参数包括:亮度、色相、饱和度中的一种或多种;根据所述至少一种图像参数的映射关系对所述转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像数据。
11.一种可行的实施方式中,所述通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,包括:将所述处理后的直播视频图像数据输入至预设的编码器,并通过所述编码器从所述处理后的直播视频图像数据中提取色度分量和亮度分量;其中,所述编码器为基于图形处理器的高效视频编码器,且所述编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,所述色度量化偏移参数用于调节所述亮度量化参数和所述色度量化参数之间的平衡关系;基于所述亮度量化参数、所述色度量化参数和所述色度量化偏移参数对所述色度分量和所述亮度分量进行视频编码处理,输出高动态范围直播视频流。
12.一种可行的实施方式中,在所述获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据之前,所述直播视频流转换方法还包括:基于直播游戏场景中的场景视频图像数据构建所述预设的查找表;获取视频编码码率,并根据所述视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到所述预设的编码器。
13.一种可行的实施方式中,所述基于直播游戏场景中的场景视频图像数据构建所述预设的查找表,包括:从直播游戏场景中获取场景视频图像数据,并对所述场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据;通过预设调色软件对所述高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到所述预设的查找表。
14.本发明第二方面提供了一种直播视频流转换装置,包括:解码模块,用于获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;转换模块,用于对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;映射模块,用于基于预设的查找表对所述转换后的直播视
频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;编码模块,用于通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
15.一种可行的实施方式中,所述解码模块具体用于:获取所述标准动态范围直播视频流对应的视频编码格式;将所述标准动态范围直播视频流输入至与所述视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。
16.一种可行的实施方式中,所述转换模块还包括:处理单元,用于对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据;第一转换单元,用于对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据;第二转换单元,用于通过感知量化映射函数将所述转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
17.一种可行的实施方式中,所述处理单元具体用于:根据所述标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数;按照所述目标线性转换函数对所述解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。
18.一种可行的实施方式中,所述第二转换单元具体用于:按照预设色域转换算法将所述线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,所述第一色彩空间为bt.709色彩空间,所述第二色彩空间为bt.2020色彩空间。
19.一种可行的实施方式中,所述映射模块具体用于:从所述预设的查找表中提取所述至少一种图像参数的映射关系,所述图像参数包括:亮度、色相、饱和度中的一种或多种;根据所述至少一种图像参数的映射关系对所述转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像数据。
20.一种可行的实施方式中,所述编码模块具体用于:将所述处理后的直播视频图像数据输入至预设的编码器,并通过所述编码器从所述处理后的直播视频图像数据中提取色度分量和亮度分量;其中,所述编码器为基于图形处理器的高效视频编码器,且所述编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,所述色度量化偏移参数用于调节所述亮度量化参数和所述色度量化参数之间的平衡关系;基于所述亮度量化参数、所述色度量化参数和所述色度量化偏移参数对所述色度分量和所述亮度分量进行视频编码处理,输出高动态范围直播视频流。
21.一种可行的实施方式中,所述直播视频流转换装置还包括:构建模块,用于基于直播游戏场景中的场景视频图像数据构建所述预设的查找表;设置模块,用于获取视频编码码率,并根据所述视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到所述预设的编码器。
22.一种可行的实施方式中,所述构建模块具体用于:从直播游戏场景中获取场景视频图像数据,并对所述场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据;通过预设调色软件对所述高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到所述预设的查找表。
23.本发明第三方面提供了一种直播视频流转换设备,包括:存储器和至少一个处理
器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述直播视频流转换设备执行上述的直播视频流转换方法。
24.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的直播视频流转换方法。
25.本发明提供的技术方案中,获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
附图说明
26.图1为本发明实施例中直播视频流转换方法的一个实施例示意图;
27.图2为本发明实施例中直播视频流转换方法的另一个实施例示意图;
28.图3为本发明实施例中直播视频流转换装置的一个实施例示意图;
29.图4为本发明实施例中直播视频流转换装置的另一个实施例示意图;
30.图5为本发明实施例中直播视频流转换设备的一个实施例示意图。
具体实施方式
31.本发明实施例提供了一种直播视频流转换方法、装置、设备及存储介质,用于提高视频转换速度和转换效果,以及消除视频编码的色度失真。
32.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中直播视频流转换方法的一个实施例包括:
34.101、获取标准动态范围直播视频流,并对标准动态范围直播视频流进行解码,得
到解码后的直播视频图像数据。
35.需要说明的是,标准动态范围直播视频流来源于实时直播场景,其中,实时直播场景包括游戏直播场景、电商直播场景以及教育直播场景等。实时直播场景对应的原始直播视频数据需要压缩后才能进行网络传输,压缩的过程称为编码,编码格式有多种,例如h264、h265等。当对标准动态范围直播视频流进行图像操作时,服务器根据标准动态范围直播视频流对应的编码格式进行解码。在一些实时例中,服务器从实时直播场景中获取标准动态范围直播视频流;服务器获取标准动态范围直播视频流对应的视频编码格式,具体的,服务器通过预设视频编码格式识别模型从标准动态范围直播视频流中提取视频类型数据,并对视频类型数据进行格式分析,得到视频编码格式,其中,视频类型数据包括i帧、b帧、p帧以及nalu类型帧等;服务器将标准动态范围直播视频流输入至与视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。例如,视频编码格式为h264的标准动态范围直播视频流,服务器调用h264解码器对标准动态范围直播视频流解码。
36.在本实施例中,以游戏直播场景为例进行说明。在步骤101之前,服务器基于直播游戏场景中的场景视频图像数据构建预设的查找表;服务器获取视频编码码率,并根据视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到预设的编码器。色度量化参数的设置公式为:其中,bitrate表示视频编码码率,单位是兆(m),色度量化偏移参数包括第一色度量化偏移参数qp_cb_offset和第二色度量化偏移参数qp_cr_offset,分别表示cb通道的色度量化偏移值以及cr通道的色度量化偏移值。例如,服务器设置qp_cb_offset和qp_cr_offset为负数,具体偏移值大小可以根据视频编码码率确定,若视频编码码率小于10m,则服务器设置为最小值-12,来实现最大程度的偏移保护。
37.进一步地,服务器在执行获取标准动态范围直播视频流,并对标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据步骤时,服务器从直播游戏场景中获取场景视频图像数据,并对场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据,其中,场景视频图像数据包括白天图像数据、黑夜图像数据、打斗图像数据以及草坪图像数据等;服务器通过预设调色软件对高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到预设的查找表。需要说明的是,在构建查找表的过程中,以增强人眼感受效果为调色目标,主要调节标准包括增强高动态范围格式的图像数据中高亮处与黑暗处的亮度差,以提高亮度对比,可以提高到超出标准动态范围内的亮度也不会过曝;调节高动态范围格式的图像数据对应的色彩饱和度与色相,以增强色彩表现,充分利用高动态范围宽色域的特点,使得图像更具冲击力,观感更加鲜明。实际应用中,通过调节色温、色调、曝光量、对比度、高光、阴影、白色、黑色、自然饱和度与饱和度这些参数达到增强人眼感受效果的目的,预设的查找表应匹配直播游戏的基调氛围,并能够应用于大多数游戏直播场景中。
38.可以理解的是,本发明的执行主体可以为直播视频流转换装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
39.102、对解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据。
40.具体的,首先,服务器对解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据。其中,服务器对解码后的直播视频图像数据采用的线性化处理方式(也就是,非线性转换函数的逆变换)取决于标准动态范围直播视频流产生时所采用的非线性转换函数,例如,若bt.1886格式的标准动态范围直播视频流在生产时可以采用非线性转换函数为gamma2.4或者gamma2.2,也有其他特殊格式的标准动态范围直播视频流采用log变换等,相对应的线性化处理方式为gamma2.4、gamma2.2或log变换的逆变换。其次,服务器对线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据,也就是,将线性直播视频图像数据从标准动态范围对应的bt.709色域转换至高动态范围对应bt.2020色域,进一步地,服务器通过预设的色域转换模型对线性直播视频图像数据进行色彩空间转换与颜色矫正处理,得到转换后的rgb色彩空间图像数据,预设的色域转换模型为预先训练好的色彩空间变换模型。最后,服务器将转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据,进一步地,服务器通过感知量化器电光传递函数将转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。服务器还可以通过其他方式进行色彩空间转换和亮度线性空间转换处理,具体此处不做限定。
41.103、基于预设的查找表对转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,查找表中包括至少一种图像参数的映射关系;映射关系用于将图像参数从第一参数范围映射至第二参数范围;第二参数范围大于第一参数范围。
42.其中,查找表应用于调色领域称为颜色查找表,也就是对输入像素的rgb值,通过查找表得到输出的rgb值。查找表中包括至少一种图像参数的映射关系,查找表包括一维查找表、二维查找表和三维查找表,一维查找表中rgb数据相互独立,只能影响r、g、b三个通道的线性对比度亮度调节。二维查找表可以控制颜色的两个图像参数,即饱和度和亮度,并在完整的色彩空间中进行线性缩放,通过二维坐标记录颜色的映射关系。三维查找表输出的rgb每一个色彩分量都和输入的r、g、b三个分量相关,通过三维查找表包括亮度、色相和饱和度三个图像参数对应的映射关系,在实际应用场景中,可以根据业务需求选择不同的查找表。由此可见,映射关系用于将图像参数(也就是亮度、色相和/或饱和度)从第一参数范围映射至第二参数范围,第二参数范围大于第一参数范围。也就是,服务器基于预设的查找表将转换后的直播视频图像数据中的亮度、色相和/或饱和度从第一参数范围映射至第二参数范围,第二参数比第一参数范围具有更高的亮度范围、更宽的色域范围以及更深的位深。本实施例中,以三维查找表为例进行说明,服务器基于三维查找表中的映射关系对转换后的直播视频图像数据进行亮度范围扩展与色彩增强,得到处理后的直播视频图像数据,进一步地,服务器在实际应用中通过图形处理器gpu加速查找表渲染,耗时可控制在1ms以内,提高了视频转换速度和转换效果。
43.104、通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
44.需要说明的是,高动态范围直播视频流与标准动态范围直播视频流相比,亮度线性空间和bt.2020色彩基色的组合使得处理后的直播视频图像数据中色度分量的取值更加
紧密地聚集在零附近,在量化过程中易出现丢失,此时比特分配从色度分量向亮度分量偏移。如果没有为色度分量分配足够多的比特,就会产生色度失真,例如,白色区域中会出现青色和品红色。因此,预设的编码器为基于图形处理器gpu的高效视频编码器hevc,且基于gpu的hevc中引入编码参数优化,也就是服务器预先设置了对编码器中色度量化偏移参数,通过色度量化偏移参数调节亮度分量(y通道)与色度分量(cb通道和cr通道)之间的平衡关系,也就是,控制cb通道和cr通道分配的色度分量值比y通道分配的亮度分量值低,以减少或消除视频编码的色度失真。
45.本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
46.请参阅图2,本发明实施例中直播视频流转换方法的另一个实施例包括:
47.201、获取标准动态范围直播视频流,并对标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据。
48.该步骤201的具体执行过程与步骤101的具体执行过程相似,具体此处不再赘述。
49.202、对解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据。
50.也就是,服务器将解码后的直播视频图像数据中像素颜色值以还原为自然场景中的真实颜色值。可以理解是,人类视觉系统对亮度的感知是非线性的,自然场景中的画面经过相机记录为数字图像时,需要将自然场景中的颜色值转换为用于传输的非线性颜色值,以使得图片存储的精度尽可能模拟人眼的敏感度,并为人眼敏感度较高的区域分配更多的带宽。例如,假设亮度范围是0-1,人眼其实感觉不出0.95-0.950001的变化,在数字图像存储时就可以对亮度较高的区间分配少点空间,而对亮度较低的区域分配更多空间。其中,解码后的直播视频图像数据对应的图像rgb值是经过非线性转换处理后的值,则服务器通过标准动态范围直播视频流对应的非线性转换函数的逆变换对解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据。
51.在一些实施例中,服务器根据标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数(也就是,非线性转换函数的逆变换);服务器按照目标线性转换函数对解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。目标线性转换函数与非线性转换函数存在一一对应关系。例如,若非线性转换函数为bt.1886标准中的gamma 2.4,具体公式为目标线性转换函数对应的具体公式为其中,c
linear
表示归一化的线性r、g、b值,c
non-linear
表示归一化的非线性r、g、b值,r、g、b值表示解码后的直播视频图像数据中某点的像素值。
52.203、对线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图
像数据。
53.可以理解的是,标准动态范围直播视频流中图像格式标准对应的色彩空间通常为bt.709色域(也就是,色彩空间),而高动态范围直播视频流中图像格式标准对应的色彩空间则属于bt.2020色域,为满足高动态范围直播视频流的图像格式标准,匹配显示终端的高动态范围颜色空间标准,在本实施例中,服务器进行色彩空间转换过程中,将标准动态范围直播视频流的色彩空间中包含的颜色特征,转变成高动态范围直播视频流的色彩空间中所能体现的颜色。
54.在一些实施例中,服务器按照预设色域转换算法将线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,第一色彩空间为bt.709色彩空间,第二色彩空间为bt.2020色彩空间。其中,将bt.709色彩空间的rgb值转换为bt.2020色彩空间的预设色域转换算法如下所示:
[0055][0056]
其中,c
rgb709
表示bt.709色彩空间,c
rgb2020
表示bt.2020色彩空间。
[0057]
204、通过感知量化映射函数将转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
[0058]
也就是,根据高动态范围hdr格式标准,服务器将转换后的rgb色彩空间图像数据映射到感知量化曲线pq空间。可以理解的是,与标准动态范围直播视频流对应的非线性映射函数(例如,感知量化映射函数)不同,高动态范围直播视频流所采用的hdr格式适用亮度范围更广的非线性映射函数,不同hdr格式采用不同的非线性映射函数,hdr10格式标准要求采用pq转换。具体的,服务器通过感知量化映射函数将转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。其中,感知量化映射函数为其中,x表示归一化的线性r、g、b像素值,m1=2610/4096
×
1/4=0.1593017578125,m2=2523/4096
×
128=78.84375,c1=3424/4096=0.8359375=c
3-c2+1,c2=2413/4096
×
32=18.8515625,c3=2392/4096
×
32=18.6875,感知量化映射函数描述了人眼对于不同亮度和空间的频率的响应情况。
[0059]
205、基于预设的查找表对转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,查找表中包括至少一种图像参数的映射关系;映射关系用于将图像参数从第一参数范围映射至第二参数范围;第二参数范围大于第一参数范围。
[0060]
其中,预设的查找表lut相当于一个离散函数,查找表中包括至少一种图像参数的映射关系;映射关系用于将图像参数从第一参数范围映射至第二参数范围;第二参数范围大于第一参数范围,第二参数范围用于指示处理后的直播视频图像数据中rgb像素值表示的颜色数量,第一参数范围用于指示转换后的直播视频图像数据中rgb像素值表示的颜色数量。在一些实施例中,服务器从预设的查找表中提取至少一种图像参数的映射关系,图像参数包括:亮度、色相、饱和度中的一种或多种;服务器根据至少一种图像参数的映射关系对转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像
数据。服务器通过查找表的动态范围扩展提高了视频转换速度和转换效果。
[0061]
206、通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
[0062]
其中,高动态范围直播视频流具有高动态、宽色域、高帧率、高位宽以及高分辨率的特点。在一些实施例中,服务器将处理后的直播视频图像数据输入至预设的编码器,并通过编码器从处理后的直播视频图像数据中提取色度分量和亮度分量;其中,编码器为基于图形处理器的高效视频编码器,且编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,色度量化偏移参数用于调节亮度量化参数和色度量化参数之间的平衡关系;服务器基于亮度量化参数、色度量化参数和色度量化偏移参数对色度分量和亮度分量进行视频编码处理,输出高动态范围直播视频流。例如,对于打斗画面激烈,场景复杂的游戏直播视频流,对应的视频编码码率分配很高,若仅提高平均码率,降低亮度量化参数导致带宽负载过高,加大卡顿概率。为解决色度失真问题,服务器通过对cb通道和cr通道分别单独设置一个大的色度量化偏移参数,进而确保在视频编码码率有限的情况下,y通道对应亮度量化参数较高时,色度量化参数仍然维持在一个正常的水平,使得在量化期间不会发生较为严重的色度信息丢失,有效解决了色度失真的问题。
[0063]
本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
[0064]
上面对本发明实施例中直播视频流转换方法进行了描述,下面对本发明实施例中直播视频流转换装置进行描述,请参阅图3,本发明实施例中直播视频流转换装置一个实施例包括:
[0065]
解码模块301,用于获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;
[0066]
转换模块302,用于对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;
[0067]
映射模块303,用于基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;
[0068]
编码模块304,用于通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
[0069]
本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编
码器消除了视频编码的色度失真。
[0070]
请参阅图4,本发明实施例中直播视频流转换装置另一个实施例包括:
[0071]
解码模块301,用于获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;
[0072]
转换模块302,用于对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;
[0073]
映射模块303,用于基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;
[0074]
编码模块304,用于通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
[0075]
一种可行的实施方式中,所述解码模块301具体用于:
[0076]
获取所述标准动态范围直播视频流对应的视频编码格式;
[0077]
将所述标准动态范围直播视频流输入至与所述视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。
[0078]
一种可行的实施方式中,所述转换模块302还包括:
[0079]
处理单元3021,用于对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据;
[0080]
第一转换单元3022,用于对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据;
[0081]
第二转换单元3023,用于通过感知量化映射函数将所述转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
[0082]
一种可行的实施方式中,所述处理单元3021具体用于:
[0083]
根据所述标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数;
[0084]
按照所述目标线性转换函数对所述解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。
[0085]
一种可行的实施方式中,所述第二转换单元3022具体用于:
[0086]
按照预设色域转换算法将所述线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,所述第一色彩空间为bt.709色彩空间,所述第二色彩空间为bt.2020色彩空间。
[0087]
一种可行的实施方式中,所述映射模块303具体用于:
[0088]
从所述预设的查找表中提取所述至少一种图像参数的映射关系,所述图像参数包括:亮度、色相、饱和度中的一种或多种;
[0089]
根据所述至少一种图像参数的映射关系对所述转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像数据。
[0090]
一种可行的实施方式中,所述编码模块304具体用于:
[0091]
将所述处理后的直播视频图像数据输入至预设的编码器,并通过所述编码器从所
述处理后的直播视频图像数据中提取色度分量和亮度分量;其中,所述编码器为基于图形处理器的高效视频编码器,且所述编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,所述色度量化偏移参数用于调节所述亮度量化参数和所述色度量化参数之间的平衡关系;
[0092]
基于所述亮度量化参数、所述色度量化参数和所述色度量化偏移参数对所述色度分量和所述亮度分量进行视频编码处理,输出高动态范围直播视频流。
[0093]
一种可行的实施方式中,所述直播视频流转换装置还包括:
[0094]
构建模块305,用于基于直播游戏场景中的场景视频图像数据构建所述预设的查找表;
[0095]
设置模块306,用于获取视频编码码率,并根据所述视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到所述预设的编码器。
[0096]
一种可行的实施方式中,所述构建模块305具体用于:
[0097]
从直播游戏场景中获取场景视频图像数据,并对所述场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据;
[0098]
通过预设调色软件对所述高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到所述预设的查找表。
[0099]
本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
[0100]
上面图3和图4从模块化的角度对本发明实施例中的直播视频流转换装置进行详细描述,下面从硬件处理的角度对本发明实施例中直播视频流转换设备进行详细描述。
[0101]
图5是本发明实施例提供的一种直播视频流转换设备的结构示意图,该直播视频流转换设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对直播视频流转换设备500中的一系列计算机程序操作。更进一步地,处理器510可以设置为与存储介质530通信,在直播视频流转换设备500上执行存储介质530中的一系列计算机程序操作,以使得所述库文件的生成设备500执行所述直播视频流转换方法的步骤,例如:
[0102]
获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;通过预设的编码器对所述处理后的直播视
频图像数据进行编码处理,得到高动态范围直播视频流。
[0103]
本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
[0104]
一种可行的实施方式中,所述对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据,包括:获取所述标准动态范围直播视频流对应的视频编码格式;将所述标准动态范围直播视频流输入至与所述视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。
[0105]
一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据,包括:对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据;对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据;通过感知量化映射函数将所述转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
[0106]
一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据,包括:根据所述标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数;按照所述目标线性转换函数对所述解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。
[0107]
一种可行的实施方式中,所述对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据,包括:按照预设色域转换算法将所述线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,所述第一色彩空间为bt.709色彩空间,所述第二色彩空间为bt.2020色彩空间。
[0108]
一种可行的实施方式中,所述基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据,包括:从所述预设的查找表中提取所述至少一种图像参数的映射关系,所述图像参数包括:亮度、色相、饱和度中的一种或多种;根据所述至少一种图像参数的映射关系对所述转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像数据。
[0109]
一种可行的实施方式中,所述通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,包括:将所述处理后的直播视频图像数据输入至预设的编码器,并通过所述编码器从所述处理后的直播视频图像数据中提取色度分量和亮度分量;其中,所述编码器为基于图形处理器的高效视频编码器,且所述编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,所述色度量化偏移参数用于调节所述亮度量化参数和所述色度量化参数之间的平衡关系;基于所述亮度量化参数、所述色度量化参数和所述色度量化偏移参数对所述色度分量和所述亮度分量进行视频编码处理,输出高动态范围直播视频流。
[0110]
一种可行的实施方式中,在所述获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据之前,所述直播视频流转换
方法还包括:基于直播游戏场景中的场景视频图像数据构建所述预设的查找表;获取视频编码码率,并根据所述视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到所述预设的编码器。
[0111]
一种可行的实施方式中,所述基于直播游戏场景中的场景视频图像数据构建所述预设的查找表,包括:从直播游戏场景中获取场景视频图像数据,并对所述场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据;通过预设调色软件对所述高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到所述预设的查找表。
[0112]
直播视频流转换设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如windows serve,mac os x,unix,linux,freebsd等等。本领域技术人员可以理解,图5示出的直播视频流转换设备结构并不构成对直播视频流转换设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0113]
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述直播视频流转换方法的步骤,例如:
[0114]
获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据;对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据;基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据;其中,所述查找表中包括至少一种图像参数的映射关系;所述映射关系用于将所述图像参数从第一参数范围映射至第二参数范围;所述第二参数范围大于所述第一参数范围;通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流。
[0115]
本发明实施例中,通过对标准动态范围直播视频流进行解码和图像格式转换处理,得到转换后的直播视频图像数据,基于预设的查找表将转换后的直播视频图像数据中的至少一种图像参数从第一参数范围映射至第二参数范围,得到处理后的直播视频图像数据,通过预设的编码器对处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,通过查找表的动态范围扩展提高了视频转换速度和转换效果,以及通过预设的编码器消除了视频编码的色度失真。
[0116]
一种可行的实施方式中,所述对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据,包括:获取所述标准动态范围直播视频流对应的视频编码格式;将所述标准动态范围直播视频流输入至与所述视频编码格式对应的解码器进行解码,得到解码后的直播视频图像数据。
[0117]
一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行图像格式转换处理,得到转换后的直播视频图像数据,包括:对所述解码后的直播视频图像数据进行线性化处理,得到线性直播视频图像数据;对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据;通过感知量化映射函数将所述转换后的rgb色彩空间图像数据转换至亮度线性空间,得到转换后的直播视频图像数据。
[0118]
一种可行的实施方式中,所述对所述解码后的直播视频图像数据进行线性化处
理,得到线性直播视频图像数据,包括:根据所述标准动态范围直播视频流对应的非线性转换函数确定目标线性转换函数;按照所述目标线性转换函数对所述解码后的直播视频图像数据中的像素颜色值进行转换,得到线性直播视频图像数据。
[0119]
一种可行的实施方式中,所述对所述线性直播视频图像数据进行色彩空间转换,得到转换后的rgb色彩空间图像数据,包括:按照预设色域转换算法将所述线性直播视频图像数据中的rgb像素值从第一色彩空间转换至第二色彩空间,得到转换后的rgb色彩空间图像数据,所述第一色彩空间为bt.709色彩空间,所述第二色彩空间为bt.2020色彩空间。
[0120]
一种可行的实施方式中,所述基于预设的查找表对所述转换后的直播视频图像数据进行映射处理,得到处理后的直播视频图像数据,包括:从所述预设的查找表中提取所述至少一种图像参数的映射关系,所述图像参数包括:亮度、色相、饱和度中的一种或多种;根据所述至少一种图像参数的映射关系对所述转换后的直播视频图像数据中的rgb像素值进行映射处理,得到处理后的直播视频图像数据。
[0121]
一种可行的实施方式中,所述通过预设的编码器对所述处理后的直播视频图像数据进行编码处理,得到高动态范围直播视频流,包括:将所述处理后的直播视频图像数据输入至预设的编码器,并通过所述编码器从所述处理后的直播视频图像数据中提取色度分量和亮度分量;其中,所述编码器为基于图形处理器的高效视频编码器,且所述编码器包括亮度量化参数、色度量化参数和色度量化偏移参数,所述色度量化偏移参数用于调节所述亮度量化参数和所述色度量化参数之间的平衡关系;基于所述亮度量化参数、所述色度量化参数和所述色度量化偏移参数对所述色度分量和所述亮度分量进行视频编码处理,输出高动态范围直播视频流。
[0122]
一种可行的实施方式中,在所述获取标准动态范围直播视频流,并对所述标准动态范围直播视频流进行解码,得到解码后的直播视频图像数据之前,所述直播视频流转换方法还包括:基于直播游戏场景中的场景视频图像数据构建所述预设的查找表;获取视频编码码率,并根据所述视频编码码率对基于图形处理器的高效视频编码器优化设置色度量化偏移参数,得到所述预设的编码器。
[0123]
一种可行的实施方式中,所述基于直播游戏场景中的场景视频图像数据构建所述预设的查找表,包括:从直播游戏场景中获取场景视频图像数据,并对所述场景视频图像数据进行图像格式转换处理,得到高动态范围格式的图像数据;通过预设调色软件对所述高动态范围格式的图像数据进行亮度对比度增强与色彩调节,得到所述预设的查找表。
[0124]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0125]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0126]
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。