处理视频的方法、显示设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种处理视频的方法、显示设备及存储介质。

背景技术：

1、高动态范围(high-dynamic range，hdr)视频，相对于标准动态范围(standarddynamic range，sdr)视频，图像的明暗层次更清晰，图像细节更丰富，能够更逼真的重现真实场景，给用户提供了更好的视频观看效果。

2、随着hdr技术的发展，为了能够更好地播放hdr视频，显示设备的亮度能力越来越高。通常用显示设备的动态范围来表示显示设备的亮度能力。显示设备的动态范围越高，其亮度能力越强。

3、在视频技术发展的历程中，积累了大量的sdr视频，但随着亮度能力强的显示设备越来越多，这些sdr视频在亮度能力强的显示设备上显示效果不好。

技术实现思路

1、本技术提供一种处理视频的方法、显示设备及存储介质，通过确定原始视频的亮度信息并结合当前显示设备的亮度能力，确定出实际可扩展的动态范围，基于该可扩展的动态范围进行色调映射，从而真正地提升动态范围。

2、第一方面，本技术提供了一种处理视频的方法，该方法应用于显示设备，该方法包括：

3、获取原始视频的解码视频，解码视频包括多个视频帧图像；确定每个视频帧图像对应的亮度信息；获取显示设备的亮度能力和原始视频的动态范围，并根据显示设备的亮度能力和原始视频的动态范围计算每个视频帧图像可扩展的动态范围；利用每个视频帧图像对应的亮度信息和每个视频帧图像可扩展的动态范围，对每个视频帧图像进行色调映射，得到每个视频帧图像对应的增强图像，增强图像的动态范围大于视频帧图像的动态范围。

4、可选地，本技术实施例提供的显示设备可以包括手机、平板电脑、可穿戴设备、电视、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)、各种摄像装置等，或者可以为其他能够进行图像处理的设备或装置，对于显示设备的具体类型，本技术实施例不作任何限制。

5、可选地，原始视频可以包括sdr视频。该sdr视频可以为显示设备在线播放的视频。

6、第一方面提供的处理视频的方法，在确定每个视频帧图像可扩展的动态范围时，充分考虑到了显示设备的亮度能力和原始视频的动态范围，再利用可扩展的动态范围，对每个视频帧图像进行色调映射，使视频帧图像的动态范围真正地得到了提升，即增强图像是提升动态范围后的图像。由此可知，通过多个增强图像构成的视频的动态范围也得到了提升，从而使得在显示设备上显示提升动态范围后的视频时，提升了显示效果，提升了用户体验。

7、一种可能的实现方式中，本技术提供的处理视频的方法，还可以包括根据多个增强图像生成增强视频。该增强视频为扩展动态范围视频，即增强视频为扩展动态范围后的视频。按照时间顺序排列每个视频帧图像对应的增强图像，得到增强视频，可在显示设备上播放该增强视频。这种实现方式中，可以是处理完一个视频帧图像，在显示设备上显示该视频帧图像对应的增强图像，由于显示设备处理的速度很快，对于用户来说，就是在流畅地观看视频，且观看的视频是动态范围提升后的视频，提升了用户体验。

8、可选地，在一种可能的实现方式中，亮度信息可以包括亮度值，确定每个视频帧图像对应的亮度信息，包括：

9、确定每个视频帧图像的像素格式；当像素格式为yuv格式时，获取每个视频帧图像的y值；或者，当像素格式为rgb格式时，利用预设公式计算每个视频帧图像的亮度值。其中，y值表示亮度值。

10、可选地，在另一种可能的实现方式中，亮度信息可以包括亮度直方图，确定每个视频帧图像对应的亮度信息，包括：生成每个视频帧图像的亮度直方图。

11、一种可能的实现方式中，利用每个视频帧图像对应的亮度信息和每个视频帧图像可扩展的动态范围，对每个视频帧图像进行色调映射，得到每个视频帧图像对应的增强图像，包括：利用每个视频帧图像对应的亮度信息，确定每个视频帧图像对应的标准动态区域和扩展动态区域；根据每个视频帧图像可扩展的动态范围，确定每个视频帧图像的标准动态区域对应的第一系数，以及每个视频帧图像的扩展动态区域对应的第二系数；根据第一系数对标准动态区域中的像素点进行色调映射，根据第二系数对扩展动态区域的像素点进行色调映射，得到每个视频帧图像对应的增强图像。

12、可选地，标准动态区域中包含视频帧图像中的若干个像素点，标准动态区域中也包含视频帧图像中的若干个像素点。其中，标准动态区域中的像素点的亮度信息小于预设阈值，扩展动态区域中的像素点的亮度信息大于或等于预设阈值。

13、可选地，预设阈值可由用户设定，也可以通过灰阶比例计算得到，还可以通过机器学习模型确定。

14、可选地，第一系数小于第二系数。

15、这种实现方式中，利用每个视频帧图像对应的亮度信息，确定出每个视频帧图像中可调整的区域，即标准动态区域和扩展动态区域；为标准动态区域和扩展动态区域确定不同的系数，再根据不同的系数(如第一系数和第二系数)对不同的区域(如标准动态区域和扩展动态区域)的像素点的像素值分别进行调整，使最终生成的增强图像的动态范围得到了真正地提升。那么，通过多个增强图像构成的视频的动态范围也得到了提升，从而使得在显示设备上显示提升动态范围后的视频时，提升了显示效果，提升了用户体验。

16、一种可能的实现方式中，根据第一系数对标准动态区域中的像素点进行色调映射，根据第二系数对扩展动态区域的像素点进行色调映射，得到每个视频帧图像对应的增强图像，包括：计算标准动态区域中每个像素点的原始像素值与第一系数的第一乘积，并根据第一乘积更新标准动态区域中每个像素点的像素值；计算扩展动态区域中每个像素点的原始像素值与第二系数的第二乘积，并根据第二乘积更新扩展动态区域中每个像素点的像素值；根据标准动态区域中更新后的每个像素点，以及扩展动态区域中更新后的每个像素点，生成每个视频帧图像对应的增强图像。

17、这种实现方式中，根据不同的系数(如第一系数和第二系数)对不同的区域(如标准动态区域和扩展动态区域)的像素点的像素值分别进行调整。当第一系数小于第二系数，且第二系数为1时，使得保持了扩展动态区域的像素点的像素值，降低了标准动态区域的像素点的像素值，使最终生成的增强图像的动态范围得到了真正地提升。或者，当第一系数小于第二系数，且第一系数为1时，使得保持了标准动态区域的像素点的像素值，提升了扩展动态区域的像素点的像素值，使最终生成的增强图像的动态范围得到了真正地提升。

18、一种可能的实现方式中，利用每个视频帧图像对应的亮度信息和每个视频帧图像可扩展的动态范围，对每个视频帧图像进行色调映射，得到每个视频帧图像对应的增强图像，包括：利用每个视频帧图像对应的亮度信息，确定每个视频帧图像对应的低灰阶区域、中灰阶区域以及高灰阶区域；根据每个视频帧图像可扩展的动态范围，对所述低灰阶区域、所述中灰阶区域以及所述高灰阶区域中的至少一个区域的亮度进行调整，得到每个视频帧图像对应的增强图像。

19、例如，保持低灰阶区域和中灰阶区域当前的亮度，对高灰阶区域的亮度进行提升。又例如，保持中灰阶区域和高灰阶区域当前的亮度，对低灰阶区域的亮度进行降低。

20、可选地，若是通过亮度直方图确定每个视频帧图像对应的亮度信息，则可通过t1、t2，对每个视频帧图像的亮度直方图进行划分，得到低灰阶区域、中灰阶区域以及高灰阶区域。其中，t1、t2的值可由用户设定，也可以根据亮度灰阶分布的比例进行设置，还可以通过机器学习模型确定。

21、这种实现方式中，利用每个视频帧图像对应的亮度信息，确定出每个视频帧图像中可调整的区域，即低灰阶区域、中灰阶区域以及高灰阶区域；再根据每个视频帧图像可扩展的动态范围，对低灰阶区域、中灰阶区域以及高灰阶区域中的至少一个区域的亮度进行调整。例如，保持低灰阶区域和中灰阶区域当前的亮度，对高灰阶区域的亮度进行提升，又例如，保持中灰阶区域和高灰阶区域当前的亮度，对低灰阶区域的亮度进行降低。这样可使得最终生成的增强图像的动态范围得到真正地提升。

22、一种可能的实现方式中，根据每个视频帧图像可扩展的动态范围，对低灰阶区域、中灰阶区域以及高灰阶区域中的至少一个区域的亮度进行调整，得到每个视频帧图像对应的增强图像，包括：根据每个视频帧图像可扩展的动态范围，确定低灰阶区域中的像素点调整后的灰阶值；确定中灰阶区域中的像素点调整后的灰阶值；确定高灰阶区域中的像素点调整后的灰阶值；根据低灰阶区域、中灰阶区域以及高灰阶区域中调整后的各个像素点的灰阶值，生成每个视频帧图像对应的增强图像。

23、这种实现方式中，利用每个视频帧图像对应的亮度信息，确定出每个视频帧图像中可调整的区域，即低灰阶区域、中灰阶区域以及高灰阶区域；再根据每个视频帧图像可扩展的动态范围，确定低灰阶区域、中灰阶区域以及高灰阶区域中调整后的各个像素点的灰阶值，从而生成每个视频帧图像对应的增强图像。由于是根据每个视频帧图像可扩展的动态范围确定的各个区域中调整后的各个像素点的灰阶值，使调整后的各个像素点的灰阶值得到了不同程度的调整，从而使最终生成的增强图像的动态范围得到了真正地提升。

24、一种可能的实现方式中，根据每个视频帧图像可扩展的动态范围，确定低灰阶区域中的像素点调整后的灰阶值，包括：根据每个视频帧图像可扩展的动态范围，确定低灰阶区域对应的第三系数；根据第三系数对低灰阶区域中的像素点进行色调映射，得到低灰阶区域中的像素点调整后的灰阶值。

25、可选地，第三系数可以根据原始视频的动态范围以及每个视频帧图像可扩展的动态范围确定。

26、可选地，低灰阶区域中的各像素点调整后的灰阶值与调整前的灰阶值可以满足如下关系：

27、y1＝(a/b)*k*x1，其中，x1表示低灰阶区域中的像素点调整前的灰阶值，y1表示低灰阶区域中的该像素点调整后的灰阶值，a/b表示第三系数，a表示原始视频的动态范围，b表示每个视频帧图像可扩展的动态范围，k表示常数。

28、或者，低灰阶区域中的各像素点调整后的灰阶值与调整前的灰阶值可以满足如下关系：

29、y1＝m*(a/b)*k*x1，(m＞1)，其中，x1表示低灰阶区域中的像素点调整前的灰阶值，y1表示低灰阶区域中的该像素点调整后的灰阶值，m*(a/b)表示第三系数，a表示原始视频的动态范围，b表示每个视频帧图像可扩展的动态范围，m、k表示常数。

30、可选地，中灰阶区域中的各像素点调整后的灰阶值与调整前的灰阶值可以满足如下关系：

31、y2＝k1*x2+b1，其中，x2表示中灰阶区域中的像素点调整前的灰阶值，y2表示中灰阶区域中的该像素点调整后的灰阶值，k1、b1表示常数。k1、b1的值可以根据亮度灰阶分布的比例进行设置，也可以通过机器学习模型确定。

32、可选地，高灰阶区域中的各像素点调整后的灰阶值与调整前的灰阶值可以满足如下关系：

33、y3＝k2*x3+b2，其中，x3表示高灰阶区域中的像素点调整前的灰阶值，y3表示高灰阶区域中的该像素点调整后的灰阶值，k2、b2表示常数。k2、b2的值可以根据亮度灰阶分布的比例进行设置，也可以通过机器学习模型确定。

34、这种实现方式中，根据每个视频帧图像可扩展的动态范围，确定低灰阶区域、中灰阶区域以及高灰阶区域中调整后的各个像素点的灰阶值，最终生成每个视频帧图像对应的增强图像。由于是根据每个视频帧图像可扩展的动态范围确定的各个区域中调整后的各个像素点的灰阶值，使调整后的各个像素点的灰阶值得到了不同程度的调整，从而使最终生成的增强图像的动态范围得到了真正地提升。

35、第二方面，本技术提供了一种显示装置，该显示装置包含在显示设备中，该显示装置具有实现上述第一方面及上述第一方面的可能实现方式中显示设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，第一获取模块或单元、确定模块或单元、第二获取模块或单元、处理模块或单元等。

36、第三方面，本技术提供一种显示设备，显示设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得显示设备执行第一方面提供的技术方案中任意一种方法。

37、第四方面，本技术提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。

38、可选的，芯片还包括存储器，存储器与处理器通过电路或电线连接。

39、可选的，芯片还包括通信接口。

40、第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得该处理器执行第一方面的技术方案中任意一种方法。

41、第六方面，本技术提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在显示设备上运行时，使得该显示设备执行第一方面的技术方案中任意一种方法。