图像增强处理方法、装置、设备以及存储介质与流程

本公开涉及人工智能，尤其涉及云计算。具体涉及一种图像增强处理方法、装置、设备以及存储介质。

背景技术：

1、目前，对于在编码前先对中低质量的编码内容进行预处理增强的技术框架的优越性已经达成共识。不仅可以有效的提升编码后视频的主观体验，而且由于预处理增强模块位于编码环路的外部，因此对编码器无侵入性，可有效适配于多种编码标准。

2、锐化是常用的提升视频主观质量的视频增强手段，现有的实际应用在编码器中的锐化方式都是以多次编码的方式，获得最优编码性能指标的估计，得到对应的最优锐化强度，再使用最优的锐化强度进行锐化处理的方法。

3、但是，人类视觉系统的研究揭示了人眼对于高频信息不敏感的事实，意味着，一帧编码图像源的各个像素对最终主观体验的贡献并不是均匀分布的。尽管传统的锐化算法有着自适应性，即纹理平坦区域像素变化少，纹理复杂区域像素变化大。但这种模型并没有考虑人类视觉特性中不关注高频信息的事实，这是因为在传统的图像处理中，主观体验是唯一的影响要素，是否适合编码器进一步编码并不在考虑范围内。

技术实现思路

1、本公开提供了一种图像增强处理方法、装置、设备以及存储介质。

2、根据本公开的第一方面，提供了一种图像增强处理方法，所述方法包括：

3、响应于读取到的输入图像，获取所述输入图像对应的颜色空间，以及所述颜色空间内至少一个色彩分量的所有色彩像素；

4、确定所有所述色彩像素的像素位置各自对应的锐化像素值；

5、基于所有所述色彩像素的像素位置各自对应的锐化像素值，确定所有所述像素位置各自对应的平滑锐化像素值；

6、根据所有所述像素位置各自对应的平滑锐化像素值，得到与所述输入图像对应的待编码图像。

7、进一步地，确定所有所述色彩像素的像素位置各自对应的锐化像素值，包括：

8、确定所有所述色彩像素中每个所述色彩像素的像素位置上的原始像素值，以及每个所述色彩像素的邻域内所有原始像素值的高斯均值；

9、根据每个所述色彩像素的像素位置上的原始像素值，以及每个所述色彩像素的邻域内所有原始像素值的高斯均值，确定每个所述色彩像素的像素位置对应的锐化像素值。

10、进一步地，根据每个所述色彩像素的像素位置上的原始像素值，以及每个所述色彩像素的邻域内所有原始像素值的高斯均值，确定每个所述色彩像素的像素位置对应的锐化像素值，包括：

11、确定每个所述色彩像素的像素位置上的原始像素值，与每个所述色彩像素的邻域内所有原始像素值的高斯均值之间的差值；

12、根据所述差值和预先确定的缩放因子的乘积，确定每个所述色彩像素的像素位置对应的锐化像素值。

13、进一步地，基于所有所述色彩像素的像素位置各自对应的锐化像素值，确定所有所述像素位置各自对应的平滑锐化像素值，包括：

14、基于所有所述色彩像素的像素位置各自对应的锐化像素值，得到至少一个所述色彩分量的锐化像素平面；

15、根据至少一个所述色彩分量的锐化像素平面上的所有所述锐化像素值，确定所述锐化像素平面上所有像素位置各自对应的平滑锐化像素值。

16、进一步地，根据至少一个所述色彩分量的锐化像素平面上的所有所述锐化像素值，确定所述锐化像素平面上所有像素位置各自对应的平滑锐化像素值，包括：

17、根据至少一个所述色彩分量的锐化像素平面上的所有所述锐化像素值的高斯均值，确定所述锐化像素平面上所有像素位置各自对应的平滑锐化像素值。

18、进一步地，根据所有所述像素位置各自对应的平滑锐化像素值，得到与所述输入图像对应的待编码图像，包括：

19、根据所有所述像素位置各自对应的原始像素值和所有所述像素位置各自对应的平滑锐化像素值，得到所有所述像素位置各自对应的待编码像素值；

20、基于所有所述像素位置各自对应的待编码像素值，得到至少一个所述色彩分量的待编码像素平面；

21、基于至少一个所述色彩分量的待编码像素平面，得到与所述输入图像对应的所述待编码图像。

22、进一步地，根据所有所述像素位置各自对应的原始像素值和所有所述像素位置各自对应的平滑锐化像素值，得到所有所述像素位置各自对应的待编码像素值，包括：

23、获取所述输入图像的比特深度，以及所述比特深度对应的有效值域；

24、确定所有所述像素位置各自对应的所述原始像素值和所述平滑锐化像素值的加和值；

25、若所有所述像素位置中任意一个像素位置对应的加和值超出所述有效值域，则将超出所述有效值域的加和值截断到所述有效值域内，以得到所有所述像素位置各自对应的待编码像素值。

26、进一步地，获取所述输入图像对应的颜色空间，包括：

27、获取所述输入图像的初始颜色空间；

28、若所述初始颜色空间为非目标颜色空间，则对所述初始颜色空间进行转换处理，得到所述输入图像对应的颜色空间；

29、若所述初始颜色空间为目标颜色空间，则将所述目标颜色空间作为所述输入图像对应的颜色空间。

30、根据本公开的第二方面，提供了一种图像增强处理装置，所述装置包括：

31、获取单元，用于响应于读取到的输入图像，获取所述输入图像对应的颜色空间，以及所述颜色空间内至少一个色彩分量的所有色彩像素；

32、第一确定单元，用于确定所有所述色彩像素的像素位置各自对应的锐化像素值；

33、第二确定单元，用于基于所有所述色彩像素的像素位置各自对应的锐化像素值，确定所有所述像素位置各自对应的平滑锐化像素值；

34、处理单元，用于根据所有所述像素位置各自对应的平滑锐化像素值，得到与所述输入图像对应的待编码图像。

35、进一步地，所述第一确定单元，包括：

36、第一确定子单元，用于确定所有所述色彩像素中每个所述色彩像素的像素位置上的原始像素值，以及每个所述色彩像素的邻域内所有原始像素值的高斯均值；

37、第二确定子单元，用于根据每个所述色彩像素的像素位置上的原始像素值，以及每个所述色彩像素的邻域内所有原始像素值的高斯均值，确定每个所述色彩像素的像素位置对应的锐化像素值。

38、进一步地，所述第二确定子单元，包括：

39、第一确定子模块，用于确定每个所述色彩像素的像素位置上的原始像素值，与每个所述色彩像素的邻域内所有原始像素值的高斯均值之间的差值；

40、第二确定子模块，用于根据所述差值和预先却的缩放因子的乘积，确定每个所述色彩像素的像素位置对应的锐化像素值。

41、进一步地，所述第二确定单元，包括：

42、第一生成子单元，用于基于所有所述色彩像素的像素位置各自对应的锐化像素值，得到至少一个所述色彩分量的锐化像素平面；

43、第三确定子单元，用于根据至少一个所述色彩分量的锐化像素平面上的所有所述锐化像素值，确定所述锐化像素平面上所有像素位置各自对应的平滑锐化像素值。

44、进一步地，所述第三确定子单元，包括：

45、第三确定子模块，用于根据至少一个所述色彩分量的锐化像素平面上的所有所述锐化像素值的高斯均值，确定所述锐化像素平面上所有像素位置各自对应的平滑锐化像素值。

46、进一步地，所述处理单元，包括：

47、计算子单元，用于根据所有所述像素位置各自对应的原始像素值和所有所述像素位置各自对应的平滑锐化像素值，得到所有所述像素位置各自对应的待编码像素值；

48、第二生成子单元，用于基于所有所述像素位置各自对应的待编码像素值，得到至少一个所述色彩分量的待编码像素平面；

49、处理子单元，用于基于至少一个所述色彩分量的待编码像素平面，得到与所述输入图像对应的所述待编码图像。

50、进一步地，所述计算子单元，包括：

51、获取子模块，用于获取所述输入图像的比特深度，以及所述比特深度对应的有效值域；

52、计算子模块，用于确定所有所述像素位置各自对应的所述原始像素值和所述平滑锐化像素值的加和值；

53、截断处理子模块，用于若所有所述像素位置中任意一个像素位置对应的加和值超出所述有效值域，则将超出所述有效值域的加和值截断到所述有效值域内，以得到所有所述像素位置各自对应的待编码像素值。

54、进一步地，所述获取单元，包括：

55、第一获取子单元，用于获取所述输入图像的初始颜色空间；

56、第二获取子单元，用于若所述初始颜色空间为非目标颜色空间，则对所述初始颜色空间进行转换处理，得到所述输入图像对应的颜色空间；

57、第三获取子单元，用于若所述初始颜色空间为目标颜色空间，则将所述目标颜色空间作为所述输入图像对应的颜色空间。

58、根据本公开的第三方面，提供了一种电子设备，包括：

59、至少一个处理器；以及

60、与所述至少一个处理器通信连接的存储器；其中，

61、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一项所述的方法。

62、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据中任一项所述的方法。

63、根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

64、根据本公开的技术，首先，响应于读取到的输入图像，获取上述输入图像对应的颜色空间，以及上述颜色空间内至少一个色彩分量的所有色彩像素。其次，通过对每个色彩像素的原始像素值进行锐化处理，确定所有色彩像素的像素位置各自对应的锐化像素值，可以提高输入图像的细节和对比度，使图像更清晰。之后，为了消除锐化过程中可能产生的噪声和伪影，使图像更平滑，本公开基于所有色彩像素的像素位置各自对应的锐化像素值，确定所有像素位置各自对应的平滑锐化像素值。该平滑锐化像素值是经过平滑处理后的锐化像素值，通常会比锐化像素值幅值更低，可以减少图像中的噪声和伪影。最后，根据所有上述像素位置各自对应的平滑锐化像素值，得到与上述输入图像对应的待编码图像。本公开提供的编码前的图像增强方法，可以降低计算的高复杂度，消除锐化过程中可能产生的噪声和伪影，抑制掉不利于编码且不易为人眼感知的部分，使图像更平滑，从而实现主观体验提升的同时，降低对于编码信源的空域冗余的损伤。

65、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。