图像增强方法、装置、芯片、电子设备及可读存储介质与流程

本公开涉及图像处理，具体涉及一种图像增强方法、装置、芯片、电子设备及可读存储介质。

背景技术：

1、在电力输送系统中，输电线作为电能传输的动脉，其安全稳定运行至关重要。然而，由于输电线广泛分布于室外环境，长期暴露在自然条件下，极易受到各种外界因素的干扰，尤其是异物的附着或悬挂，这些隐患不仅可能引发短路、断线等故障，还可能对周边环境和人员安全构成威胁。因此需要对输电线进行昼夜不间断监拍。

2、夜间环境下，由于光照条件不佳，常会导致图像质量下降，包括低对比度、高噪声和色偏等问题。传统的图像处理方法通常采用直方图均衡化、伽马校正和retinex等算法。直方图均衡化通过调整像素的灰度分布来提升图像的对比度，而伽马校正通过改变像素的亮度关系来增强暗部细节。然而，这些方法在增强低亮度图像时往往会出现过度增强、丢失细节或无法有效抑制噪声的问题。因此，需要一种能够高性能增强低亮度图像的图像处理方法，实现弱光环境下的高质量成像。

技术实现思路

1、为了解决相关技术中的问题，本公开实施例提供一种图像增强方法、装置、芯片、电子设备及可读存储介质。

2、第一方面，本公开实施例中提供了一种图像增强方法，包括：

3、获取待处理图像；

4、通过分解网络算法，将所述待处理图像分解为待处理照度图和待处理反射图；所述待处理照度图表示所述待处理图像的光照强度，所述待处理反射图包含所述待处理图像中纹理、颜色和细节信息；

5、将所述待处理照度图输入联合优化模型，输出第一优化照度图，所述联合优化模型用于增强所述待处理图像的对比度；

6、将所述第一优化照度图输入注意力机制模型，输出第二优化照度图，所述注意力机制模型用于恢复所述第一优化照度图的细节；

7、将所述待处理反射图输入混合残差网络模型，输出第一优化反射图，所述混合残差网络模型用于提高所述待处理反射图与真实图像的相似度；

8、将所述第一优化反射图进行膨胀卷积处理后，输入多个第一残差模块进行降噪处理，输出所述第二优化反射图；所述膨胀卷积处理用于扩大所述第一优化反射图的感受野；所述第一残差模块包括多个步长卷积层，所述多个第一残差模块之间设置跳跃连接；

9、根据所述第二优化照度图和所述第二优化反射图，输出增强图像。

10、根据本公开的实施例，所述将所述待处理照度图输入联合优化模型，输出第一优化照度图，包括：

11、获取所述待处理照度图中像素的亮度灰阶、所述待处理照度图的最小灰阶值、所述待处理照度图的最大灰阶值，根据所述亮度灰阶计算所述像素的概率密度函数；

12、根据所述像素的概率密度函数，计算所述亮度灰阶的加权概率密度函数；

13、对所述加权概率密度函数进行归一化处理，计算所述亮度灰阶的平滑累计分布函数；

14、将所述平滑累计分布函数进行自适应伽马矫正，计算所述亮度灰阶的映射函数；

15、根据所述映射函数，对所述像素的亮度值进行映射，输出第一优化照度图。

16、根据本公开的实施例，所述概率密度函数pdf(l)表示如下：

17、

18、其中，nl为亮度为l的像素数，mn为图像中的像素总数；

19、所述加权概率密度函数pdfω(l)表示如下：

20、

21、其中，α为常数且0.5≤α≤1，max(pdf)为概率密度函数的最大值，min(pdf)为概率密度函数的最小值；

22、所述平滑累计分布函数cdfs(l)表示如下：

23、

24、其中，lmax为像素亮度最大值，lmin为像素亮度最小值；

25、所述亮度灰阶的映射函数t(l)表示如下：

26、

27、γ＝1-cdfs(l)*p；

28、其中，p为自适应函数且0.5≤p≤1。

29、根据本公开的实施例，所述联合优化模型通过可重构电路实现，所述可重构电路包括第一输入端、第二输入端、第三输入端、第四输入端、第一参数单元、第二参数单元、第一计算单元、第二计算单元、第三计算单元、输出端，其中：

30、第一参数单元与第一输入端、第二输入端连接；

31、第一参数单元通过第一选择器分别与所述第一输入端和第二输入端连接；所述第一参数单元设置为log2k,k为所述第一输入端或第二输入端的输入值；

32、第一计算单元通过第二选择器与所述第一参数单元连接；所述第一计算单元设置为减法单元；

33、第二计算单元分别与所述第一计算单元、第三输入端、第二参数单元连接；所述第二计算单元设置为乘法单元，所述第二参数单元设置为2m，m为第二计算单元的输出值；

34、第三计算单元分别与所述第二参数单元、第四输入端、输出端连接；第三计算单元为乘法单元。

35、根据本公开的实施例，当所述可重构电路配置为计算所述加权概率密度函数的模块时，将第一输入端配置为pdf(l)-min(pdf)，第二输入端配置为max(pdf)-min(pdf)，第三输入端配置为α，第四输入端配置为max(pdf)；

36、当所述可重构电路配置为计算所述平滑累计分布函数时，将第一输入端配置为第二输入端配置为∑pdfω；

37、当所述可重构电路配置为计算所述亮度灰阶的映射函数的模块时，将第一输入端配置为l,第二输入端配置为lmax-lmin，第三输入端配置为γ，第四输入端配置为lmax-lmin。

38、根据本公开的实施例，所述将所述第一优化照度图输入注意力机制模型，输出第二优化照度图，包括：

39、将所述第一优化照度图进行傅里叶变换，将所述第一优化照度图从频率域转换到空间域；

40、增强所述空间域的高频信号，用于恢复所述第一优化照度图的细节；

41、将所述空间域进行逆傅里叶变换，从所述空间域转换到所述频率域，生成第一转换照度图；

42、将所述第一转换照度图输入双重注意力模块，输出第二优化照度图；所述双重注意力模块包括激活函数卷积块、空间注意力单元和通道注意力单元。

43、根据本公开的实施例，所述混合残差网络模型包括多个第二残差模块，所述第二残差模块包括5个卷积层，所述第二残差模块之间设置所述跳跃连接；

44、所述混合残差网络模型的训练步骤如下：

45、从低亮度图像训练集和对应的正常亮度图像训练集中获取一对低亮度图像low和正常亮度图像normal；

46、将所述低亮度图像分解为低亮度照度图和低亮度反射图，将所述正常亮度图像分解为正常亮度照度图和正常亮度反射图；

47、根据所述低亮度照度图、所述低亮度反射图、所述正常亮度照度图、所述正常亮度反射图、所述低亮度图像、所述正常亮度图像，生成重建损失函数；

48、根据低亮度反射图、正常亮度反射图，生成恒定反射损失函数；

49、根据低亮度照度图、正常亮度照度图，生成照明平滑度损失函数；

50、重复上述步骤，根据所述重建损失函数、所述恒定反射损失函数、所述照明平滑度损失函数，生成损失函数并使所述损失函数的值最小。

51、根据本公开的实施例，所述重建损失函数表示如下：

52、

53、其中，low为低亮度图像，normal为正常亮度图像，ri为反射图、ii为照度图，si为分解前图像、α为第一权重系数，l1为绝对值损失函数、ssim为结构相似度损失函数、为反射图和照度图相乘；

54、所述恒定反射损失函数lr表示如下：

55、lr＝|rlow-rnormal|

56、其中，rlow为低亮度反射图rnormal为正常亮度反射图；

57、所述照明平滑度损失函数表示如下：

58、

59、其中，为照度图图像梯度，exp()为指数函数，λtv为常数，〇为矩阵相乘。

60、根据本公开的实施例，所述将所述第一优化照度图输入注意力机制模型，输出第二优化照度图之前，所述方法还包括：

61、将所述第一优化照度图进行膨胀卷积处理，所述膨胀卷积处理用于扩大所述第一优化照度图的感受野；

62、将所述第一优化照度图输入多个第二残差模块进行降噪处理；所述多个第二残差模块之间设置跳跃连接。

63、第二方面，本公开实施例中提供了一种图像增强装置，包括：

64、获取模块，被配置为获取待处理图像；

65、分解模块，被配置为通过分解网络算法，将所述待处理图像分解为待处理照度图和待处理反射图；所述待处理照度图表示所述待处理图像的光照强度，所述待处理反射图包含所述待处理图像中纹理、颜色和细节信息；

66、第一优化模块，被配置为将所述待处理照度图输入联合优化模型，输出第一优化照度图，所述联合优化模型用于增强所述待处理图像的对比度；

67、第二优化模块，被配置为将所述第一优化照度图输入注意力机制模型，输出第二优化照度图，所述注意力机制模型用于恢复所述第一优化照度图的细节；

68、第三优化模块，被配置为将所述待处理反射图输入混合残差网络模型，输出第一优化反射图，所述混合残差网络模型用于提高所述待处理反射图与真实图像的相似度；

69、第四优化模块，被配置为将所述第一优化反射图进行膨胀卷积处理后，输入多个第一残差模块进行降噪处理，输出所述第二优化反射图；所述膨胀卷积处理用于扩大所述第一优化反射图的感受野；所述第一残差模块包括多个步长卷积层，所述多个第一残差模块之间设置跳跃连接；

70、输出模块，被配置为根据所述第二优化照度图和所述第二优化反射图，输出增强图像。

71、根据本公开的实施例，所述第一优化模块，包括：

72、第一获取子模块，被配置为获取所述待处理照度图中像素的亮度灰阶、所述待处理照度图的最小灰阶值、所述待处理照度图的最大灰阶值，根据所述亮度灰阶计算所述像素的概率密度函数；

73、第一计算子模块，被配置为根据所述像素的概率密度函数，计算所述亮度灰阶的加权概率密度函数；

74、第二计算子模块，被配置为对所述加权概率密度函数进行归一化处理，计算所述亮度灰阶的平滑累计分布函数；

75、第三计算子模块，被配置为将所述平滑累计分布函数进行自适应伽马矫正，计算所述亮度灰阶的映射函数；

76、第一输出子模块，被配置为根据所述映射函数，对所述像素的亮度值进行映射，输出第一优化照度图。

77、根据本公开的实施例，所述第二优化模块，包括：

78、第一转换子模块，被配置为将所述第一优化照度图进行傅里叶变换，将所述第一优化照度图从频率域转换到空间域；

79、增强子模块，被配置为增强所述空间域的高频信号，用于恢复所述第一优化照度图的细节；

80、第二转换子模块，被配置为将所述空间域进行逆傅里叶变换，从所述空间域转换到所述频率域，生成第一转换照度图；

81、第二输出子模块，被配置为将所述第一转换照度图输入双重注意力模块，输出第二优化照度图；所述双重注意力模块包括激活函数卷积块、空间注意力单元和通道注意力单元。

82、根据本公开的实施例，所述第二优化模块之前，所述装置还包括：

83、第二卷积子模块，被配置为将所述第一优化照度图进行膨胀卷积处理，所述膨胀卷积处理用于扩大所述第一优化照度图的感受野；

84、第二降噪子模块，被配置为将所述第一优化照度图输入多个第二残差模块进行降噪处理；所述多个第二残差模块之间设置跳跃连接。

85、第三方面，本公开实施例中提供了一种芯片，包括处理器和接口；所述处理器用于读取指令以执行第一方面中任一项所述的方法。

86、第四方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面任一项所述的方法。

87、第五方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面所述的方法。

88、根据本公开实施例提供的技术方案，公开了一种图像增强方法，包括：获取待处理图像；通过分解网络算法，将所述待处理图像分解为待处理照度图和待处理反射图；所述待处理照度图表示所述待处理图像的光照强度，所述待处理反射图包含所述待处理图像中纹理、颜色和细节信息；将所述待处理照度图输入联合优化模型，输出第一优化照度图，所述联合优化模型用于增强所述待处理图像的对比度；将所述第一优化照度图输入注意力机制模型，输出第二优化照度图，所述注意力机制模型用于恢复所述第一优化照度图的细节；将所述待处理反射图输入混合残差网络模型，输出第一优化反射图，所述混合残差网络模型用于提高所述待处理反射图与真实图像的相似度；将所述第一优化反射图进行膨胀卷积处理后，输入多个第一残差模块进行降噪处理，输出所述第二优化反射图；所述膨胀卷积处理用于扩大所述第一优化反射图的感受野；所述第一残差模块包括多个步长卷积层，所述多个第一残差模块之间设置跳跃连接；根据所述第二优化照度图和所述第二优化反射图，输出增强图像。

89、根据本公开的实施方式，所述方法将低亮度图像分解为照度图和反射图，对于照度图先后通过联合优化模型和注意力机制模型进行增强对比度和恢复细节的操作，对于反射图先后通过混合残差网络模型和去噪处理进行提高反射图与真实图像的相似度并抑制噪声，最后将优化后的照度图和反射图结合形成增强图像，能够提高对低亮度图像的增强效果，提升细节并减少噪点。

90、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。