基于扩散模型的图像增强方法、装置、设备及存储介质与流程

本发明涉及图像增强的，尤其涉及基于扩散模型的图像增强方法、装置、设备及存储介质。

背景技术：

1、图像是电子系统中最常见的信息载体之一，在医学影像、无人机摄影、安防监控、工业检测等领域中被广泛应用。然而，由于环境条件、设备限制和采集过程中的噪声等因素的影响，导致采集到的许多原始图片在质量、对比度、清晰度和细节表现等方面存在着局限性。图像增强技术是指对图像中的特征进行处理，以改善图像的视觉效果，提高图像的质量的技术。

2、传统的图像增强方法通常采用图像滤波、直方图均衡化以及图像锐化等技术来改善图像的质量。然而，这些方法在面对复杂场景和特定应用时，对图像的增强效果有限。例如：在医学影像中，传统的图像增强方法无法有效提取病变细节或准确还原图像的组织结构；在无人机摄影中，由于光照条件和拍摄距离的变化，导致拍摄的图像可能存在模糊、噪点和对比度低等问题，采用传统的图像增强方法对拍摄的图像的增强效果有限；在安防监控中，采用传统的图像增强方法无法准确识别和追踪目标物体。

3、随着深度学习和计算机视觉等领域的快速发展，研究人员提出了基于电子系统的图像增强方法来克服上述问题。为了提高图像增强效果，现有的图像增强算法基于神经网络模型实现，具体实现方式包括但不限于以下两种方式：第一种：卷积神经网络（convolutional neural networks，cnn），cnn在训练时使用低质量图像（即需要进行图像增强的图像）作为输入，高质量图像（即不需要进行图像增强的图像）作为训练目标，使用损失函数进行网络的迭代训练。在进行图像增强时，将待进行图像增强的目标图像输入训练后的cnn，输出得到图像增强后的图像。第二种：生成式对抗网络（generative adversarialnetworks，gan），gan使用低质量图像作为输入，高质量图像作为训练目标，在生成器和鉴别器的对抗中进行迭代训练。在进行图像增强时，将待进行图像增强的目标图像输入训练后的生成器，输出得到图像增强后的图像。

4、但是，现有的用于进行图像增强的神经网络模型对特征缺失较多的图像的增强效果较差。

技术实现思路

1、本发明提供基于扩散模型的图像增强方法、装置、设备及存储介质，解决了现有技术对特征缺失较多的图像增强效果差的问题。

2、为达到上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供基于扩散模型的图像增强方法，该方法包括：

4、获取待增强的目标图像，并通过编码器对所述目标图像进行编码，得到编码特征图；

5、获取图像增强指令，通过文本编辑器对所述图像增强指令进行编码，得到文本编码；所述图像增强指令包括需要增强的图像的特征和位置；

6、将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中；

7、按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

8、基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像；

9、按照预设噪声去除规则和所述预设步数，逐步从所述加噪增强图像中去除每一步的所述预测噪声，得到去噪后图像；

10、通过解码器对所述去噪后图像进行解码，得到增强后图像。

11、在一种可能的实现方式中，所述预设噪声添加规则是基于去噪扩散概率模型的扩散过程确定的；所述按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，具体包括：

12、按照所述去噪扩散概率模型的扩散过程，在所述扩散过程的每一步，向所述编码特征图中添加高斯噪声；添加的所述高斯噪声的参数值基于预设噪声时间表确定；

13、根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像，并将所述预设步数对应的结果图像作为目标噪声图像输出。

14、在一种可能的实现方式中，所述根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像，具体为：

15、根据如下公式计算所述扩散过程的每一步添加所述高斯噪声后的结果图像：

16、，

17、其中，为添加高斯噪声前的编码特征图，为加噪至第t时刻对应的加噪结果；

18、，；

19、为预设噪声时间表，包括，表示所述扩散过程的每一步添加高斯噪声的参数值，且。

20、在一种可能的实现方式中，所述目标噪声图像包括多个图像通道，所述交叉注意力机制包括通道注意力机制和空间注意力机制；所述基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像，具体包括：

21、通过所述通道注意力机制，对所述目标噪声图像中与所述文本编码对应的区域的每个所述图像通道对应的特征图进行不同图像通道的针对性增强，得到通道注意力特征图；

22、通过所述空间注意力机制，对所述通道注意力特征图进行不同空间位置的针对性增强，得到加噪增强图像。

23、在一种可能的实现方式中，所述通过所述通道注意力机制，对所述目标噪声图像中与所述文本编码对应的区域的每个所述图像通道对应的特征图进行不同图像通道的针对性增强，得到通道注意力特征图，具体包括：

24、对于所述目标噪声图像中与所述文本编码对应的区域的每个图像通道的特征图，根据最大池化和平均池化的方法对所述特征图进行降维处理，得到所述图像通道对应的特征图的全局特征；

25、通过多层感知器对所述全局特征进行处理，得到所述图像通道的权重系数；

26、通过所述权重系数对所述图像通道对应的特征图进行加权处理，得到加权后特征图；

27、对所述加权后特征图与所述目标噪声图像的所述图像通道做乘法处理，得到通道注意力特征图。

28、在一种可能的实现方式中，通过所述空间注意力机制，对所述通道注意力特征图进行不同空间位置的针对性增强，得到加噪增强图像，具体包括：

29、根据最大池化和平均池化的方法对所述通道注意力特征图进行处理，得到处理结果；

30、将所述处理结果基于对应的图像通道进行连接操作，得到连接后特征图；

31、通过卷积降维处理的方法将所述连接后特征图降维成单通道，得到空间特征图；

32、对所述空间特征图和所述目标噪声图像做乘法处理，得到加噪增强图像。

33、在一种可能的实现方式中，所述预设噪声去除规则是基于去噪扩散概率模型的逆向过程确定的；所述按照预设噪声去除规则和所述预设步数，逐步从所述加噪增强图像中去除每一步的所述预测噪声，具体包括：

34、基于所述去噪扩散概率模型的逆向过程，在所述逆向过程的每一步从所述加噪增强图像中去除与所述逆向过程对应的扩散过程中确定的预测噪声。

35、在一种可能的实现方式中，在所述将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中之前，所述方法还包括：

36、对原始的图像增强网络进行训练，得到预测噪声与真实噪声的误差值小于预设损失值的图像增强网络作为目标图像增强网络。

37、在一种可能的实现方式中，所述对原始的图像增强网络进行训练，得到预测噪声与真实噪声的误差值小于预设损失值的图像增强网络作为目标图像增强网络，具体包括：

38、获取满足预设质量要求的高质量图像，并通过降采样的方式对所述高质量图像进行处理，得到对应的低质量图像；

39、通过编码器对所述高质量图像和所述低质量图像进行编码，得到高质量编码图和低质量编码图；

40、逐步将高斯噪声添加到所述低质量编码图中，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

41、确定所述预测噪声与噪声真值的误差值，在所述误差值大于预设损失值时，更改所述原始的图像增强网络的参数，直至所述误差值小于所述预设损失值，得到训练好的目标图像增强网络。

42、第二方面，本发明提供基于扩散模型的图像增强装置，该装置包括：

43、编码模块，用于获取待增强的目标图像，并通过编码器对所述目标图像进行编码，得到编码特征图；

44、文本编码模块，用于获取图像增强指令，通过文本编辑器对所述图像增强指令进行编码，得到文本编码；所述图像增强指令包括需要增强的图像的特征和位置；

45、输入模块，用于将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中；

46、噪声预测模块，用于按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

47、图像增强模块，用于基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像；

48、去噪模块，用于按照预设噪声去除规则和所述预设步数，逐步从所述加噪增强图像中去除每一步的所述预测噪声，得到去噪后图像；

49、解码模块，用于通过解码器对所述去噪后图像进行解码，得到增强后图像。

50、进一步的，所述预设噪声添加规则是基于去噪扩散概率模型的扩散过程确定的；在按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像时，所述噪声预测模块被配置为执行：

51、按照所述去噪扩散概率模型的扩散过程，在所述扩散过程的每一步，向所述编码特征图中添加高斯噪声；添加的所述高斯噪声的参数值基于预设噪声时间表确定；

52、根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像，并将所述预设步数对应的结果图像作为目标噪声图像输出。

53、进一步的，在根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像时，所述噪声预测模块具体被配置为执行：

54、根据如下公式计算所述扩散过程的每一步添加所述高斯噪声后的结果图像：

55、，

56、其中，为添加高斯噪声前的编码特征图，为加噪至第t时刻对应的加噪结果；

57、，；

58、为预设噪声时间表，包括，表示所述扩散过程的每一步添加高斯噪声的参数值，且。

59、进一步的，所述目标噪声图像包括多个图像通道，所述交叉注意力机制包括通道注意力机制和空间注意力机制；所述图像增强模块包括第一增强单元和第二增强单元；

60、所述第一增强单元用于，通过所述通道注意力机制，对所述目标噪声图像中与所述文本编码对应的区域的每个所述图像通道对应的特征图进行不同图像通道的针对性增强，得到通道注意力特征图；

61、所述第二增强单元用于，通过所述空间注意力机制，对所述通道注意力特征图进行不同空间位置的针对性增强，得到加噪增强图像。

62、进一步的，所述第一增强单元具体被配置为执行：

63、对于所述目标噪声图像中与所述文本编码对应的区域的每个图像通道的特征图，根据最大池化和平均池化的方法对所述特征图进行降维处理，得到所述图像通道对应的特征图的全局特征；

64、通过多层感知器对所述全局特征进行处理，得到所述图像通道的权重系数；

65、通过所述权重系数对所述图像通道对应的特征图进行加权处理，得到加权后特征图；

66、对所述加权后特征图与所述目标噪声图像的所述图像通道做乘法处理，得到通道注意力特征图。

67、进一步的，所述第二增强单元具体被配置为执行：

68、根据最大池化和平均池化的方法对所述通道注意力特征图进行处理，得到处理结果；

69、将所述处理结果基于对应的图像通道进行连接操作，得到连接后特征图；

70、通过卷积降维处理的方法将所述连接后特征图降维成单通道，得到空间特征图；

71、对所述空间特征图和所述目标噪声图像做乘法处理，得到加噪增强图像。

72、进一步的，所述预设噪声去除规则是基于去噪扩散概率模型的逆向过程确定的；所述去噪模块具体被配置为执行：

73、基于所述去噪扩散概率模型的逆向过程，在所述逆向过程的每一步从所述加噪增强图像中去除与所述逆向过程对应的扩散过程中确定的预测噪声。

74、进一步的，所述装置还包括模型训练模块，用于在将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中之前，对原始的图像增强网络进行训练，得到预测噪声与真实噪声的误差值小于预设损失值的图像增强网络作为目标图像增强网络。

75、进一步的，所述模型训练模块具体被配置为执行：

76、获取满足预设质量要求的高质量图像，并通过降采样的方式对所述高质量图像进行处理，得到对应的低质量图像；

77、通过编码器对所述高质量图像和所述低质量图像进行编码，得到高质量编码图和低质量编码图；

78、逐步将高斯噪声添加到所述低质量编码图中，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

79、确定所述预测噪声与噪声真值的误差值，在所述误差值大于预设损失值时，更改所述原始的图像增强网络的参数，直至所述误差值小于所述预设损失值，得到训练好的目标图像增强网络。

80、第三方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述中任一项所述的基于扩散模型的图像增强方法。

81、第四方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述任一项所述的基于扩散模型的图像增强方法。

82、本发明实施例提供的基于扩散模型的图像增强方法，首先，分别通过编码器和文本编辑器分别对获取的待增强的目标图像和图像增强指令进行编码，分别得到编码特征图和文本编码；其次，将编码后的编码特征图和文本编码输入到预先训练好的目标图像增强网络中；之后，逐步向编码特征图中添加高斯噪声，得到服从高斯噪声分别的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；再之后，基于交叉注意力机制，对目标噪声图像中与图像增强指令对应区域进行图像增强，得到加噪增强图像；之后，与加噪过程对应，逐步从加噪增强图像中去除每一步的预测噪声，得到去噪后图像；最后，通过解码器对去噪后图像进行解码，得到增强后图像。本发明针对特征缺失较多的目标图像，例如：电力业务视觉分析领域中的发电、输电、配电过程中存在特征丢失、不连续的终端采集图像，先通过向目标图像中逐步引入高斯噪声，以衰减图像中的有用信息，使加噪后图像趋向于一个高斯噪声；然后通过逐步去噪去除图像中的噪声来还原原始图像，在消除目标图像中的噪声和干扰的同时增强整个目标图像的细节信号和特征，同时，结合交叉注意力机制对目标图像中与图像增强指令对应的图像区域进行针对性增强，支持对图像纹理、饱和度、色彩等特征的修复，有效地提高对目标图像的增强效果，为后续图像分析提供更高质量的图像数据。