一种红外图像彩色化方法及系统

本发明涉及图像处理，更具体的说是涉及一种基于transformer和cnn的红外图像彩色化方法及系统。

背景技术：

1、在夜间或者雾霾等情况下肉眼的能见度非常低，非常容易导致交通安全等问题的发生。由于车载红外摄像头具有抗干扰性强、视野稳定等优点，克服了在车辆行驶中由于外界因素导致的肉眼能见度急剧下降的情况下无法获取完整的道路信息的问题。近年来基于车载红外图像的辅助驾驶系统的研究越来越被人们所关注。研究内容包括红外图像目标检测、深度估计、彩色化等。红外图像的彩色化技术是研究红外图像的关键技术之一，能够将颜色单一，对比不明显的红外图像通过图像处理的技术手段将图像中所包含的信息更加友好、直观的呈现给用户，改善用户对于红外图像的理解效果。

2、但是现有的红外图像的彩色化技术中往往只是单一的利用卷积神经网络来实现图像的彩色化，如公开号为cn109242928a的发明专利中，仅是依靠卷积模块去实现图像的彩色化，而cnn网络虽然擅长提取局部特征，但难以捕获全局表示，且学习的权重是固定的，使得cnn无法灵活适应输入内容；作为传统的cnn网络的接替者的transformer模型可以捕获特征的长距离表示，但同时会忽略局部特征细节，且模型训练困难。因此如何将cnn网络和transformer模型结合获得一种特征提取全面且易于应用的红外图像彩色化方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种红外图像彩色化方法及系统，克服了上述缺陷。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于transformer和cnn的红外图像彩色化系统，包括：

4、模型构建模块，用于根据transformer和cnn构建红外图像彩色化模型；

5、模型训练模块，用于对红外图像彩色化模型进行训练；

6、模型处理模块，用于将待处理红外图像通过训练好的红外图像彩色化模型生成彩色化图像。

7、可选的，所述红外图像彩色化模型为包括生成器和鉴别器的生成对抗网络；

8、生成器，用于根据红外图像生成预测的彩色化图像；

9、鉴别器，用于根据输入的彩色化图像与对应的可见光图像，判断彩色化图像是否真实。

10、可选的，生成器包括依次连接的局部特征提取模块、全局特征提取模块、图像融合模块；

11、所述局部特征提取模块，用于对红外图像进行局部特征提取，获得局部特征图；

12、所述全局特征提取模块，用于对局部特征图进行提取与处理，获得全局特征图；

13、所述图像融合模块，用于将局部特征图和全局特征图进行融合获得色度图像；将色度图像与红外图像进行融合生成预测的彩色化图像。

14、可选的，模型训练模块包括：

15、训练样本集存储模块，用于存储训练样本集；

16、数据处理模块，用于从训练样本集存储模块随机获取训练样本，根据输入的训练样本生成预测的彩色化图像；根据彩色化图像获得概率数据；基于概率数据采用反向优化法对红外图像彩色化模型进行参数更新；

17、判断模块，用于判断是否达到预设条件，若是，输出训练好的红外图像彩色化模型。

18、可选的，预设条件为损失函数值最小化。

19、一种基于transformer和cnn的红外图像彩色化方法，具体步骤为：

20、构建图像彩色化模型：基于transformer和cnn构建红外图像彩色化模型；

21、模型训练：对红外图像彩色化模型进行训练；

22、图像处理：将待处理图像输入训练好的红外图像彩色化模型，获得彩色化图像。

23、可选的，模型训练方法具体步骤为：

24、获取训练样本集；

25、从训练样本集随机选择样本输入生成器，生成预测的彩色化图像；

26、将彩色化图像输入鉴别器获得概率数据；

27、基于概率数据采用反向优化法对红外图像彩色化模型进行参数更新。

28、可选的，彩色化图像生成步骤具体为：

29、提取待处理红外图像的局部特征，生成局部特征图；

30、提取待处理红外图像的全局特征，生成全局特征图；

31、将局部特征图和全局特征图进行融合获得色度图像；

32、将色度图像与待处理红外图像进行融合生成彩色化图像。

33、经由上述的技术方案可知，本发明公开了一种红外图像彩色化方法及系统，与现有技术相比，具有以下有益效果:

34、1)本发明采用对抗网络，加强了对图像深层信息的提取，增强着色图像的自然度和真实度，动态提高彩色化图像质量；

35、2)本发明通过transformer和cnn的混合结构构建的神经网络算法模型，可以捕捉中间特征中的局部和全局结构信息，使红外图像彩色化图像具有更好的着色效果，更符合人眼视觉观察；

36、3)本发明采用分阶段的设计有助于提取多尺度特征，减轻了高分辨率带来的计算负担，着色效率更高，通用性更强；

37、4)本发明通过transformer和cnn并行的提取结构最大限度的保留了局部特征信息和全局特征信息，保证了生成器生成图像的着色效果；

38、5)本发明仅采用一个位置编码器，最大程度的保证了图像处理的速度，保证了图像处理的速度。

技术特征：

1.一种基于transformer和cnn的红外图像彩色化系统，其特征在于，包括：

2.根据权利要求1所述的一种基于transformer和cnn的红外图像彩色化系统，其特征在于，所述红外图像彩色化模型为包括生成器和鉴别器的生成对抗网络；

3.根据权利要求2所述的一种基于transformer和cnn的红外图像彩色化系统，其特征在于，生成器包括依次连接的局部特征提取模块、全局特征提取模块、图像融合模块；

4.根据权利要求1所述的一种基于transformer和cnn的红外图像彩色化系统，其特征在于，模型训练模块包括：

5.根据权利要求4所述的一种基于transformer和cnn的红外图像彩色化系统，其特征在于，预设条件为损失函数值最小化。

6.一种基于transformer和cnn的红外图像彩色化方法，其特征在于，具体步骤为：

7.根据权利要求6所述的一种基于transformer和cnn的红外图像彩色化方法，其特征在于，模型训练方法具体步骤为：

8.根据权利要求6所述的一种基于transformer和cnn的红外图像彩色化方法，其特征在于，彩色化图像生成步骤具体为：

技术总结
本发明公开了一种红外图像彩色化方法及系统，涉及图像处理技术领域，包括：模型构建模块，用于根据Transformer和CNN构建红外图像彩色化模型；模型训练模块，用于对红外图像彩色化模型进行训练；模型处理模块，用于将待处理红外图像通过训练好的红外图像彩色化模型生成彩色化图像；其中，红外图像彩色化模型包括生成器，用于根据红外图像生成预测的彩色化图像；鉴别器，用于根据输入的彩色化图像与对应的可见光图像，判断彩色化图像是否真实。本发明基于Transformer和CNN的混合结构构建的神经网络算法模型，可以捕捉中间特征中的局部和全局结构信息，使红外图像彩色化图像具有更好的着色效果，更符合人眼视觉观察。

技术研发人员：李玉斌,李明秋,詹伟达,徐小雨,唐雁峰
受保护的技术使用者：长春理工大学
技术研发日：
技术公布日：2024/1/12