一种红外图像着色方法及系统与流程

本发明涉及红外成像，尤其涉及一种红外图像着色方法及系统。

背景技术：

1、红外图像是通过感知被拍摄场景的热辐射进行成像，相比于可见光图像，红外图像不具备颜色信息，其灰度信息也不如可见光对应的灰度图像丰富，并且不符合人类的视觉习惯，因此不利于后端执行图像分析、检测等任务。

2、目前，红外图像着色主要通过伪彩表、颜色传递函数以及基于深度学习的方法实现，主要分为有监督的以pix2pix为框架的图像上色方法和无监督的以cyclegan为框架的图像上色方法，而上述方法的实施过程中，真值的采集过程存在困难。另一方面，红外图像的应用优势主要在恶劣天气、光线差的情境下，但该种情境下可见光图像质量差，颜色信息失真严重，导致有监督的红外图像上色应用范围变窄，且上色效果较差。

技术实现思路

1、本发明的目的在于提供一种红外图像着色方法及系统，其可以避免采集真值困难以及特定场景下可见光图像颜色失真的问题，且保证红外图像上色的真实性。

2、为实现上述目的，本发明提供如下技术方案：

3、一方面，提供了一种红外图像着色方法，其包括如下步骤：

4、获取红外图像数据集以及可见光图像数据集；

5、将同一场景的每一红外图像均与该场景的一个可见光图像进行随机配对，以获得若干图像样本对；

6、以及将同一场景的某一图像样本对输入图像风格迁移网络结构中，以完成红外图像、可见光图像的风格迁移；

7、重复上述获取图像样本对以及图像的风格迁移过程，以完成红外图像的着色。

8、优选的，所述红外图像数据集中包含不同场景的红外图像，所述可见光图像数据集中包含与红外图像对应场景的可见光图像。

9、优选的，所述图像风格迁移网络结构为cyclegan网络结构。

10、优选的，将同一场景的某一图像样本对输入图像风格迁移网络结构中，以完成红外图像、可见光图像的风格迁移，包括如下步骤：

11、将同一场景的某一图像样本对中的红外图像输入第一生成器，以生成伪可见光图像，再将所述伪可见光图像输入第二生成器，以生成伪红外图像，并输出；

12、将同一场景的某一图像样本对中的可见光图像输入第二生成器，以生成伪红外图像，再将所述伪红外图像输入第一生成器，以生成伪可见光图像，并输出；

13、采用第一判别器对红外图像、伪红外图像进行图像风格一致性判断，以及采用第二判别器对可见光图像、伪可见光图像进行图像风格一致性判断。

14、优选的，所述cyclegan网络结构的损失函数包含对抗损失函数和循环一致性损失函数。

15、优选的，所述对抗损失函数如下：

16、lgna＝lgna(gab,db,x,y)+lgna(gba,da,y,x)

17、其中，lgna为对抗损失函数，x为红外图像域，y为可见光图像域，gab为第一生成器，gba为第二生成器，da为第一判别器，db为第二判别器，lgna(gab,db,x,y)为gab和db之间的对抗损失函数，lgna(gba,da,y,x)为gba和da之间的对抗损失函数。

18、优选的，lgna(gab,db,x,y)通过公式(1)获取：

19、lgna(gab,db,x,y)＝e[logdb(y)]+e[log(1-db(gab(x)))]  (1)

20、其中，db(y)为输入为y时，第二判别器db的输出，db(gab(x))为输入为gab(x)时，第二判别器db的输出，x，y分别为红外图像以及可见光图像。

21、优选的，lgna(gba,da,y,x)通过公式(2)获取：

22、lgna(gba,da,y,x)＝e[logda(x)]+e[log(1-da(gba(y)))]  (2)

23、其中，da(x)为输入为x时，第一判别器da的输出，da(gba(y))为输入为gba(y)时，第一判别器da的输出，x，y分别为红外图像以及可见光图像。

24、优选的，所述循环一致性损失函数如下：

25、lcyc＝ex～pdata(x)[||gba(gab(x)-x)||1]+ey～pdata(y)[||gab(gba(y)-y)||1]

26、其中，x，y分别为红外图像以及可见光图像，gab(x)、gba(y)分别为第二生成器输出的伪红外图像、第一生成器输出的伪可见光图像。

27、还提供一种红外图像着色系统，其用于实现上述红外图像着色方法，其包括：

28、图像获取单元，其用于获取红外图像数据集以及可见光图像数据集；

29、图像配对单元，其用于将同一场景的每一红外图像均与该场景的一个可见光图像进行随机配对，以获得若干图像样本对；

30、以及图像风格迁移单元，其用于将图像样本对输入图像风格迁移网络结构中，以完成红外图像、可见光图像的风格迁移。

31、综上所述，本发明与现有技术相比具有以下有益效果：

32、本发明基于cyclegan网络结构完成红外图像着色方法，其可以避免采集真值困难以及特定场景下可见光图像颜色失真的问题，且保证红外图像上色的真实性。

技术特征：

1.一种红外图像着色方法，其特征在于，包括如下步骤：

2.如权利要求1所述的红外图像着色方法，其特征在于，所述红外图像数据集中包含不同场景的红外图像，所述可见光图像数据集中包含与红外图像对应场景的可见光图像。

3.如权利要求1所述的红外图像着色方法，其特征在于，所述图像风格迁移网络结构为cyclegan网络结构。

4.如权利要求3所述的红外图像着色方法，其特征在于，将同一场景的某一图像样本对输入图像风格迁移网络结构中，以完成红外图像、可见光图像的风格迁移，包括如下步骤：

5.如权利要求3所述的红外图像着色方法，其特征在于，所述cyclegan网络结构的损失函数包含对抗损失函数和循环一致性损失函数。

6.如权利要求5所述的红外图像着色方法，其特征在于，所述对抗损失函数如下：

7.如权利要求6所述的红外图像着色方法，其特征在于，lgna(gab,db,x,y)通过公式(1)获取：

8.如权利要求6所述的红外图像着色方法，其特征在于，lgna(gba,da,y,x)通过公式(2)获取：

9.如权利要求5所述的红外图像着色方法，其特征在于，所述循环一致性损失函数如下：

10.一种红外图像着色系统，其用于实现权利要求1-9任一项所述的红外图像着色方法，其特征在于，所述红外图像着色系统包括：

技术总结
本发明涉及一种红外图像着色方法，其包括如下步骤：获取红外图像数据集以及可见光图像数据集；将同一场景的每一红外图像均与该场景的一个可见光图像进行随机配对，以获得若干图像样本对；以及将同一场景的某一图像样本对输入图像风格迁移网络结构中，以完成红外图像、可见光图像的风格迁移。本发明可以避免采集真值困难以及特定场景下可见光图像颜色失真的问题，且保证红外图像上色的真实性。

技术研发人员：黄立,黄晟,田鹏,王鹏,商长弘,周向
受保护的技术使用者：武汉轩辕智驾科技有限公司
技术研发日：
技术公布日：2024/3/17