一种基于温度信息编码的可见光转红外图像的生成方法

1.本发明涉及图像处理技术领域，更具体的说是涉及一种基于温度信息编码的可见光转红外图像的生成方法。


背景技术：

2.近年来，深度学习技术飞速发展，深度神经网络这种优良的性能，在很大程度上也依赖于海量的数据。但是实际很多场景红外图像的数量很少，难以支撑一个模型的训练，而要保证很好的完成任务，就必须获得更多的数据。随着红外成像技术的不断进步得到了迅猛发展，目前面向红外的智能化探测系统正在升级改造中，需要使用智能感知模型对目标进行精确高效的识别定位，必须考虑能够在各种自然和人为干扰环境下准确捕获目标，这就需要大量的不同成像条件、不同干扰场景下的红外训练样本，对系统进行大规模不同场景下的测试与评估，从而保证系统的鲁棒性。
3.由于红外采集设备价格昂贵，尤其在军事应用中，使用靶机或者导弹做实验的成本非常高，需要耗费大量的人力、物力和财力，并且，由于气候、场景等测试条件的局限性，往往只能获得特定气象条件、特定场景的红外图像。难以评估武器系统在不同状态条件下的实战性能。因此通过仿真来获取算法测试的红外图像是一种常见方式，红外成像仿真技术便可为解决这类问题提供一种极为有效、经济的途径，对现代精确制导武器的开发和研制来说具有十分重要的意义。针对该问题常采用数据增强和红外仿真的方法来扩充红外样本，数据增强需要基于已有的红外样本，且其并不能改变图像本身内容，对训练的提升有限，目前基于红外仿真的样本扩充成为一个新的趋势，已有一些较为成熟的方法可大批量生成仿真红外样本。
4.然而，现有红外生成技术具有一些局限性，当前主要分为两大类：红外场景建模仿真和由可见光图像转化红外图像。基于红外场景建模的仿真模型可解释性较强，但是需要大量的计算，其生成速度较慢。一些基于可见光图像的红外仿真算法虽然省时省力，却缺少相应的物理理论支撑，难以验证生成结果的红外物理特性。针对可见光转化红外图像，基于深度学习的生成方法没有从基理原理的角度考虑，这种简单的拟合方式没有考虑到物理层面的基理原理，因此生成的样本也无法体现热红外的辐射特性，并且现有基于深度学习的生成方法生成结果缺乏多样性。
5.在当前的研究背景下，为了应对一张可见光图像通常只能生成单一红外图像的问题和缺乏一定物理程度的解释的问题，设计一种基于温度信息编码的可见光转红外图像生成方法，是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种基于温度信息编码的可见光转红外图像的生成方法，考虑目标和背景所需温度不一致，目标的温度会自发热，背景相对稳定，根据不同可见光的内容结合从温度分布中用不同方式采样得到的温度编码，最后通过生成网络生成具不
同的温度状态的红外图像。
7.为了实现上述目的，本发明采用如下技术方案：一种基于温度信息编码的可见光转红外图像的生成方法，包括：获取多对一一配对的原始可见光图像和原始红外图像，统一图像尺寸，并框选图像中自发热目标，将框选出的自发热目标重采样为与原始图像尺寸一致，得到自发热目标图像；将每对中的原始可见光图像及其自发热目标图像、原始红外图像及其自发热目标图像组成样本组，再将所有样本组组成训练集；利用训练集对预先构建的考虑温度信息的生成模型进行训练，直至模型收敛；考虑温度信息的生成模型包含温度编码器、红外生成器和判别器；在每轮训练过程中，温度编码器对原始红外图像进行全局温度和自发热目标温度进行编码，并让所有数据的温度编码符合来自正态分布采样，得到当前配对图像的温度分布；红外生成器结合原始可见光图像的内容和从温度分布中采样的温度编码，生成仿真红外图像；判别器判断是仿真红外图像还是真实的原始红外图像，以指导红外生成器的生成更真；将待转可见光图像和从温度分布采样所得的不同温度编码输入训练好的红外生成器中，得到不同温度状态下的多张仿真红外图像。
8.进一步的，训练集的组成过程包括：获取可见光图像集以及对应的红外图像集；其中，表示可见光图像和红外图像的尺寸，表示可见光图像和红外图像数量；“3”和“1”分别表示可见光图像和红外图像的通道数量，表示第个可见光图像，表示第个红外图像；框选可见光图像和红外图像中的自发热目标，和包含的目标集定义为，表示中的第个目标；表示待转化的可见光图像，表示待转换的可见光图像数量；将每个框选的自发热目标分别从可见光图像和红外图像中扣下来后，重采样为与原始图像尺寸一致，得到可见光图像的自发热目标图像，红外图像的自发热目标图像。
9.进一步的，训练阶段，温度编码器和红外生成器的前向传播公式如下：其中，表示红外生成器，表示温度编码器；表示和对应的全局温度编码，表示和自发热目标温度编码；假设和分别采样于独立服从多元正态分布，表示和的自发热目标温度编码集；表示生成的仿真红外图像，表示生成的仿真红外自发热目标图像，表示生成的仿真红外图像的全局温度编码，表示
生成的仿真红外目标图像的温度编码。
10.进一步的，考虑温度信息的生成模型的损失函数如下：其中，表示判别器，、、和损失使用的是损失函数；和表示希望有效的学到可见光图像转到红外图像的映射关系，捕捉图像中的低频信息；和表示保证真实红外图像的温度编码和对应的仿真红外图像的编码一致对齐，保证红外生成器和温度编码器同时起作用；和表示用判别器判断是真实红外图像/自发热目标图像，还是生成的仿真红外图像/自发热目标图像，尽可能的指导生成的红外图像域与真实的红外图像域接近；表示如果是真实红外图像取1，是仿真红外图像取0；是损失函数，表示尽可能让这些真实红外图像的温度编码分布在正太分布中，表示多元正态分布，维度与温度编码一致，表示平均值组，表示方差组；表示多元标准正太分布。
11.进一步的，将待转可见光图像和从温度分布采样所得的不同温度编码输入训练好的红外生成器中，得到不同温度状态下的多张仿真红外图像，包括：从训练好的考虑温度信息的生成模型中取出红外生成器，获取待转换的可见光图像及与其对应的框选出的自发热目标；针对一张待转换的可见光图像，从温度分布中根据待转可见光图像的内容采样相应的全局温度编码和自发热目标温度编码，给赋予不同的全局温度编码和自发热目标温度编码；温度编码是可以变化的，具体是指将温度编码直接叠加到可见光图像的通道方向，全局背景信息的每个像素添加一样的温度编码，它的维度成为新的通道，同理每个目标所有像素位置添加自己的温度编码；将待转可将光图像和与其对应的全局温度编码和不同自发热目标的温度编码共同输入红外生成器中，输出不同温度状态下的多张仿真红外图像。
12.进一步的，待转可见光图像的转换公式如下：上式中，采样不同的温度编码给待转可见光图像的全局和目标，输出不同温度状态下的多张仿真红外图像。
13.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于温度信息编码的可见光转红外图像的生成方法，利用已有的可见光图像和红外图像，设计的红外生成器和温度编码器，分别学习可见光转红外图像的过程和温度信息的分布状态。在已训练好的模型中，利用大量可见光图像转化的时候，考虑目标和背景所需温度不一致，目标的温度会自发热，背景相对稳定，根据不同可见光的内容结合从温度分布中用不同方式采样得到的温度编码，结合相对的温度信息进行可见光到红外图像的生成，可以将不知道真实
温度值的相对温度编码到一个正态分布中，采样获取相对的温度信息，最后通过红外生成器生成具不同的温度状态的红外图像。
14.同时，针对同一张图像，可以分别生成不同温度编码的红外全局信息，同一目标可以换不同适当的温度编码生成同一背景下不同温度组合的目标，这样的生成方案可以生成更多样的温度状态的红外图像。
15.本发明还利用神经网络强大的拟合能力，学习到准确的可见光图像到红外图像的纹理映射和温度编码，并且该方法生成的红外图可以用于其他任务，如扩充红外目标检测器的训练数据集。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
17.图1为本发明提供的基于温度信息编码的可见光转红外图像的生成方法的结构示意图；图2为本发明提供的训练好的红外生成器对待转可见光图像进行红外转化的流程图；图3（a）为本发明提供的固定自发热目标的温度编码，转化不同的全局假彩色图。
18.图3（b）为本发明提供的固定全局编码，采样不同的自发热目标温度编码，形成不同的红外图像。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.如图1-2所示，本发明实施例公开了一种基于温度信息编码的可见光转红外图像的生成方法，包括以下步骤：s1、获取多对一一配对的原始可见光图像和原始红外图像，统一图像尺寸，并框选图像中自发热目标，将框选出的自发热目标重采样为与原始图像尺寸一致，得到自发热目标图像；将每对中的原始可见光图像及其自发热目标图像、原始红外图像及其自发热目标图像组成样本组，再将所有样本组组成训练集；s2、利用训练集对预先构建的考虑温度信息的生成模型进行训练，直至模型收敛；考虑温度信息的生成模型包含温度编码器、红外生成器和判别器；在每轮训练过程中，温度编码器对原始红外图像进行全局温度和自发热目标温度进行编码，并让所有数据的温度编码符合来自正态分布采样，得到当前配对图像的温度分布；红外生成器结合原始可见光图像的内容和从温度分布中采样的温度编码，生成仿真红外图像；判别器判断是仿真红外图
像还是真实的原始红外图像，以指导红外生成器的生成更真；s3、将待转可见光图像和从温度分布采样所得的不同温度编码输入训练好的红外生成器中，得到不同温度状态下的多张仿真红外图像。
21.本发明实施例中，训练过程中温度编码器可以编码红外图像的全局温度信息和目标的温度信息，可以学习温度分布状态；结合可见光图像的内容和采样的温度编码送入红外生成器中，生成仿真红外图像；然后为了生成更相似，将生成的红外和真实的红外送入判别器判别。
22.在一个实施例中，s1中，训练集的组成过程包括：s11、获取可见光图像集以及对应的红外图像集；其中，表示可见光图像和红外图像的尺寸，表示可见光图像和红外图像数量；“3”和“1”分别表示可见光图像和红外图像的通道数量，表示第个可见光图像，表示第个红外图像；s12、框选可见光图像和红外图像中的自发热目标，和包含的目标集定义为，表示中的第个目标；表示待转化的可见光图像，表示待转换的可见光图像数量；s13、将每个框选的自发热目标分别从可见光图像和红外图像中扣下来后，重采样为与原始图像尺寸一致，得到可见光图像的自发热目标图像，红外图像的自发热目标图像。
23.在一个具体实施例中，s2中，模型的训练阶段，温度编码器和红外生成器的前向传播公式如下：其中，表示红外生成器，表示温度编码器；表示和对应的全局温度编码，表示和自发热目标温度编码；假设和分别采样于独立服从多元正态分布，表示和的自发热目标温度编码集；表示生成的仿真红外图像，表示生成的仿真红外自发热目标图像，表示生成的仿真红外图像的全局温度编码，表示生成的仿真红外目标图像的温度编码。
24.考虑温度信息的生成模型的损失函数如下：
其中，表示判别器，、、和损失使用的是损失函数；和表示希望有效的学到可见光图像转到红外图像的映射关系，捕捉图像中的低频信息；和表示保证真实红外图像的温度编码和对应的仿真红外图像的编码一致对齐，保证红外生成器和温度编码器同时起作用；和表示用判别器判断是真实红外图像/自发热目标图像，还是生成的仿真红外图像/自发热目标图像，尽可能的指导生成的红外图像域与真实的红外图像域接近；表示如果是真实红外图像取1，是仿真红外图像取0；是损失函数，表示尽可能让这些真实红外图像的温度编码分布在正太分布中，表示多元正态分布，维度与温度编码一致，表示平均值组，表示方差组；表示多元标准正太分布。
25.在一个实施例中，如图2所示，s3包括：s31、从训练好的考虑温度信息的生成模型中取出红外生成器，获取待转换的可见光图像及与其对应的框选出的自发热目标；s32、针对一张待转换的可见光图像，从温度分布中根据待转可见光图像的内容采样相应的全局温度编码和自发热目标温度编码，给赋予不同的全局温度编码和自发热目标温度编码；温度编码是可以变化的，具体是指将温度编码直接叠加到可见光图像的通道方向，全局背景信息的每个像素添加一样的温度编码，它的维度成为新的通道，同理每个目标所有像素位置添加自己的温度编码。
26.s33、将待转可将光图像和与其对应的全局温度编码和不同自发热目标的温度编码共同输入红外生成器中，输出与采样的温度编码对应的不同温度状态下的多张仿真红外图像；转换公式如下：可以采样不同的温度编码给待转可见光的全局和目标，全局和目标的所添加的温度编码信息是可以一定程度上改变的，这样就可以用一张可见光图像生成多样温度状态的红外图像，这个不同是由温度编码导致的，如图3（a）-图3（b）所示。
27.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
28.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。