一种基于多目标分割的多光谱图像融合方法、装置及设备

本技术涉及图像处理，特别是涉及一种基于多目标分割的多光谱图像融合方法、装置及设备。

背景技术：

1、基于多光谱图像融合技术在遥感探测、智能驾驶、医疗诊断等领域起着重要作用。发明专利cn113033630a公开了一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法。通过构建多尺度深度网络提取两类图像深度特征，融合层利用空间和通道的双非局部注意力模型对提取的深度特征进行增强和合并，并通过特征重构获得融合图像。该方法虽然考虑到了红外和可见光图像特征的显著性，但是获得的融合图像仍然无法突出显著目标，且无法根据目标类别选择不同的融合策略。因此，行业内亟需一种图像融合方法以生成高质量的融合图像。

技术实现思路

1、有鉴于此，本技术提供了一种于多目标分割的多光谱图像融合方法、装置及设备，主要目的在于解决目前融合图像无法突出显著目标，且无法根据目标类别选择不同的融合策略的问题。

2、依据本技术第一方面，提供了一种基于多目标分割的多光谱图像融合方法，该方法包括：

3、采集可见光图像和红外图像，对所述可见光图像和所述红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像；

4、采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，所述多目标分割图像包含至少一个目标子集，所述至少一个目标子集用于指示至少一个显著目标类对应的像素区域；

5、基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像。

6、可选地，所述采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，包括：

7、将所述目标可见光图像和所述目标红外图像输入至所述多目标分割网络，所述多目标分割网络包括编码子网络和解码子网络，其中，所述编码子网络包括可见光图像编码流和红外图像编码流；

8、采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征；

9、将每个尺度的可见光图像特征按照尺度标识与对应尺度的红外图像特征进行相加融合，得到多个尺度的融合特征，以及将每个尺度的融合特征通过跳跃连接和通道合并的方式，添加至对应尺度的解码卷积块中，所述解码卷积块位于所述解码子网络；

10、所述解码子网络包括多个尺度的解码卷积块，每个尺度的解码卷积块依据接收到的融合特征和前一尺度的解码卷积块传递的重建特征进行特征重建，得到待约束特征，以及采用交叉熵损失函数对所述待约束特征进行约束，得到目标重建特征，将所述目标重建特征传递至下一尺度解码卷积块，直至最后一个尺度的解码卷积块输出特征图；

11、使用预设激活函数对所述特征图进行激活，将所述特征图中的预测值转换为概率值，并生成预测的类别，得到所述多目标分割图像。

12、可选地，所述采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，包括：

13、可选地，所述采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，包括：

14、所述可见光图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；

15、采用第一尺度的编码卷积模块对所述目标可见光图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的可见光图像特征，并将所述第一尺度的可见光图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的可见光图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的可见光图像特征；

16、确定每个尺度的注意力增强模块输出的可见光图像特征，得到所述多个尺度的可见光图像特征。

17、可选地，所述采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征，包括：

18、所述红外图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；

19、采用第一尺度的编码卷积模块对所述目标红外图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的红外图像特征，并将所述第一尺度的红外图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的红外图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的红外图像特征；

20、确定每个尺度的注意力增强模块输出的红外图像特征，得到所述多个尺度的红外图像特征。

21、可选地，所述基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像，包括：

22、将所述目标可见光图像和所述目标红外图像输入至所述多光谱图像融合网络的编码子网络，通过所述编码子网络对所述目标可见光图像和所述目标红外图像进行特征抽取，得到所述第一深度特征和所述第二深度特征；

23、将所述第一深度特征、所述第二深度特征和所述多目标分割图像传递至所述多光谱图像融合网络的融合层，通过所述融合层中的多目标增强特征融合模块对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行融合，得到融合特征；

24、采用所述多光谱图像融合网络的解码子网络对所述融合特征进行特征重建，得到目标图像。

25、可选地，所述通过所述融合层中的多目标增强特征融合模块对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行融合，得到融合特征，包括：

26、采用所述多目标增强特征融合模块，按照所述显著目标类对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行特征融合，得到背景特征、次要显著目标特征和主要显著目标特征；

27、将所述背景特征、所述次要显著目标特征和所述主要显著目标特征相加，得到所述融合特征。

28、可选地，所述按照所述显著目标类对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行特征融合，得到背景特征、次要显著目标特征和主要显著目标特征，包括：

29、当所述显著目标类为背景类时，依据所述多目标分割图像对应的所述目标子集，确定所述背景类的像素区域，采用所述像素区域对应的背景二值掩膜和所述第一深度特征进行特征融合，得到所述背景特征；

30、当所述显著目标类为次要显著目标类时，依据所述目标子集，确定次要显著目标类的像素区域，采用所述像素区域对应的次要显著目标二值掩膜和所述第一深度特征进行特征融合，得到所述次要显著目标特征；

31、当所述显著目标类为主要显著目标类时，依据所述目标子集，确定主要显著目标类的像素区域，采用所述像素区域对应的主要显著目标二值掩膜和所述第一深度特征确定所述主要显著目标类的第一像素区域，以及采用所述主要显著目标二值掩膜和所述第二深度特征确定所述主要显著目标类的第二像素区域，根据所述第一像素区域和所述第二像素区域进行特征融合，得到所述主要显著目标特征。

32、依据本技术第二方面，提供了一种基于多目标分割的多光谱图像融合装置，该装置包括：

33、采集模块，用于采集可见光图像和红外图像，对所述可见光图像和所述红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像；

34、分割模块，用于采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，所述多目标分割图像包含至少一个目标子集，所述至少一个目标子集用于指示至少一个显著目标类对应的像素区域；

35、融合模块，用于基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像。

36、可选地，所述分割模块，用于将所述目标可见光图像和所述目标红外图像输入至所述多目标分割网络，所述多目标分割网络包括编码子网络和解码子网络，其中，所述编码子网络包括可见光图像编码流和红外图像编码流；采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征；将每个尺度的可见光图像特征按照尺度标识与对应尺度的红外图像特征进行相加融合，得到多个尺度的融合特征，以及将每个尺度的融合特征通过跳跃连接和通道合并的方式，添加至对应尺度的解码卷积块中，所述解码卷积块位于所述解码子网络；所述解码子网络包括多个尺度的解码卷积块，每个尺度的解码卷积块依据接收到的融合特征和前一尺度的解码卷积块传递的重建特征进行特征重建，得到待约束特征，以及采用交叉熵损失函数对所述待约束特征进行约束，得到目标重建特征，将所述目标重建特征传递至下一尺度解码卷积块，直至最后一个尺度的解码卷积块输出特征图；使用预设激活函数对所述特征图进行激活，将所述特征图中的预测值转换为概率值，并生成预测的类别，得到所述多目标分割图像。

37、可选地，所述分割模块，用于所述可见光图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；采用第一尺度的编码卷积模块对所述目标可见光图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的可见光图像特征，并将所述第一尺度的可见光图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的可见光图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的可见光图像特征；确定每个尺度的注意力增强模块输出的可见光图像特征，得到所述多个尺度的可见光图像特征。

38、可选地，所述分割模块，用于所述红外图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；采用第一尺度的编码卷积模块对所述目标红外图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的红外图像特征，并将所述第一尺度的红外图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的红外图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的红外图像特征；确定每个尺度的注意力增强模块输出的红外图像特征，得到所述多个尺度的红外图像特征。

39、可选地，所述融合模块，用于将所述目标可见光图像和所述目标红外图像输入至所述多光谱图像融合网络的编码子网络，通过所述编码子网络对所述目标可见光图像和所述目标红外图像进行特征抽取，得到所述第一深度特征和所述第二深度特征；将所述第一深度特征、所述第二深度特征和所述多目标分割图像传递至所述多光谱图像融合网络的融合层，通过所述融合层中的多目标增强特征融合模块对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行融合，得到融合特征；采用所述多光谱图像融合网络的解码子网络对所述融合特征进行特征重建，得到目标图像。

40、可选地，所述融合模块，用于采用所述多目标增强特征融合模块，按照所述显著目标类对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行特征融合，得到背景特征、次要显著目标特征和主要显著目标特征；将所述背景特征、所述次要显著目标特征和所述主要显著目标特征相加，得到所述融合特征。

41、可选地，所述融合模块，用于当所述显著目标类为背景类时，依据所述多目标分割图像对应的所述目标子集，确定所述背景类的像素区域，采用所述像素区域对应的背景二值掩膜和所述第一深度特征进行特征融合，得到所述背景特征；当所述显著目标类为次要显著目标类时，依据所述目标子集，确定次要显著目标类的像素区域，采用所述像素区域对应的次要显著目标二值掩膜和所述第一深度特征进行特征融合，得到所述次要显著目标特征；当所述显著目标类为主要显著目标类时，依据所述目标子集，确定主要显著目标类的像素区域，采用所述像素区域对应的主要显著目标二值掩膜和所述第一深度特征确定所述主要显著目标类的第一像素区域，以及采用所述主要显著目标二值掩膜和所述第二深度特征确定所述主要显著目标类的第二像素区域，根据所述第一像素区域和所述第二像素区域进行特征融合，得到所述主要显著目标特征。

42、依据本技术第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述方法的步骤。

43、依据本技术第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

44、借由上述技术方案，本技术提供的一种基于多目标分割的多光谱图像融合方法、装置及设备，本技术首先采集可见光图像和红外图像，对可见光图像和红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像。随后，采用多目标分割网络对目标可见光图像和目标红外图像进行多目标语义分割，生成多目标分割图像，多目标分割图像包含至少一个目标子集，至少一个目标子集用于指示至少一个显著目标类对应的像素区域。最后，基于多光谱图像融合网络提取目标可见光图像对应的第一深度特征和目标红外图像对应的第二深度特征，通过融合第一深度特征、第二深度特征和多目标分割图像，生成目标融合图像。本技术中的多目标分割网络从多个尺度对目标可见光图像和目标红外图像进行特征提取和融合，生成边缘锐利的高质量多目标分割图像。多光谱图像融合网络通过提出的多目标增强的特征融合模块对多目标类别进行自适应融合，依据融合后的特征重建生成最终的融合图像。根据多目标分割的类别在特征域对不同目标采用不同的融合方式，使生成的目标融合图像在拥有可见光图像的自然模态观感、产生符合人眼视觉感知图像的同时，有效突出红外图像中的显著目标。

45、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。