一种RGB-D显著性检测方法、装置、电子设备及介质

本发明涉及图像处理领域，尤其涉及一种rgb-d显著性检测方法、装置、电子设备及介质。

背景技术：

1、显著性检测指通过智能算法模拟人的视觉特点，提取图像或视频中的显著区域(即人类感兴趣的区域)。其目的是使计算机能够像人类一样，快速、准确地识别出场景中的关键信息，从而提高视觉信息处理的效率和准确性。

2、显著性检测在多个计算机视觉领域有着广泛的应用，由于其强大的泛用性与可扩展性，可用于以下领域：1)目标识别：通过显著性检测，可以快速定位图像中的目标区域，从而提高目标识别的准确性和效率。2)图像视频压缩：显著性检测可以帮助确定图像或视频中的关键信息，从而实现更高效的压缩算法。3)图像检索：在海量图像库中，通过显著性检测可以快速找到与用户查询相关的图像。4)图像重定向：在图像尺寸调整时，保持显著区域不变形，提高用户体验。

3、在传统算法中，显著性检测任务依赖于人工构建的特征去计算显著性，近年来随着深度学习方法的发展，基于卷积神经网络和transformer的视觉特征提取网络可以很好的提取图像的特征。然而当遇到纹理相似、背景暗光等复杂环境时，rgb图像往往并不能提供更多更具有区分度的信息，基于rgb图像的显著性检测方法显得力不从心。

4、近年来，深度传感器的大量应用使得深度图更容易获取，人们尝试为对补充了空间信息的rgb图像做显著性检测，此外，随着热成像相机的普及，人们发现热红外信息对于照明条件差产生的识别模糊非常有效，例如在城市街景的语义分割任务中就取到了很好的效果，所以热像仪生成的热红外图像也可以作为重要的信息补充。因此，人们分别提出了结合了深度特征的rgb-d显著性检测和rgb-t的显著性检测。现有的基于深度学习的rgb-d网络如bbs-net、hainet、lsnet普遍存在复杂背景下检测结果质量一般，边缘模糊的情况。因此，一种具有高精度和高质量分割的显著性检测算法具有很大的应用场景。

技术实现思路

1、为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种rgb-d显著性检测方法、装置、电子设备及介质。

2、本发明所采用的第一技术方案是：

3、一种rgb-d显著性检测方法，包括以下步骤：

4、输入rgb图像以及与rgb图像相对应的深度图像，对rgb图像和深度图像进行预处理；

5、对输入的rgb图像进行分割处理，获得超像素分割图；

6、将预处理后的rgb图像和深度图像输入编码器中进行特征提取，获得由纹理到语义的不同层次的rgb特征和深度特征；

7、融合不同层次的rgb特征和深度特征，获得融合特征；

8、将融合特征输入到解码器中进行解码，输出预测的显著图；

9、其中，将rgb特征输入到边界感知模块中，输出预测的rgb图像超像素分割图；将深度特征和融合特征输入到边界感知模块中，输出预测的显著图边界；根据预测的rgb图像超像素分割图和显著图边界对显著性目标预测结果进行监督，并利用预设损失函数对模型进行训练，以将训练后的模型用于rgb-d显著性检测。其中模型包括编码器和解码器。

10、进一步地，所述对rgb图像和深度图像进行预处理，包括：

11、对rgb图像和深度图像进行增强操作；其中增强操作包括旋转翻转操作、裁剪缩放操作以及归一化操作。

12、进一步地，所述对输入的rgb图像进行分割处理，获得超像素分割图，包括：

13、采用namlab超像素分割算法对输入的rgb图像进行分割处理，生成超像素分割图；

14、提取超像素分割图之间的边界生成二值图，作为边界指导，用于优化模型的边界感知能力。

15、进一步地，所述编码器为基于swin-transformer的编码器；

16、所述编码器包括rgb特征提取器和深度特征提取器；所述rgb特征提取器用于提取rgb特征，该特征提取器选择timm库中的swin-base架构为基础；所述深度特征提取器用于提取深度特征，该特征提取器选择选择timm库中的swin-small架构为基础；

17、其中，在模型训练初期冻结rgb特征提取器的权重，或使用lora技术来微调rgb特征提取器，以防止预训练学习到的知识被遗忘；两个特征提取器设置为feature_only模式，以提取多层次的特征。

18、进一步地，所述融合不同层次的rgb特征和深度特征，获得融合特征，包括：

19、由于rgb特征和深度特征之间特征维度不匹配，采用由卷积神经网络组成的特征对齐模块对特征进行对齐；

20、采用卷积神经网络将对齐后的特征进行拼接，获得融合特征。

21、进一步地，所述将融合特征输入到解码器中进行解码，输出预测的显著图，包括：

22、将融合特征输入u-net结构的解码器对特征进行多尺度融合，将融合后的结果输入卷积神经网络构成的分类头，获得预测的显著图。

23、进一步地，所述超像素分割图的边界包含了图像语义的边界信息；

24、将边界信息提取为二值图，将多层次的rgb特征输入边界感知模块，采用namlab超像素分割算法得到的边界二值图来监督边界感知模块的输入，以提高模型对物体边界特征的感知；同时，将融合特征输入边界感知模块，以提高对显著性物体的边界感知。

25、本发明所采用的第二技术方案是：

26、一种rgb-d显著性检测装置，包括：

27、预处理模块，用于输入rgb图像以及与rgb图像相对应的深度图像，对rgb图像和深度图像进行预处理；

28、图像分割模块，用于对输入的rgb图像进行分割处理，获得超像素分割图；

29、特征提取模块，用于将预处理后的rgb图像和深度图像输入编码器中进行特征提取，获得由纹理到语义的不同层次的rgb特征和深度特征；

30、特征融合模块，用于融合不同层次的rgb特征和深度特征，获得融合特征；

31、图像预测模块，用于将融合特征输入到解码器中进行解码，输出预测的显著图；

32、其中，将rgb特征输入到边界感知模块中，输出预测的rgb图像超像素分割图；将深度特征和融合特征输入到边界感知模块中，输出预测的显著图边界；根据预测的rgb图像超像素分割图和显著图边界对显著性目标预测结果进行监督，并利用预设损失函数对模型进行训练，以将训练后的模型用于rgb-d显著性检测。

33、本发明所采用的第三技术方案是：

34、一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如上所述的一种rgb-d显著性检测方法。

35、本发明所采用的第四技术方案是：

36、一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的一种rgb-d显著性检测方法。

37、本发明所采用的第五技术方案是：

38、一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的一种rgb-d显著性检测方法。

39、本发明的有益效果：

40、(1)本发明通过引入深度图像，将深度信息融合进来自rgb图像的特征，进一步提升了图像分割的效果，同时使得模型可以适应更多复杂的场景。

41、(2)本发明结合了namlab算法的超像素分割边界信息，使得特征提取网络对物体边界更加敏感，从而提高最终结果的边缘精细程度。

42、(3)本发明通过使用基于深度学习的算法，避免了传统算法需要大量手工设计特征的缺点，此外，基于传统算法的方法往往只能标记出粗略的区域，而深度学习方法只需要将数据输入网络训练多轮就能得到高质量的显著性检测结果。