技术特征：
1.一种rgb
‑
d图像显著性检测方法，其特征在于，包括如下步骤：步骤1、将rgb图像和深度图像分别输入到舍去全连接层和池化层的resnet50主干网络中，提取每层的rgb特征和深度特征；步骤2、将各层的深度特征输入到每个层级相应的深度改进模块中，得到的深度改进特征与相应的rgb特征进行融合，经过卷积、激活等操作后得到各层的混合特征；步骤3、将混合特征从高层到底层两两组合，分别通过特征分组监督融合模块，得到各层显著图，其中，在每个特征分组监督融合模块中都加入上一层输出的显著图和真值图进行监督，最终经过迭代优化以第4层级输出的显著图作为最终结果显著图。2.根据权利要求1所述的rgb
‑
d图像显著性检测方法，其特征在于，所述步骤2中深度特征送入到每个层级相应的深度改进模块中得到深度改进特征的具体步骤如下：1)深度改进模块包括通道注意力模块和空间注意力模块，首先将深度特征输入通道注意力模块中进行改进操作，过程定义如下：其中，ch(
·
)表示通道注意力操作；f
i
表示输入的多尺度的深度特征；表示元素依次相乘操作；per(
·
)为两层感知机；pool
ave
(
·
)表示对深度特征进行平均池化操作；2)将上述操作输出的特征送入空间注意力模块再次进行改进操作，过程定义如下：其中，sp(
·
)表示空间注意力的操作，conv(
·
)表示卷积操作；pool
′
max
(
·
)表示为对卷积特征通道的每一点的最大池化操作。3.根据权利要求1所述的rgb
‑
d图像显著性检测方法，其特征在于，所述步骤2中深度改进特征与对应的rgb特征进行融合得到混合特征的具体步骤如下：深度改进特征和rgb特征先串联，然后进行卷积操作将特征通道数缩小，从而形成混合特征，过程定义公式形式为：f
m
＝re(conv(f
′
dm
⊙
f
rm
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，f
′
dm
表示深度改进特征；f
rm
表示rgb特征；f
m
表示混合特征；re(
·
)表示激活函数relu，对数值作归一化处理；conv(
·
)表示卷积操作；
⊙
表示串联操作。4.根据权利要求1所述的rgb
‑
d图像显著性检测方法，其特征在于，所述步骤3中混合特征通过特征分组监督融合模块得到显著图的具体步骤如下：1)在特征分组监督融合模块中，从高层级到低层级相邻的每两个混合特征组合在一起，共分成了四组，每组特征中高层的特征进行上采样操作后与同组低层特征串联起来，随后进行卷积操作，得到多尺度特征f
qi
，过程定义如下：f
qi
＝re(conv(up(f
m
)
⊙
f
m
‑1))
ꢀꢀꢀꢀꢀꢀꢀ
(4)2)用高层输出的显著图和真值图迭代优化上层结果，得到多模态融合特征f
′
qi
(特别地，最高层级组的特征融合过程中没有上一层显著图的监督)，过程定义如下：f
′
qi
＝f
qi
+re(conv(s))+re(conv(s
i
‑1))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，s
i
‑1表示高层输出的显著图；s表示真值图,re(
·
)表示激活函数relu；conv(
·
)表示卷积操作；
⊙
表示串联操作；up(
·
)表示上采样操作；3)在特征分组监督融合模块中引入特征增强模块对多模态融合特征f
′
qi
进行提纯，特
征增强模块包含四个平行分支和一个残差连接分支。特征提纯过程为：首先，将特征的四个分支进行卷积核1
×
1的卷积操作，将通道数缩小，然后对后三个分支分别进行卷积核为3
×
3，5
×
5和7
×
7，膨胀率为1的卷积处理，接着进行卷积核为3，膨胀率为3、5、7的处理，接下来，四个分支串联起来进行1
×
1的卷积操作，在输入特征与卷积后的输出操作之间进行一个残差连接，最终形成特征f
″
qi
；4)用卷积和激活函数对多模态多尺度特征f
″
qi
进行处理，输出对应的显著图s
i
，并以第4层级的显著图作为最终预测结果图，过程定义如下：s
i
＝re(conv(f
″
qi
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，re(
·
)表示激活函数relu；conv(
·
)表示卷积操作。5.根据权利要求1所述的rgb
‑
d图像显著性检测方法，其特征在于，所述步骤3中的特征融合过程中，使用二元交叉熵损失函数优化网络参数，公式表示为：loss＝
‑
[slog(s
i
)+(1
‑
s)log(1
‑
s
i
)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，s
i
为每组输出的显著图；s为真值图；loss为损失函数。
技术总结
本发明涉及一种RGB
技术研发人员：王卫兵 张晓琢 何金喜 刘锋
受保护的技术使用者：哈尔滨理工大学
技术研发日：2021.06.07
技术公布日：2021/9/7