基于多层特征融合的特征提取方法、装置以及电子设备与流程

本申请涉及计算机领域，尤其涉及一种基于多层特征融合的特征提取方法、装置以及电子设备。

背景技术：

1、卷积神经网络(convolutional neural network，cnn)是一类专门用于处理具有网格状结构数据(如图像和视频)的深度学习模型，在现有技术中，常常通过提取全局特征的方法来进行图像分类、目标检测、语义分割等任务，但是提取到的全局特征具有局限性，难以捕捉到图像的局部细节和多样性，无法充分表达图像中的复杂结构和变化，从而导致图像处理结果的准确率较低。

技术实现思路

1、本申请提供了一种基于多层特征融合的特征提取方法、装置以及电子设备，以解决在进行图像处理时只提取全局特征导致图像处理结果的准确率较低的技术问题。

2、第一方面，本申请提供了一种基于多层特征融合的特征提取方法，包括：对目标图像进行特征提取，得到上述目标图像的多层全局特征以及多层局部特征；对多层全局特征以及多层局部特征进行融合操作，得到最终的目标全局特征。

3、第二方面，本申请提供了一种基于多层特征融合的特征提取装置，包括：提取模块，用于对目标图像进行特征提取，得到上述目标图像的多层全局特征以及多层局部特征；融合模块，用于对多层全局特征以及多层局部特征进行融合操作，得到最终的目标全局特征。

4、作为一种可选的示例，上述提取模块包括：第一卷积单元，用于对上述目标图像进行卷积操作，得到目标浅层全局特征；第一采样单元，用于对上述目标浅层全局特征进行多尺度的采样处理，得到若干个浅层局部特征。

5、作为一种可选的示例，上述融合模块包括：第二卷积单元，用于对上述目标浅层全局特征进行卷积操作，得到第一中层全局特征；第三卷积单元，用于对上述若干个浅层局部特征以及上述第一中层全局特征进行融合操作，并对融合后的特征进行卷积操作，得到第二中层全局特征；第二采样单元，用于对上述第一中层全局特征进行多尺度的采样处理，得到若干个第一中层局部特征；第三采样单元，用于对上述第二中层全局特征进行多尺度的采样处理，得到若干个第二中层局部特征。

6、作为一种可选的示例，上述融合模块包括：第四卷积单元，用于在对上述第二中层全局特征进行多尺度的采样处理，得到若干个第二中层局部特征之后，对上述若干个第一中层局部特征以及上述第二中层全局特征进行融合操作，并对融合后的特征进行卷积操作，得到目标深层全局特征；第五卷积单元，用于对上述目标深层全局特征以及上述若干个第二中层局部特征进行融合操作，并对融合后的特征进行多尺度的采样处理，得到若干个深层局部特征。

7、作为一种可选的示例，上述融合模块包括：融合单元，用于在对上述目标深层全局特征以及上述若干个第二中层局部特征进行融合操作，并对融合后的特征进行多尺度的采样处理，得到若干个深层局部特征之后，对上述若干个深层局部特征进行融合操作，得到上述目标全局特征。

8、作为一种可选的示例，上述第一采样单元包括：采样子单元，用于在上述目标浅层全局特征的每一个通道所对应的特征图上，采用至少一种尺度的滑动窗口进行采样，并根据最大池化方法得到上述若干个浅层局部特征。

9、作为一种可选的示例，上述第三卷积单元包括：融合子单元，用于对上述若干个浅层局部特征以及上述第一中层全局特征进行融合操作，得到第三中层全局特征；卷积子单元，用于对上述第三中层全局特征进行卷积操作，得到上述第二中层全局特征。

10、第三方面，本申请提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述基于多层特征融合的特征提取方法。

11、第四方面，本申请还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的基于多层特征融合的特征提取方法。

12、在本申请实施例中，采用了对目标图像进行特征提取，得到上述目标图像的多层全局特征以及多层局部特征；对多层全局特征以及多层局部特征进行融合操作，得到最终的目标全局特征的方法，由于在上述方法中，通过对目标图像的特征进行提取得到多个层级的全局特征和多个层级的局部特征，然后对多个层级的全局特征和多个层级的局部特征进行融合操作，最后得到融合了多个层级的全局特征和多个层级的局部特征的目标全局特征，使得目标全局特征在关注目标图像的全局特征的同时关注目标图像的局部细节，从而实现了增强提取到的目标全局特征的表征能力，提高图像处理结果的准确率目的，进而解决了在进行图像处理时只提取全局特征导致图像处理结果的准确率较低的技术问题。

技术特征：

1.一种基于多层特征融合的特征提取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对目标图像进行特征提取，得到所述目标图像的多层全局特征以及多层局部特征包括：

3.根据权利要求2所述的方法，其特征在于，在对所述目标浅层全局特征进行多尺度的采样处理，得到若干个浅层局部特征之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在对所述第二中层全局特征进行多尺度的采样处理，得到若干个第二中层局部特征之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，在对所述目标深层全局特征以及所述若干个第二中层局部特征进行融合操作，并对融合后的特征进行多尺度的采样处理，得到若干个深层局部特征之后，所述方法还包括：

6.根据权利要求2所述的方法，其特征在于，所述对所述目标浅层全局特征进行多尺度的采样处理，得到若干个浅层局部特征包括：

7.根据权利要求3所述的方法，其特征在于，所述对所述若干个浅层局部特征以及所述第一中层全局特征进行融合操作，并对融合后的特征进行卷积操作，得到第二中层全局特征包括：

8.一种基于多层特征融合的特征提取装置，其特征在于，包括：

9.一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

技术总结
本申请涉及一种基于多层特征融合的特征提取方法、装置以及电子设备。该方法包括：对目标图像进行特征提取，得到目标图像的多层全局特征以及多层局部特征；对多层全局特征以及多层局部特征进行融合操作，得到最终的目标全局特征。本申请解决了在进行图像处理时只提取全局特征导致图像处理结果的准确率较低的技术问题。

技术研发人员：王发发
受保护的技术使用者：北京奇艺世纪科技有限公司
技术研发日：
技术公布日：2024/3/4