一种基于跨模态特征融合的图像识别方法及系统与流程

文档序号:36008154发布日期:2023-11-17 00:06阅读:来源:国知局

技术特征:

1.一种基于跨模态特征融合的图像识别方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于跨模态特征融合的图像识别方法,其特征在于,所述基于所述跨模态特征融合模型识别所述rgb图像和所述深度图像之前,还包括:

3.根据权利要求2所述的基于跨模态特征融合的图像识别方法,其特征在于,

4.根据权利要求3所述的基于跨模态特征融合的图像识别方法,其特征在于,

5.根据权利要求4所述的基于跨模态特征融合的图像识别方法,其特征在于,

6.根据权利要求3所述的基于跨模态特征融合的图像识别方法,其特征在于,

7.根据权利要求1-6任一所述的基于跨模态特征融合的图像识别方法,其特征在于,所述识别所述拍摄对象中的若干个待识别目标的图像单元之后,还包括:

8.一种基于跨模态特征融合的图像识别系统,其特征在于,包括:

9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述一个处理器执行,以使所述至少一个处理器执行如权利要求1-7任一基于跨模态特征融合的图像识别方法。

10.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-7任一基于跨模态特征融合的图像识别方法。


技术总结
本发明公开了一种基于跨模态特征融合的图像识别方法及系统,其中方法包括如下步骤:获取拍摄对象的RGB图像和深度图像;基于跨模态特征融合模型识别RGB图像和深度图像,识别拍摄对象中的若干个待识别目标的图像单元,依据待识别目标的图像单元获取待识别目标的种类和状态信息;其中,跨模态特征融合模型对RGB图像和深度图像进行特征提取,获取RGB图像和深度图像多个层级的特征,利用自注意力机制、交错注意力机制和多头注意力机制融合RGB图像和深度图像特征之间的互补语义信息,逐级对多个尺度的特征进行融合。通过引入深度相机拍摄的深度图像作为另一模态,配合改进模式进行识别,满足了动态环境下对配电柜元器件的目标分割需求。

技术研发人员:吴波,战秋成,郑随兵
受保护的技术使用者:睿尔曼智能科技(北京)有限公司
技术研发日:
技术公布日:2024/1/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1