基于子空间分类的小样本行为识别方法及系统

文档序号:34299665发布日期:2023-05-31 14:37阅读:来源:国知局

技术特征:

1.一种基于子空间分类的小样本行为识别方法,其特征在于,包括:

2.根据权利要求1所述的基于子空间分类的小样本行为识别方法,其特征在于,训练所述小样本行为识别模型时,采用数据集为一个包含多个行为类别的多个视频组成,将数据集中每一类的每个视频样本分为一组图像帧rgb frames,并统计每组图像帧的帧数n_frames;对于分帧后的数据集中的每张图像,首先将其进行大小调整,然后随机裁剪;深度估计网络中,用monodepth2 module作为深度估计器,对处理后的数据集图像进行深度估计,得到深度图像。

3.根据权利要求2所述的基于子空间分类的小样本行为识别方法,其特征在于,特征提取网络中,使用特征提取器imagenetpretrained resnet-50提取rgb图像特征和深度图像特征;其中,首先训练用于提取rgb图像特征的rgb子模型和用于提取深度图像特征的深度子模型,rgb子模型和深度子模型的特征提取网络以resnet-50为主干网络,并将resnet-50中的最后一个完全连接层替换为各自的全连接层作为分类器,特征信息提取层为由卷积神经网络生成的特征编码器,从输入层的图像中提取信息处理层所需的图像特征,以得到rgb特征图和深度特征图。

4.根据权利要求3所述的基于子空间分类的小样本行为识别方法,其特征在于,在特征融合网络中,得到的rgb特征向量和深度特征向量通过dgadain fusion module做特征融合,得到融合特征向量。

5.根据权利要求4所述的基于子空间分类的小样本行为识别方法,其特征在于,dgadain fusion module获取的数据为提取的rgb特征向量和深度特征向量,处理后得到融合后的特征向量;模块输入的批处理表示为x∈rb×d×l,其中b为批次大小,d为单个视频样本分成的一组图片帧的帧数,l为每一帧的特征维数;

6.根据权利要求4所述的基于子空间分类的小样本行为识别方法,其特征在于,在识别网络中,将得到的支持集融合特征送入子空间分类器中,求支持集中每一类中所有样本的特征均值;在子空间分类器中,用支持集样本特征减去所属类的特征均值,对支持集每一类样本得到一个新的样本表示集合;在子空间分类器中,对新的样本表示集合进行奇异值分解,得到得到子空间投影矩阵;将查询集样本特征送入子空间分类器,求查询样本特征到每个类别子空间的距离;利用softmax函数计算查询样本属于各个行为类别的概率;采用grassmann流形以最大化不同子空间之间的距离。

7.一种基于子空间分类的小样本行为识别系统,其特征在于,包括:

8.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1-6任一项所述的基于子空间分类的小样本行为识别方法。

9.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序当在一个或多个处理器上运行时,用于实现如权利要求1-6任一项所述的基于子空间分类的小样本行为识别方法。

10.一种电子设备,其特征在于,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如权利要求1-6任一项所述的基于子空间分类的小样本行为识别方法的指令。


技术总结
本发明提供一种基于子空间分类的小样本行为识别方法及系统,属于计算机识别技术领域,包括:获取待识别的图像;利用预先训练好的小样本行为识别模型对所述获取的待识别图像进行处理,得到图像中行为识别结果;所述小样本行为识别模型包括深度估计网络、特征提取网络、特征融合网络和识别网络。本发明充分利用支持集每一类中的所有样本特征,通过为每一类行为构建子空间来进行分类,而非直接地使用特征均值;将每一类的样本特征凝练为一个子空间,直接计算查询样本特征到子空间的距离,而非依次计算查询样本特征到每一类中每个样本的距离,减少计算量。

技术研发人员:田卉,金一,王佳艺,冯松鹤,李浥东
受保护的技术使用者:北京交通大学
技术研发日:
技术公布日:2024/1/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1