基于CLIP类别增量学习的图像分类方法及系统

文档序号:39119920发布日期:2024-08-21 11:44阅读:来源:国知局

技术特征:

1.一种基于clip类别增量学习的图像分类方法,其特征在于,包括:

2.如权利要求1所述的一种基于clip类别增量学习的图像分类方法,其特征在于,以新旧类别的文本特征间的欧几里德距离作为相似度,将相似度小于设定阈值的新旧类别对作为相邻类别的新旧类别对;对每对相邻类别中的旧类别文本特征,计算质心和协方差矩阵,基于此从高斯分布中进行采样。

3.如权利要求1所述的一种基于clip类别增量学习的图像分类方法,其特征在于,以铰链损失函数与交叉熵损失函数的和作为训练过程的总损失函数;铰链损失函数为:

4.如权利要求1所述的一种基于clip类别增量学习的图像分类方法,其特征在于,适配器参数融合过程包括:将当前训练任务的适配器参数和前一训练任务的适配器参数分解到相同的标准正交基,根据分解后的当前训练任务的分解参数和前一训练任务的分解参数的差值计算融合权值,根据融合权值对当前训练任务的分解参数和前一训练任务的分解参数进行融合,得到融合参数,根据融合参数和标准正交基得到最终适配器参数。

5.如权利要求4所述的一种基于clip类别增量学习的图像分类方法,其特征在于,融合权值m为:

6.如权利要求4所述的一种基于clip类别增量学习的图像分类方法,其特征在于,融合参数r和最终适配器参数w分别为:

7.一种基于clip类别增量学习的图像分类系统,其特征在于,包括:

8.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-6任一项所述的方法。

10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现完成权利要求1-6任一项所述的方法。


技术总结
本发明公开一种基于CLIP类别增量学习的图像分类方法及系统,包括:构建预训练的CLIP模型,获取训练图像及对应的文本标签,分别采用图像编码器和文本编码器提取图像特征和文本特征,以对适配器进行训练;其中,根据新输入的训练图像的文本特征和旧类别文本特征的相似度,筛选相邻类别的新旧类别对,对每对相邻类别中的旧类别文本特征,采用正态分布进行采样,以此构建铰链损失函数;在完成第t个训练任务后,将前一训练任务的适配器参数与当前训练任务的适配器参数进行融合,从而得到当前训练任务的最终适配器参数;对待处理图像采用训练后的CLIP模型得到分类结果。减少由于学习新类而导致的旧类遗忘,提高图像分类准确度。

技术研发人员:黄林澜,刘夏雷,程明明
受保护的技术使用者:南开大学
技术研发日:
技术公布日:2024/8/20
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1