本发明涉及元学习算法领域,更具体地说,涉及一种基于元学习的变分随机特征的核方法。
背景技术:
元学习的目的是解决学习如何学习的问题。其本质是利用对其他任务的前期学习的经验,快速适应新任务的需求。目前主流方法包括:1)通过在神经网络上添加记忆来实现对以往经验的利用;2)通过让神经网络利用以往的任务学习中梯度预测经验,使其在面对新的任务中,尽量将梯度预测准,达到快速学习的目的;3)人的注意力是可以利用以往的经验来实现提升的,基于此,利用以往的任务来训练一个注意力模型,从而面对新的任务,能够直接关注最重要的部分加快学习效果;4)利用lstm的结构训练出一个神经网络的更新机制,输入当前网络参数,直接输出新的更新参数;5)同时启动多个任务,然后获取不同任务学习的合成梯度方向来更新,从而学习一个共同的最佳的基准平台。
核近似方法是通过对具有平移不变的核函数,进行傅里叶变换,找出显式的特征映射关系,避免复杂的计算。核近似方法具有很好的刻画非线性关系的特点,并在分类等任务上取得良好的性能,但其在元学习中很少有人研究。
目前在核近似方法中,虽在寻找显示的映射函数过程中,可以生成随机特征,并且这种随机特征可以很好地刻画非线性的问题,但其解决的只是传统机器学习的问题,即根据数据生成模型。而元学习旨在学会学习,即模型对新数据的学习能力。本发明旨在将两者的优点结合,并利用lstm学习得到各不同任务之间的关联知识。
技术实现要素:
1.要解决的技术问题
针对现有技术中存在的问题,本发明的目的在于提供一种基于元学习的变分随机特征的核方法,它可以实现利用lstm和支持数据集s,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集q进行分类,整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数,本发明同目前现有的其他元学习方法区别在于,一方面首次将变分思想结合到lstm框架中,利用lstm融合多次任务中的知识信息,另一方面首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
2.技术方案
为解决上述问题,本发明采用如下的技术方案。
一种基于元学习的变分随机特征的核方法,包括以下步骤:
s1、学习过程:
输入:前序任务支持集s1:t-1前序任务1:t-1的参数新的任务集数据qt,
输出:新任务的参数集
s11、给定支持集中输入图像x,根据常规的卷积神经网络,计算得到图像特征e;
s12、对支持集中所有图像,处理得到支持集图像特征;
s13、构建如图1所示的lstm的损失函数如下:
s14、构建ωu的lstm框架,并按照随机梯度下降法更新lstm参数,包括下面公式中并按照如下公式更新lstm中间变量和输出变量,
s15、构建ωσ的lstm框架,并按照随机梯度下降法更新lstm参数,包括下面公式中并按照如下公式更新lstm中间变量和输出变量,
s16、由均值和方差生成如下权重:
s17、对每一个任务t,重复s21到s26,将支持集中所有任务覆盖;
s2、根据ω参数计算核相似测度进行分类:
s21、根据步骤s2得到的ω参数,构建z函数。
s22、构建训练核矩阵k的每一个矩阵元素如下:
k(x,x′)=z(x)z(x′)t
其中x和x’为训练数据支持集中数据。
s23、得到基本分类器的参数α如下:
α=(λi+k)-1y;
s24、构建训练和新任务之间的核矩阵,
s25、对新任务数据进行分类,得到新的标签
进一步的,所述t是任务的序号,c是类别数,k为每一类训练样本数,则为任务t的支持集,λ是一个基本分类器,是基本分类器参数,其也是由核近似方法得到的参数集,d指ω的个数。
进一步的,所述步骤s11中的卷积神经网络包括但不限于lenet、alexnet、vgg、nin、goolenet、resnet和densenet。
进一步的,所述步骤s12中按照置换不变池化方法获得支持集图像特征。
进一步的,所述步骤s13其中qφ为利用变分的思想近似得到后验概率;p为元学习的先验概率。
进一步的,所述步骤s14和步骤s15中均按照随机梯度下降法更新lstm参数。
3.有益效果
相比于现有技术,本发明的优点在于:
本方案可以实现利用lstm和支持数据集s,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集q进行分类,整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数,本发明同目前现有的其他元学习方法区别在于,一方面首次将变分思想结合到lstm框架中,利用lstm融合多次任务中的知识信息,另一方面首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
附图说明
图1为本发明的学习示意图;
图2为本发明在miniimagenet和cifar-fs数据库上的结果数据表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“设置有”、“套设/接”、“连接”等,应做广义理解,例如“连接”,可以是固定连接,也可以是可拆卸连接,或一体地连接,可以是机械连接,也可以是电连接,可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通,对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
一种基于元学习的变分随机特征的核方法,请参阅图1,包括以下步骤:
s1、学习过程:
输入:前序任务支持集s1:t-1前序任务1:t-1的参数新的任务集数据qt,
输出:新任务的参数集
s11、给定支持集中输入图像x,根据常规的卷积神经网络,计算得到图像特征e;
s12、对支持集中所有图像,处理得到支持集图像特征;
s13、构建如图1所示的lstm的损失函数如下:
s14、构建ωu的lstm框架,并按照随机梯度下降法更新lstm参数,包括下面公式中并按照如下公式更新lstm中间变量和输出变量,
s15、构建ωσ的lstm框架,并按照随机梯度下降法更新lstm参数,包括下面公式中并按照如下公式更新lstm中间变量和输出变量,
s16、由均值和方差生成如下权重:
s17、对每一个任务t,重复s21到s26,将支持集中所有任务覆盖;
s2、根据ω参数计算核相似测度进行分类:
s21、根据步骤s2得到的ω参数,构建z函数。
s22、构建训练核矩阵k的每一个矩阵元素如下:
k(x,x′)=z(x)z(x′)t
其中x和x’为训练数据支持集中数据。
s23、得到基本分类器的参数α如下:
α=(λi+k)-1y;
s24、构建训练和新任务之间的核矩阵,
s25、对新任务数据进行分类,得到新的标签
图1中的t是任务的序号,c是类别数,k为每一类训练样本数,则为任务t的支持集,λ是一个基本分类器,是基本分类器参数,其也是由核近似方法得到的参数集,d指ω的个数,新任务的数据集qt。
本发明利用lstm和支持数据集s,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集q进行分类。整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数。
请参阅图2,为本发明在miniimagenet和cifar-fs数据库上的结果数据表。
本发明同目前其他元学习方法区别在如下几点:
1、首次将变分思想结合到lstm框架中,利用lstm融合多次任务中的知识信息;
2、首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
以上所述,仅为本发明较佳的具体实施方式;但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其改进构思加以等同替换或改变,都应涵盖在本发明的保护范围内。