基于原对偶的矩阵回归方法与流程

本发明属于机器学习领域，具体涉及一种基于原对偶的矩阵回归方法。

背景技术：

线性回归是机器学习中最基本的问题类型，矩阵线性回归经过近年来的研究，已经取得了重大进步，但它仍旧是充满生机的领域。随着社会科技的进步我们进入到了大数据时代，产生的采样单元往往是矩阵的形式，例如，脑电图和数字成像等。但是经典的广义线性回归处理的协变量是向量，直接将矩阵转换成向量，不仅会出现维度大于采样的问题，而且会破坏矩阵数据中固有的结构信息。这给回归的计算带来了相当大的困难，因此，对以矩阵为协变量的广义线性回归进行研究，具有十分重要的意义。

近年来，矩阵回归问题吸引了很多研究者投身其研究中，相继出现了许多矩阵回归正则化的形式。目前流行的正则化方法有，lasso、谱正则化、总变分正则化等。lasso是直接将矩阵协变量向量化，然后令矩阵回归系数b的向量形式的l-1范数作为矩阵回归的正则项。尽管正则化有助于缓解维度远大于样本量的问题，但是由于它没有考虑矩阵内部结构信息，导致得到的实验结果误差较大。谱正则化是令回归系数b的核范数作为正则项。由于核范数受回归系数b的稀疏性影响比较大，对于稀疏性较高的情况，谱正则化的实验效果不佳。wang等人提出的总变分正则化是令回归系数b的总变分作为正则项，采用交替迭代方法(gsirm-tv)求解此问题。其基本思想是将增广拉格朗日函数中的变量进行交替迭代法求解，该算法增大了计算难度。

技术实现要素：

本发明的目的在于提供一种计算速度快、占用资源少且性能较好的基于原对偶的矩阵回归方法。

本发明提供的这种基于原对偶的矩阵回归方法，包括如下步骤：

s1.在总变分正则化的矩阵回归模型框架上，构建基于原对偶的矩阵回归模型；

s2.采用一阶原对偶算法对步骤s1中的基于原对偶的矩阵回归模型进行求解，从而得到回归系数的迭代公式和对偶变量的迭代公式；

s3.采用交替迭代回归算法重复若干次步骤s2，从而得到回归系数的迭代公式和对偶变量的迭代公式的最优解；

s4.将步骤s3的结果以图片的方式输出，得到最终的估计的回归参数图像。

步骤s1所述的基于原对偶的矩阵回归模型，具体为采用如下算式作为基于原对偶的矩阵回归模型：

式中表示求取回归系数b的最小值；表示在||z||∞≤1的约束下求取z的最大值，||z||∞表示无穷范数且定义为表示b和x之间的內积，λ为正则化参数，yi为第i个标量响应，xi表示第i次采样的矩阵协变量且xi∈r^n*n，divz表示对偶变量z的散度，b为回归系数，z为对偶变量。

步骤s2所述的得到回归系数的迭代公式，具体包括如下步骤：

a.采用一阶原对偶算法，将步骤s1所述的基于原对偶的矩阵回归模型转换为如下形式：

式中s为原始变量的迭代步长且s＞0，表示求取回归系数b的最小值，arg表示使目标函数达到最优时的变量值，表示b和x之间的內积，λ为正则化参数，yi为第i个标量响应，xi表示第i次采样的矩阵协变量且xi∈r^n*n，div为求散度的运算符，z^(k)为第k次迭代得到的对偶变量值，b为回归系数，z为对偶变量，表示变量b与第k次迭代之间误差的f范数平方，用来度量变量b与第k次迭代之间的偏离程度；

b.采用预处理共轭梯度法(pcg)求解步骤a中的模型：

vec(b^(k+1))＝pcg(a,b^(k))

式中，vec()为向量化符号，b^(k)表示第k次迭代得到的回归系数值，λ为正则化参数，b为回归系数，z为对偶变量，yi为第i个响应变量，div为求散度的运算符，z^(k)表示第k次迭代得到的对偶变量值，s为原始变量的迭代步长且s＞0，i为单位矩阵。

步骤s2所述的得到对偶变量的迭代公式，具体包括如下步骤：

a.采用一阶原对偶算法，将步骤s1所述的基于原对偶的矩阵回归模型转换为如下形式：

式中表示在||z||∞≤1的约束下求取z的最大值，div为求散度的运算符，z^(k)为第k次迭代得到的对偶变量值，θ为组合参数，b^(k)表示第k次迭代得到的回归系数b值，t为对偶变量的迭代步长且t＞0，表示对偶变量z与第k次迭代之间误差的f范数平方，用来度量对偶变量z与第k次迭代之间的偏离程度；

b.将步骤a所述的模型的最大化问题转换为如下模型所述的最小化问题：

式中为梯度算子；

c.采用梯度投影对步骤b的模型进行求解得到：

表示在集合a上的投影，a≡{z:||z||∞≤1}。

本发明提供的这种基于原对偶的矩阵回归方法，是在总变分正则化的矩阵回归模型框架上，用对偶方式表示总变分范数，将总变分正则化的矩阵回归模型转化成极小极大模型，然后采用一阶原对偶算法求解此模型，计算出回归系数；因此本发明方法只需要交替迭代方法一半的辅助变量，计算速度快且占用资源少，而且本发明方法的性能更好。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法与其他算法的试验结果示意对比图。

具体实施方式

如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于原对偶的矩阵回归方法，包括如下步骤：

假设响应变量服从独立的正态分布，根据正态分布的联合概率密度函数和最大似然估计原理，得出求解回归参数的广义线性回归模型。由于矩阵数据具有超高的维数和复杂的结构，观察数据远小于变量维数，使得系统是病态的。正则化技术在稳定数值解的过程中起着至关重要的作用。根据矩阵协变量具有分段光滑的先验知识，构造总变分范数正则项。最后采用对偶方式表示总变分范数，将矩阵回归问题转化成极小极大问题。

s1.构建基于原对偶的矩阵回归模型；具体为采用如下算式作为基于原对偶的矩阵回归模型：

式中表示求取回归系数b的最小值，表示在||z||∞≤1的约束下求取z的最大值，||z||∞表示无穷范数,定义为表示b和x之间的內积，λ为正则化参数，yi为第i个标量响应，xi表示第i次采样的矩阵协变量且xi∈r^n*n，divz表示对偶变量z的散度，b为回归系数，z为对偶变量；

s2.采用一阶原对偶算法对步骤s1中的基于原对偶的矩阵回归模型进行求解，从而得到回归系数的迭代公式和对偶变量的迭代公式；

所述的得到回归系数的迭代公式，具体包括如下步骤：

a.采用一阶原对偶算法，将步骤s1所述的基于原对偶的矩阵回归模型转换为如下形式：

式中s为原始变量的迭代步长且s＞0，n为采样大小，表示求取回归系数b的最小值，arg表示使目标函数达到最优时的变量值，表示b和x之间的內积，λ为正则化参数，yi为第i个标量响应，xi表示第i次采样的矩阵协变量且xi∈r^n*n，div为求散度的运算符，z^(k)为第k次迭代得到的对偶变量值，b为回归系数，z为对偶变量，表示变量b与第k次迭代之间误差的f范数平方，用来度量变量b与第k次迭代之间的偏离程度；

b.采用预处理共轭梯度法(pcg)求解步骤a中的模型：

vec(b^(k+1))＝pcg(a,b^(k))

式中vec()为向量化符号，b^(k)表示第k次迭代得到的回归系数值，λ为正则化参数，b为回归系数，z为对偶变量，yi为第i个标量响应，div为求散度的运算符，z^(k)为第k次迭代得到的对偶变量值，s为原始变量的迭代步长且s＞0，i为单位矩阵；

所述的得到对偶变量的迭代公式，具体包括如下步骤：

a.采用一阶原对偶算法，将步骤s1所述的基于原对偶的矩阵回归模型转换为如下形式：

式中表示在||z||∞≤1的约束下求取z的最大值，div为求散度的运算符，z^(k)

为第k次迭代得到的对偶变量值，θ为组合参数，b^(k)表示表示第k次迭代得到的回归系数值，t为对偶变量的迭代步长且t＞0，表示变量z与第k次迭代之间误差的f范数平方，用来度量变量z与第k次迭代之间的偏离程度；

b.将步骤a所述的模型的最大化问题转换为如下模型所述的最小化问题：

式中为梯度算子；

c.采用梯度投影对步骤b的模型进行求解得到：

表示在集合a上的投影，a≡{z:||z||∞≤1}；

s3.采用交替迭代回归算法重复若干次步骤s2，从而得到回归系数的迭代公式和对偶变量的迭代公式的最优解；

s4.将步骤s3的结果以图片的方式输出，得到最终的估计的回归参数图像。

如图2所示为本发明方法与其他算法的试验结果示意对比图：2-1为真实回归系数图片，2-2为本文发明方法运行出的回归系数结果，2-3为谱正则化运算出的结果，2-4为基于增广拉格朗日算法的总变分正则化的矩阵回归(gsirm-tv)运算出来的结果，2-5为lasso运算出的结果。

从图中可以简要的看出，本发明方法最终得出的结果，要优于剩余的三种现有算法。

不同形状的均方根预测误差(rmspe)，四种不同估计方法的有限样本性能的比较示意表如下表1所示：

表1比较结果示意表

从表1中可以看出，本发明方法在各种情况下，效果均优于现有的几种算法。因此，本发明方法的性能和效果均要优于现有的算法。