本发明属于时间序列分析技术领域，尤其涉及一种基于梯度下降的时序模糊认知图的学习方法及系统。
背景技术
模糊认知图(fuzzycognitivemap,fcm)是一种用于知识表达和因果推理的有向加权图，已经被广泛应用于工程技术管理、医药决策支持等领域。然而，fcm的迭代推理没有展现出因果关系中的时序性。时序模糊认知图(temporalfuzzycognitivemap,tfcm)克服了fcm这个缺陷，它把每条边上的权值设计成离散时间域上的函数，能够充分展现出各个时间段内各因子的相互因果关系影响。
目前，tfcm的边权值是人工指定的，其缺点有二：1)人为估算权值需要其具备相应数据领域知识、fcm知识等，对人的要求很高；2)tfcm用于处理时序数据，时序数据是不断动态变化的，需要模型具备学习能力，人工指定边权值将会限制tfcm对时序数据的适应性。
fcm中已经有自动地计算、学习边权值的方法，比如基于hebbian的学习算法、基于进化思想的算法。但是在现有的学习方法中，存在容易陷入局部最优解的可能性，同时学习的准确性不高的问题。
技术实现要素：
本发明所要解决的技术问题在于提供一种基于梯度下降的时序模糊认知图的学习方法及系统，旨在解决现有的学习方法中，存在容易陷入局部最优解的可能性，同时学习的准确性不高的问题。
本发明是这样实现的，一种基于梯度下降的时序模糊认知图的学习方法，包括：
步骤a，获取初始样本数据，对所述初始样本数据进行预处理，得到样本数据；
步骤b，对所述样本数据进行划分，得到训练样本集和预测样本集；
步骤c，使用基于时序的皮尔逊相关系数初始化权值函数，在所述训练样本集中内构建全连接的时序模糊认知图网络；
步骤d，根据预置的迭代次数，使用批量梯度下降法对初始化后的权值函数进行优化，用损失函数度量每次优化后的权值函数的误差；
步骤e，选取使得损失函数最小的权值函数，构建最优时序模糊认知图网络，所述最优时序模糊认知图表示所述样本数据中每个节点在不同时间段内的互相影响；
步骤f，利用所述预测样本集对所述最优时序模糊认知图进行验证。
进一步地，所述步骤a包括：
步骤a1，从预置的数据源获取初始样本数据；
步骤a2，对所述初始样本数据进行包括特征提取、归一化的预处理，得到所述样本数据，所述样本数据表示各个特征在每个时刻的值。
进一步地，所述步骤b包括：
步骤b1，对所述样本数据使用滑窗法，生成大小相同的若干样本组；
步骤b2，将若干所述样本组划分为训练样本集和测试样本集。
进一步地，所述样本组内，第s时刻每个节点与前s-1个时刻所有节点均有边连接，所述步骤c包括：
步骤c1，使用基于时序的皮尔逊相关系数初始化每条边的权值函数，得到权值函数集合，所述皮尔逊相关系数为：
x＝{x1,x2,…,xn}和y＝{x1,x2,…,xn}表示变量，corr(xj,xi,t')表示xj(t)与经过t'时间之后的xi(t+t')之间的相关程度，i,j表示特征，xj表示数据的第j各特征；
步骤c2，根据所述权值函数集合在所述训练集样本集中的每个样本组内构造全连接的时序模糊认知图网络。
进一步地，所述步骤d包括：
步骤d1，根据所述权值函数集合，基于模糊认知图fcm的原理及时序特性，利用sigmod函数计算得到初始预测值；
步骤d2，根据所述初始预测值，使用均方差作为损失函数：
对于样本l的节点ci的误差为：
步骤d3，使用批量梯度下降法对权值进行优化：
将节点ci的损失函数关于一个权值函数求导，得到：
对权值函数进行迭代更新，其增量为：
步骤d4，通过剪枝操作进行权值优化，以降低参数空间的维度，减少过拟合，得到迭代后的权值函数：
在整个时间段内节点cj对需要预测的节点ci的影响fij(t')总是小于预设阈值，则删除所有时刻节点cj与节点ci之间的边，剪枝操作随着学习率γ的变化，只进行三次；
步骤d5，进行下一次迭代，直到迭代次数达到预置的迭代次数，得到一组使得损失函数最小的最优权值函数。
进一步地，在步骤d1中：
若在t+1时刻，节点ci只受上一时刻所有节点影响，则求解这个概念的状态值，其状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响；
若在t+1时刻，需求解节点ci的状态值，需要考虑包括t时刻之前所有概念对该概念的影响积累，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段(0，t)；
若仅考虑某一给定的时间段s，则当t'>s时，f(t+1-t')＝0，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段s。
本发明实施例还提供了一种基于梯度下降的时序模糊认知图的学习系统，包括：
样本处理单元，用于获取初始样本数据，对所述初始样本数据进行预处理，得到样本数据；
样本划分单元，用于对所述样本数据进行划分，得到训练样本集和预测样本集；
网络构建单元，用于使用基于时序的皮尔逊相关系数初始化权值函数，在所述训练样本集中内构建全连接的时序模糊认知图网络；
函数优化单元，用于根据预置的迭代次数，使用批量梯度下降法对初始化后的权值函数进行优化，用损失函数度量每次优化后的权值函数的误差；
网络确定单元，用于选取使得损失函数最小的权值函数，构建最优时序模糊认知图网络，所述最优时序模糊认知图表示所述样本数据中每个节点在不同时间段内的互相影响；
网络验证单元，用于利用所述预测样本集对所述最优时序模糊认知图进行验证。
进一步地，所述样本处理单元具体用于：从预置的数据源获取初始样本数据，对所述初始样本数据进行包括特征提取、归一化的预处理，得到所述样本数据，所述样本数据表示各个特征在每个时刻的值；
所述样本划分单元具体用于：对所述样本数据使用滑窗法，生成大小相同的若干样本组，将若干所述样本组划分为训练样本集和测试样本集。
进一步地，所述网络构建单元具体用于：
首先，使用基于时序的皮尔逊相关系数初始化每条边的权值函数，得到权值函数集合，所述皮尔逊相关系数为：
x＝{x1,x2,…,xn}和y＝{x1,x2,…,xn}表示变量，corr(xj,xi,t')表示xj(t)与经过t'时间之后的xi(t+t')之间的相关程度，i,j表示特征，xj表示数据的第j各特征；
最后，根据所述权值函数集合在所述训练集样本集中的每个样本组内构造全连接的时序模糊认知图网络；
所述函数优化单元具体用于：
首先，根据所述权值函数集合，基于模糊认知图fcm的原理及时序特性，利用sigmod函数计算得到初始预测值；
接着，根据所述初始预测值，使用均方差作为损失函数：
对于样本l的节点ci的误差为：
接着，使用批量梯度下降法对权值进行优化：
将节点ci的损失函数关于一个权值函数求导，得到：
对权值函数进行迭代更新，其增量为：
接着，通过剪枝操作进行权值优化，以降低参数空间的维度，减少过拟合，得到迭代后的权值函数：
在整个时间段内节点cj对需要预测的节点ci的影响fij(t')总是小于预设阈值，则删除所有时刻节点cj与节点ci之间的边，剪枝操作随着学习率γ的变化，只进行三次；
最后，进行下一次迭代，直到迭代次数达到预置的迭代次数，得到一组使得损失函数最小的最优权值函数。
进一步地，所述函数优化单元利用sigmod函数计算得到初始预测值的步骤还包括：
若在t+1时刻，节点ci只受上一时刻所有节点影响，则求解这个概念的状态值，其状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响；
若在t+1时刻，需求解节点ci的状态值，需要考虑包括t时刻之前所有概念对该概念的影响积累，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段(0，t)；
若仅考虑某一给定的时间段s，则当t'>s时，f(t+1-t')＝0，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段s。
本发明与现有技术相比，有益效果在于：本发明实施例获取样本数据后进行预处理，对该样本数据进行划分，得到训练样本集和测试样本集，使用基于时序的皮尔逊相关系数初始化权值函数，根据预置的迭代次数，使用批量梯度下降法对初始化后的权值函数进行优化，用损失函数度量每次优化后的权值函数的误差，选取使得损失函数最小的权值函数，构建最优时序模糊认知图网络，最后利用所述预测样本集对该最优时序模糊认知图进行验证。本发明实施例使用批量梯度下降算法学习出tfcm模型，使用基于时序的皮尔逊相关系数来初始化权值，让搜索范围落在一个有统计意义的区间，降低陷入局部最优解的可能性。
附图说明
图1是本发明实施例提供的一种基于梯度下降的时序模糊认知图的学习方法的流程图；
图2是本发明实施例提供的一种基于梯度下降的时序模糊认知图的学习系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种基于梯度下降的时序模糊认知图的学习方法，包括：
s101，获取初始样本数据，对所述初始样本数据进行预处理，得到样本数据；
s102，对所述样本数据进行划分，得到训练样本集和预测样本集；
s103，使用基于时序的皮尔逊相关系数初始化权值函数，在所述训练样本集中内构建全连接的时序模糊认知图网络；
s104，根据预置的迭代次数，使用批量梯度下降法对初始化后的权值函数进行优化，用损失函数度量每次优化后的权值函数的误差；
s105，选取使得损失函数最小的权值函数，构建最优时序模糊认知图网络，所述最优时序模糊认知图表示所述样本数据中每个节点在不同时间段内的互相影响；
s106，利用所述预测样本集对所述最优时序模糊认知图进行验证。
本发明实施例适合小规模时序数据的预测和简单的因果关系分析，具体地，在步骤s101中，获取的初始样本数据来自如谷歌google、百度或其他官网公布的财务数据信息，包括年收入、毛利、研发投入等，及各个月、季度的详细信息，首先需要对初始样本数据进行特征提取，归一化等预处理，最终得到的每个样本数据都是一个时间序列，每个样本数据代表的是每个时间点的各个特征的值，其中，一个样本包含几个特征，比如：第一个样本是在10-12年公司的毛利、总收入、研发投入等，第二个样本是11-13年公司的毛利、总收入、研发投入等。
在步骤s102中，将步骤s101获得的样本数据，用滑窗法生成样本组，设定每个样本组大小为s，将样本组划分成训练样本集和预测样本集。
在步骤s103中，本实施例假设一个样本组内前s-1个时刻的节点对于第s时刻节点都具有因果影响，即第s时刻每个节点与前s-1个时刻所有节点都有边连接，并使用基于时序的皮尔逊相关系数初始化每个边的权值函数，如t'时刻节点cj对s时刻节点ci的权值函数为fij(t')，由此构造出一个具有全连接的时序模糊认知图tfcm网络。
具体地，皮尔逊相关系数(pearsoncorrelationcoefficient)是一种研究两个变量之间依赖程度、线性相关程度的方法。给定变量x＝{x1,x2,…,xn}和y＝{x1,x2,…,xn}，用下面公式来定义皮尔逊相关系数：
这里的变量具有时序性，因此不可以直接使用该皮尔逊相关系数。本实施例中将其改造成下面的公式，用corr(xj,xi,t')来表示xj(t)与经过t'时间之后的xi(t+t')之间的相关程度：
在步骤s104中，对于训练集，本发明实施例主要通过训练出一个带权值的时序模糊认知图tfcm网络，该tfcm网络不仅能够很好的预测时间序列，并且能充分反映各个时间段内概念之间的相互因果影响，本实施例中假设在各个时间段内，概念之间都是有相互影响的，具体步骤包括：
步骤s401，根据所述权值函数集合，基于模糊认知图fcm的原理及时序特性，利用sigmod函数计算得到初始预测值。具体地，本实施例通过初始化得到边权值函数集合后，基于fcm的原理以及时序特性，利用sigmod函数计算得到一个初始预测值。
tfcm的状态向量随时间在不断变化，其状态转换函数如下面公式所示：
若在t+1时刻，节点ci只受上一时刻所有节点影响，则求解这个概念的状态值，其状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响；
若在t+1时刻，需求解节点ci的状态值，需要考虑包括t时刻之前所有概念对该概念的影响积累，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段(0，t)；
若仅考虑某一给定的时间段s，则当t'>s时，f(t+1-t')＝0，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段s；
步骤s402，根据所述初始预测值，使用均方差作为损失函数。
具体地，计算出初始预测值后，使用均方差作为损失函数衡量误差大小，其中：
对于样本l的节点ci的误差为：
则对于有n个节点的样本l，其误差为：
则，所有样本的误差为：
步骤s403，使用批量梯度下降法对权值进行优化；
具体地，将节点ci的损失函数关于一个权值函数求导，得到：
对权值函数进行迭代更新，其增量(即梯度)为：
s404，通过剪枝操作进行权值优化，以降低参数空间的维度，减少过拟合，得到迭代后的权值函数；
具体地，设定一个阈值，在整个时间段内节点cj对需要预测的节点ci的影响fij(t')总是小于这个阈值，则可以删除所有时刻节点cj与节点ci之间的边。剪枝操作随着学习率γ的变化，只进行三次，即三阶段层次剪枝的方法；
s405，进行下一次迭代，直到迭代次数达到预置的迭代次数，得到一组使得损失函数最小的最优权值函数；
具体地，完成步骤s401至s404以后，即完成了一次迭代，得到迭代后的权值函数，进行下一次迭代，直到迭代次数达到预置的迭代次数，最终得到一组能使损失函数最小的最优权值函数。
在步骤s105中，选取在步骤s104中使得误差最小的权值函数，构建出tfcm网络图，该tfcm网络图能够充分展现出每个因子在不同时间段内的相互影响。
下面通过具体的实施例来对步骤s104中每一轮迭代，权值函数调整的步骤进行解释：
给定样本数据{<xi,yi>|i＝1,2,…,k}，时间域t＝{0,1,2,…,t}。其中，输入为各时刻下的状态向量组成的矩阵
在某一样本<xi,yi>中，关于ci的误差为
每一次迭代中，权值函数的增量如公式(2)所示：
迭代完成更新权值函数：
fij(t')←fij(t')+δfij(t')；(3)
本发明实施例提出的基于梯度下降的时序模糊认知图边权值的学习方法，把fcm图模型和时序权值函数结合，设计简洁，计算简单，能方便的运用于时序数据，拓展了fcm的功能，同时又具备fcm的可解释性，精度好的特点，能够实现自动学习、训练tfcm模型，在实施例中可以将该方法用于企业财务数据中的tfcm构建，有效减小了过拟合等问题得到了精度高、可解释的tfcm模型。
在训练过程中，本发明实施例使用梯度下降结合层次剪枝方法，在一定程度上减少阻塞在局部最优的点的几率，并且有效的减少过拟合。
基于梯度下降法学习tfcm的权值函数，解决了以下三个问题：
(1)如何减小学习中陷入局部最小点的几率：
本发明实施例使用基于时间展开的皮尔逊相关系数来初始化权值函数，所有的人工智能算法都是搜索算法，其中梯度法是启发式搜索算法，其效果是在初始点附近找到一个最优解。因此，受初始值的影响极大。一个不好的初始值会让算法陷入局部最优解。传统的办法是使用不同的随机初始值进行多次训练，然后寻找最优解。本实施例使用相关皮尔逊相关系数来定初始值后，会让搜索范围在一个有统计意义的区间，因此，陷入局部最优解的可能性会降低。
(2)如何设计损失函数：使用传统的均方差公式，来做损失函数。有
(3)训练何时停止：
迭代终止通常有两种做法：一种是依赖对误差设置的阈值，一旦训练误差小于这个阈值，就可以停止。第二种是采用固定的学习迭代次数。在本实施例中，在不确定误差阈值如何设定才能满足精确性，和减小过拟合两类要求的情况下，采用固定的迭代次数。
进一步地，在本实施例中，除了使用时序皮尔逊相关系数初始化权值函数外，还可以随机化初始函数，迭代次数除了可以预置外，还可以使用早停法，限制迭代次数。
本发明实施例还提供了如图2所示的一种基于梯度下降的时序模糊认知图的学习系统，包括：
样本处理单元201，用于获取初始样本数据，对所述初始样本数据进行预处理，得到样本数据；
样本划分单元202，用于对所述样本数据进行划分，得到训练样本集和预测样本集；
网络构建单元203，用于使用基于时序的皮尔逊相关系数初始化权值函数，在所述训练样本集中内构建全连接的时序模糊认知图网络；
函数优化单元204，用于根据预置的迭代次数，使用批量梯度下降法对初始化后的权值函数进行优化，用损失函数度量每次优化后的权值函数的误差；
网络确定单元205，用于选取使得损失函数最小的权值函数，构建最优时序模糊认知图网络，所述最优时序模糊认知图表示所述样本数据中每个节点在不同时间段内的互相影响；
网络验证单元206，用于利用所述预测样本集对所述最优时序模糊认知图进行验证。
进一步地，样本处理单元201具体用于：从预置的数据源获取初始样本数据，对所述初始样本数据进行包括特征提取、归一化的预处理，得到所述样本数据，所述样本数据各个特征在每个时刻的值；
样本划分单元202具体用于：对所述样本数据使用滑窗法，生成大小相同的若干样本组，将若干所述样本组划分为训练样本集和测试样本集。
进一步地，网络构建单元203具体用于：
首先，使用基于时序的皮尔逊相关系数初始化每条边的权值函数，得到权值函数集合，所述皮尔逊相关系数为：
x＝{x1,x2,…,xn}和y＝{x1,x2,…,xn}表示变量，corr(xj,xi,t')表示xj(t)与经过t'时间之后的xi(t+t')之间的相关程度，i,j表示特征，xj表示数据的第j各特征；
最后，根据所述权值函数集合在所述训练集样本集中的每个样本组内构造全连接的时序模糊认知图网络；
函数优化单元204具体用于：
首先，根据所述权值函数集合，基于模糊认知图fcm的原理及时序特性，利用sigmod函数计算得到初始预测值；
接着，根据所述初始预测值，使用均方差作为损失函数：
对于样本l的节点ci的误差为：
接着，使用批量梯度下降法对权值进行优化：
将节点ci的损失函数关于一个权值函数求导，得到：
对权值函数进行迭代更新，其增量为：
接着，通过剪枝操作进行权值优化，以降低参数空间的维度，减少过拟合，得到迭代后的权值函数：
在整个时间段内节点cj对需要预测的节点ci的影响fij(t')总是小于预设阈值，则删除所有时刻节点cj与节点ci之间的边，剪枝操作随着学习率γ的变化，只进行三次；
最后，进行下一次迭代，直到迭代次数达到预置的迭代次数，得到一组使得损失函数最小的最优权值函数。
进一步地，函数优化单元204利用sigmod函数计算得到初始预测值的步骤还包括：
若在t+1时刻，节点ci只受上一时刻所有节点影响，则求解这个概念的状态值，其状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响；
若在t+1时刻，需求解节点ci的状态值，需要考虑包括t时刻之前所有概念对该概念的影响积累，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段(0，t)；
若仅考虑某一给定的时间段s，则当t'>s时，f(t+1-t')＝0，则状态转换函数表示为：
其中ci(t+1)是通过前t个时间内所有因子j对i的影响，通过乘上每个时刻不同的权值函数得到的预测值，cj(t)表示t时间内因子j的值，fji(t)表示不同时刻j对i的影响，k表示时间段s。
本发明实施例还提供了一种终端，包括存储器、处理器及存储在存储器上且在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时，实现如图1所示的基于梯度下降的时序模糊认知图的学习方法中的各个步骤。
本发明实施例中还提供一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如图1所示的基于梯度下降的时序模糊认知图的学习方法中的各个步骤。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。