基于动态超图网络的多模态演化特征自动共形表示方法

本发明属于大数据机器自动学习领域，具体涉及一种基于动态超图网络的多模态演化特征自动共形表示方法、系统、设备。

背景技术：

随着互联网、云计算和人工智能等信息技术与制造业、交通、城市管理、医疗等行业的交汇融合，方便了人与人、人与物之间交互，随之而来文本、图像、视频和音频等信息的迅速膨胀，同时伴随着雷达、红外、多媒体传感器和基础设施感知系统等万物互联物联网，不断融入社会计算系统，引发了数据迅猛增长，形成了多源异构、速度快、难甄别的海量数据集合，并以多模态（如文字、语言、声音、图形等）形式普遍存在，正日益对各行各业的生产、流通、分配、消费活动以及自身运行机制产生重要影响。多模演化是大数据本质特征，为了使机器学习像人类一样认知多模态数据，必须赋予机器学习表征动态业务场景中多模态信息特征能力，方可帮助多模态深度学习方法快速准确从大数据中获取有价值知识。

现有多模态特征表示主要聚焦在三个方面：1.基于图模型的多模态融合表示学习，该方法聚焦采用pca方法抽取多个模态的数据源的特征，通过坐标轴转换，寻找数据分布的最优子空间，通过关联度量统计学习方法，衡量多个特征与响应变量之间的关系，从而构建了多模态融合。2.基于深度学习的多模态特征表示学习，用张量法对大数据进行抽象建模，捕捉数据在高阶张量空间的分布特征，利用最大信息系数，根据特征分布密度函数互斥或者互助分布，完成宏观和微观相结合超几何描述和行为趋势预测；3.基于自动机器学习的特征工程构建方法，将原始多模态数据源转变为模型的训练数据的过程自动化，解决了无需领域科学家根据经验找出最佳的特征组合形式，获取更好的训练数据特征，使得机器学习模型逼近这个上限。

现有三类方法基于向量计算模型，从降维、去燥和消除异构等角度，从文字、语言、声音、图形等多模态数据中，快速准确学习到特征张量，然后根据具体业务场景，完成单模态特征张量关联组合，寻找出数据最优特征张量概率分布。然而现有信息空间的数据基本都是由三维几何、文本、音视频图像等数据伴随着各种设备、网络终端和业务系统运行过程而产生的多模态动态演化数据集，上述三类方法仅能解决多模态数据静态特征表示，难以从动态演化表征的视角解决。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有多模态静态特征表示，难以对多模态高阶动态关联进行表示的问题，本发明第一方面，提出了一种基于动态超图网络的多模态演化特征自动共形表示方法，该方法包括：

s10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；

s20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合；

s30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；

s40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；

s50，获取新的输入数据流，按照s20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

在一些优选的实施方式中，步骤s20中“采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限集合”，其方法为：

所述m个模态的数据流训练样本，其中表示第i个数据流训练样本的特征d维张量，本次输入总共有n个样本序列，那么通过多模态特征选择方法，获得有限训练样本系数矩阵，具体计算过程如下：

其中，表示输入数据流对应的先验向量，表示第i个模态的张量系数矩阵，将当前已获得的所有多模态张量系数矩阵存放在；

对多模态特征选择计算的目标函数进行范数正则化泛化计算，获得多模态转秩，形成m个模态特征向量的有限节点集合。

在一些优选的实施方式中，步骤s30中“以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过动态超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵”，其方法为：

在所述m个模态特征向量的有限集合中，采用k-means聚类算法，任意选择一个特征顶点作为中心节点，不断计算中心节点与其他节点，进行欧式距离计算，最后把中心节点与距它邻接的m-1其他顶点，即欧式距离最近的m-1其他节点，连接起来，且，，构造出n条超边，每个超边赋予权重和时间戳，定义超图关联矩阵：

其中，表示节点到中心节点的距离，表示当前对应的各顶点间的欧式距离。

根据超图的顶点度对角矩阵，生成超图拉普拉斯半角矩阵生成，其中，为超图的顶点度矩阵，为超图的超边的度矩阵，h为超图的关联矩阵，w为超图超边权重的系统矩阵。

在一些优选的实施方式中，步骤s40中“对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算”，其方法为：

其中，表示m种模态的超图间高阶相关共形熵函数，为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，表示第个模态特征的超图，表示个模态特征矩阵的联合概率分布。

在一些优选的实施方式中，“生成n种主题网络集合的多模态高阶动态关联形态对齐模型”，其方法为：

求解第一共形熵和第二共形熵；所述第一共形熵为m种模态的超图共形熵；所述第二共形熵为m=2时共形熵；

如果第一共形熵大于第二共形熵，则将不同模态的超图合并为一个主题；如果第一共形熵小于第二共形熵，则该超图独立成一个主题；

通过不断多次迭代计算，完成了n种主题网络集合生成任务，从而生成n种主题网络集合的多模态高阶动态关联形态对齐模型。

在一些优选的实施方式中，步骤s50中“通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新”，其方法为：

对所述新增的输入数据流，如果通过s20获得新增的孤立节点，则在n种主题网络的集合空间中，计算孤立节点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边；

如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤s30进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤s40进行超图超边卷积计算，生成m种多模态高阶动态关联形态对齐模型。

本发明的第二方面，提出了一种基于动态超图网络的多模态演化特征自动共形表示系统，该系统包括：模态数据获取模块、节点提取模块、矩阵生成模块、共形计算模块、模型更新模块；

所述模态数据获取模块，配置为获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；；

所述节点提取模块，配置为对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合；

所述矩阵生成模块，配置为以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；

所述共形计算模块，配置为对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；

所述模型更新模块，配置为获取新的输入数据流，按照节点提取模块的方法，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与共形计算模块获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

本发明的第三方面，提出了一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。

本发明的有益效果：

本发明解决了多模态高阶大数据多元关联演化特征难以表征问题。本发明引入超图网络共形计算数学方法，从对源源不断海量多模态数据流中，自动构建了多模态特征张量共形表示学习流水线。从动态演化表征的视角对同一事理不同特征张量进行谱域共形表示，动态整合不同模态相关拓扑结构，并对大规模持续增量n个特征张量拉普拉斯矩阵进行卷积更新，这样不仅解决了多模态高阶多元动态关联特征难以表征问题，而且赋予了机器学习表示动态业务场景中多模态信息能力，快速准确从大数据中获取有价值知识。与传统的超图网络表示方法相比，本发明方法同时满足平滑性、时间和空间相干性、稀疏性和自然聚类等多模态表示特性。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的基于动态超图网络的多模态演化特征自动共形表示方法的流程示意图；

图2是本发明一种实施例的基于动态超图网络的多模态特征自动共形表示系统的框架示意图；

图3是本发明一种实施例的pb级多模态结构化与非结构数据混合存储的结构示意图；

图4本发明一种实施例的不同模态特征对齐的示意图；

图5是本发明一种实施例的超图多元共性计算的示意图；

图6是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

发明的一种基于动态超图网络的多模态演化特征自动共形表示方法，如图1所示，该方法包括以下步骤：

s10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；

s20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合；

s30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；

s40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；

s50，获取新的输入数据流，按照s20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

为了更清晰地对本发明螺旋扫描磁粒子投影断层成像方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。

s10，获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；

在本实施例中，采用kafka和深度卷积神经学习组合成分布式数据采集网络，特定时间间隔内，大规模从不同渠道获取各种文本、数值、图片、视频和富媒体等广义多模态数据以及不同版本软件系统为载体的狭义多模态组成输入数据流，也简称为历史数据。

如图3所示，通过融合hbase分布式数据列式存储优势和hdfs非结构数据分布式优势，建立了广义多模态和狭义多模态的pb级全结构数据存储系统，实现了pb级多模态结构化和非结构数据流混合存储、克服了传统关系型数据库难以实现非结构和结构化数据混合存储、数据吞吐量低，数据传送不超过100gb等指标约束、实时检索查准率低和高延时等性能约束，整合多来源异构系统之间数据传送、存储和预处理的基准不兼容问题。

s20，对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合；

在本实施例中，所述m个模态的数据流训练样本，其中表示第i个数据流训练样本的特征d维张量，本次输入总共有n个样本序列，那么多模态特征选择计算的目标函数如下：

（1）

其中，表示输入数据流对应的先验向量，表示第i个模态的张量系数矩阵，将当前已获得的所有多模态张量系数矩阵存放在；

对（1）式进行范数正则化泛化计算，获得多模态转秩，形成m个模态特征向量的有限节点集合。

s30，以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；

在本实施例中，对所述m个模态特征向量的有限集合，采用k-means聚类算法，任意选择一个特征顶点作为中心节点，不断计算中心节点与其他节点的欧式距离，最后把中心节点与距它邻接的m-1其他顶点，即欧式距离最近的m-1个其他节点，连接起来，且，，构造出n条超边，每个超边赋予权重和时间戳，我们定义超图关联矩阵：

（2）

其中，表示节点到中心节点的距离，表示当前对应的各顶点间的欧式距离，那么超图的顶点度对角矩阵，从而获得m个多模态高阶结构信息通过超图拉普拉斯半角矩阵生成，其中，为超图的顶点度矩阵，为超图的超边的度矩阵，h为超图的关联矩阵，w为超图超边权重的系统矩阵。如图4所示，例如假定m=4从，通过k–means欧式距离计算方法，以为核心节点，先后与节点结合进行比较，获得与的欧式基本距离0.1，与欧式基本距离0.2，与欧式基本距离0.3，距离通过与组合获得欧式距离0.6，通过不断欧式距离计算，生成了由组成超图子群。

采用傅里叶变换方法，对超图拉普拉斯半角矩阵进行特征张量进行增减动态分解，可得超图的卷积表达式，其中，表示超图拉普拉斯半角矩阵特征分解转秩，表示超图卷积核函数，为哈达玛乘积，为m个模态的数据流训练样本，从而完成构建一个多模态动态超图卷积网络。

s40，对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；

在本实施例中，如图5所示，在左面部分初始构建超图子群，共形熵求解计算，获得所有超图子群形态分布熵，通过求解m种模态的超图共形熵和m=2时共形熵，将m种模态的超图共形熵作为第一共形熵，将m=2时共形熵作为第二共形熵，通过联合概率的迭代反投射，如图5所示右半部分手工画圈；

如果超图共形熵大于当m=2时共形熵，则不同模态间超边关联度强，合并成一个主题，具体计算过程为：

，

其中，表示m种模态的超图间高阶相关共形熵函数，为曲面模态联合分布熵，用于表示超图之间各超边的共形概率，表示第个模态特征的超图，表示个模态特征矩阵的联合概率分布。

如果超图共形熵小于当m=2时共形熵，则该超图独立成一个主题，通过不断多次迭代计算，完成了n种主题网络集合生成任务，从而生成n种主题网络集合的多模态高阶动态关联形态对齐模型。

s50，获取新的输入数据流，按照s20，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

在本实施例中，对所述新增的数据流训练样本，如果通过s20获得新增的孤立节点（孤立的节点/顶点），在n种主题网络集合空间，以共形概率分布为遍历基点，进行超边卷积求解计算，找到共形超边，主动合并到该多模态超边主题模型；即计算孤立节点与步骤s40获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点的互补熵，并将孤立节点合并到与其互补熵小于设定阈值的节点对应的超边。

如果从新增的数据流训练样本获得新增顶点和一条新超边，则对新增的超图顶点跟已有超图顶点，按照步骤s30进行超图节点卷积计算，完成进行超图顶点的增减处理；对新增超边与已有超边，按照步骤s40进行超图超边卷积计算，生成m种多模态高阶动态关联形态对齐模型。

另外，本发明方法可以从工业装备扭曲度、道具模型和设备震动等多模态信号数据，通过多模态高阶动态关联形态对齐模型，生成了基于超图的设备预测维护主题模型，然而发现电压稳定性对设备健壮性影响最大，通过超图超边卷积，让电压信号语义节点汇聚到设备预测维护主题模型，提升模型预测准确度。

本发明第二实施例的一种基于动态超图网络的多模态演化特征自动共形表示系统，如图2所示，具体包括以下模块：模态数据获取模块100、节点提取模块200、矩阵生成模块300、共形计算模块400、模型更新模块500；

所述模态数据获取模块100，配置为获取m个模态的数据流训练样本，作为输入数据流，所述输入数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；将每组数据流训练样本作为一组学习目标任务；

所述节点提取模块200，配置为对所述输入数据流中m个模态数据，采用多模态特征选择计算求解，提取所述输入数据流中m个模态特征向量的有限节点集合；

所述矩阵生成模块300，配置为以所述的m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；

所述共形计算模块400，配置为对所述m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；

所述模型更新模块500，配置为获取新的输入数据流，按照节点提取模块的方法，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与共形计算模块获取的所述n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于动态超图网络的多模态演化特征自动共形表示系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的基于动态超图网络的多模态演化特征自动共形表示方法。

本发明第五实施例的一种基于动态超图网络的多模态演化特征自动共形表示装置，包括采集设备、中央处理设备；

所述采集设备包括传感器、摄像机，用于采集m个模态的数据流，作为训练样本；所述数据流包括各种文本、数值、图片、视频和富媒体组成的广义多模态数据以及不同版本软件系统为载体组成的狭义多模态数据；

所述中央处理设备包括gpu，配置为对数据流中m个模态数据，采用多模态特征选择计算求解，提取数据流中m个模态特征向量的有限节点集合；以m个模态特征向量的有限节点集合作为超图的顶点集合，通过超图表示学习计算求解，生成m条超边集合，并为每个超边赋予权重和时间戳，生成m个模态超图的拉普拉斯矩阵；对m个模态的超图拉普拉斯矩阵，进行m种模态的超图间高阶相关共形熵求解计算，生成n种主题网络集合的多模态高阶动态关联形态对齐模型；获取新的输入数据流，按照多模态特征选择计算求解，生成新增的超图顶点；通过基于超图网络的超边卷积求解计算，对新增的超图顶点与n种主题网络集合的多模态高阶动态关联形态对齐模型所覆盖的节点进行增减对齐，进而实现主题网络集合的自动更新。

本发明第六实施例的一种工业设备的预测维护装置，基于上述的基于动态超图网络的多模态演化特征自动共形表示方法，包括工业采集设备、中央处理设备；

所述工业采集设备，配置为通过传感器从工业装备扭曲度、道具模型和设备震动采集多模态信号数据；

所述中央处理设备包括gpu，配置为通过基于上述的基于动态超图网络的多模态演化特征自动共形表示方法获取多模态高阶动态关联形态对齐模型，生成基于超图的设备预测维护主题模型；还配置为获取电压稳定性对设备健壮性的影响程度，若影响程度大于设定阈值，则通过超图超边卷积，将电压信号语义节点汇聚到设备预测维护主题模型，对电压稳定性进行预测。

所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统包括中央处理单元（cpu，centralprocessingunit）601，其可以根据存储在只读存储器（rom，readonlymemory）602中的程序或者从存储部分608加载到随机访问存储器（ram，randomaccessmemory）603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出（i/o，input/output）接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分609。通讯部分609经由诸如因特网的网络执行通讯处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被cpu601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、ram、rom、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如java、smalltalk、c++，还包括常规的过程式程序设计语言，如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。