降维模型训练方法、装置及电子设备与流程

本发明涉及人工智能技术领域，具体而言，涉及一种降维模型训练方法、装置及电子设备。

背景技术：

随着科学技术的发展，很多技术领域需要采集和分析大量特征数据，但是，有时一些特征数据不是必须的，需要对他们处理，得到相对更有意义的较少的特征数据，这也即是降维的过程。

目前，广泛采用的降维方法通常是将大批量的特征数据通过降维算法得到低维度的特征数据，但是该降维算法不能对一些新获取的特征数据进行降维算法得到预测，导致一些新获取的特征数据无法通过降维算法降到指定的维度。

技术实现要素：

针对上述现有技术中存在的问题，本发明提供了一种降维模型训练方法、装置及电子设备，可以预测新的数据的维度。

第一方面，本发明实施例提供了一种降维模型训练方法，其中，包括：

获取特征数据；

将所述特征数据输入降维算法，输出预设层级数量的特征结果；

将所述特征数据输入待训练的降维模型，得到与所述特征结果相同预设层级数量的训练数据；

根据所述训练数据和所述特征结果确定损失函数值；

使用所述训练数据、所述特征结果和所述特征数据对所述待训练的降维模型进行训练，直至所述损失函数值收敛，结束训练，得到训练好的降维模型；所述训练好的降维模型用于对获取到的新的特征数据进行降维，得到预设层级数量的目标结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取特征数据之前，所述方法还包括：

获取特征数据集；所述特征数据集包括所述特征数据和非特征数据；

对所述特征数据集进行筛选，得到特征数据。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述待训练的降维模型包括输入层、隐藏层和输出层；将所述特征数据输入待训练的降维模型，得到与所述特征结果相同预设层级数量的训练数据的步骤，包括：

在所述输入层输入所述特征数据后，获取所述降维模型的总层数及每一层对应的向量；

提取由所述隐藏层和所述输出层组成的线性系数矩阵和偏倚向量；

根据所述每一层对应的向量、所述总层数、所述线性系数矩阵和所述偏倚向量确定与所述特征结果相同预设层级数量的训练数据。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述训练数据和所述特征结果之间的损失函数值表示所述训练数据和所述特征结果的拟合程度。

结合第一方面的第二种或第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，使用所述训练数据、所述特征结果和所述特征数据对所述待训练的降维模型进行训练，直至所述损失函数值收敛，结束训练，得到训练好的降维模型的步骤，包括：

为所述损失函数值设置预设条件；

如果所述损失函数值超过所述预设条件，调整所述隐藏层的层数，以更新所述待训练的降维模型，直至所述损失函数值达到所述预设条件，停止调整所述隐藏层的层数，获取当前降维模型；

将所述当前降维模型确定为所述训练好的降维模型。

第二方面，本发明实施例还提供了一种降维模型训练装置，其中，包括：

第一获取模块，用于获取特征数据；

特征结果输出模块，用于将所述特征数据输入降维算法，输出预设层级数量的特征结果；

训练数据获取模块，用于将所述特征数据输入待训练的降维模型，获取与所述特征结果相同预设层级数量的训练数据；

损失函数值确定模块，用于根据所述训练数据和所述特征结果确定损失函数值；

训练模块，用于使用所述训练数据、所述特征结果和所述特征数据对所述待训练的降维模型进行训练，直至所述损失函数值收敛，结束训练，得到训练好的降维模型；所述训练好的降维模型用于对获取到的新的特征数据进行降维，得到预设层级数量的目标结果。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括：

特征数据集获取模块，用于获取特征数据集；所述特征数据集包括所述特征数据和非特征数据；

筛选模块，用于对所述特征数据集进行筛选，得到特征数据。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述训练模块还用于：

在所述输入层输入所述特征数据后，获取所述降维模型的总层数及每一层对应的向量；

提取由所述隐藏层和所述输出层组成的线性系数矩阵和偏倚向量；

根据所述每一层对应的向量、所述总层数、所述线性系数矩阵和所述偏倚向量确定与所述特征结果相同预设层级数量的训练数据。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述第一方面的任一项所述的方法的步骤。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其中，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面的任一所述的降维模型训练方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的降维模型训练方法、装置及电子设备，首先获取特征数据，将特征数据输入降维算法，输出预设层级数量的特征结果，并将特征数据输入待训练的降维模型，得到与特征结果相同预设层级数量的训练数据，然后根据训练数据和特征结果确定损失函数值，使用训练数据、特征结果和特征数据对待训练的降维模型进行训练，直至损失函数值收敛，结束训练，得到训练好的降维模型，当获取到新的特征数据时，可以将获取到的新的特征数据输入训练好的降维模型，经过降维模型的运算，输出低维度的目标结果，实现了对新获取的特征数据进行预测。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例所提供的降维模型训练方法的流程图；

图2为本发明一实施例所提供的特征数据的原始数据维度的结构示意图；

图3～4为本发明一实施例所提供的通过umap降维算法降维效果图；

图5为本发明一实施例所提供的深度网络模型的结构示意图；

图6为本发明一实施例所提供的深度网络模型的前向传播算法示意图；

图7为本发明另一实施例所提供的降维模型训练装置的结构框图；

图8为本发明又一实施例所提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，很多技术领域在进行数据分析时，采集的数据维度都比较大，导致这些数据的特征值维度比较高，有时有些数据不是我们必须的，需要对特征值进行降维，现有技术中普遍采用的降维方式包括pca(principalcomponentsanalysis，主成分分析)降维和umap(uniformmanifoldapproximationandprojection，均匀流形近似和投影)降维等降维方法，pca降维原理是构造原变量的一系列线性组合形成几个综合指标，以去除数据的相关性，并使低维数据最大程度保持原始高维数据的方差信息，但是对于一些非线性相关特征的降维不能很好的实现，umap这种流式降维方法只能对于大批量数据进行一次性降维，对于新的单条数据无法进行维度预测。

针对现有的降维算法对于一些非线性相关特征的降维不能很好的实现及不能对一些新获取的特征数据进行降维算法得到预测，导致一些新获取的特征数据无法通过降维算法降到指定的维度的问题，本发明实施例提供了一种降维模型训练方法、装置及电子设备，以下首先对本发明的降维模型训练方法进行详细介绍。

实施例一

本实施例提供了一种降维模型训练方法，如图1所示为降维模型训练方法的流程图，该方法包括：

步骤s102，获取特征数据。

在获取特征数据之前，还需要获取特征数据集，该特征数据集包括特征数据和非特征数据，然后对特征数据集进行筛选，得到特征数据。示例性地，该特征数据集可以来自任意技术领域，本发明实施例以工程机械工况数据为例，该特征数据集可以包括车型、工作模式、档位、工作月份、工作时间等，但是，工程机械在工作时，某些传感器可能未正常工作，导致特征数据集中出现一些非特征数据，这些非特征数据往往对特征数据的分心产生很大影响，因此需要对这些特征数据进行筛选，得到利于分析的特征数据。

步骤s104，将特征数据输入降维算法，输出预设层级数量的特征结果。

具体地，该降维算法不限于任意一种降维算法，本发明实施例以umap算法为例。获取的特征结果参照图2、图3和图4，如图2所示，特征数据的维度较高，设特征数据为x，需要将特征数据x输入umap算法中进行降维以获取预设层级数量的特征结果，如图3和图4所示为降维后的效果图，图3表示特征结果的数据维度高于图4所示的表示特征结果的数据维度，以图4所示的表示特征结果为预设层级特征结果，设该预设层级特征结果为y，其中，该预设层级可以是特征结果的维度。

步骤s106，将特征数据输入待训练的降维模型，得到与特征结果相同预设层级数量的训练数据。

可以理解的是，该降维模型可以是一种深度网络模型，也可以是其他具有降维效果的网络模型，本发明实施例的降维模型采用深度网络模型(deepneuralnetworks，简称dnn)，如图5所示为深度网络模型的结构示意图，该模型由输入层、隐藏层和输出层组成，其中，隐藏层可以为一层也可以为多层，特征数据x从输入层输入，训练数据y1从输出层输出，为了使深度网络模型的降维效果与降维算法的降维效果一样，需要调整隐藏层，使训练数据的层级数量与特征结果预设层级数量一致。

具体地，在输入层输入特征数据x后，获取降维模型的总层数l及每一层对应的向量，然后提取由隐藏层和输出层组成的线性系数矩阵w和偏倚向量b，根据每一层对应的向量、总层数l、线性系数矩阵w和偏倚向量b确定与特征结果相同预设层级数量的训练数据。结合图6，该降维模型的层数l＝3，输入层对应的向量：[x1，x2，x3，+1]，即共四个神经元，设激活函数为σ(z)，对于第二层的的输出a1²，a2²，a3²，采用线性表示法为：

a1²＝σ(z1²)＝σ(w11²x1+w12²x2+w13²x3+b1²)；

a2²＝σ(z2²)＝σ(w21²x1+w22²x2+w23²x3+b2²)；

a3²＝σ(z3²)＝σ(w31²x1+w32²x2+w33²x3+b3²)；

对于第三层的的输出：a1³＝σ(z1³)＝σ(w11³x1+w12³x2+w13³x3+b1³)，即hw，b(x)＝a1³＝σ(z1³)＝σ(w11³x1+w12³x2+w13³x3+b1³)。进一步地，假设第l-1层共有m个神经元，则对于第l层的第j个神经元的输出如果l＝2，则ak^l-1的输入层为xk。

采用矩阵法则表示第l层的第j个神经元的输出：假设第l-1层共有m个神经元，第l层的共有n个神经元，则第l层的线性系数w组成了一个m*n的矩阵w^l，第l层的偏倚向量b组成了一个n×1的向量b^l，第l-1层的的输出a组成了一个m×1的向量a^l-1，第l层的的未激活前线性输出z组成了一个n×1的向量z^l，第l层的的输出a组成了一个n×1的向量a^l。则用矩阵法表示，第l层的输出为：a^l＝σ(z^l)＝σ(w^la^l-1+b^l)，则训练数据：y1＝a^l＝σ(z^l)＝σ(w^la^l-1+b^l)，且训练数据y1的层级选择与特征结果y相同的预设层级。

步骤s108，根据训练数据和特征结果确定损失函数值。

其中，训练数据和特征结果之间的损失函数值表示训练数据和特征结果的拟合程度，如果训练数据和特征结果之间的损失函数值越小，表明训练数据和特征结果的拟合程度越高。

步骤s110，使用训练数据、特征结果和特征数据对待训练的降维模型进行训练，直至损失函数值收敛，结束训练，得到训练好的降维模型。

为了使训练数据和特征结果拟合程度便于观察，为损失函数值设置预设条件，如果损失函数值超过预设条件，则调整隐藏层的层数，以更新上述待训练的降维模型，直至损失函数值达到预设条件，停止调整隐藏层的层数，获取当前降维模型，然后将当前降维模型确定为训练好的降维模型。

本发明实施例提供的降维模型训练方法，首先获取特征数据，将特征数据输入降维算法，输出预设层级数量的特征结果，并将特征数据输入待训练的降维模型，得到与特征结果相同预设层级数量的训练数据，然后根据训练数据和特征结果确定损失函数值，使用训练数据、特征结果和特征数据对待训练的降维模型进行训练，直至损失函数值收敛，结束训练，得到训练好的降维模型，该训练模型能对非线性相关特征的数据进行降维，并且当获取到新的特征数据时，可以通过训练好的降维模型进行降维，实现对新的特征数据的维度进行预测。

实施例二

与上述方法实施例相对应地，本实施例提供了一种降维模型训练装置，如图7所示，该装置包括：

第一获取模块71，用于获取特征数据。

特征结果输出模块72，用于将特征数据输入降维算法，输出预设层级数量的特征结果。

训练数据获取模块73，用于将特征数据输入待训练的降维模型，获取与特征结果相同预设层级数量的训练数据。

损失函数值确定模块74，用于根据训练数据和特征结果确定损失函数值。

训练模块75，用于使用训练数据、特征结果和特征数据对待训练的降维模型进行训练，直至损失函数值收敛，结束训练，得到训练好的降维模型；训练好的降维模型用于对获取到的新的特征数据进行降维，得到预设层级数量的目标结果。

进一步的，该装置还包括：特征数据集获取模块，用于获取特征数据集，特征数据集包括特征数据和非特征数据。

筛选模块，用于对特征数据集进行筛选，得到特征数据。

训练模块75还用于，在输入层输入特征数据后，获取降维模型的总层数及每一层对应的向量；

提取由隐藏层和输出层组成的线性系数矩阵和偏倚向量；

根据每一层对应的向量、总层数、线性系数矩阵和偏倚向量确定与特征结果相同预设层级数量的训练数据。

本发明实施例提供的降维模型训练装置，首先获取特征数据，将特征数据输入降维算法，输出预设层级数量的特征结果，并将特征数据输入待训练的降维模型，得到与特征结果相同预设层级数量的训练数据，然后根据训练数据和特征结果确定损失函数值，使用训练数据、特征结果和特征数据对待训练的降维模型进行训练，直至损失函数值收敛，结束训练，得到训练好的降维模型，该训练模型能对非线性相关特征的数据进行降维，并且当获取到新的特征数据时，可以通过训练好的降维模型进行降维，实现对新的特征数据的维度进行预测。

实施例三

本发明实施例提供了一种电子设备，如图8所示，该电子设备包括：存储器81、处理器82，存储器81中存储有可在处理器82上运行的计算机程序，处理器执行计算机程序时实现上述降维模型训练方法提供的步骤。

如图8所示，该设备还包括：总线83和通信接口84，处理器82、通信接口84和存储器81通过总线83连接；处理器82用于执行存储器81中存储的可执行模块，例如计算机程序。

其中，存储器81可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口84(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线83可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器81用于存储程序，处理器82在接收到执行指令后，执行程序，前述本发明任一实施例揭示的输电线路设备的照片归档装置所执行的方法可以应用于处理器82中，或者由处理器82实现。处理器82可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器82中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器82可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器82读取存储器81中的信息，结合其硬件完成上述方法的步骤。

进一步地，本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的降维模型训练方法。

本发明实施例提供的降维模型训练方法、装置及电子设备具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

需要说明的是，在本发明所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。