一种数据对象的分类系统、方法以及设备与流程

本申请属于数据处理技术领域，尤其涉及一种多分类模型的训练方法、数据对象的分类的方法、多分类模型的训练系统、数据对象的分类系统、计算设备以及计算机可读存储介质。

背景技术：

随着物流行业和地理信息技术的飞速发展，越来越多的电商平台进入了人们的视野，网络购物成为人们日常生活不可或缺的一部分。在电商领域中面对海量商品，不论是平台运营还是买家、卖家，都需要对商品进行有效的分类管理。不同类型或行业的商品进行分类的维度不同。准确有效地对商品进行分类才能进行后续的运营。

现有技术中，对商品的类目识别主要有两类途径：一是设定一些简单的规则，采用人工方式对商品进行判定；二是针对商品图片，采用机器学习的方法来进行判定。上述的两种方案存在如下技术缺陷：

1.覆盖的商品类型相对较少。商品类目取决的因素较多，仅仅依靠人工，或者仅仅依赖商品图片等信息，难以对很多商品的类目进行识别。

2.没有充分利用海量商品的信息。这些信息包括商品本身的信息以及商品之间的信息。

3.有的商品同时存在多种类目，难以给出合理的度量。

因此，如何研究和开发出一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。

技术实现要素：

有鉴于此，本申请提供了一种多分类模型的训练方法、数据对象的分类的方法、多分类模型的训练系统、数据对象的分类系统、计算设备以及计算机可读存储介质，通过设置多个不同认知属性信息的数据对象样本，构建每个数据对象样本的多模态特征，并基于机器学习模型对多模态特征进行训练，得到多分类模型，将未知的数据对象送入训练得到的多分类模型，即可得到该数据对象的分类数据，本申请训练得到的多分类模型可自动对未知的数据对象进行认知属性信息分类，且由于在训练的过程中引入了多模态特征，因此提高了分类的准确率。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种多分类模型的训练方法，包括：

获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

构建所述数据对象样本的多模态特征；

基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

根据本申请的第二方面，提出了一种数据对象的分类方法，包括：

获取待分类的数据对象；

基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

根据本申请的第三方面，提出了一种多分类模型的训练系统，包括：

样本获取模块，用于获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

特征构建模块，用于构建所述数据对象样本的多模态特征；

模型训练模块，用于基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

根据本申请的第四方面，提出了一种数据对象的分类系统，包括：

数据对象获取模块，用于获取待分类的数据对象；

分类预测模块，用于基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

根据本申请的第五方面，提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行：

获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

构建所述数据对象样本的多模态特征；

基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

根据本申请的第六方面，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行：

获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

构建所述数据对象样本的多模态特征；

基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

根据本申请的第七方面，提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行：

获取待分类的数据对象；

基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

根据本申请的第八方面，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行：

获取待分类的数据对象；

基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

由以上技术方案可见，本申请通过设置多个不同认知属性信息的数据对象样本，构建每个数据对象样本的多模态特征，并基于机器学习模型对多模态特征进行训练，得到多分类模型，将未知的数据对象送入训练得到的多分类模型，即可得到该数据对象的分类数据，本申请训练得到的多分类模型可自动对未知的数据对象进行认知属性信息分类，且由于在训练的过程中引入了多模态特征，因此提高了分类的准确率。

为让本申请的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一种多分类模型的训练系统的结构示意图；

图2示出了本申请一种多分类模型的训练系统中样本获取模块、特征构建模块以及模型训练模块之间的交互示意图；

图3示出了本申请一种多分类模型的训练系统中特征构建模块的结构示意图；

图4示出了本申请一种多分类模型的训练系统中模型训练模块的结构示意图；

图5示出了本申请一种数据对象的分类系统的结构示意图；

图6示出了本申请一种数据对象的分类系统中数据对象获取模块、分类预测模块之间的交互示意图；

图7示出了本申请一种多分类模型的训练的方法的流程示意图；

图8示出了本申请一种多分类模型的训练的方法中构建所述数据对象样本的多模态特征的流程示意图；

图9示出了本申请一种多分类模型的训练的方法中基于机器学习模型对所述多模态特征进行训练得到多分类模型的流程示意图；

图10示出了本申请一种数据对象的分类的方法的流程示意图；

图11示出了本申请提供的具体实施例中进行数据对象的分类的架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。

虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。

下面首先介绍本申请涉及的术语。

机器学习：研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

模态：在特定物理媒介上信息的表示方式，满足完整性、正交性、关联性和直观性的要求。

多模态：多个单一模态的融合运用。

表征学习：将同类数据经过非线性变换映射到特定的特征空间，并用特征空间中的特征向量来表示数据，一般通过深度学习的方式实现。

下面介绍本申请的具体技术方案。图1示出了本申请一种多分类模型的训练系统的结构示意图，请参阅图1，该系统包括样本获取模块100、特征构建模块200以及模型训练模块300。图2示出了样本获取模块、特征构建模块以及模型训练模块之间的交互示意图，请参阅图1、图2，在本申请中的一种实施方式中：

s1：样本获取模块获取多个数据对象样本，多个数据对象样本分别具有不同的认知属性信息。

在本申请中，数据对象的认知属性信息是一种人为的主观认定，是一系列人为主观认定、约定俗成在用户群体中达成一定共识的认知。数据对象在本申请中诸如为商品，以商品为例，商品的认知属性信息指的是商品在形式和内容上体现的内在特色，具有一定的主观认知，但主流认知属性信息的认定符合大多数人群的感受。比如服饰这一品类中主流的认知属性信息(风格)就有40多种，如女装的波西米亚风格、英伦风，男装的工装风、中国风等。认知属性信息的确定既取决于视觉元素，如颜色的搭配、纹理图案的样式，还取决于材质，如棉麻、丝绸、卡其布。同类或相近的商品的风格，在视觉(商品图片内容)、文字描述、商品属性、用户行为上都有相近的地方，这些关系方面的信息从更大的层面刻画了商品风格的全貌。

在本申请的一个实施例中，样本获取模块获取了三个数据对象样本，每个数据对象样本中包括多个数据对象，数据对象诸如为商品，三个数据对象样本的认知属性信息分别为波西米亚认知属性信息、英伦风，中国风，则第一个数据对象样本中包括了多个数据对象，每个数据对象(即商品)的认知属性信息均为波西米亚。

s2：特征构建模块构建数据对象样本的多模态特征。

在本申请的一种实施方式中，特征构建模块根据数据对象样本的多模态信息构建多模态特征，所述多模态信息包括数据对象样本的图片信息以及文本信息。

数据对象的认知属性信息相对于类目而言，形式多样，内在规则复杂，要做出有效的判定，需要融合多种有效信息。针对电商领域的海量商品而言，从模态角度来看，可以利用的多模态信息主要有：数据对象的图片信息，其主要包括商品主图、详情页的相关描述等；文本内容方面的信息：数据对象的文字信息，其主要包括商品的标题、卖家填写的属性信息以及详情页的相关文字描述等。

在本申请的其他实施方式中，诸如图11，多模态信息还可包括数据对象的静态属性，其主要包括类目信息、价格、物流、卖家/店铺的相关信息等。

在本申请的一种实施方式中，特征构建模块根据数据对象样本的多模态信息构建多模态特征包括：

s21：特征构建模块将所述数据对象样本的图片信息通过机器学习方式映射到特征空间，得到图片信息表征向量。具体的，在本申请的一种实施方式中，可将数据对象样本中的数据对象的图片信息通过机器学习的方式(诸如深度学习的方式)映射到特征空间，用一个固定维度的特征向量来表示，具体做法如下：

训练一卷积神经网络，将所述数据对象样本的图片信息作为训练样本对所述卷积神经网络进行参数调整，将所述数据对象样本的图片信息输入至参数调整后的卷积神经网络，得到图片信息表征向量。

在本申请的一个具体实施例中，上述过程可为：先在大规模图像数据集imagenet上训练一个卷积神经网络vgg-19，然后将电商网站中的商品图片作为训练样本对vgg-19进行参数微调，得到新的卷积神经网络vgg-19-new。以fashion行业的商品图片为例，约有500w的样本，vgg-19包含16个卷积层和3个全连接层，参数微调时主要调整的是全连接层的参数。因为深度神经网络越接近输入层，学到的特征越具有全局性和通用性，越靠近输出层，学到的特征越能体现训练集的特殊性。将全部商品图片依次输入vgg-19-new提取图片特征，提取出的特征有4096维，这4096维特征向量就是对应商品基于图片信息的表征向量。每个商品的图片表征向量提取出后均可保存在数据库中。

在本申请的其他实施方式中，机器学习的方式还可为决策树算法、卷积神经网络cnn、dnn深度神经网络等，此处不再赘述。

在本申请的一种实施方式中，特征构建模块根据数据对象样本的多模态信息构建多模态特征还包括：

s22：将所述数据对象样本的文本信息通过词嵌入模型进行训练，得到文本信息表征向量。具体的，在本申请的一种实施方式中，可将数据对象样本中的数据对象的文本信息，包括标题、属性及其它文字描述，经过处理后(剔除特殊字符等)，经过word2vec，对每个单词生成一个固定维度的特征向量。单个商品所包含的文本单词就转化为一系列的特征向量，这组特征向量就表征了该商品的文本信息，具体做法如下：

对所述数据对象样本的文本信息进行文本处理，将文本处理后的文本信息输入至词嵌入模型，得到文本信息表征向量。

在本申请的一个具体实施例中，上述过程可为：对数据对象样本中的每个数据对象(诸如商品)，提取标题、类目和属性的文本表达、详情页的文字描述，拼接在一起视为一个句子，对每个句子进行文本处理，包括剔除特殊字符、停用词，每个句子为样本，输入词嵌入模型word2vec工具，训练得到每个词的词向量，对于每个商品，其所对应的句子中的词的词向量可视为该商品在文本信息上的表征向量，最后可将每个商品的文本表征向量保存在数据库中，供后续使用。

在本申请的一种实施方式中，特征构建模块根据数据对象样本的多模态信息构建多模态特征还包括：

s23：根据所述图片信息表征向量确定图片相似关系表征向量。具体的，在本申请的一种实施方式中，在图片信息表征向量的基础之上，计算商品之间的图片相似度，得到对应的关系图，以邻接矩阵的方式保存。通过weightedwalk对关系图进行采样，每个采样视为一个样本，集合这些样本送入word2vec，就得到关于图片相似关系的表征向量。该向量蕴含了对应商品在图片相似关系图中的上下文信息，具体做法如下：根据所述图片信息表征向量确定数据对象样本之间的图片相似度，根据所述图片相似度建立关系连接，得到图片关系图，对所述图片关系图进行采样，得到采样结果，将所述采样结果通过词嵌入模型进行训练，得到图片相似关系表征向量。

在本申请的一个具体实施例中，上述过程可为：利用上文计算出的各数据对象的图片表征向量，通过计算两个向量之间的余弦距离来获得数据对象(诸如商品)之间的图片相似度量。在本申请的一种实施例中，为了计算和存储考虑，对每个商品仅取相似度top100的商品建立关系连接，得到商品关于图片内容的关系图。关系图中的节点是具体的商品，关系图中各节点之间的边是两个商品节点的相似度，数值为0～1，1表示两个节点在图像内容上完全相同，0表示完全不相同。在本申请的一种实施例中，采用weightedwalk的方法对关系图中的关系进行采样，为后续提取关系特征做准备，采样的具体步骤如下：

<1>以每个商品节点为出发点，按边的权重来计算行走到下一步节点的概率，依此概率选择行走到下一步节点，并记录下节点id；

<2>按此方式一直走n步，具体的可以设n＝50，顺序记录下50个节点id，视为一次采样；

<3>对每个商品的采样做k次，k具体可以设为20；由于每次采样都是按概率方式选择行走路径，所以得到的采样结果都不一样，既保留了相似度的信息，又有一定的随机性；这k次采样可以视为对该商品的图片相似关系的一次初步的刻画。

得到采样结果后，将经过weightedwalk采样得到的样本输入词嵌入模型word2vec工具，将每次采样的结果视为一个具体的句子，每个商品节点看做一个词，训练得到词向量的同时也得到了商品在关系图中的表征向量。这个向量刻画了商品在图片相似关系图中的上下文特征，最后可将商品的图片关系表征向量保存在数据库中供后续调用。

在本申请的一种实施方式中，特征构建模块根据数据对象样本的多模态信息构建多模态特征还包括：

s24：根据所述文本信息表征向量确定文本相似关系表征向量。具体的，在本申请的一种实施方式中，包括：根据所述文本信息表征向量确定数据对象样本之间的文本相似度，根据所述文本相似度建立关系连接，得到文本关系图，对所述文本关系图进行采样，得到采样结果，将所述采样结果通过词嵌入模型进行训练，得到文本相似关系表征向量，对所述数据对象样本的文本信息进行文本处理，将文本处理后的文本信息输入至词嵌入模型，得到文本信息表征向量。

该步骤的具体处理过程与步骤s23中对图片相似关系的处理类似，只不过考虑的是文本内容之间的相关关系，因此具体的实施过程此处不再赘述。

上述步骤s21至s24中得到的多模态特征包括图片信息表征向量、文本信息表征向量、图片相似关系表征向量以及文本相似关系表征向量。在本申请的其他实施方式中，在数据对象的关系特征方面，除了从图片相似、文本相似构建数据对象间的相似关系，还可以从其他角度考虑，比如是否被相同用户浏览/点击/收藏/加购/购买等。在本申请的另一种实施方式中，步骤s2还可包括：

s25：根据所述数据对象样本的图片信息确定图片操作表征向量，所述图片操作表征向量包括图片浏览表征向量和/或图片点击表征向量和/或图片收藏表征向量和/或图片加购表征向量和/或图片购买表征向量；

s26：根据所述数据对象样本的文本息确定文本操作表征向量，所述文本操作表征向量包括文本浏览表征向量和/或文本点击表征向量和/或文本收藏表征向量和/或文本加购表征向量和/或文本购买表征向量。

也即，在该实施方式中，多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量。

特征构建模块构建了数据对象样本的多模态特征之后，如图2所示：

s3：模型训练模块基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

在本申请的一种实施方式中，对训练样本(即多模态特征)提取对应特征，拼接处理后输入到多分类器训练模块，训练多分类模型，该模型给出对指定的每种认知属性信息的分类概率。由于不同认知属性信息的内在规则或表现形式的复杂程度不同，实际场景的实施当中存在很大难度。体现在类目层面，有的认知属性信息从视觉元素到材质都比较统一，不管是上衣还是下装；而有的认知属性信息，不同类目之间则存在较大的差异性，比如机车认知属性信息，上衣以皮夹克为主，而裤子等下装则多为带螺纹式样的牛仔裤。为此，多分类器需要较大的弹性才能在准确性和召回量达到比较好的均衡。本申请采用分类目融合的架构来解决，兼顾全局和局部，让机器学习更好的利用这些信息。

具体的：对所述多模态特征进行拼接处理，得到特征向量，所述多模态特征为图片信息表征向量、文本信息表征向量、图片相似关系表征向量以及文本相似关系表征向量，或所述多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量；将所述多个数据对象样本按照类目划分为多组，每组对应一个类目；将划分得到的每组数据对象样本的特征向量分别输入至机器学习模型进行训练，得到每个类目分类模型；将所述多个数据对象样本的特征向量输入至机器学习模型进行训练，得到全类目分类模型；将每个类目分类模型的输出结果以及所述全类目分类模型的输出结果进行拼接，得到拼接特征向量，将所述拼接特征向量输入至机器学习模型进行训练，得到多分类模型。

在本申请的一种实施例中，具体做法可如下：

(1)将训练样本的图片表征向量、文本表征向量、图片关系表征向量、文本关系表征向量从数据库中调取出来，拼接成新的特征向量。

(2)对训练样本按类目划分为若干组，将每组的特征向量输入dnn，训练出每个类目的分类模型，记为dnn-i(i＝1～k表示第i组，k是类目总数)。具体的，dnn的网络结构由1个输入层、2个全连接层、3个relu层、1个dropout层、最后是1个softmax层来组成；最后1个softmax层也是输出层，输出结果为m维向量，m是参与训练的认知属性信息数，每一维对应的是具体样本在对应认知属性信息的分类概率。

(3)对训练样本取全体集合(不分类目)，将每组的特征向量输入dnn，训练出全类目分类模型，记为dnn-0。dnn的网络结构同上。

(4)将dnn-i(i＝0～k)的输出结果作为特征向量，拼接成新的特征向量(即拼接特征向量)，具体的，k+1个分类器，每个分类器的结果是m维度，拼接成的特征向量是(k+1)*m维度。输入dnn训练多分类模型，记为dnn-merge，其网络结构为1个输入层、1个全连接层、1个softmax层组成。该dnn分类器会基于前面多个分类器的结果，针对不同类型的认知属性信息给出与类目相适应的分类权重，从而兼顾全局和局部的特点。多分类模型dnn-merge训练好之后，可以数据形式保存和维护。

在本申请的其他实施方式中，上述的训练过程还可采用其它多分类方法，如决策树算法、cnn等。

如上即是本申请提供的一种多分类模型的训练系统，通过设置多个不同认知属性信息的数据对象样本，构建每个数据对象样本的多模态特征，并基于机器学习模型对多模态特征进行训练，得到多分类模型，本申请训练得到的多分类模型由于在训练的过程中引入了多模态特征，因此提高了分类的准确率。

图3示出了本申请一种多分类模型的训练系统中特征构建模块的结构示意图，请参阅图3，所述特征构建模块200包括：

图片向量确定模块201，用于将所述数据对象样本的图片信息通过机器学习方式映射到特征空间，得到图片信息表征向量。

在本申请的一种实施方式中，图片向量确定模块201包括：卷积网络训练模块，用于训练一卷积神经网络；参数调整模块，用于将所述数据对象样本的图片信息作为训练样本对所述卷积神经网络进行参数调整；图片表征向量确定模块，用于将所述数据对象样本的图片信息输入至参数调整后的卷积神经网络，得到图片信息表征向量。

文本向量确定模块202，用于将所述数据对象样本的文本信息通过词嵌入模型进行训练，得到文本信息表征向量。在本申请的一种实施方式中，文本向量确定模块202包括：文本信息处理模块，用于对所述数据对象样本的文本信息进行文本处理；文本表征向量确定模块，用于将文本处理后的文本信息输入至词嵌入模型，得到文本信息表征向量。

图片相似向量确定模块203，用于根据所述图片信息表征向量确定图片相似关系表征向量。在本申请的一种实施方式中，图片相似向量确定模块203包括：图片相似度确定模块，用于根据所述图片信息表征向量确定数据对象样本之间的图片相似度；图片关系图确定模块，用于根据所述图片相似度建立关系连接，得到图片关系图；图片关系图采样模块，用于对所述图片关系图进行采样，得到采样结果；图片相似向量确定模块，用于将所述采样结果通过词嵌入模型进行训练，得到图片相似关系表征向量。

文本相似向量确定模块204，用于根据所述文本信息表征向量确定文本相似关系表征向量。在本申请的一种实施方式中，文本相似向量确定模块204包括：文本相似度确定模块，用于根据所述文本信息表征向量确定数据对象样本之间的文本相似度；文本关系图确定模块，用于根据所述文本相似度建立关系连接，得到文本关系图；文本关系图采样模块，用于对所述文本关系图进行采样，得到采样结果；文本相似向量确定模块，用于将所述采样结果通过词嵌入模型进行训练，得到文本相似关系表征向量。

在本申请的其他实施方式中，在数据对象的关系特征方面，除了从图片相似、文本相似构建数据对象间的相似关系，还可以从其他角度考虑，比如是否被相同用户浏览/点击/收藏/加购/购买等。因此，所述特征构建模块还包括：图片操作向量确定模块，用于根据所述数据对象样本的图片信息确定图片操作表征向量，所述图片操作表征向量包括图片浏览表征向量和/或图片点击表征向量和/或图片收藏表征向量和/或图片加购表征向量和/或图片购买表征向量；

文本操作向量确定模块，用于根据所述数据对象样本的文本息确定文本操作表征向量，所述文本操作表征向量包括文本浏览表征向量和/或文本点击表征向量和/或文本收藏表征向量和/或文本加购表征向量和/或文本购买表征向量。

也即，在该实施方式中，多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量。

图4示出了本申请一种多分类模型的训练系统中模型训练模块的结构示意图，请参阅图4，所述模型训练模块300包括：

多模态特征拼接模块301，用于对所述多模态特征进行拼接处理，得到特征向量，所述多模态特征为图片信息表征向量、文本信息表征向量、图片相似关系表征向量以及文本相似关系表征向量，或所述多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量；

类目划分模块302，用于将所述多个数据对象样本按照类目划分为多组，每组对应一个类目；

多类目模型确定模块303，用于将划分得到的每组数据对象样本的特征向量分别输入至机器学习模型进行训练，得到每个类目分类模型。

在具体的实施例中，对训练样本按类目划分为若干组，将每组的特征向量输入dnn，训练出每个类目的分类模型，记为dnn-i(i＝1～k表示第i组，k是类目总数)。dnn的网络结构由1个输入层、2个全连接层、3个relu层、1个dropout层、最后是1个softmax层来组成；最后1个softmax层也是输出层，输出结果为m维向量，m是参与训练的认知属性信息数，每一维对应的是具体样本在对应认知属性信息的分类概率。

全类目模型确定模块304，用于将所述多个数据对象样本的特征向量输入至机器学习模型进行训练，得到全类目分类模型。

在具体的实施例中，对训练样本取全体集合(不分类目)，将每组的特征向量输入dnn，训练出全类目分类模型，记为dnn-0。dnn的网络结构同上。

多分类模型确定模块305，用于将每个类目分类模型的输出结果以及所述全类目分类模型的输出结果进行拼接，得到拼接特征向量，将所述拼接特征向量输入至机器学习模型进行训练，得到多分类模型。

在具体的实施例中，将dnn-i(i＝0～k)的输出结果作为特征向量，拼接成新的特征向量(即拼接特征向量)，具体的，k+1个分类器，每个分类器的结果是m维度，拼接成的特征向量是(k+1)*m维度。输入dnn训练多分类模型，记为dnn-merge，其网络结构为1个输入层、1个全连接层、1个softmax层组成。该dnn分类器会基于前面多个分类器的结果，针对不同类型的认知属性信息给出与类目相适应的分类权重，从而兼顾全局和局部的特点。多分类模型dnn-merge训练好之后，可以数据形式保存和维护。

在本申请的其他实施方式中，上述的训练过程还可采用其它多分类方法，如决策树算法、cnn等。

图5示出了本申请一种数据对象的分类系统的结构示意图，请参阅图5，该系统包括数据对象获取模块400、分类预测模块500。图6示出了本申请一种数据对象的分类系统中数据对象获取模块、分类预测模块之间的交互示意图，请参阅图5、图6，在本申请中：

s1：用户输入一待分类的数据对象；

s2：数据对象获取模块将用户输入的待分类的数据对象发送至分类预测模块；

s3：分类预测模块从多分类模型的训练系统中获取出多分类模型，基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据。

在本申请的一种实施方式中，分类预测模块还可将待分类的数据对象发送至多分类模型的训练系统训练得到的多分类模型，由多酚类模型对数据对象进行分类预测，得到分类数据。

s4：分类预测模块将得到的分类数据发送至数据对象获取模块，向用户显示该数据对象的分类数据。

在本申请的一种实施方式中，分类数据包括各个认知属性信息上的分类概率数据，即待分类的数据对象的分类数据为该数据对象在各个认知属性信息上的分类概率数据。在具体的实施例中，当某个商品在一种以上认知属性信息得到的概率都较高时，说明该商品兼容多种认知属性信息，这在实际当中是存在的。

将训练得到的多分类模型以数据形式保存，对未知认知属性信息的商品采用多分类模型进行判定，输出的分类数据是该商品在已学习到的多个认知属性信息上的置信度，置信度的大小表明了该商品属于某种认知属性信息的概率。

图11示出了本申请提供的具体实施例中进行数据对象的分类的架构示意图，由图11可知，在该具体实施例中，本申请提出了一种分层次的多模态分类架构，将分类特征分为商品自身特征和商品间的关系特征两个层面，充分利用电商领域的海量商品信息，采用深度学习技术挖掘商品在图片、文本等维度的关系信息，并应用在商品认知属性信息分类，采用分类目+全类目深度学习训练和融合的架构来进行商品认知属性信息的多分类。由于引入多模态信息，提高分类的准确率，引入商品关系特征，构建分层的多模态分类架构，充分利用商品之间的信息，通过训练和维护机器学习模型，实现了自动对商品库中的商品进行认知属性信息分类。

本申请还提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行：

获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

构建所述数据对象样本的多模态特征；

基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

本申请还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行：

获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息；

构建所述数据对象样本的多模态特征；

基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

本申请还提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行：

获取待分类的数据对象；

基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

本申请还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行：

获取待分类的数据对象；

基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

在介绍了本申请的数据对象的分类系统、多分类模型的训练系统、计算设备以及计算机可读存储介质之后，接下来，参考附图对本申请的方法进行介绍。该方法的实施可以参见上述系统的实施，重复之处不再赘述。

图7示出了本申请一种多分类模型的训练的方法的流程示意图，请参阅图7，所述方法包括：

s101：获取多个数据对象样本，每个所述数据对象样本具有不同的认知属性信息。

在本申请中，数据对象的认知属性信息是一种人为的主观认定，是一系列人为主观认定、约定俗成在用户群体中达成一定共识的认知。数据对象在本申请中诸如为商品，以商品为例，商品的认知属性信息指的是商品在形式和内容上体现的内在特色，具有一定的主观认知，但主流认知属性信息的认定符合大多数人群的感受。比如服饰这一品类中主流的认知属性信息(风格)就有40多种，如女装的波西米亚风格、英伦风，男装的工装风、中国风等。认知属性信息的确定既取决于视觉元素，如颜色的搭配、纹理图案的样式，还取决于材质，如棉麻、丝绸、卡其布。同类或相近的商品的风格，在视觉(商品图片内容)、文字描述、商品属性、用户行为上都有相近的地方，这些关系方面的信息从更大的层面刻画了商品风格的全貌。

在本申请的一个实施例中，样本获取模块获取了三个数据对象样本，每个数据对象样本中包括多个数据对象，数据对象诸如为商品，三个数据对象样本的认知属性信息分别为波西米亚认知属性信息、英伦风，中国风，则第一个数据对象样本中包括了多个数据对象，每个数据对象(即商品)的认知属性信息均为波西米亚认知属性信息。

s102：构建所述数据对象样本的多模态特征。在本申请的一种实施方式中，该步骤根据数据对象样本的多模态信息构建多模态特征，所述多模态信息包括数据对象样本的图片信息以及文本信息。

数据对象的认知属性信息相对于类目而言，形式多样，内在规则复杂，要做出有效的判定，需要融合多种有效信息。针对电商领域的海量商品而言，从模态角度来看，可以利用的多模态信息主要有：数据对象的图片信息，其主要包括商品主图、详情页的相关描述等；文本内容方面的信息：数据对象的文字信息，其主要包括商品的标题、卖家填写的属性信息以及详情页的相关文字描述等。

在本申请的其他实施方式中，诸如图11，多模态信息还可包括数据对象的静态属性，其主要包括类目信息、价格、物流、卖家/店铺的相关信息等。

s103：基于机器学习模型对所述多模态特征进行训练，得到多分类模型。

图8示出了本申请一种多分类模型的训练的方法中步骤s102的流程示意图，请参阅图8，该步骤包括：

s201：将所述数据对象样本的图片信息通过机器学习方式映射到特征空间，得到图片信息表征向量。具体的，在本申请的一种实施方式中，该步骤包括：训练一卷积神经网络，将所述数据对象样本的图片信息作为训练样本对所述卷积神经网络进行参数调整，将所述数据对象样本的图片信息输入至参数调整后的卷积神经网络，得到图片信息表征向量。

在本申请的一个具体实施例中，上述过程可为：先在大规模图像数据集imagenet上训练一个卷积神经网络vgg-19，然后将电商网站中的商品图片作为训练样本对vgg-19进行参数微调，得到新的卷积神经网络vgg-19-new。以fashion行业的商品图片为例，约有500w的样本，vgg-19包含16个卷积层和3个全连接层，参数微调时主要调整的是全连接层的参数。因为深度神经网络越接近输入层，学到的特征越具有全局性和通用性，越靠近输出层，学到的特征越能体现训练集的特殊性。将全部商品图片依次输入vgg-19-new提取图片特征，提取出的特征有4096维，这4096维特征向量就是对应商品基于图片信息的表征向量。每个商品的图片表征向量提取出后均可保存在数据库中。

在本申请的其他实施方式中，机器学习的方式还可为决策树算法、卷积神经网络cnn、dnn深度神经网络等，此处不再赘述。

s202：将所述数据对象样本的图片信息通过机器学习方式映射到特征空间，得到图片信息表征向量。具体的，在本申请的一种实施方式中，该步骤包括：对所述数据对象样本的文本信息进行文本处理，将文本处理后的文本信息输入至词嵌入模型，得到文本信息表征向量。

在本申请的一个具体实施例中，上述过程可为：对数据对象样本中的每个数据对象(诸如商品)，提取标题、类目和属性的文本表达、详情页的文字描述，拼接在一起视为一个句子，对每个句子进行文本处理，包括剔除特殊字符、停用词，每个句子为样本，输入词嵌入模型word2vec工具，训练得到每个词的词向量，对于每个商品，其所对应的句子中的词的词向量可视为该商品在文本信息上的表征向量，最后可将每个商品的文本表征向量保存在数据库中，供后续使用。

s203：根据所述图片信息表征向量确定图片相似关系表征向量。具体的，在本申请的一种实施方式中，该方法包括：根据所述图片信息表征向量确定数据对象样本之间的图片相似度，根据所述图片相似度建立关系连接，得到图片关系图，对所述图片关系图进行采样，得到采样结果，将所述采样结果通过词嵌入模型进行训练，得到图片相似关系表征向量。

在本申请的一个具体实施例中，上述过程可为：利用上文计算出的各数据对象的图片表征向量，通过计算两个向量之间的余弦距离来获得数据对象(诸如商品)之间的图片相似度量。在本申请的一种实施例中，为了计算和存储考虑，对每个商品仅取相似度top100的商品建立关系连接，得到商品关于图片内容的关系图。关系图中的节点是具体的商品，关系图中各节点之间的边是两个商品节点的相似度，数值为0～1，1表示两个节点在图像内容上完全相同，0表示完全不相同。在本申请的一种实施例中，采用weightedwalk的方法对关系图中的关系进行采样，为后续提取关系特征做准备。

得到采样结果后，将经过weightedwalk采样得到的样本输入词嵌入模型word2vec工具，将每次采样的结果看做一个具体的句子，每个商品节点看做一个词，训练得到词向量的同时也得到了商品在关系图中的表征向量。这个向量刻画了商品在图片相似关系图中的上下文特征，最后可将商品的图片关系表征向量保存在数据库中供后续调用。

s204：根据所述文本信息表征向量确定文本相似关系表征向量。具体的，在本申请的一种实施方式中，该步骤包括：根据所述文本信息表征向量确定数据对象样本之间的文本相似度，根据所述文本相似度建立关系连接，得到文本关系图，对所述文本关系图进行采样，得到采样结果，将所述采样结果通过词嵌入模型进行训练，得到文本相似关系表征向量。该步骤的具体处理过程与步骤s203中对图片相似关系的处理类似，只不过考虑的是文本内容之间的相关关系，因此具体的实施过程此处不再赘述。

上述步骤s201至s204中得到的多模态特征包括图片信息表征向量、文本信息表征向量、图片相似关系表征向量以及文本相似关系表征向量。在本申请的其他实施方式中，在数据对象的关系特征方面，除了从图片相似、文本相似构建数据对象间的相似关系，还可以从其他角度考虑，比如是否被相同用户浏览/点击/收藏/加购/购买等。在本申请的另一种实施方式中，步骤s102还可包括：

根据所述数据对象样本的图片信息确定图片操作表征向量，所述图片操作表征向量包括图片浏览表征向量和/或图片点击表征向量和/或图片收藏表征向量和/或图片加购表征向量和/或图片购买表征向量；

根据所述数据对象样本的文本息确定文本操作表征向量，所述文本操作表征向量包括文本浏览表征向量和/或文本点击表征向量和/或文本收藏表征向量和/或文本加购表征向量和/或文本购买表征向量。

也即，在该实施方式中，多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量。

图9示出了本申请一种多分类模型的训练的方法中s103的流程示意图，请参阅图9，该步骤包括：

s301：对所述多模态特征进行拼接处理，得到特征向量，所述多模态特征为图片信息表征向量、文本信息表征向量、图片相似关系表征向量以及文本相似关系表征向量，或所述多模态特征为图片信息表征向量、文本信息表征向量、图片操作表征向量以及文本操作表征向量。

s302：将所述多个数据对象样本按照类目划分为多组，每组对应一个类目。

s303：将划分得到的每组数据对象样本的特征向量分别输入至机器学习模型进行训练，得到每个类目分类模型。

在具体的实施例中，该步骤可为：对训练样本按类目划分为若干组，将每组的特征向量输入dnn，训练出每个类目的分类模型，记为dnn-i(i＝1～k表示第i组，k是类目总数)。dnn的网络结构由1个输入层、2个全连接层、3个relu层、1个dropout层、最后是1个softmax层来组成；最后1个softmax层也是输出层，输出结果为m维向量，m是参与训练的认知属性信息数，每一维对应的是具体样本在对应认知属性信息的分类概率。

s304：将所述多个数据对象样本的特征向量输入至机器学习模型进行训练，得到全类目分类模型。

在具体的实施例中，该步骤可为：对训练样本取全体集合(不分类目)，将每组的特征向量输入dnn，训练出全类目分类模型，记为dnn-0。dnn的网络结构同上。

s305：将每个类目分类模型的输出结果以及所述全类目分类模型的输出结果进行拼接，得到拼接特征向量，将所述拼接特征向量输入至机器学习模型进行训练，得到多分类模。

在具体的实施例中，该步骤可为：将dnn-i(i＝0～k)的输出结果作为特征向量，拼接成新的特征向量(即拼接特征向量)，具体的，k+1个分类器，每个分类器的结果是m维度，拼接成的特征向量是(k+1)*m维度。输入dnn训练多分类模型，记为dnn-merge，其网络结构为1个输入层、1个全连接层、1个softmax层组成。该dnn分类器会基于前面多个分类器的结果，针对不同类型的认知属性信息给出与类目相适应的分类权重，从而兼顾全局和局部的特点。多分类模型dnn-merge训练好之后，可以数据形式保存和维护。

在本申请的其他实施方式中，上述的训练过程还可采用其它多分类方法，如决策树算法、cnn等。

如上即是本申请提供的一种多分类模型的训练方法，通过设置多个不同认知属性信息的数据对象样本，构建每个数据对象样本的多模态特征，并基于机器学习模型对多模态特征进行训练，得到多分类模型，本申请训练得到的多分类模型由于在训练的过程中引入了多模态特征，因此提高了分类的准确率。

图10示出了本申请一种数据对象的分类的方法的流程示意图，请参阅图10，该方法包括：

s401：获取待分类的数据对象；

s402：基于多分类模型对所述数据对象进行分类预测，得到所述数据对象的分类数据，所述多分类模型是基于多个数据对象样本训练得到的，每个所述数据对象样本具有不同的认知属性信息。

在本申请的一种实施方式中，分类数据包括各个认知属性信息上的分类概率数据，即待分类的数据对象的分类数据为该数据对象在各个认知属性信息上的分类概率数据。在具体的实施例中，当某个商品在一种以上认知属性信息得到的概率都较高时，说明该商品兼容多种认知属性信息，这在实际当中是存在的。

将训练得到的多分类模型以数据形式保存，对未知认知属性信息的商品采用多分类模型进行判定，输出的分类数据是该商品在已学习到的多个认知属性信息上的置信度，置信度的大小表明了该商品属于某种认知属性信息的概率。

综上所述，本申请提供了一种多分类模型的训练方法、数据对象的分类的方法、多分类模型的训练系统、数据对象的分类系统、计算设备以及计算机可读存储介质，通过设置多个不同认知属性信息的数据对象样本，构建每个数据对象样本的多模态特征，并基于机器学习模型对多模态特征进行训练，得到多分类模型，将未知的数据对象送入训练得到的多分类模型，即可得到该数据对象的分类数据，本申请训练得到的多分类模型可自动对未知的数据对象进行认知属性信息分类，且由于在训练的过程中引入了多模态特征，因此提高了分类的准确率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客服端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。