评价图像分类方法、装置、计算机设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种评价图像分类方法、装置、计算机设备及存储介质。


背景技术：

2.在电商购物环境下，消费者下单购买商品收到货后通常会在商品详情页评价区上传图片加文字与商家互动，晒出自己购买的商品买家秀照片的同时发表自己对商品的看法，现有评价图像识别方法可对色块图，以及涉恐、涉暴、涉黄等违禁图进行不合格图像识别。由于上述评价图像展现在互联网电商平台商品详情页评价区会降低用户浏览网站购物体验，给购物网站造成负面形象，所以不合格的评价图像有必要提前拦截过滤再在评价区展示。
3.通常电商平台评价图像审核的做法是用图像算法识别具有如色块、涉恐、涉暴、涉黄特征的不合格图片，如果算法识别评价图像具有不合格图片特征时，将直接被过滤，剩下算法识别为合格的评价图像将进一步流转到人工审核环节，最终才会展示在评论区。现有方法识别到的不合格图占比低，而流转到人工审核的部分占比高，造成审核人力成本上的浪费。针对现有评价图像人工审核的成本浪费问题，有必要开展对评价图像处理技术的进一步研究。


技术实现要素：

4.本发明实施例提供一种评价图像分类方法、装置、计算机设备及存储介质，以解决现有评价图像人工审核的成本浪费问题。
5.一方面，本发明提供了一种评价图像分类方法，包括：
6.获取用户提交的评价图像；
7.将评价图像输入为图像阵列；
8.基于图像阵列对评价图像进行特征提取，得到特征图；
9.基于分类规则和特征图，计算评价图像的类别概率；
10.根据类别概率，得到评价图像的分类。
11.进一步地，将评价图像输入为图像阵列的步骤，包括：
12.将评价图像等比缩放填充到图像阵列的区块优先固定位置。
13.进一步地，获取用户提交的评价图像的步骤，包括：
14.获取用户评价时提交的评价图像以及评价对应的商品图像；
15.在将评价图像等比缩放填充到图像阵列的区块优先固定位置的步骤之后，还包括：
16.将商品图像等比缩放填充到图像阵列中区块优先固定位置以外的位置。
17.进一步地，基于图像阵列对评价图像进行特征提取，得到特征图的步骤，包括：
18.基于图像cnn网络卷积层、激活层、池化层对评价图像进行特征提取，得到特征图。
19.进一步地，分类规则包括多层分类结构和分类概率模型，基于分类规则和特征图，计算评价图像的类别概率的步骤，包括：
20.根据多层分类结构和分类概率模型，基于全连接层根据特征图计算评价图像的类别概率；
21.根据类别概率，得到评价图像的分类的步骤包括：
22.基于softmax损失函数，根据类别概率，得到评价图像的分类。
23.进一步地，分类概率模型在模型训练时采用交叉熵损失函数计算多分类预测概率与标注间的距离。
24.进一步地，交叉熵损失函数为：
25.或，
[0026][0027]
其中：p为模型预测结果；q为期望概率输出；x为分类类别标签；weight为图片类别样本占总量数据分布的概率。
[0028]
为了解决现有评价图像人工审核的成本浪费的问题，本发明的目的在于提供一种评价图像分类方法，包括：获取用户提交的评价图像；将评价图像输入为图像阵列；基于图像阵列对评价图像进行特征提取，得到特征图；基于分类规则和特征图，计算评价图像的类别概率；根据类别概率，得到评价图像的分类。
[0029]
与现有技术相比，本发明具有如下优点：
[0030]
通过对评价图像的精细分类，对评价图像进行精细分类后，具体进入人工审核的类别更加细化，大大减少了人工审核的工作量，可用于提升用户评价图像的审核效率和准确率。
[0031]
另一方面，本发明提供了一种评价图像分类装置，包括：
[0032]
获取模块，用于获取用户提交的评价图像；
[0033]
输入模块，用于将评价图像输入为图像阵列；
[0034]
提取模块，用于基于图像阵列对评价图像进行特征提取，得到特征图；
[0035]
计算模块，用于基于分类规则和特征图，计算评价图像的类别概率；
[0036]
分类模块，用于根据类别概率，得到评价图像的分类。
[0037]
再一方面，本发明提供了一种计算机设备，计算机设备包括存储器及处理器，存储器上存储有计算机程序，处理器执行计算机程序时实现如上述的方法。
[0038]
又一方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时可实现如上述的方法。
附图说明
[0039]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本发明一个实施例的评价图像分类方法的流程图。
[0041]
图2是本发明一个实施例的图像阵列的示意图；
[0042]
图3是本发明一个实施例的分类规则的示意图；
[0043]
图4是本发明另一个实施例的评价图像分类装置的示意图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
请参见图1，本发明一个实施例的评价图像分类方法，包括以下步骤：
[0046]
步骤101，获取用户提交的评价图像。
[0047]
在本步骤中，可以在用户提交评价后，获取其上传的评价图像，可以即时进行处理，也可以定时集中处理。
[0048]
步骤102，将评价图像输入为图像阵列。
[0049]
在本步骤中，将评价图像输入图像阵列，该图像阵列的其他位置可以是对比图片(如商品图像等)，特殊情况下也可以是全零矩阵图。
[0050]
步骤103，基于图像阵列对评价图像进行特征提取，得到特征图。
[0051]
在本步骤中，基于图像阵列提取评价图像的特征，可以为一个特征，也可以为多个特征，得到相应数量的特征图。
[0052]
步骤104，基于分类规则和特征图，计算评价图像的类别概率。
[0053]
在本发明实施例中，可以预置更加细化的分类规则，以实现评价图像的精确归类。如评价图像除了背景技术列举的不合格图片，还包括截图和实拍图。其中截图包含：同商品截图、与商品不相关截图；实拍图包含：实拍相关图、实拍不相关图。其中实拍相关图包含：上身-全身图、上身-半身图、非上身-完整商品图、非上身-局部图、其他类型-局部图；实拍不相关图包含：不相关图、带包装不相关图。可以据此形成分类规则，当然也可以有其他分类规则。
[0054]
在本步骤中，根据分类规则和特征图，计算评价图像落入每个类别的概率，即类别概率。
[0055]
步骤105，根据类别概率，得到评价图像的分类。
[0056]
在本步骤中，根据评价图像的类别概率，找出概率最大的那一个作为模型分类，即评价图像的分类，以实现对评价图像分层识别且分类粒度可灵活扩展的技术效果，可达到提升用户评价图像的审核效率和准确率的目的，在减少人工审核的浪费的同时净化电商用户评论环境。
[0057]
作为本发明实施例的另一种实施方式，基于以上评价图像分类方法的进一步改进，包括以下步骤：
[0058]
步骤101’，获取用户评价时提交的评价图像以及评价对应的商品图像。
[0059]
一般而言，评价图像过滤的目的是只想保留与商品相关的评价图像类别和其他不相关的评价图像类别中的部分子类别，这样人工审核图片的占比就可以降低，现有只识别色块，涉恐，涉暴，涉黄特征的审核方法无法满足实际要求。在本发明实施例中，将用户提交的评价图像和对应商品图像进行对比，可以更精确地识别出与商品相关的评价图像，人工审核是选取该类别可以大大减少人力浪费。
[0060]
步骤102’，将评价图像等比缩放填充到图像阵列的区块优先固定位置。
[0061]
在本步骤中，图像等比缩放是指不改变图像的宽高比例，根据需要对图像进行放大或缩小。在有商品图像的情况下，将商品图像等比缩放填充到图像阵列中区块优先固定位置以外的位置。
[0062]
在本发明实施例中，将评价图像输入为图像阵列，可以是利用图像识别算法将评价图像输入为图像矩阵m，具体地，图像矩阵m为分辨率height xwith x 3的rgb彩色图，m可被分割成x*y(x,y为》＝1的正整数)个等宽高区域，将评价图像与商品图分别等比缩放填充到m图像矩阵中，m矩阵被分割的区块优先固定位置填充comment img评价图像，剩余x*y-1个位置再优先填充商品图，商品图数量不够的区块再填默认全零矩阵图，特殊情如果商品图不存在时，剩余x*y-1个位置可全部填充默认全零矩阵图。当x＝2,y＝2时，输入图片矩阵的填充后示意图请参见图2，其中comment img为评价图像，p1，p2，p3为商品图或全零矩阵图。作为另一种实施方式，也可以把评价图像与商品图像通过通道进行拼接。
[0063]
步骤103’，基于图像cnn网络卷积层、激活层、池化层对评价图像进行特征提取，得到特征图。
[0064]
在本发明实施例中，cnn具体为卷积神经网络。
[0065]
在本步骤中，拼接后的评价图像经过图像cnn网络卷积层、激活层、池化层等进行特征提取，以供后面步骤使用。
[0066]
步骤104’，基于分类规则和特征图，计算评价图像的类别概率的步骤，包括：
[0067]
根据多层分类结构和分类概率模型，基于全连接层根据特征图计算评价图像的类别概率。
[0068]
在本发明实施例中，分类规则包括多层分类结构和分类概率模型。具体地，电商商品详情页用户上传的评价图像类型可以是开放的，作为其中一种实施方式，可结合评价图像片与商品的关系将评价图像分为【色块图，截图-同商品图，截图-与商品不相关截图，实拍-相关-上身-全身图，实拍-相关-上身-半身图，实拍-相关-非上身-商品完整图，实拍-相关-非上身-大部分局部图，实拍-相关-其他类型-小部分局部图，实拍-不相关-带包装，实拍-不相关-其他】10个类，对识别为【实拍-相关】部分类型的评价图像可进一步再对其进行【涉恐，涉暴，涉黄，其他敏感类型】识别。本发明采用深度学习图像识别算法对评价图像类型进行分层分类,具体的分层方式请参见图3。
[0069]
在多层分类结构下，利用分类概率模型，基于全连接层根据特征图计算评价图像的类别概率。例如可由全连接层输出图像矩阵m的分类feature map,最终供后面步骤的softmax输出该矩阵m归属的分类类别。
[0070]
其中，对于分类概率模型，可以采用与上述的图像阵列(拼接图)、特征图提取和全连接层输出分类概率，然后采用用交叉熵函数计算模型输出的概率与标注的距离。即，分类概率模型在模型训练时采用交叉熵损失函数计算多分类预测概率与标注间的距离。
[0071]
具体地，交叉熵损失函数为：
[0072]
或，
[0073][0074]
其中：p为模型预测结果；q为期望概率输出；x为分类类别标签；weight为图片类别样本占总量数据分布的概率。
[0075]
两种softmax损失函数设置的考量，其中包括模型训练采用交叉熵损失计算多分类预测概率与标注间的距离：
[0076][0077]
损失函数也有权重weight参数设置，若设置权重，则公示为：
[0078][0079]
步骤105’，基于softmax损失函数，根据所述类别概率，得到所述评价图像的分类。
[0080]
本发明实施例的实施方式，通过对算法输入进行区域分割，在有评价图像的情况下，优填充评价图像到指定的分割区域，其次在有商品图的情况下，依次填充剩下的商品图到指定的分割区域，再次如果分割区域没有被填满则填默认值。此外，根据场景特征对评价图像进行分层定义识别，只对需要在评论区展示的评价图像追加人工审核，可最大限度降低不合格评价图像的存留。
[0081]
请参见图4，本发明另一个实施例的一种评价图像分类装置，可用于实现上述方法实施例的相应步骤，包括：
[0082]
获取模块，用于获取用户提交的评价图像；
[0083]
输入模块，与获取模块相连接，用于将评价图像输入为图像阵列；
[0084]
提取模块，与输入模块相连接，用于基于图像阵列对评价图像进行特征提取，得到特征图；
[0085]
计算模块，与提取模块相连接，用于基于分类规则和特征图，计算评价图像的类别概率；
[0086]
分类模块，与计算模块相连接，用于根据类别概率，得到评价图像的分类。
[0087]
再一方面，本发明提供了一种计算机设备，计算机设备包括存储器及处理器，存储器上存储有计算机程序，处理器执行计算机程序时实现如上述的方法。
[0088]
又一方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时可实现如上述的方法。
[0089]
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业
技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0090]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0091]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。