图片分类方法、装置、计算机可读介质及电子设备与流程

本技术涉及计算机视觉，具体而言，涉及一种图片分类方法、装置、计算机可读介质及电子设备。

背景技术：

1、随着人工智能技术的发展，以图像分类为代表的计算机视觉任务越来越多地使用人工智能算法来解决。

2、目前通常采用常规的卷积神经网络进行图片分类，取得了一定的效果；然而，这种方式不能灵活地适应不规则或者复杂的形状，这导致了对不规则或者复杂形状的图片进行分类的准确性低。因此，目前亟需一种能够精准对不规则或者复杂形状的图片进行分类的方法。

技术实现思路

1、本技术的实施例提供了一种图片分类方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以提高图片分类的准确性。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供了一种图片分类方法，所述方法包括：提取与目标图片的各个图片块对应的浅层特征图，作为所述目标图片的浅层特征图集；基于所述浅层特征图集执行至少一次图特征提取操作，得到所述目标图片的深层语义特征图集，所述图特征提取操作包括：以所述浅层特征图集或者前一次执行图特征提取操作得到的特征图集作为所述图特征提取操作对应的节点集合；根据所述节点集合中节点之间的相似性构造边集合；根据所述节点集合和所述边集合构建所述图特征提取操作对应的图；对所述图中每个节点聚合邻居节点，并对聚合结果进行更新操作，以将所述聚合结果映射为所述节点对应的特征图；根据所述深层语义特征图集进行分类，得到所述目标图片的分类结果。

4、根据本技术实施例的一个方面，提供了一种图片分类装置，所述装置包括：浅层特征图提取单元，用于提取与目标图片的各个图片块对应的浅层特征图，作为所述目标图片的浅层特征图集；图特征提取单元，用于基于所述浅层特征图集执行至少一次图特征提取操作，得到所述目标图片的深层语义特征图集，所述图特征提取操作包括：以所述浅层特征图集或者前一次执行图特征提取操作得到的特征图集作为所述图特征提取操作对应的节点集合；根据所述节点集合中节点之间的相似性构造边集合；根据所述节点集合和所述边集合构建所述图特征提取操作对应的图；对所述图中每个节点聚合邻居节点，并对聚合结果进行更新操作，以将所述聚合结果映射为所述节点对应的特征图；分类单元，用于根据所述深层语义特征图集进行分类，得到所述目标图片的分类结果。

5、在本技术的一些实施例中，基于前述方案，所述装置还包括训练单元，在提取与目标图片的各个图片块对应的浅层特征图之前，所述训练单元用于：基于预先构建的训练数据集对教师网络进行训练，其中，所述教师网络的参数数量大于所述学生网络的参数数量；基于所述训练数据集对所述学生网络进行训练，并在训练过程中根据所述教师网络指导所述学生网络的训练。

6、在本技术的一些实施例中，基于前述方案，所述训练单元配置为：将预先构建的训练数据集的至少一部分输入至教师网络中，根据所述教师网络的输出结果确定交叉熵损失值，并根据所述交叉熵损失值更新所述教师网络的参数；将所述训练数据集的至少一部分分别输入至所述教师网络和所述学生网络中，根据所述教师网络的输出结果和每次图特征提取操作得到的特征图集中的至少一项以及所述学生网络的输出结果确定预定损失函数的损失值，并根据所述损失值更新所述学生网络的参数，所述预定损失函数包括交叉熵损失和以下中的至少一项：节点一致性损失、边一致性损失、蒸馏损失，所述交叉熵损失用于衡量所述学生网络的输出结果与所述训练数据集中样本数据的真实标签之前的差异，所述节点一致性损失用于衡量所述教师网络和所述学生网络在相对应的图特征提取操作中构建的图中相应节点之间的差异，所述边一致性损失用于衡量所述教师网络和所述学生网络在相对应的图特征提取操作中构建的图中相应节点的邻居节点之间的差异，所述蒸馏损失用于衡量所述教师网络和所述学生网络输出的样本数据属于各个类别的概率之间的差异。

7、在本技术的一些实施例中，基于前述方案，所述图特征提取单元配置为：确定所述节点集合中各对节点之间的相似度；针对每一节点，对各其他节点按照与所述节点之间的相似度从大到小进行排序，并在所述节点和排序在前的预定数目个其他节点之间构造边。

8、在本技术的一些实施例中，基于前述方案，所述图特征提取单元配置为：针对所述图中每个节点，确定与所述节点的差异最大的邻居节点，并将所述节点与所述邻居节点的特征图拼接，得到拼接结果；通过聚合函数对所述图中每个节点对应的拼接结果进行聚合，得到每个节点对应的聚合结果。

9、在本技术的一些实施例中，基于前述方案，所述图特征提取单元配置为：通过更新函数对聚合结果进行更新操作，并通过激活函数对更新结果进行映射处理，得到映射处理结果。

10、在本技术的一些实施例中，基于前述方案，所述图特征提取单元配置为：对所述映射处理结果进行非线性变换，得到第一非线性变换结果；将所述第一非线性变换结果进行卷积处理，并将卷积处理结果与所述节点对应的浅层特征图相加，得到所述节点对应的特征图。

11、在本技术的一些实施例中，基于前述方案，所述图特征提取单元配置为：对所述映射处理结果进行第一卷积处理，并将第一卷积处理结果与所述节点的特征图相加，得到所述节点对应的中间特征图；对所述中间特征图进行第二卷积处理，并对第二卷积处理结果进行非线性变换，得到第二非线性变换结果；对所述第二非线性变换结果进行第三卷积处理，并将第三卷积处理结果与所述节点对应的中间特征图相加，得到所述节点对应的特征图。

12、在本技术的一些实施例中，基于前述方案，所述分类单元配置为：对所述深层语义特征图集进行全局平均池化操作，得到全局平均池化结果；对所述全局平均池化结果进行卷积处理，并将卷积处理结果转换为所述目标图片属于各个类别的概率；根据所述目标图片属于各个类别的概率得到所述目标图片的分类结果。

13、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图片分类方法。

14、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图片分类方法。

15、根据本技术实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如上述实施例中所述的图片分类方法。

16、在本技术的一些实施例所提供的技术方案中，通过先与提取目标图片的各个图片块对应的浅层特征图，从而得到目标图片的浅层特征图集，然后，基于浅层特征图集执行一次或多次图特征提取操作，得到目标图片的深层语义特征图集，而图特征提取操作包括：确定图特征提取操作对应的节点集合；构造边集合；根据节点集合和边集合构建图特征提取操作对应的图；对图中每个节点聚合邻居节点，并对聚合结果进行更新操作，以将聚合结果映射为节点对应的特征图；最后，对通过图特征提取操作得到的深层语义特征图集进行分类便得到目标图片的分类结果。因此，本技术实施例的方案创造性地首次将图卷积神经网络应用于图片分类领域，避免了卷积神经网络将图片格点化带来的无法灵活地适应不规则或复杂的形状问题，若干次图特征提取操作提升了网络对各种形状的表征能力，从而提高了对图片分类，特别是对不规则或者复杂形状的图片进行分类的准确性。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。