一种图片分类方法、装置、电子设备及存储介质与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备，参阅图7所示，其为应用本技术实施例的一种电子设备的一个硬件组成结构示意图，电子设备700可以至少包括处理器701、以及存储器702。其中，存储器702存储有程序代码，当程序代码被处理器701执行时，使得处理器701执行上述任意一种图片分类的步骤。在一些可能的实施方式中，根据本技术的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的图片分类的步骤。例如，处理器可以执行如图2、图3、图4a中所示的步骤。下面参照图8来描述根据本技术的这种实施方式的计算装置800。如图8所示，计算装置800以通用计算装置的形式表现。计算装置800的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802、连接不同系统组件(包括存储单元802和处理单元801)的总线803。总线803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)8021和/或高速缓存存储器8022，还可以进一步包括只读存储器(rom)8023。存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算装置800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信，还可与一个或者多个使得对象能与计算装置800交互的设备通信，和/或与使得该计算装置800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口805进行。并且，计算装置800还可以通过网络适配器806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器806通过总线803与用于计算装置800的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。与上述方法实施例基于同一发明构思，本技术提供的图片分类的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的图片分类方法中的步骤，例如，电子设备可以执行如图2、图3、图4a中所示的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

背景技术：

1、随着人工智能技术的发展，可以通过对图像进行分类处理，实现图片发布前的内容审核，相关技术下，通常通过训练图片分类模型，实现对图片的分类处理。

2、目前，训练图片分类模型的过程中，在通过人工标注新样本图片的方式，获得训练样本后，基于训练样本对图片分类模型进行训练；进而借助于训练后的目标分类模型实现图片分类处理，其中，新样本图片可以是采集得到的。

3、然而，由于人工标注训练样本的效率很低，而且标注准确性较差，难以构建适配于图片分类需要的训练样本，故无法保障对于图片分类模型的训练效果；因此，极大地影响了图片分类的准确性，使得无法有效分类出包括违规内容的图片，造成包括违规内容的图片被发布的不良后果。

技术实现思路

1、本技术实施例提供一种图片分类方法、装置、电子设备及存储介质，用以提高图片分类的准确性。

2、第一方面，提出一种图片分类方法，包括：

3、获取待检测图片；

4、将所述待检测图片输入已训练的目标分类模型，获得图片分类结果；

5、其中，所述目标分类模型是通过分别对训练样本集，以及初始分类模型中的模型参数进行迭代更新获得的，在每轮迭代过程中，执行以下操作：

6、更新模型参数时，从所述训练样本集中获取各样本图片，并基于所述初始分类模型对应所述各样本图片分别输出的，在预设的各分类类别上的预测结果，确定所述各分类类别间的共存关系，及基于由所述共存关系更新后的每个样本图片的分类标签，与对应的预测结果间的分类差异，调整模型参数；

7、更新所述训练样本集时，基于各样本对象各自对应的更新后的分类标签，分别生成各提示文本，并采用所述各样本图片各自对应的图片特征和提示文本，分别引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片，以及将生成的新样本图片添加至所述训练样本集。

8、第二方面，提出一种图片分类装置，包括：

9、获取单元，用于获取待检测图片；

10、输入单元，用于将所述待检测图片输入已训练的目标分类模型，获得图片分类结果；

11、其中，所述目标分类模型是通过分别对训练样本集，以及初始分类模型中的模型参数进行迭代更新获得的，在每轮迭代过程中，执行以下操作：

12、更新模型参数时，从所述训练样本集中获取各样本图片，并基于所述初始分类模型对应所述各样本图片分别输出的，在预设的各分类类别上的预测结果，确定所述各分类类别间的共存关系，及基于由所述共存关系更新后的每个样本图片的分类标签，与对应的预测结果间的分类差异，调整模型参数；

13、更新所述训练样本集时，基于各样本对象各自对应的更新后的分类标签，分别生成各提示文本，并采用所述各样本图片各自对应的图片特征和提示文本，分别引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片，以及将生成的新样本图片添加至所述训练样本集。

14、可选的，所述图片分类装置中还包括训练单元，所述确定所述各分类类别间的共存关系时，所述训练单元用于：

15、基于所述各样本图片在每种分类类别上的预测结果，在所述各样本图片中，分别统计每种分类类别对应的内容的存在概率均值，以及分别统计同时包含每两种分类类别对应的内容的独立概率均值；

16、基于各存在概率均值和各独立概率均值，获得每两种分类类别共存时的条件概率值，并基于各条件概率值，确定所述各分类类别间的共存关系。

17、可选的，所述基于各条件概率值，确定所述各分类类别间的共存关系时，所述训练单元用于包括：

18、确定各条件概率值中取值超过第一设定阈值的目标条件概率值；

19、将每个目标条件概率值对应的两种分类类别，确定为存在共存关系。

20、可选的，基于所述共存关系更新每个样本图片的分类标签时，所述图片分类装置中的训练单元用于：

21、针对每个样本图片，分别执行以下操作：

22、针对预测结果超过第二设定阈值的每个候选分类类别，当确定当前匹配的分类类别范围中，存在与所述候选分类类别共存的其他分类类别时，将所述候选分类类别添加为所述样本图片的新标签分类类别；候选分类类别为预设的各分类类别中，除对应的分类标签中标注的分类类别外的其他分类类别；

23、基于确定的新标签分类类别，更新所述样本图片对应的分类标签。

24、可选的，采用所述各样本图片各自对应的图片特征和提示文本，分别引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片，包括：

25、获取所述初始分类模型中针对所述各样本图片分别提取的图片特征；

26、采用已训练的文本处理模型，基于所述各样本图片各自对应的提示文本，获得对应的各文本特征；

27、分别根据每个样本图片对应的隐层特征，引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片，其中，一个隐层特征由一个样本图片对应的图片特征和文本特征融合得到。

28、可选的，所述引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片时，所述训练单元用于：

29、将所述隐层特征，映射至已训练的目标扩散模型中的多头注意力层；

30、获取所述目标扩散模型在所述隐层特征的引导下，将预设的样本噪声图进行时间步常量次降噪后生成的新样本图片，其中，所述时间步常量对应所述样本噪声图设置，用于表征加噪获得所述样本噪声图时经过的时间步。

31、可选的，构建初始的训练样本集时，所述图片分类装置中的训练单元用于执行以下操作：

32、获取各样本图片，以及获取分别针对所述各样本图片标注的分类标签，其中，一个样本图片对应的分类标签中包括至少一种分类类别；

33、基于所述各样本图片和对应的分类标签，以及样本噪声图和对应的时间步常量，生成初始的训练样本集。

34、可选的，若样本图片的分类标签为基于内容类型确定的类别标签，所述预设的各分类类别为针对图片内容预设的各内容类别；则所述基于由所述共存关系更新后的每个样本图片的分类标签，与对应的预测结果间的分类差异，调整模型参数时，所述图片分类装置中的训练单元用于：

35、基于每个样本图片对应的更新后的分类标签，与所述初始分类模型基于对应的样本图片输出的，在预设的各内容类别上的预测结果，计算得到交叉熵损失值；

36、基于针对同时输入的各样本图片，分别计算得到的各交叉熵损失值，计算模型总损失，并基于所述模型总损失调整模型参数。

37、可选的，若样本图片的分类标签包括：基于内容类型确定的类别标签，以及用于指示样本图片是否为真实图片的判别标签；所述预设的各分类类别包括：针对图片内容预设的各内容类别，以及针对图片真实性判定预设的各判定类别；

38、则所述基于由所述共存关系更新后的每个样本图片的分类标签，与对应的预测结果间的分类差异，调整模型参数时，所述图片分类装置中的训练单元用于：

39、基于每个样本图片对应的更新后的类别标签，与在预设的各内容类别上的预测结果，计算得到第一损失值；以及，基于所述样本图片对应的判别标签，与在预设的各判定类别上的预测结果，计算得到第二损失值；

40、基于针对同时输入的各样本图片，分别计算得到的第一损失值和第二损失值，计算模型总损失，并基于所述模型总损失调整模型参数。

41、可选的，所述将生成的新样本图片添加至所述训练样本集，包括：

42、针对每个新样本图片，确定引导生成所述新样本图片的更新后的分类标签，并将所述更新后的分类标签作为所述新样本图片关联的分类标签；

43、将各新样本图片及关联的分类标签，添加至所述训练样本集。

44、第三方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

45、第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

46、第五方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法。

47、本技术有益效果如下：

48、本技术实施例中，本技术提出了一种图片分类方法、装置、电子设备及存储介质，本技术借助于训练得到目标分类模型，对待检测图片分类处理，得到分类结果；就使用的目标分类模型而言，在训练得到目标分类模型的过程中，同时进行训练样本集的迭代更新，以及模型参数的迭代更新；从迭代更新模型参数的角度而言，在每轮的迭代训练过程中，先从迭代更新的训练样本集中选取同时输入的各样本图片，再依据模型针对输入的各样本图片分别预测的，在预设的各分类类别上的预测结果，确定预设的各分类类别之间的共存关系，进而借助于确定的共存关系，对各样本图片各自对应的分类标签进行更新。

49、这样，能够在样本图片对应的分类标签中添加存在共存关系的分类类别，规避对样本图片标注的分类类别不全面时造成的不良影响，还能够降低构建训练样本集时的构建难度，为训练样本中的遗漏标注进行修正。而且，在模型参数调整的过程中，通过考量更新后的分类标签，与模型输出的预测结果之间的分类差异，为调参过程中提供了更多可考量的对比依据，有助于提高模型的训练效果。

50、从迭代更新训练样本集的角度来说，在针对分类模型进行训练的过程中，分别基于模型针对每个样本图片提取的图片特征，以及该样本图片对应的更新后的分类标签，引导已训练的目标扩散模型基于预设的样本噪声图生成对应的新样本图片，进而将生成的新样本图片添加至训练样本集中。

51、这样，能够引导已训练的目标扩散模型，基于样本噪声图生成包括指定分类类别的内容的新样本图片，相当于通过构建的约束条件引导了新样本图片的生成，有助于生成契合分类需要的训练样本，增加训练可依据的样本图片的数目。

52、另外，本技术提出的迭代更新模型参数和迭代更新训练样本集，可以理解为一个完整的闭环过程，图片的生成过程和图片的分类判别过程共同进行，目标扩散模型生成的新样本图片会应用于训练过程中，故图片数据的生成效果能够直接对分类模型的分类效果造成影响，而且，由于分类模型的预测结果会引导新样本图片的生成，故分类模型的分类效果也可以动态地对图片数据的生成造成影响；另外，基于本技术提出的训练方式，能够利用少量人为标注的样本数据，实现多标签的分类训练，借助于生成的高质量数据，实现对图片分类任务的性能提升，使得在训练过程中能够逐步提升模型的多标签分类能力。因而，训练后的目标分类模型，具有对待检测图片进行准确分类的能力，依据目标分类模型，能够对待检测图片进行有效的分类检测，保障了实际业务场景下对于待检测图片的分类效果。