图像分类模型的确定方法、图像分类方法、设备及产品与流程

本说明书实施例涉及人工智能，尤其涉及一种图像分类模型的确定方法、图像分类模型的确定装置、图像分类方法、图像分类装置、计算机可读存储介质、电子设备以及计算机程序产品。

背景技术：

1、目前基于预训练模型的计算机视觉(computer vision，cv)画像主要的一般流程为：上游进行模型预训练、下游任务进行数据标注，进一步地在标注的数据上利用预训练模型进行微调(fintune)。这种方案优点是能充分利用预训练模型开放世界的图像和文本表征能力进行数据标注，同时利用视觉编码器进行图像的表征，在下游任务上具有较强的fintune性能。但是相关技术提供的方案中，关于图像的表征是对于全图的表征，存在导致画像识别准确率偏低的问题。

2、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本说明书的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本说明书实施例提供一种图像分类模型的确定方法、图像分类模型的确定装置、图像分类方法、图像分类装置、计算机可读存储介质、电子设备以及计算机程序产品，能够提升画像识别的准确率。

2、本说明书实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本说明书的实践而习得。

3、根据本说明书实施例的一个方面，提供一种图像分类模型的确定方法，该方法包括：确定预训练后的图像分类模型；获取对应于分类任务的第一训练样本，其中上述分类任务分为用户画像的分类任务和场景画像的分类任务；通过上述第一训练样本微调上述预训练后的图像分类模型，得到用于执行上述分类任务的图像分类模型。

4、在示例性的实施例中，基于上述方案，在上述分类任务为用户画像的分类任务的情况下，上述获取对应于分类任务的第一训练样本，包括：对第一原始图像进行语义分割，并获取上述第一原始图像中的用户区域图像；根据上述用户区域图像确定上述第一训练样本。

5、在示例性的实施例中，基于上述方案，在上述分类任务为场景画像的分类任务的情况下，上述获取对应于分类任务的第一训练样本，包括：对第二原始图像进行语义分割，获取上述第二原始图像中的场景区域图像；根据上述场景区域图像确定上述第一训练样本；或，对关于同一场景的多帧第二原始样本分别进行语义分割，以获取上述多帧第二原始图像分别对应的场景区域；对上述多帧第二原始图像分别对应的场景区域进行重建处理；根据上述重建处理后得到的重建图像确定上述第一训练样本。

6、在示例性的实施例中，基于上述方案，上述预训练后的图像分类模型包括预训练后图像编码器和分类层；上述通过上述第一训练样本微调上述预训练后的图像分类模型，包括：将上述第一训练样本输入至上述预训练后的图像编码器进行编码处理，得到编码样本特征；通过上述分类层对上述编码样本特征进行前连接处理，得到关于上述第一训练样本的预测标签；将上述第一训练样本的预设标签和上述预测标签确定损失函数，并通过上述损失函数优化上述分类层的参数。

7、在示例性的实施例中，基于上述方案，上述确定预训练后的图像分类模型，包括：获取对应于上述分类任务的第二训练样本；通过上述第二训练样本预训练原始分类模型，得到上述预训练后的图像分类模型。

8、在示例性的实施例中，基于上述方案，上述获取对应于分类任务的第二训练样本，包括：在上述分类任务为用户画像的分类任务的情况下，对第三原始图像进行语义分割，获取上述第三原始图像中的用户区域图像；根据上述用户区域图像确定上述第二训练样本；在上述分类任务为场景画像的分类任务的情况下，对第四原始图像进行语义分割，获取上述第四原始图像中的用户区域图像；根据上述场景区域图像确定上述第二训练样本；或，对关于同一场景的多帧第四原始图像分别进行语义分割，以获取上述多帧第四原始图像分别对应的场景区域；对上述多帧第四原始图像分别对应的场景区域进行重建处理；根据上述重建处理后得到的重建图像确定上述第二训练样本。

9、在示例性的实施例中，基于上述方案，上述预训练后的图像分类模型包括对比图文预训练clip中的图像编码器和分类层。

10、根据本说明书实施例的另一个方面，提供一种图像分类方法，该方法包括：将待测图像输入至图像分类模型，以通过上述图像分类模型进行编码处理以及全连接处理；

11、根据上述图像分类模型的输出确定上述待测图像的分类结果；其中上述图像分类模型为根据上述方面提供的图像分类模型的确定方法所确定。

12、根据本说明书实施例的再一个方面，提供一种配置于第一网关的图像分类模型的确定装置，其中，该装置包括：确定模块、获取模块以及微调模块。

13、其中，上述确定模块，用于确定预训练后的图像分类模型；上述获取模块，用于获取对应于分类任务的第一训练样本，其中上述分类任务分为用户画像的分类任务和场景画像的分类任务；上述微调模块，用于通过上述第一训练样本微调上述预训练后的图像分类模型，得到用于执行上述分类任务的图像分类模型。。

14、根据本说明书实施例的又一个方面，提供一种图像分类装置，其中，上述装置包括：输入模块和确定模块。

15、其中，上述输入模块，用于将待测图像输入至图像分类模型，以通过上述图像分类模型进行编码处理以及全连接处理；以及，上述确定模块，用于确定模块，用于根据上述图像分类模型的输出确定上述待测图像的分类结果；其中上述图像分类模型为根据上述方面所提供的图像分类模型的确定方法所确定。

16、根据本说明书实施例的一个方面，提供一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其中，上述处理器执行上述方面任意一项所提供的图像分类模型的确定方法或图像分类方法。

17、根据本说明书实施例的另一个方面，提供一种计算机可读存储介质，上述计算机可读存储介质中存储有指令，当上述指令在计算机或处理器上运行时，使得上述计算机或处理器执行上述方面任意一项所提供的图像分类模型的确定方法或图像分类方法。

18、根据本说明书实施例的再一个方面，提供一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或处理器执行如上述方面任意一项所提供的图像分类模型的确定方法或图像分类方法。

19、本说明书实施例所提供的图像分类模型的确定方法、图像分类模型的确定装置、图像分类方法、图像分类装置、计算机可读存储介质、电子设备以及计算机程序产品，具备以下技术效果：

20、一方面确定预训练后的图像分类模型，另一方面获取对应于分类任务的第一训练样本，即分类任务不同用于微调的样本也不同，具体地上述分类任务分为用户画像的分类任务和场景画像的分类任务。进一步地通过上述第一训练样本微调上述预训练后的图像分类模型，得到用于执行上述分类任务的图像分类模型。本说明书实施例提供的微调过程所利用的样本为根据该模型的执行任务确定的，有利于针对性的提供关于画像的表征，从而有利于提升微调后模型的画像识别准确率。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。