图像处理模型的训练方法、装置及电子设备与流程

本公开涉及人工智能，尤其涉及深度学习、自然语言处理、计算机视觉等，尤其涉及一种图像处理模型的训练方法、装置及电子设备。

背景技术：

1、目前，模型特征蒸馏方法主要为，基于同构模型的特征蒸馏，该方案是通过最小化两个模型的特征之间的最小距离，来实现特征蒸馏的。但上述方案，主要适用于具有相同结构的模型之间的知识转移，难以适用于具有不同结构的模型之间的知识转移，特征蒸馏效率差。

技术实现思路

1、本公开提供了一种图像处理模型的训练方法、装置及电子设备。

2、根据本公开的一方面，提供了一种图像处理模型的训练方法，所述方法包括：获取教师图像处理模型、学生图像处理模型以及所述学生图像处理模型的训练数据集；所述教师图像处理模型与所述学生图像处理模型的结构不同；针对所述训练数据集中的每个样本图像，将所述样本图像分别输入所述教师图像处理模型和所述学生图像处理模型，获取所述教师图像处理模型输出的教师图像特征以及所述学生图像处理模型输出的学生图像特征；按照所述学生图像特征的特征空间，对所述教师图像特征进行特征转换处理，得到所述特征空间内的教师转换图像特征；根据所述教师转换图像特征以及所述学生图像特征，对所述学生图像处理模型进行训练处理，得到训练后的学生图像处理模型。

3、根据本公开的另一方面，提供了一种图像处理模型的训练装置，所述装置包括：第一获取模块，用于获取教师图像处理模型、学生图像处理模型以及所述学生图像处理模型的训练数据集；所述教师图像处理模型与所述学生图像处理模型的结构不同；第二获取模块，用于针对所述训练数据集中的每个样本图像，将所述样本图像分别输入所述教师图像处理模型和所述学生图像处理模型，获取所述教师图像处理模型输出的教师图像特征以及所述学生图像处理模型输出的学生图像特征；转换处理模块，用于按照所述学生图像特征的特征空间，对所述教师图像特征进行特征转换处理，得到所述特征空间内的教师转换图像特征；训练处理模块，用于根据所述教师转换图像特征以及所述学生图像特征，对所述学生图像处理模型进行训练处理，得到训练后的学生图像处理模型。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的图像处理模型的训练方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的图像处理模型的训练方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的图像处理模型的训练方法的步骤。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种图像处理模型的训练方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述教师图像特征的数量为一个；所述学生图像特征的数量为多个；多个所述学生图像特征的特征空间不同；所述教师转换图像特征的数量为多个；

3.根据权利要求1所述的方法，其中，所述教师转换图像特征的数量为一个；所述学生图像特征的数量为一个；所述根据所述教师转换图像特征以及所述学生图像特征，对所述学生图像处理模型进行训练处理，得到训练后的学生图像处理模型，包括：

4.根据权利要求1或2所述的方法，其中，所述教师转换图像特征的数量为多个；所述学生图像特征的数量为多个；所述根据所述教师转换图像特征以及所述学生图像特征，对所述学生图像处理模型进行训练处理，得到训练后的学生图像处理模型，包括：

5.根据权利要求1所述的方法，其中，所述训练数据集中还包括：所述样本图像对应的标签；

6.根据权利要求1或2所述的方法，其中，由特征适配器对所述教师图像特征进行特征转换处理；

7.根据权利要求1所述的方法，其中，所述教师图像处理模型根据多个任务下的训练数据集确定得到；

8.根据权利要求1所述的方法，其中，所述教师图像处理模型为transformer模型；所述学生图像处理模型为卷积神经网络cnn模型。

9.一种图像处理模型的训练装置，所述装置包括：

10.根据权利要求9所述的装置，其中，所述教师图像特征的数量为一个；所述学生图像特征的数量为多个；多个所述学生图像特征的特征空间不同；所述教师转换图像特征的数量为多个；所述转换处理模块具体用于，

11.根据权利要求9所述的装置，其中，所述教师转换图像特征的数量为一个；所述学生图像特征的数量为一个；所述训练处理模块具体用于，

12.根据权利要求9或10所述的装置，其中，所述教师转换图像特征的数量为多个；所述学生图像特征的数量为多个；所述训练处理模块具体用于，

13.根据权利要求9所述的装置，其中，所述训练数据集中还包括：所述样本图像对应的标签；所述装置还包括：微调处理模块，用于根据所述训练数据集中的样本图像以及所述样本图像对应的标签，对所述训练后的学生图像处理模型进行微调处理。

14.根据权利要求9或10所述的装置，其中，由特征适配器对所述教师图像特征进行特征转换处理；

15.根据权利要求9所述的装置，其中，所述教师图像处理模型根据多个任务下的训练数据集确定得到；

16.根据权利要求9所述的装置，其中，所述教师图像处理模型为transformer模型；所述学生图像处理模型为卷积神经网络cnn模型。

17.一种电子设备，包括：

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至8中任一项所述的图像处理模型的训练方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任一项所述的图像处理模型的训练方法。

技术总结
本公开提供了图像处理模型的训练方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、计算机视觉等技术领域。具体实现方案为：获取结构不同的教师图像处理模型以及学生图像处理模型，以及学生图像处理模型的训练数据集；针对训练数据集中的每个样本图像，将样本图像分别输入教师图像处理模型和学生图像处理模型，获取教师图像特征以及学生图像特征；按照学生图像特征的特征空间，对教师图像特征进行特征转换处理，并根据转换得到的教师转换图像特征以及学生图像特征，对学生图像处理模型进行训练处理，从而能够适用于具有不同结构的模型之间的知识转移，提高训练得到的学生图像处理模型的图像处理准确度。

技术研发人员：舒茂
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/3/24