图像分类模型的训练方法、装置、介质以及电子设备与流程
本公开涉及计算机视觉技术，尤其是涉及一种图像分类模型的训练方法、图像分类模型的训练装置、存储介质以及电子设备。
背景技术：
在一些计算机视觉应用中，需要使用图像分类模型对图像进行分类处理。在对图像分类模型进行训练的过程中，往往需要使用大量的包含有多个类别的目标对象的图像样本，且各类别的图像样本的数量通常应较为均衡。然而，在实际应用中，由于一些场景下的图像样本的采集较为困难等因素，有时会存在部分类别或者所有类别的图像样本的数量较少的现象。图像样本的数量较少会影响图像分类模型的训练效果，从而会影响图像分类模型分类的准确性。
另外，对数量众多的图像样本分别进行标注，并利用标注后的图像样本对图像分类模型进行训练，往往需要耗费大量的人力成本、时间成本以及计算资源。
如何在图像样本的数量较少的情况下，使图像分类模型获得较好的训练效果，从而提高图像分类模型的分类处理准确性，是一个值得关注的技术问题。
技术实现要素：
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像分类模型的训练方法、装置、存储介质以及电子设备。
根据本公开实施例的一方面，提供了一种图像分类模型的训练方法，该方法包括：利用图像分类模型中的图像特征提取器，对n个类别的支持图像样本分别进行图像特征提取处理，获得n个类别各自对应的第一图像特征；其中，所述n为大于1的整数；获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征，其中，任一参考图像样本对中的两个参考图像样本的类别相同；根据所述n个类别各自对应的第一图像特征以及所述多个差异化特征，形成所述n个类别的生成特征；根据所述n个类别各自对应的第一图像特征以及所述n个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
根据本公开实施例的再一方面，提供一种图像分类模型的训练装置，该装置包括：特征提取模块，用于利用图像分类模型中的图像特征提取器，对n个类别的支持图像样本分别进行图像特征提取处理，获得n个类别各自对应的第一图像特征；其中，所述n为大于1的整数；获取差异化特征模块，用于获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征，其中，任一参考图像样本对中的两个参考图像样本的类别相同；形成生成特征模块，用于根据所述特征提取模块获得的n个类别各自对应的第一图像特征以及所述获取差异化特征模块获得的多个差异化特征，形成所述n个类别的生成特征；设置元分类器参数模块，用于根据所述特征提取模块获得的n个类别各自对应的第一图像特征以及所述形成生成特征模块行车的n个类别的生成特征，设置所述图像分类模型中的元分类器的参数。
根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。
根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
基于本公开上述实施例提供的一种图像分类模型的训练方法和装置，通过获取各参考图像样本对的差异化特征，有利于从参考图像样本的图像特征中剥离出与参考图像样本所属类别无关的特征，且从所有参考图像样本对中获得的差异化特征通常会呈现出多样性，这样，通过利用多个差异化特征与支持图像样本的图像特征分别形成生成特征，有利于使生成特征呈现多样化，而呈现多样化的生成特征其实相当于多样化的支持图像样本的图像特征，从而相当于使较少数量的支持图像样本呈现出多样化；通过利用生成特征和支持图像样本的第一图像特征设置元分类器的参数，有利于避免相应类别的支持图像样本的数量较少且不具备多样性这一特点，对元分类器的参数设置的影响；由于本公开中的差异化特征是通过对真实的参考图像样本的图像特征进行挖掘获得的，因此，利用差异化特征和支持图像样本的第一图像特征形成的生成特征，有利于使生成特征符合相应类别的支持图像样本的真实特征分布。由此可知，本公开提供的技术方案有利于使较少数量的支持图像样本呈现出图像样本多样性，从而有利于提高图像分类模型的训练效果，有利于提高图像分类模型的鲁棒性，进而有利于提高图像分类模型的分类处理准确性。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的场景示意图；
图2为本公开的图像分类模型的训练方法一个实施例的流程图；
图3为本公开的获得各参考图像样本对的差异化特征一个实施例的流程图；
图4为本公开的获得生成特征的一个实施例的流程图；
图5为本公开的设置图像分类模型中的元分类器的参数一实施例的流程图；
图6为本公开的图像特征提取器和特征生成器的训练过程一实施例的流程图；
图7为本公开的图像特征提取器和神经网络的训练过程的另一个实施例的流程图；
图8为本公开的图像分类模型的训练方法一个实施例的示意图；
图9为本公开的生成特征的过程一个实施例的示意图；
图10为本公开的图像分类模型的训练装置一个实施例的结构示意图；
图11是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，为了避免用于训练图像分类模型的部分类别或者所有类别的图像样本数量较少对图像分类模型训练效果的影响，相关技术利用已有的图像样本生成新的图像样本。例如，通过利用噪声生成新的图像样本。再例如，通过利用人为制定的规则生成新的图像样本。然而，利用这些方式生成的新的图像样本不但很难呈现出图像样本的多样性，而且，还往往会存在新的图像样本的特征分布不符合真实样本的特征分布的问题。利用这些方式生成的新的图像样本对图像分类模型进行训练，通常会降低图像分类模型的训练效果，进而降低图像分类模型的分类处理准确性。
示例性概述
利用本公开提供的图像分类模型的训练技术训练获得的图像分类模型可以适用于包含多分类任务的应用场景中，例如，训练获得的图像分类模型可以适用于智能驾驶、避障导航、智能机械手臂、视频监控以及目标对象跟踪等多种应用场景中。本公开训练图像分类模型的一个例子如图1所示。
图1中，假定当前对图像分类模型100的训练目标为：在少样本的情况下，使图像分类模型100能够实现多分类任务。本公开中的多分类任务可以称为n分类任务。其中的n为大于1的整数。
假定本公开的训练集合101中的所有图像样本的类别多于n种，例如，共有n种类别的图像样本，其中的n可以为远大于大于n的整数。例如，在n为5的情况下，n可以100。上述n种类别可以表示为：类别x1、类别x2、……、类别xn、类别xn+1、类别xn+2、……以及类别xn。
本公开在每次训练迭代过程中，都会从训练集合101中选取n种类别的图像样本(如随机选取n种类别的图像样本)，并将其作为支持图像样本，并从训练集合101选取多种类别的参考图像样本，每两个相同类别的参考图样本形成一个参考图样本对，本公开可以从参考图像样本对中挖掘出与参考图像样本对的具体类别相分离的特征。本公开可以将挖掘出的特征分别与n个支持图像样本的特征相结合，并利用相结合形成的特征来设置图像分类模型100的参数(如图像分类模型100中的元分类器的特征向量矩阵)。另外，本公开还可以在每次训练迭代过程中，从训练集合101中选取多种类别的图像样本，并将其作为查询样本，并利用查询样本设置图像分类模型100的参数(如设置图像分类模型100中的图像特征提取器的参数和元分类器的温度参数)以及特征生成器的参数。
由于在每次迭代训练过程中，从训练集合101中选取的支持图像样本的类别通常并不相同，如在一次迭代训练过程从n种类别中随机选取n种类别，往往会与其他迭代训练过程中采用随机选取方式选取出的n种类别不相同，因此，本公开对图像分类模型100的训练过程相当于基于少样本的训练过程。
在对图像分类模型100成功训练后，可以利用该图像分类模型100实现多分类任务，且多分类任务的类别并不限于训练时的n，例如，可以实现n-1或n-2分类任务，也可以实现n+1或n+2分类任务等。通常情况下，成功训练后的图像分类模型100实现的多分类任务的类别最好不超过训练时的n。
一个例子，如果用户希望利用该图像分类模型100对类别xn+1、类别xn+2、……以及类别xn+n的图像进行图像分类处理，则可以将一个类别xn+1的图像样本、一个类别xn+2的图像样本、……、一个类别xn+n的图像样本作为支持图像样本，并将各支持图像样本以及多个被作为参考图像样本的图像样本(被作为参考图像样的图像样本可以是训练集合101中的多种类型的图像样本，也可以是用户提供的图像样本)，分别提供给图像分类模型100，图像分类模型100以及特征生成器在对输入的支持图像样本和参考图像样本进行处理的过程中，会设置其元分类器的参数(如特征向量矩阵)。在设置了元分类器的参数之后，该图像分类模型100就可以实现对类别xn+1、类别xn+2、……以及类别xn+n的图像进行图像分类处理了。
示例性方法
图2为本公开的图像分类模型的训练方法一个实施例的流程图。如图2所示的方法包括：s200、s201、s202以及s203。下面对各步骤分别进行说明。
s200、利用图像分类模型中的图像特征提取器，对n个类别的支持图像样本分别进行图像特征提取处理，获得n个类别各自对应的第一图像特征。其中的n为大于1的整数。
本公开中的图像分类模型可以称为多分类任务的图像分类模型。本公开成功训练后的图像分类模型所能够识别的类别种类可以与每次训练迭代过程中所使用的支持图像样本的类别数量(即n)无关。然而，建议成功训练后的图像分类模型所能够识别的类别种类不大于每次训练迭代过程中所使用的支持图像样本的类别数量(即n)。在训练图像分类模型的过程中，本公开是按照n分类任务对图像分类模型进行训练的。本公开中的n分类任务可以是指识别出n个类别的任务。例如，能够识别出猫和狗这两个类别的任务为二分类任务，此时n为2。再例如，能够识别出树、行人、电线杆、车辆和交通标志这五个类别的任务为五分类任务，此时n为5。
本公开中的图像分类模型包括：图像特征提取器以及元分类器。其中的图像特征提取器用于提取图像分类模型的输入图像的图像特征。图像特征提取器可以采用卷积神经网络的结构，图像特征提取器可以认为是一个编码器。其中的元分类器可以认为是一个解码器。本公开训练图像分类模型的目的可以包括：使图像特征提取器和元分类器均具有合适的参数。成功训练后的图像分类模型在实际使用过程中，输入的待分类图像经由图像特征提取器进行特征提取，图像特征提取器提取出的特征被提供给元分类器，经由元分类器对提取出的特征进行分类处理，从而根据元分类器的输出信息，可以确定出当前输入的待分类图像的类别。
本公开对支持图像样本的类别不作限定，然而，在每次迭代训练过程中，选取的支持图像样本的类别的数量必须相同，如均为n。本公开在一次迭代训练过程中，所使用的n个类别的支持图像样本的数量通常为n，且在一次迭代训练过程中，所使用的所有支持图像样本的类别可以与另一次迭代训练过程中所使用的所有支持图像样本的类别完全不相同，也可以存在部分相同。在一次迭代训练过程中，如果获得的支持图像样本的数量为n，则本公开获得的第一图像特征的数量也为n。一第一图像特征的类别即为该第一图像特征所对应的支持图像样本的类别。本公开不排除在一次迭代训练过程中，所使用的n个类别的支持图像样本的数量大于n的情况。n个类别各自对应的第一图像特征可以称为n个类别的第一图像特征。一类别对应的第一图像特征可以称为该类别的第一图像特征。
本公开可以将n个类别的支持图像样本依次提供给图像特征提取器，并根据图像特征提取器的输出，获得n个类别的支持图像样本各自的图像特征。为了便于描述，本公开将支持图像样本的图像特征称为第一图像特征。第一图像特征可以为一维特征向量(vector)的形式。
本公开中的所有支持图像样本可以是从训练集合中随机选取的，例如，训练集合中包括100种类别的图像样本，在一次迭代训练过程中，本公开可以从训练集合中的100种类别下的图像样本中分别随机选取n种类别，并从这n种类别下分别选取一个图像样本，从而获得n个类别的支持图像样本。
s201、获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征。
本公开中的参考图像样本对是指由两个类别相同的参考图像样本形成的一对参考图像样本。也就是说，本公开中的每一个参考图像样本对均包括两个参考图像样本，且这两个参考图像样本的类别相同。
本公开中的参考图像样本的类别的数量通常大于n。本公开对多个参考图像样本对的数量以及类别数量不作限定。例如，在一次迭代训练过程中，所使用的所有参考图像样本对的数量通常不小于n。
本公开可以从每一个参考图像样本对中分别获得一个差异化特征。本公开中的差异化特征是指用于表征一个参考图像样本对中的两个参考图像样本中的相同类别的目标对象的差别的特征，例如，参考图像样本a与参考图像样本b为一个参考图像样本对，本公开可以根据参考图像样本a的图像特征和参考图像样本b的图像特征，获得该参考图像样本对的差异化特征。本公开获得的差异化特征可以认为是从两个参考图像样本的图像特征中剥离出的与参考图像样本所属类别无关的特征。在多个参考图像样本对的类别与支持图像样本的n个类别均不相同，且任意两个参考图像样本对的类别也不相同的情况下，本公开获得的多个差异化特征往往可以呈现出尽可能多的多样性。例如，本公开中的差异化特征可以通过一维特征向量的形式来表示。
本公开中的所有参考图像样本可以是从训练集合中随机选取的，例如，训练集合包括多种类别的图像样本，在一次迭代训练过程中，本公开可以从训练集合所包括的所有类别中随机选取多种类别，并从随机选取的每一种类别下的图像样本中随机选取偶数个图像样本，从而每两个相同类型的图像样本形成一个参考图像样本对。
需要特别说明的是，本公开不限定s200和s201的先后执行顺序。例如，可以先执行s200，再执行s201。再例如，可以先执行s201，再执行s200。
s202、根据n个类别各自对应的第一图像特征以及多个差异化特征，形成n个类别的生成特征。即每一个生成特征对应一个类别，每一个第一图像特征对应一个类别。
本公开中的每一个生成特征均是利用一个第一图像特征和一个差异化特征形成的。例如，对一个第一图像特征和一个差异化特征进行相应的运算处理，获得一个生成特征。利用第i个类别的第一图像特征和任一个差异化特征形成的生成特征即为第i个类别的生成特征。针对任一类别而言，本公开获得的该类别的生成特征的数量通常与参考图像样本对的数量相同。本公开获得的所有生成特征的数量通常与n以及参考图像样本对的数量相关。例如，本公开获得的所有生成特征的数量通常为n与参考图像样本对的数量的乘积。本公开中的生成特征可以通过一维特征向量的形式来表示。
s203、根据n个类别各自对应的第一图像特征以及n个类别的生成特征，设置图像分类模型中的元分类器的参数。
本公开中的元分类器的参数通常为特征向量矩阵形式。例如，元分类器的参数可以包括n×s的特征向量矩阵，其中的n表示一次迭代训练过程中所使用的支持图像样本的类别的数量，其中的s表示图像特征向量的维度。例如，s可以为1024等。在特征向量矩阵包括n行s列的情况下，特征向量矩阵中的第i行图像特征向量可以是由第i个类别的第一图像特征和第i个类别的生成特征形成的。例如，对第i个类别的第一图像特征和第i个类别的生成特征进行相应的运算处理，获得第i行图像特征向量。
本公开通过获取各参考图像样本对的差异化特征，有利于从参考图像样本的图像特征中剥离出与参考图像样本所属类别无关的特征，且从所有参考图像样本对中获得的差异化特征通常会呈现出多样性，这样，通过利用多个差异化特征与支持图像样本的图像特征分别形成生成特征，有利于使生成特征呈现多样化，而呈现多样化的生成特征其实相当于多样化的支持图像样本的图像特征，从而相当于使较少数量的支持图像样本呈现出多样化；通过利用生成特征和支持图像样本的第一图像特征设置元分类器的参数，有利于避免相应类别的支持图像样本的数量较少且不具备多样性这一特点，对元分类器的参数设置的影响；由于本公开中的差异化特征是通过对真实的参考图像样本的图像特征进行挖掘获得的，因此，利用差异化特征和支持图像样本的第一图像特征形成的生成特征，有利于使生成特征符合相应类别的支持图像样本的真实特征分布。由此可知，本公开提供的技术方案有利于使较少数量的支持图像样本呈现出图像样本多样性，从而有利于提高图像分类模型的训练效果，有利于提高图像分类模型的鲁棒性，进而有利于提高图像分类模型的分类处理准确性。
在一个可选示例中，本公开中的多个参考图像样本对中的至少两个参考图像样本对的类别不相同，也就是说，本公开中的所有参考图像样本对的类别不是同一类别。例如，在一次迭代训练过程中，本公开所使用的所有参考图像样本对的类别的数量可以不小于n。在一次迭代训练过程中，本公开中的多个参考图像样本对中的至少一个参考图像样本对的类别与支持图像样本的n个类别均不相同。例如，在一次迭代训练过程中，所使用的所有参考图像样本对的类别最好均不属于支持图像样本的n个类别，且所有参考图像样本对中的任意两个参考图像样本对的类别最好均不相同。再例如，在一次迭代训练过程中，所使用的所有参考图像样本的类别中的一部分类别可以属于支持图像样本的n个类别，而另一部分类别应不属于支持图像样本n个类别。本公开不建议在一次迭代训练过程中，所使用的所有参考图像样本的类别均属于支持图像样本的n个类别。
本公开通过使多个参考图像样本对中的至少两个参考图像样本对的类别不相同，并使参考图像样本对中的至少一个参考图像样本对的类别与支持图像样本的n个类别均不相同，在有利于避免利用较少数量的支持图像样本对图像分类模型进行训练所带来影响的同时，有利于使从参考图像样本对中获得的差异化特征具有多样化的特点，从而有利于使生成特征呈现多样化。
在一个可选示例中，本公开可以利用图像特征的差值运算方式，获得各参考图像样本对的差异化特征。本公开获得各参考图像样本对的差异化特征的一个例子如图3所示。
图3中，s300、利用图像特征提取器，对多个参考图像样本对中的各参考图像样本分别进行图像特征提取处理，获得各参考图像样本的第二图像特征。
可选的，假定多个参考图像样本对的数量为m，则m个参考图像样本对包括2m个参考图像样本，在通常情况下，2m个参考图像样本中不存在两个参考图像样本相同的情况，而且，也不会存在一个参考图像样本对中的两个参考图像样本相同的情况。
本公开可以将2m个参考图像样本依次提供给图像特征提取器，并根据图像特征提取器的输出，获得2m个参考图像样本各自的图像特征。为便于描述，本公开将参考图像样本的图像特征称为第二图像特征。本公开中的第二图像特征可以为一维特征向量的形式。例如，第二图像特征为包含有1024个元素的一维特征向量。另外，图像特征提取器所执行的图像特征提取处理通常包括特征的归一化(normalize)处理(也可以称为规范化处理)。
s301、对各参考图像样本的第二图像特征分别进行第一映射处理，获得各参考图像样本的第一映射图像特征。
可选的，本公开可以利用预设映射函数对每一个第二图像特征分别进行映射处理，从而获得每一个参考图像样本的映射图像特征。为了方便描述，本公开将本步骤使用的预设映射函数称为第一预设映射函数，将使用第一预设映射函数实现的映射处理称为第一映射处理，将参考图像样本的映射图像特征称为第一映射图像特征。
本公开利用第一预设映射函数对第二图像特征进行第一映射处理，可以认为是将第二图像特征映射到一个隐空间(latentspace)中。本公开中的第一映射图像特征可以为一维特征向量。例如，第一映射图像特征可以为包含有多于1024个元素的图像特征向量。本公开中的第一映射处理可以认为是一个升维的映射处理过程。即第一映射图像特征包含的元素数量多于第二图像特征包含的元素数量。
s302、对各参考图像样本对中的两个参考图像样本的第一映射图像特征进行差值运算，获得各参考图像样本对的差异化特征。
可选的，对任一参考图像样本对中的两个参考图像样本的第一映射图像特征进行差值运算，可以认为是计算两个第一映射图像特征之间的偏移。例如，本公开可以将一个参考图像样本对中的两个参考图像样本的第一映射图像特征进行逐元素相减，获得该参考图像样本对的差异化特征。
本公开通过对参考图像样本对中的两个参考图像样本各自对应的第二图像特征分别进行第一映射处理，有利于促使第二图像特征中的类别信息与偏移信息(bias)解耦合，从而将第一映射处理后获得的两个第一映射图像特征进行差值运算，有利于抑制两个第二图像特征中的类别信息，并获得与类别相脱离的差异化特征。
在一个可选示例中，本公开的多个参考图像样本对可以被划分为n个组，每一个组对应n个类别中的一个类别，且n个组中的至少两个组各自包含的参考图像样本至少部分不相同。例如，本公开中的多个参考图像样本对的数量为m×n(m为大于1的整数，如m为32)，m×n(如32×5，其中的5表示5分类任务)个参考图像样本对被划分为n个组，一个组包括m个参考图像样本对，且任意两个组所包含的所有参考图像样本中不存在相同的参考图像样本。在上述情况下，本公开在利用n个类别中的其中一个类别的第一图像特征和参考图像样本对的差异化特征形成生成特征时，应利用该类别的第一图像特征与该类别对应的组中的每一个参考图像样本对(如32个参考图像样本对)的差异化特征，分别形成该类别的一个生成特征，且一个类别的生成特征的数量为该类别所对应的组中的参考图像样本对的数量。
本公开通过将参考图像样本对划分为多个组，并使用第一图像特征和相应组中的参考图像样本对的差异化特征，形成生成特征，有利于进一步促使生成特征呈现多样化。
在一个可选示例中，本公开中的所有参考图像样本对(如32个参考图像样本对)属于一个组，且n个类别中的每一个类别均对应该组。在该情况下，本公开在利用n个类别中的其中任一个类别的第一图像特征和参考图像样本对的差异化特征形成生成特征时，均是利用该类别的第一图像特征与所有参考图像样本对(如32个参考图像样本对)的差异化特征，分别形成该类别的生成特征，如每一个类别均有32个生成特征。
本公开通过使用任一第一图像特征和所有参考图像样本对的差异化特征，分别形成生成特征，在能够使生成特征呈现多样化的同时，有利于简化图像分类模型的训练过程。
在一个可选示例中，本公开可以利用图像特征的相加运算的方式，获得n个类别的生成特征。无论是将所有参考图像样本对分成n个组，还是将所有参考图像样本对作为一个组，本公开获得生成特征的一个例子如图4所示。
图4中，s400、对n个类别各自对应的第一图像特征分别进行第一映射处理，获得n个类别的第二映射图像特征。
可选的，本公开可以利用上述第一预设映射函数对每一个第一图像特征进行映射处理，从而获得每一个支持图像样本各自对应的映射图像特征。为方便描述，本公开将支持图像样本的映射图像特征称为第二映射图像特征。
本公开利用第一预设映射函数对第一图像特征进行第一映射处理，可以认为是将第一图像特征映射到一个隐空间(latentspace)中。本公开中的第二映射图像特征可以为一维特征向量。例如，第二映射图像特征可以为包含有多于1024个元素的图像特征向量。本公开中的第一映射处理可以认为是一个升维的映射处理过程。即第二映射图像特征包含的元素数量多于第一图像特征包含的元素数量。
s401、针对n个类别中的任一类别，将该类别的第二映射图像特征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获得该类别的多个第三图像特征。
可选的，第二映射图像特征所包含的元素数量与差异化特征所包含的元素数量相同。本公开对任一类别对应的第二映射图像特征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，可以认为是在第二映射图像特征上分别叠加多个差异化特征。例如，假定一个组(如所有参考图像样本对被划分为n个组中的其中一个组，再如所有参考图像样本对属于一个组)中包括32个差异化特征，对于任一类别下的任一第二映射图像特征而言，本公开可以将该第二映射图像特征与该组中的第一个差异化特征进行逐元素相加，从而获得该组中的第一个第三图像特征；将该第二映射图像特征与该组中的第二个差异化特征进行逐元素相加，从而获得该组中的第二个第三图像特征，……，以此类推，将该第二映射图像特征与该组中的第32个差异化特征进行逐元素相加，从而获得该组中的第32个第三图像特征。在将该类别下的每一个第二映射图像特征分别进行上述处理后，本公开获得该类别的所有第三图像特征。在将每一个类别下的每一个第二映射图像特征分别进行上述处理后，本公开获得n个类别的所有第三图像特征。
s402、针对n个类别中的任一类别，对上述获得的多个第三图像特征分别进行第二映射处理，获得相应类别的多个生成特征。
可选的，本公开可以利用预设映射函数对每一个第三图像特征分别进行映射处理，从而获得每一个第三图像特征对应的映射图像特征。为了方便描述，本公开将本步骤使用的预设映射函数称为第二预设映射函数，将使用第二预设映射函数实现的映射处理称为第二映射处理，将第三图像特征对应的映射图像特征称为生成特征。本公开中的第一预设映射函数与第二预设映射函数不相同。
本公开利用第二预设映射函数对第三图像特征进行第二映射处理，可以认为是将第三图像特征从隐空间释放出来。本公开中的生成特征可以为一维特征向量。本公开中的第二映射处理可以认为是一个降维的映射处理过程。即生成特征包含的元素数量少于第三图像特征包含的元素数量。本公开中的生成特征所包含的元素数量与第一图像特征所包含的元素数量相同。例如，生成特征为包含有1024个元素的一维特征向量。
本公开通过对n个类别各自对应的第一图像特征进行第一映射处理，有利于促使第一图像特征中的类别信息与偏移信息(bias)解耦合，从而通过将第一映射处理后获得的第三图像特征与各参考图像样本对的差异化特征分别进行相加运算，有利于促使差异化特征与第三图像特征充分融合。
在一个可选示例中，本公开设置图像分类模型中的元分类器的参数的一个例子如图5所示。
图5中，s500、针对n个类别中的任一类别，对该类别的第一图像特征和该类别的多个生成特征进行融合处理。
可选的，本公开可以通过对第i个类别的第一图像特征和第i个类别的所有生成特征进行平均计算处理，实现第i个类别的第一图像特征和第i个类别的所有生成特征(如32个生成特征)的融合处理。例如，本公开可以对第i个类别的第一图像特征和第i个类别的多个生成特征进行平均池化处理(avg.pool)，平均池化处理结果即为融合处理结果。第i个类别的融合处理结果可以为一维特征向量的形式。该一维特征向量所包含的元素数量可以与第一图像特征和生成特征所包含的元素数量相同。例如，融合处理结果可以为包含有1024个元素的一维特征向量。本公开通过利用平均池化处理实现第i个类别的第一图像特征和第i个类别的多个生成特征的融合，有利于便捷的实现融合处理。
s501、根据n个类别的融合处理结果，设置元分类器的参数。
可选的，本公开可以进一步对每一个类别的融合处理结果进行变换整合处理，以便于使融合处理结果符合一定的要求(如元分类器对参数的要求等)。例如，本公开可以对n个类别的平均池化处理结果分别进行归一化(normalize)处理，每一个类别的归一化处理结果均为一个一维特征向量，且归一化处理前的一维特征向量和归一化处理后的一维特征向量所包含的元素数量通常相同。例如，归一化处理前的一维特征向量和归一化处理后的一维特征向量均为包含有1024个元素的一维特征向量。
可选的，本公开可以将n个类别的归一化处理结果拼接成特征向量矩阵，例如，特征向量矩阵的行数为n，本公开可以将第1个类别的归一化处理结果作为特征向量矩阵的第1行，将第2个类别的归一化处理结果作为特征向量矩阵的第2行，……，以此类推，将第n个类别的归一化处理结果作为特征向量矩阵的第n行，从而形成特征向量矩阵。该特征向量矩阵即为元分类器的矩阵w。
本公开通过将一个类别下的第一图像特征和该类别下的所有生成特征进行融合处理，有利于融合处理结合表现出图像特征的多样化，从而有利于提高图像分类模型的训练效果，并有利于提高图像分类模型的鲁棒性。
上述实施例主要用于描述在训练图像分类模型的过程中，对元分类器的参数进行设置的过程。本公开在训练图像分类模型时，还应对图像分类模型中的图像特征提取器的参数不断进行调整，最终使图像特征提取器提取出的图像特征能够形成合适的生成特征，以便于为元分类器设置合适的参数。
在一个可选示例中，本公开在训练图像分类模型的过程中，对图像特征提取器和特征生成器进行训练的一个例子如图6所示。
s600、获取多个查询图像样本。
可选的，在一次迭代训练过程中，本公开所获取的所有查询样本的类别均应属于本次迭代训练过程所使用的支持图像样本的n个类别，且在一次迭代训练过程中，本公开获取的所有查询图像样本的类别最好完全覆盖n个类别。本公开可以通过随机选取的方式，从训练集合中选取多个查询图像样本。本公开中的每一个查询图像样本均具有类别标注。
s601、利用图像特征提取器，对上述获取的多个查询图像样本分别进行图像特征提取处理，获得各查询图像样本的第四图像特征。
可选的，本公开可以将获取到的所有查询图像样本依次提供给图像特征提取器，并根据图像特征提取器的输出，获得各查询图像样本各自的图像特征。为便于描述，本公开将查询图像样本的图像特征称为第四图像特征。本公开中的第四图像特征可以为一维特征向量的形式。例如，第四图像特征可以为包含有1024个元素的一维特征向量。
s602、利用元分类器，对多个查询图像样本的第四图像特征分别进行分类预测处理。
可选的，本公开可以利用元分类器的参数与每一个查询图像样本的第四图像特征进行相应的运算处理，从而获得分类预测处理结果。例如，本公开可以将每一个查询图像样本的第四图像特征分别与元分类器的特征向量矩阵相乘，并将各查询图像样本对应的相乘结果作为各查询图像样本的分类预测处理结果。
s603、根据分类预测处理的结果和多个查询图像样本的类别标注，调整元分类器的温度参数、用于形成上述生成特征的特征生成器的参数以及图像特征提取器的参数。
可选的，对于任一查询图像样本而言，该查询图像样本的分类预测处理结果可以为该查询图像样本分别属于n个类别的置信度。本公开可以将一个查询图像样本对应的n个置信度中的最大置信度对应的类别，作为本公开预测出的该查询图像样本的类别。
可选的，本公开可以利用相应的损失函数对各查询图像样本的分类预测处理的结果和各查询图像样本的类别标注之间的差异进行损失计算，并在特征生成器和图像特征提取器中反向传播该损失计算结果，以便于调整元分类器的温度参数(如α)、特征生成器的参数(例如，第一预设映射函数的参数和第二预设映射函数的参数)以及图像特征提取器的参数。本公开中的特征生成器的参数和图像特征提取器的参数通常会在多次迭代训练过程，逐渐收敛。
本公开通过利用查询图像样本对图像特征提取器和特征生成器进行训练，使图像特征提取器提取出准确的图像特征，并使特征生成器能够形成合适的生成特征，从而有利于为元分类器设置合适的参数。
本公开除了利用上述图6所示的流程对特征生成器和图像分类模型中的图像特征提取器进行训练之外，还可以利用下述图7所示的流程对图像特征提取器和用于分类的神经网络进行训练。
图7中，s700、获取多个图像样本。
可选的，本公开可以通过随机选取方式从训练集合中选取多个图像样本。本公开中的每一个图像样本均具有类别标注。本公开对图像样本的类别可以不作限制，即训练集合中的任一图像均可以被作为s700中的图像样本。另外，在一次迭代过程中，本公开获取的所有图像样本的类别可以完全覆盖支持图像样本的n个类别，也可以不包括n个类别中的任一个类别，还可以包括n个类别中的部分类别。
s701、利用图像特征提取器，对多个图像样本分别进行图像特征提取处理，获得多个图像样本的第五图像特征。
可选的，在一次迭代训练过程中，本公开可以将本次迭代训练过程中获取到的所有图像样本依次提供给图像特征提取器，并根据图像特征提取器的输出，获得各图像样本各自的图像特征。为便于描述，本公开将图像样本的图像特征称为第五图像特征。本公开中的第五图像特征可以为一维特征向量的形式。例如，第五图像特征可以为包含有1024个元素的一维特征向量。
s702、利用用于分类的神经网络，对多个图像样本的第五图像特征分别进行分类预测处理。
可选的，本公开中的用于分类的神经网络可以包括全连接层和激活层。在一次迭代训练过程中，本公开可以将本次迭代训练过程中获得的各图像样本的第五图像特征依次提供给神经网络，并根据神经网络的输出，获得各图像样本各自的分类预测处理结果。
s703、根据神经网络的分类预测处理结果和多个图像样本的类别，调整图像特征提取器的参数和神经网络的网络参数。
可选的，对于任一图像样本而言，该图像样本的分类预测处理结果可以为该图像样本分别属于训练集合中所包含的所有类别的置信度。本公开可以将一个图像样本对应的所有置信度中的最大置信度对应的类别，作为本公开预测出的该图像样本的类别。
可选的，本公开可以利用相应的损失函数对各图像样本的分类预测处理的结果和各图像样本的类别标注进行损失计算，并在神经网络和图像特征提取器中反向传播该损失计算结果，以便于调整神经网络的参数(例如，全连接层的参数)以及图像特征提取器的参数。本公开中的神经网络的参数和图像特征提取器的参数通常会在多次迭代训练过程，逐渐收敛。
在神经网络对图像样本的分类预测处理的结果的准确性以及元分类器对查询图像样本的分类预测处理结果的准确性符合一定要求时，图像特征提取器、特征生成器和神经网络成功训练完成。
上述图7所示的流程可以称为辅助训练流程，即图7所示的流程用于对图像特征提取器进行辅助训练。该辅助训练流程有利于提高图像特征提取器的训练效率。另外，本公开中的图6所示的流程和图7所示的流程，可以交替执行。更进一步的，本公开中的图2所示的流程、图6所示的流程和图7所示的流程，可以交替执行。
下面结合图8和图9对本公开的图像分类模型的训练方法的一个实施例进行说明。
图8中，一次迭代训练过程可以包括如下步骤：
步骤a、从训练集合中随机获取n个类别的多个图像样本，并将其分别作为支持图像样本800。从训练集合中随机获取任意类别的多个图像样本，并将其分别作为参考图像样本801。
图8中仅示意性的示出了一个支持图像样本800，即
图8中仅示意性的示出了六个参考图像样本801。这六个参考图像样本801形成了3个参考图像样本对。在一个示例中，本公开可以从训练集合中随机获取64个图像样本，且64个图像样本形成32个参考图像样本对。每一个参考图像样本对中的两个参考图像样本的类别相同。图8中的
步骤b、将所有支持图像样本800和所有参考图像样本801分别提供给图像特征提取器804，并根据图像特征提取器804的输出，获得每一个支持图像样本800的图像特征8001以及每一个参考图像样本801的图像特征8011。
图8中的
步骤c、将每一个支持图像样本800的图像特征8001以及每一个参考图像样本801的图像特征8011分别提供给特征生成器805，并根据特征生成器805的输出，获得多个生成特征8051(如n×32个生成特征8051)。特征生成器805形成生成特征8051的一个具体过程可以如图9所示。
图9中，本公开可以将图8中的
特征生成器805所执行的操作可以使用下述公式(1)表示：
在上述公式(1)中，
步骤d、将所有支持图像样本800的图像特征8001和所有生成特征8051分别进行融合处理，并对每一个融合处理结果分别进行归一化处理，从而形成n个特征向量。将n个特征向量形成的特征向量矩阵作为元分类器806的参数w。
如果存在32个参考样本对，则本公开可以利用将一个第n个类别的支持图像样本800的图像特征8001与32个生成特征一起进行平均池化处理，并对平均池化处理结果进行归一化处理，从而形成一个特征向量。多个特征向量可以拼接为特征向量矩阵，即w。本公开中的第n个类别对应的特征向量wn可以采用下述公式(2)和公式(3)表示：
在上述公式(2)和公式(3)中，||*||表示对*取模；h表示对应第n个类别的所有生成特征的数量或者对应第n个类别的参考图像样本对组中的所有参考图像样本对的数量；
步骤e、从训练集合中随机获取属于步骤a中的所有支持图像样本800的n个类别的多个图像样本，并将其分别作为查询图像样本802。
本公开获取到的查询图像样本802的数量通常不小于n，且查询图像样本802的类别应完全覆盖支持图像样本800的n个类别。属于不同类别的查询图像样本802的数量可以相同，也可以不相同。图8中仅示意性的示出了一个查询图像样本802，即图8中的xq。
步骤f、将所有查询图像样本802分别提供给图像特征提取器804，并根据图像特征提取器804的输出，获得每一个查询图像样本802的图像特征8021。图8中的zq表示xq的图像特征8021。
步骤g、将所有图像特征8021分别提供给元分类器806，利用元分类器806对每一个图像特征8021进行分类预测处理，根据元分类器806的输出，获得预测出的每一个查询图像样本802的类别。
步骤h、根据预测出的每一个查询图像样本802的类别以及每一个查询图像样本的类别标注，利用损失函数进行损失计算，并将损失计算的结果在元分类器806、特征生成器805以及图像特征提取器804中反向传播，以更新元分类器806中的参数α、特征生成器805中的两个映射函数的参数以及图像特征提取器804的参数。
在上述公式(4)中，α表示元分类器的温度参数；
步骤i、从训练集合中随机获取任意类别的多个图像样本，并将其分别作为图像样本803。图8中仅示意性的示出了一个图像样本803，即xi。xi表示第i个图像样本。多个图像样本的数量可以为预先设定的批处理数量。
步骤j、将所有图像样本803分别提供给图像特征提取器804，并根据图像特征提取器804的输出，获得每一个图像样本803的图像特征8031。图8中的zi表示xi的图像特征8031。
步骤k、将所有图像特征8031分别提供给用于分类的神经网络807，利用神经网络807对每一个图像特征8031分别进行分类预测处理，根据神经网络807的输出，获得预测出的每一个图像样本803的类别。神经网络807可以称为辅助的分类器。
步骤h、根据预测出的每一个图像样本803的类别以及每一个图像样本803的类别标注，利用损失函数进行损失计算，并将损失计算的结果在神经网络807以及图像特征提取器804中反向传播，以更新神经网络807中的参数(如w'和α')以及图像特征提取器804的参数。
在上述公式(5)中，α'表示神经网络的温度参数；zi表示批处理数量个图像样本中的第i个图像样本；
上述步骤a至步骤h为一次迭代训练过程，本公开可以反复执行上述步骤a至步骤h，直到神经网络807和元分类器806的预测准确度符合预定要求。
示例性装置
图10为本公开的图像分类模型的训练装置一实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图10所示的装置包括：特征提取模块1000、获取差异化特征模块1001、形成生成特征模块1002以及设置元分类器参数模块1003。其中的获取差异化特征模块1001和形成生成特征模块1002可以形成特征生成器。可选的，该装置还包括：训练模块以及辅助训练模块(图10中未示出)。本公开的图像分类模型包括：图像特征提取器和元分类器。
特征提取模块1000用于利用图像分类模型中的图像特征提取器，对n个类别的支持图像样本分别进行图像特征提取处理，获得n个类别各自对应的第一图像特征。其中的n为大于1的整数。可选的，特征提取模块1000还可以用于利用图像特征提取器，对多个参考图像样本对中的各参考图像样本分别进行图像特征提取处理，获得各参考图像样本的第二图像特征。
获取差异化特征模块1001用于获取多个参考图像样本对中的每一个参考图像样本对的差异化特征，获得多个差异化特征。其中的任一参考图像样本对中的两个参考图像样本的类别相同。可选的，多个参考图像样本对中的至少两个参考图像样本对的类别不相同，且多个参考图像样本对中的至少一个参考图像样本对的类别与n个类别均不相同。
可选的，获取差异化特征模块1001可以包括：第一映射子模块10011和差值运算子模块10012。其中的第一映射子模块10011用于对特征提取模块1000利用图像特征提取器提取并获得的各参考图像样本的第二图像特征，分别进行第一映射处理，获得各参考图像样本的第一映射图像特征。其中的差值运算子模块10012用于对第一映射子模块10011获得的各参考图像样本对中的两个参考图像样本的第一映射图像特征进行差值运算，获得各参考图像样本对的差异化特征。
形成生成特征模块1002用于根据特征提取模块1000获得的n个类别各自对应的第一图像特征以及获取差异化特征模块1001获得的多个差异化特征，形成n个类别的生成特征。
可选的，第一映射子模块10011还可以用于对n个类别各自对应的第一图像特征分别进行第一映射处理，获得n个类别的第二映射图像特征。形成生成特征模块1002可以包括相加运算子模块10021和第二映射子模块10022。其中的相加运算子模块10021用于针对n个类别中的任一类别，将该类别的第二映射图像特征与该类别对应的组中的各参考图像样本对的差异化特征分别进行相加运算，获得该类别的多个第三图像特征，第二映射子模块10022用于对多个第三图像特征分别进行第二映射处理，获得该类别的多个生成特征。
设置元分类器参数模块1003用于根据特征提取模块1002获得的n个类别各自对应的第一图像特征以及形成生成特征模块1002形成的n个类别的生成特征，设置图像分类模型中的元分类器的参数。例如，针对n个类别中的任一类别，设置元分类器参数模块1003可以对该类别的第一图像特征和该类别的多个生成特征进行融合处理，并根据n个类别的融合处理结果，设置元分类器的参数。具体的，针对n个类别中的任一类别，设置元分类器参数模块1003可以对该类别的第一图像特征和该类别的多个生成特征进行平均池化处理；并对n个类别的平均池化处理结果分别进行归一化处理；之后，设置元分类器参数模块1003可以将n个类别的归一化处理结果拼接成的特征向量矩阵，作为元分类器的参数(即上述w)。
训练模块用于获取多个查询图像样本，利用图像特征提取器，对多个查询图像样本进行图像特征提取处理，获得多个查询图像样本的第四图像特征，训练模块利用元分类器，对多个查询图像样本的第四图像特征分别进行分类预测处理，之后，训练模块可以根据分类预测处理的结果和多个查询图像样本的类别标注，调整元分类器的温度参数、用于形成生成特征的特征生成器的参数以及图像特征提取器的参数。上述多个查询图像样本的类别为n个类别。
辅助训练模块用于获取多个图像样本，并利用图像特征提取器，对多个图像样本分别进行图像特征提取处理，获得多个图像样本的第五图像特征，辅助训练模块可以利用用于分类的神经网络，对多个图像样本的第五图像特征分别进行分类预测处理，并根据神经网络的分类预测处理结果和多个图像样本的类别标注，调整图像特征提取器的参数和神经网络的网络参数。
示例性电子设备
下面参考图11来描述根据本公开实施例的电子设备。图11示出了根据本公开实施例的电子设备的框图。如图11所示，电子设备111包括一个或多个处理器1111和存储器1112。处理器1111可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备111中的其他组件以执行期望的功能。
存储器1112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(rom)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像分类模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备111还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像分类模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像分类模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 还没有人留言评论。精彩留言会获得点赞！