图像处理网络生成、图像分类方法及相关装置

1.本技术涉及人工智能技术领域，具体涉及一种图像处理网络生成、图像分类方法及相关装置。


背景技术：

2.图像处理网络即对图像进行处理的神经网络网络，例如用于进行图像检测或图像分类处理的神经网络。
3.目前，相关方案中通过可微网络结构搜索方法搜索生成图像处理网络，可微网络结构搜索方法，针对待搜索的超网中节点，在节点之间会不可避免地连接所有的候选操作，进而搜索生成目标图像处理网络。相关方案下，搜索生成过程，对于计算资源需求较高，在显存受限的设备上难以部署。
4.因此，目前存在图像处理网络生成耗费计算资源较高，难以灵活部署的问题。


技术实现要素：

5.本技术实施例提供一种图像处理网络生成、图像分类方法及相关装置，可以有效降低图像处理网络生成所耗费计算资源，可以实现灵活部署。
6.为解决上述技术问题，本技术实施例提供以下技术方案：
7.根据本技术的一个实施例，一种图像处理网络生成方法，该方法包括：：获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；根据各所述连接边对应的候选操作的结构参数，生成当前前向传播中各所述连接边选择对应候选操作的概率分布；根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述初始网络结构单元，得到当前待优化网络；对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
8.根据本技术的一个实施例，一种图像处理网络生成装置，其包括：结构单元获取模块，用于获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；操作集获取模块，用于获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；概率计算模块，用于根据各所述连接边对应的候选操作的结构参数，生成当前前向传播中各所述连接边选择对应候选操作的概率分布；单操作采样模块，用于根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述初始网络结构单元，得到当前待优化网络；优化模块，用于对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
9.在本技术的一些实施例中，所述优化模块，包括：样本输入单元，用于采用所述当前待优化网络及预设图像处理网络分别对样本图像进行处理，得到图像处理结果；网络优化单元，用于根据所述图像处理结果及所述预设图像处理网络的网络中间层，基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化。
10.在本技术的一些实施例中，所述图像处理结果包括所述当前待优化网络对应的第一结果及所述预设图像处理网络对应的第二结果，所述样本图像标定有预定结果；所述网络优化单元，用于：根据所述第一结果及所述预定结果，计算第一损失；根据所述第一结果及所述第二结果，计算第二损失；根据所述预设图像处理网络及所述当前待优化网络中对应相同层级的网络中间层，计算第三损失；根据所述第一损失、所述第二损失及所述第三损失，基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化。
11.在本技术的一些实施例中，所述概率计算模块，用于：针对各所述连接边，对所述连接边对应的每个候选操作的结构参数进行指数运算，得到每个所述候选操作所对应参数运算结果；对所述连接边对应的每个候选操作所对应参数运算结果求和，得到所述连接边对应的求和结果；将所述连接边对应的每个候选操作所对应参数运算结果求和与所述连接边对应的求和结果相除，得到各所述候选操作被对应连接边选择的概率；将各所述候选操作被对应连接边选择的概率与随机采样值求和，得到各所述候选操作对应的目标概率值；基于各所述连接边对应的各所述候选操作对应的目标概率值，得到当前前向传播中各所述连接边选择对应候选操作的概率分布。
12.在本技术的一些实施例中，所单操作采样模块，用于：确定各所述连接边对应的概率分布中最大的目标概率值所对应候选操作，得到各所述连接边对应的目标候选操作；将各所述连接边对应的目标候选操作添加至所述初始网络结构单元中各所述连接边对应位置。
13.在本技术的一些实施例中，所述网络优化单元，用于：对所述预设图像处理网络及所述当前待优化网络中，对应相同层级的网络中间层的两个网络特征图进行均值池化操作，得到通道数统一的两个目标特征图；将所述两个目标特征图分别转换为第一加权特征图和第二加权特征图；根据所述第一加权特征图和第二加权特征图，计算所述第三损失。
14.在本技术的一些实施例中，所述网络优化单元，用于：采用均方差损失函数对所述第一加权特征图和第二加权特征图进行计算处理，得到所述第三损失。
15.在本技术的一些实施例中，所述网络优化单元，用于：采用交叉熵损失函数对所述第一结果及所述预定结果进行计算处理，得到所述第一损失；采用相对熵损失函数对所述第一结果及所述第二结果进行计算处理，得到所述第二损失。
16.在本技术的一些实施例中，所述网络优化单元，用于：将所述当前待优化网络中的网络参数与所述连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果；基于所述二阶近似估计结果对所述当前待优化网络中的网络参数及结构参数进行交替梯度优化。
17.根据本技术的一个实施例，一种图像分类方法，该方法包括：获取待分类图像；采用用于进行图像分类的目标图像处理网络对所述待分类图像进行分类处理，得到所述待分类图像对应的分类结果，所述目标图像处理网络为根据本技术任一项实施例所述的图像处理网络生成方法生成的。
18.根据本技术的一个实施例，一种图像分类装置，其包括：图像获取模块，用于获取
待分类图像；分类模块，用于采用用于进行图像分类的目标图像处理网络对所述待分类图像进行分类处理，得到所述待分类图像对应的分类结果，所述目标图像处理网络为根据本技术任一项实施例所述的图像处理网络生成方法生成的。
19.根据本技术的另一实施例，一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本技术实施例所述的方法。
20.根据本技术的另一实施例，一种电子设备，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本技术实施例所述的方法。
21.根据本技术的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。
22.本技术实施例中，获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；根据各所述连接边对应的候选操作的结构参数，生成当前前向传播中各所述连接边选择对应候选操作的概率分布；根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述初始网络结构单元，得到当前待优化网络；对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
23.以这种方式，在图像处理网络生成过程中，通过计算各连接边选择对应候选操作的概率分布，进而针对各连接边从对应的候选操作中仅选择一个候选操作添加至网络结构单元，实现基于单路径采样网络结构搜索的图像处理网络生成方法，避免节点之间的连接边对所有候选操作的需求，有效降低图像处理网络的搜索生成过程对于计算资源的消耗，提高网络结构搜索的效率，节省显存占用，在显存受限的设备上也可以灵活部署。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1示出了一种可以应用本技术实施例的系统的示意图。
26.图2示出了根据本技术的一个实施例的图像处理网络生成方法的流程图。
27.图3示出了根据本技术的一个实施例的初始网络结构单元的示意图。
28.图4示出了根据本技术的一个实施例的搜索到候选操作的网络结构单元的示意图。
29.图5示出了根据本技术的一个实施例的网络优化的示意图。
30.图6示出了根据本技术的一个实施例的图像分类方法的流程图。
31.图7示出了根据本技术的一个实施例的图像处理网络生成装置的框图。
32.图8示出了根据本技术的一个实施例的图像分类装置的框图。
33.图9示出了根据本技术的一个实施例的电子设备的框图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.可以理解的是，在本技术的具体实施方式中，涉及到物品图像、用户信息等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
36.图1示出了可以应用本技术实施例的系统100的示意图。如图1所示，系统100可以包括服务器101及终端102。
37.服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。本示例的一种实施方式中，服务器101为云服务器，服务器101可以提供人工智能云服务，例如提供大型图像分类的人工智能云服务。
38.终端102可以是任意的设备，终端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、vr/ar设备、智能手表以及计算机等等。一种实施方式中，服务器101或终端102可以是区块链网络或地图车联网平台中的节点设备。
39.本示例的一种实施方式中，服务器101或终端102可以：获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；根据各所述连接边对应的候选操作的结构参数，计算当前前向传播中各所述连接边选择对应候选操作的概率分布；根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述网络结构单元，得到当前待优化网络；对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
40.本示例的一种实施方式中，服务器101或终端102可以：获取待分类图像；采用用于进行图像分类的目标图像处理网络对所述待分类图像进行分类处理，得到所述待分类图像对应的分类结果，所述目标图像处理网络为根据本技术任一项实施例所述的图像处理网络生成方法生成的。
41.图2示意性示出了根据本技术的一个实施例的图像处理网络生成方法的流程图。该图像处理网络生成方法的执行主体可以是任意的设备，例如图1所示的服务器101或者终端102。
42.如图2所示，该图像处理网络生成方法可以包括步骤s210至步骤s250。
43.步骤s210，获取初始网络结构单元，初始网络结构单元中包括至少一个表示特征图的节点，节点之间具有连接边；
44.步骤s220，获取候选操作集，候选操作集中包括各连接边对应的至少一个候选操作，候选操作为用于处理特征图的操作；
45.步骤s230，根据各连接边对应的候选操作的结构参数，生成当前前向传播中各连接边选择对应候选操作的概率分布；
46.步骤s240，根据各连接边对应的概率分布，针对各连接边从对应的候选操作中仅选择一个候选操作添加至初始网络结构单元，得到当前待优化网络；
47.步骤s250，对概率分布进行离散分布连续化处理，并基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
48.初始网络结构单元即待搜索候选操作的神经网络结构单元。其中，神经网络结构单元可以称为细胞单元，将细胞单元堆叠起来即可形成整个神经网络。初始网络结构单元中可以包括至少一个节点，每个节点表示一个特征图；特征图即特征矩阵，例如卷积操作得到的特征矩阵；节点之间可以通过有向的连接边连接，连接边即初始网络结构中未知的候选操作，连接边处的候选操作即待搜索的。初始网络结构单元可以从预定位置获取。
49.候选操作集中包括各连接边对应的至少一个候选操作，候选操作为用于处理特征图的操作，候选操作例如卷积操作、池化操作、跳跃连接等操作。候选操作集可以是候选操作组成的搜索空间，候选操作集可以从预定位置获取。
50.每个初始网络结构单元可以被抽象为包含了n个节点{x
(0)
,x
(1)
,
…
,x
(n-1)
}的有向无环图，例如，图3示出的一个初始网络结构单元中包括7个节点(例如，0及1)，其中，每个节点x(i)表示网络中的一个特征图，通过连接边连接的两个节点之间可以连接一个候选操作(如卷积操作)，图像处理网络生成的目的即通过网络结构搜索从候选操作集中中选择一个最适合各连接边处的候选操作。通过候选操作可以将前节点表示的特征图进行处理后得到下一节点表示的特征图。
51.每次进行前向传播时(在进行梯度梯度优化直至符合预定优化条件之前，可以进行多次前向传播，例如每次对当前待优化网络进行梯度优化完成后，可以进行下一次前向传播)，可以根据连接边对应的候选操作的结构参数计算当前前向传播中各连接边选择对应候选操作的概率分布，概率分布由各连接边处选择对应的每个候选操作的概率生成。例如，连接边a对应9个预定的候选操作，可以计算出连接边选择这9个预定的候选操作中每个候选操作的概率，进而生成连接边a对应的概率分布。
52.根据各连接边对应的概率分布，针对各连接边从对应的候选操作中仅选择一个候选操作添加至初始网络结构单元，例如，连接边a对应9个预定的候选操作，根据连接边a对应的概率分布仅从9个预定的候选操作中选择一个，并将选择的单个候选操作添加至初始网络结构单元中连接边a处。为初始网络结构单元中每个连接边分别搜索一个候选操作，即得到包含节点和候选操作的完整的网络，即当前待优化网络。
53.基于候选操作的结构参数生成的概率分布为离散化的，对概率分布进行离散分布连续化处理，可以基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，这样可以在通过梯度优化进行反向传播时每个候选操作的结构参数均有来自深层网络的梯度，进而可以优化出满足要求的结构参数，优化直至符合预定优化条件时，得到目标图像处理网络。
54.目标图像处理网络即由搜索到满足要求的结构参数的候选操作的网络结构单元(即搜索到的网络结构单元)组成的网络，例如，图4示出的图3中初始网络结构单元中的7个节点(例如，0及1)之间搜索到候选操作(例如跳跃连接skip-connect)后得到的搜索到的网络结构单元。基于目标图像处理网络即可以对待处理图像进行处理，目标图像处理网络可以是用于进行图像分类或图像目标检测等功能的神经网络。
55.以这种方式，基于步骤s210至步骤s250，在图像处理网络生成过程中，通过计算各连接边选择对应候选操作的概率分布，进而针对各连接边从对应的候选操作中仅选择一个候选操作添加至网络结构单元，实现基于单路径采样网络结构搜索的图像处理网络生成方法，避免节点之间的连接边对所有候选操作的需求，有效降低图像处理网络的搜索生成过程对于计算资源的消耗，提高网络结构搜索的效率，节省显存占用，在显存受限的设备上也可以灵活部署。
56.下面描述图2中实施例进行图像处理网络生成时，所进行的各步骤其他具体可选实施例。
57.一种实施例中，步骤s230，根据各连接边对应的候选操作的结构参数，生成当前前向传播中各连接边选择对应候选操作的概率分布，包括：
58.针对各连接边，对连接边对应的每个候选操作的结构参数进行指数运算，得到每个候选操作所对应参数运算结果；对连接边对应的每个候选操作所对应参数运算结果求和，得到连接边对应的求和结果；将连接边对应的每个候选操作所对应参数运算结果求和与连接边对应的求和结果相除，得到各候选操作被对应连接边选择的概率；将各候选操作被对应连接边选择的概率与随机采样值求和，得到各候选操作对应的目标概率值；基于各连接边对应的各候选操作对应的目标概率值，得到当前前向传播中各连接边选择对应候选操作的概率分布。
59.具体地，可以基于如下gumbel-max方法公式计算各连接边选择对应候选操作的概率分布：
[0060][0061][0062]
其中，是连接边(i,j)对应的每个候选操作o的结构参数；代表连接边(i,j)选择选每个候选操作o的概率，即各候选操作o被对应连接边(i,j)选择的概率，连接边(i,j)即节点i和节点j之间的连接边。候选操作o属于连接边对应的至少一个候选操作的集合j)即节点i和节点j之间的连接边。候选操作o属于连接边对应的至少一个候选操作的集合即候选操作o所对应参数运算结果；即连接边(i,j)对应的求和结果；g是gumbel分布的随机采样值，由于随机性在任何一次前向传播中被采样到的候选操作均可能不同；即候选操作o对应的目标概率值；v的集合即连接边选择对应候选操作的概率分布。
[0063]
一种实施例中，根据各连接边对应的概率分布，针对各连接边从对应的候选操作
中仅选择一个候选操作添加至初始网络结构单元，包括：确定各连接边对应的概率分布中最大的目标概率值所对应候选操作，得到各连接边对应的目标候选操作；将各连接边对应的目标候选操作添加至初始网络结构单元中各连接边对应位置。
[0064]
其中，可以公式确定各连接边(i,j)对应的概率分布中最大的目标概率值，通过该公式可以将连接边对应的至少一个候选操作的集合中每个候选操作o对应的目标概率值归一化化为归一化值a
i,j
，然后，通过独热编码(one_hot)将最大的归一化值处理为1，其余的归一化值处理为0，进而，1对应的归一化值所对应目标概率值为最大的。
[0065]
将确定的目标候选操作添加至初始网络结构单元中各连接边对应位置，即得到初步搜索到候选操作的待优化的网络结构单元。
[0066]
一种实施例中，步骤s250中，对概率分布进行离散分布连续化处理，可以是gumbel-softmax方法的如下公式将概率形成的概率分布离散分布连续化，得到连续化处理结果b
i,j
：
[0067][0068][0069]
其中，τ是温度系数。
[0070]
一种实施例中，步骤s250，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：基于连续化处理结果对当前待优化网络中候选操作的结构参数直接进行梯度优化。
[0071]
一种实施例中，步骤s250，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：采用当前待优化网络及预设图像处理网络分别对样本图像进行处理，得到图像处理结果；根据图像处理结果及预设图像处理网络的网络中间层，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化。
[0072]
预设图像处理网络为预先设计且训练好的图像处理网络。直接使用进行梯度优化的候选操作的搜索过程具有不稳定性，当搜索轮数变长时搜索得到的网络性能反而会下降，因为在当前待优化网络中层间梯度存在不均衡，而跳跃连接等无参的候选操作可以为梯度传导提供额外通路，因此随着搜索的进行，网络中更倾向于选择无意义的跳跃连接作为节点间的候选操作。通过预设图像处理网络联合进行梯度优化，可以使得当前待优化网络学习预设图像处理网络的层间梯度分布，进而平滑自身的梯度分布，提升提高搜索过程的稳定性，同时由于当前待优化网络可以接受到来自预设图像处理网络的信息监督，也能进一步提升目标图像处理网络的性能，提升目标图像处理网络的图像处理效果。
[0073]
一种实施例中，图像处理结果包括当前待优化网络对应的第一结果及预设图像处理网络对应的第二结果，样本图像标定有预定结果；根据处理结果及预设图像处理网络的网络中间层，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：根据第一结果及预定结果，计算第一损失；根据第一结果及第二结果，计算第二损
失；根据预设图像处理网络及当前待优化网络中对应相同层级的网络中间层，计算第三损失；根据第一损失、第二损失及第三损失，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化。
[0074]
第一损失、第二损失及第三损失分别从不同的角度对当前待优化网络形成相对于预设图像处理网络的学习指引，根据第一损失、第二损失及第三损失，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，以这种方式，可以以知识蒸馏的方式，使得当前待优化网络作为学生网络，预设图像处理网络作为教师网络，使当前待优化网络进一步有效学习预设图像处理网络的层间梯度分布，进而平滑自身的梯度分布，进一步提升提高搜索过程的稳定性，当前待优化网络可以进一步有效接受到来自预设图像处理网络的信息监督，进一步提升目标图像处理网络的性能，提升网络稳定性。
[0075]
其中，参阅图5，预设图像处理网络被划分为3个网络块，每个网络块为一个层级的网络中间层，当前待优化网络中包括3个细胞单元，每个细胞单元对应一个初始网络结构单元，每个细胞单元为一个层级的网络中间层。针对相同层级的网络块和细胞单元可以计算第三损失针对最后一个网络块输出的第二结果(即教师输出)及最后一个细胞单元输出的第一结果(即学生输出)计算第二损失针对样本图像标定的预定结果(即真实标签)与最后一个细胞单元输出的第一结果(即学生输出)计算第一损失
[0076]
一种实施例中，根据预设图像处理网络及当前待优化网络中对应相同层级的网络中间层，计算第三损失，包括：对预设图像处理网络及当前待优化网络中，对应相同层级的网络中间层的两个网络特征图进行均值池化操作，得到通道数统一的两个目标特征图；将两个目标特征图分别转换为第一加权特征图和第二加权特征图；根据第一加权特征图和第二加权特征图，计算第三损失。
[0077]
具体地，将对应相同层级的网络中间层(例如第1各细胞单元和第1各网络块)的两个网络特征图进行均值池化操作，通过均值池化操作将两个网络特征图的通道数统一降低到它们之间的较小值得到通道数统一的两个目标特征图。
[0078]
第i层级的细胞单元输出的网络特征图对应的目标特征图可以用fi表示，采用公式可以将目标特征图fi转换为第一加权特征图i
kd
为细胞单元的总个数，j为目标特征图fi中第j个特征；第i层级的网络块输出的网络特征图可以用表示，采用公式可以将目标特征图转换为第二加权特征图ai，根据该第一加权特征图和该第二加权特征图，计算得到的第三损失可以有效指引当前待优化网络的学习。
[0079]
一种实施例中，根据第一加权特征图和第二加权特征图，计算第三损失，包括：采用均方差损失函数对第一加权特征图和第二加权特征图进行计算处理，得到第三损失。
[0080]
具体地，可以基于如下均方差损失函数对第一加权特征图和第二加权特征图进行计算处理，得到第三损失
[0081]
[0082]
其中，为第一加权特征图，ai为第二加权特征图。
[0083]
一种实施例中，根据第一结果及预定结果，计算第一损失，包括：采用交叉熵损失函数对第一结果及预定结果进行计算处理，得到第一损失；根据第一结果及第二结果，计算第二损失，包括：采用相对熵损失函数对第一结果及第二结果进行计算处理，得到第二损失。
[0084]
具体地，可以基于如下交叉熵损失函数对第一结果及预定结果进行计算处理，得到第一损失
[0085][0086]
其中，n为第一结果及预定结果中子结果(例如分类概率)的总个数，yk为预定结果中第k个子结果，为第一结果中第k个子结果。
[0087]
具体地，可以基于如下相对熵损失函数(即kl散度损失函数)对第一结果及第二结果进行计算处理，得到第二损失
[0088][0089]
其中，n为第一结果及第二结果中子结果(例如分类概率)的总个数，是第二结果中第k个子结果，p
l,
为第一结果中第k个子结果。
[0090]
一种实施例中，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：将当前待优化网络中的网络参数与连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果；基于二阶近似估计结果对当前待优化网络中的网络参数及结构参数进行交替梯度优化。
[0091]
将当前待优化网络中的网络参数与连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果，基于二阶近似结果可以使得损失函数对网络参数ω和结构参数α均可微，基于二阶近似估计结果对当前待优化网络中的网络参数及结构参数进行交替梯度优化，直至符合预定优化条件，即可得到目标图像处理网络。
[0092]
例如，梯度优化对应的搜索过程的目标是如下双目标优化问题：
[0093][0094][0095]
然而，此目标下损失函数对结构参数α是不可微的，一阶近似估计可以直接将当前的网络参数ω作为ω
*
(α)的近似，二阶近似估计则将最优的网络参数近似为梯度下降一步后的网络参数经过二阶近似估计后，损失函数对网络参数ω和结构参数α均可微，接下来采用训练一步结构参数再训练一步网络参数的交替梯度优化对当前待优化网络进行训练，直至符合预定优化条件，即可得到目标图像处理网络。其中，交替梯度优化的方式可以是在训练集上固定结构参数α矩阵的值，然后梯度下降网络参数ω矩阵的值，在验证集上网络参数ω矩阵的值，然后梯度下降结构参数α矩阵的值。
[0096]
图6示意性示出了根据本技术的一个实施例的图像分类方法的流程图。该图像分类方法的执行主体可以是任意的设备，例如图1所示的服务器101或者终端102。
[0097]
如图6所示，该图像分类方法可以包括步骤s310至步骤s320。
[0098]
步骤s310，获取待分类图像；步骤s320，采用用于进行图像分类的目标图像处理网络对待分类图像进行分类处理，得到待分类图像对应的分类结果，目标图像处理网络为根据本技术前述任一项实施例的图像处理网络生成方法生成的。
[0099]
以这种方式，一些实施例中，用于进行图像分类的目标图像处理网络，具有搜索生成过程对于计算资源的消耗低、生成效率高、显存占用低、在显存受限的设备上可以灵活部署的有益效果，使用该目标图像处理网络进行图像分类，可以进一步整体上降低图像分类任务的资源消耗且提升图像分类任务部署灵活性；一些实施例中，用于进行图像分类的目标图像处理网络，具有优秀的稳定性，可以进一步整体上有效提升图像分类的分类准确性。
[0100]
以下结合一种场景下对待分类图像进行分类进一步描述前述实施例，该场景下，通过应用本技术的前述实施例对待分类图像进行分类。
[0101]
该场景下，对待分类图像进行分类可以包括步骤(1)至步骤(2)。
[0102]
步骤(1)：利用网络结构搜索方法搜索图像分类任务中的卷积神经网络。
[0103]
具体地，获取初始网络结构单元，初始网络结构单元中包括至少一个表示特征图的节点，节点之间具有连接边；获取候选操作集，候选操作集中包括各连接边对应的至少一个候选操作，候选操作为用于处理特征图的操作；根据各连接边对应的候选操作的结构参数，计算当前前向传播中各连接边选择对应候选操作的概率分布；根据各连接边对应的概率分布，针对各连接边从对应的候选操作中仅选择一个候选操作添加至初始网络结构单元，得到当前待优化网络；对概率分布进行离散分布连续化处理，并基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。该目标图像处理网络为搜索到的用于进行图像分类的卷积神经网络。
[0104]
进一步的，根据各连接边对应的候选操作的结构参数，生成当前前向传播中各连接边选择对应候选操作的概率分布，包括：针对各连接边，对连接边对应的每个候选操作的结构参数进行指数运算，得到每个候选操作所对应参数运算结果；对连接边对应的每个候选操作所对应参数运算结果求和，得到连接边对应的求和结果；将连接边对应的每个候选操作所对应参数运算结果求和与连接边对应的求和结果相除，得到各候选操作被对应连接边选择的概率；将各候选操作被对应连接边选择的概率与随机采样值求和，得到各候选操作对应的目标概率值；基于各连接边对应的各候选操作对应的目标概率值，得到当前前向传播中各连接边选择对应候选操作的概率分布。
[0105]
具体地，可以基于如下gumbel-max方法公式计算各连接边选择对应候选操作的概率分布：
[0106][0107][0108]
其中，是连接边(i,j)对应的每个候选操作o的结构参数；代表连接边(i,j)选择选每个候选操作o的概率，即各候选操作o被对应连接边(i,j)选择的概率，连接边(i,
j)即节点i和节点j之间的连接边。候选操作o属于连接边对应的至少一个候选操作的集合j)即节点i和节点j之间的连接边。候选操作o属于连接边对应的至少一个候选操作的集合即候选操作o所对应参数运算结果；即连接边(i,j)对应的求和结果；g是gumbel分布的随机采样值，由于随机性在任何一次前向传播中被采样到的候选操作均可能不同；即候选操作o对应的目标概率值；v的集合即连接边选择对应候选操作的概率分布。
[0109]
进一步的，根据各连接边对应的概率分布，针对各连接边从对应的候选操作中仅选择一个候选操作添加至初始网络结构单元，包括：确定各连接边对应的概率分布中最大的目标概率值所对应候选操作，得到各连接边对应的目标候选操作；将各连接边对应的目标候选操作添加至初始网络结构单元中各连接边对应位置。
[0110]
其中，可以根据公式确定各连接边(i,j)对应的概率分布中最大的目标概率值，通过该公式可以将连接边对应的至少一个候选操作的集合中每个候选操作o对应的目标概率值归一化化为归一化值a
i,j
，然后，通过独热编码(one_hot)将最大的归一化值处理为1，其余的归一化值处理为0，进而，1对应的归一化值所对应目标概率值为最大的。
[0111]
将确定的目标候选操作添加至初始网络结构单元中各连接边对应位置，即得到初步搜索到候选操作的待优化的网络结构单元。
[0112]
进一步的，对概率分布进行离散分布连续化处理，可以是gumbel-softmax方法的如下公式将概率形成的概率分布离散分布连续化，得到连续化处理结果b
i,j
：
[0113][0114][0115]
其中，τ是温度系数。
[0116]
进一步的，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：基于连续化处理结果对当前待优化网络中候选操作的结构参数直接进行梯度优化。
[0117]
进一步的，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：采用当前待优化网络及预设图像处理网络分别对样本图像进行处理，得到图像处理结果；根据图像处理结果及预设图像处理网络的网络中间层，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化。
[0118]
预设图像处理网络为预先设计且训练好的图像处理网络。直接使用进行梯度优化的候选操作的搜索过程具有不稳定性，当搜索轮数变长时搜索得到的网络性能反而会下降，因为在当前待优化网络中层间梯度存在不均衡，而跳跃连接等无参的候选操作可以为梯度传导提供额外通路，因此随着搜索的进行，网络中更倾向于选择无意义的跳跃连接作为节点间的候选操作。通过预设图像处理网络联合进行梯度优化，可以使得当前待优化网
络学习预设图像处理网络的层间梯度分布，进而平滑自身的梯度分布，提升提高搜索过程的稳定性，同时由于当前待优化网络可以接受到来自预设图像处理网络的信息监督，也能进一步提升目标图像处理网络的性能，提升目标图像处理网络的图像处理效果。
[0119]
进一步的，图像处理结果包括当前待优化网络对应的第一结果及预设图像处理网络对应的第二结果，样本图像标定有预定结果；根据处理结果及预设图像处理网络的网络中间层，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：根据第一结果及预定结果，计算第一损失；根据第一结果及第二结果，计算第二损失；根据预设图像处理网络及当前待优化网络中对应相同层级的网络中间层，计算第三损失；根据第一损失、第二损失及第三损失，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化。
[0120]
第一损失、第二损失及第三损失分别从不同的角度对当前待优化网络形成相对于预设图像处理网络的学习指引，根据第一损失、第二损失及第三损失，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，以这种方式，可以以知识蒸馏的方式，使得当前待优化网络作为学生网络，预设图像处理网络作为教师网络，使当前待优化网络进一步有效学习预设图像处理网络的层间梯度分布，进而平滑自身的梯度分布，进一步提升提高搜索过程的稳定性，当前待优化网络可以进一步有效接受到来自预设图像处理网络的信息监督，进一步提升目标图像处理网络的性能，提升网络稳定性。
[0121]
其中，参阅图5，预设图像处理网络被划分为3个网络块，每个网络块为一个层级的网络中间层，当前待优化网络中包括3个细胞单元，每个细胞单元对应一个初始网络结构单元，每个细胞单元为一个层级的网络中间层。针对相同层级的网络块和细胞单元可以计算第三损失针对最后一个网络块输出的第二结果(即教师输出)及最后一个细胞单元输出的第一结果(即学生输出)计算第二损失针对样本图像标定的预定结果(即真实标签)与最后一个细胞单元输出的第一结果(即学生输出)计算第一损失
[0122]
进一步的，根据预设图像处理网络及当前待优化网络中对应相同层级的网络中间层，计算第三损失，包括：对预设图像处理网络及当前待优化网络中，对应相同层级的网络中间层的两个网络特征图进行均值池化操作，得到通道数统一的两个目标特征图；将两个目标特征图分别转换为第一加权特征图和第二加权特征图；根据第一加权特征图和第二加权特征图，计算第三损失。
[0123]
具体地，将对应相同层级的网络中间层(例如第1各细胞单元和第1各网络块)的两个网络特征图进行均值池化操作，通过均值池化操作将两个网络特征图的通道数统一降低到它们之间的较小值得到通道数统一的两个目标特征图。
[0124]
第i层级的细胞单元输出的网络特征图对应的目标特征图可以用fi表示，采用公式可以将目标特征图fi转换为第一加权特征图i
kd
为细胞单元的总个数，j为目标特征图fi中第j个特征；第i层级的网络块输出的网络特征图可以用表示，采用公式可以将目标特征图转换为第二加权特征图ai，根据该第一加权特征图和该第二加权特征图，计算得到的第三损失可以有效指引当
前待优化网络的学习。
[0125]
进一步的，根据第一加权特征图和第二加权特征图，计算第三损失，包括：采用均方差损失函数对第一加权特征图和第二加权特征图进行计算处理，得到第三损失。
[0126]
具体地，可以基于如下均方差损失函数对第一加权特征图和第二加权特征图进行计算处理，得到第三损失
[0127][0128]
其中，为第一加权特征图，ai为第二加权特征图。
[0129]
进一步的，根据第一结果及预定结果，计算第一损失，包括：采用交叉熵损失函数对第一结果及预定结果进行计算处理，得到第一损失；根据第一结果及第二结果，计算第二损失，包括：采用相对熵损失函数对第一结果及第二结果进行计算处理，得到第二损失。
[0130]
具体地，可以基于如下交叉熵损失函数对第一结果及预定结果进行计算处理，得到第一损失
[0131][0132]
其中，n为第一结果及预定结果中子结果(例如分类概率)的总个数，yk为预定结果中第k个子结果，为第一结果中第k个子结果。
[0133]
具体地，可以基于如下相对熵损失函数(即kl散度损失函数)对第一结果及第二结果进行计算处理，得到第二损失
[0134][0135]
其中，n为第一结果及第二结果中子结果(例如分类概率)的总个数，是第二结果中第k个子结果，p
l,k
为第一结果中第k个子结果。
[0136]
进一步的，基于连续化处理结果对当前待优化网络中候选操作的结构参数进行梯度优化，包括：将当前待优化网络中的网络参数与连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果；基于二阶近似估计结果对当前待优化网络中的网络参数及结构参数进行交替梯度优化。
[0137]
将当前待优化网络中的网络参数与连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果，基于二阶近似结果可以使得损失函数对网络参数ω和结构参数α均可微，基于二阶近似估计结果对当前待优化网络中的网络参数及结构参数进行交替梯度优化，直至符合预定优化条件，即可得到目标图像处理网络。
[0138]
例如，梯度优化对应的搜索过程的目标是如下双目标优化问题：
[0139][0140][0141]
然而，此目标下损失函数对结构参数α是不可微的，一阶近似估计可以直接将当前的网络参数ω作为ω
*
(α)的近似，二阶近似估计则将最优的网络参数近似为梯度下降一步后的网络参数经过二阶近似估计后，损失函数对网络参数ω和结
构参数α均可微，接下来采用训练一步结构参数再训练一步网络参数的交替梯度优化对当前待优化网络进行训练，直至符合预定优化条件，即可得到目标图像处理网络。其中，交替梯度优化的方式可以是在训练集上固定结构参数α矩阵的值，然后梯度下降网络参数ω矩阵的值，在验证集上网络参数ω矩阵的值，然后梯度下降结构参数α矩阵的值。
[0142]
步骤(2)：利用搜索到的卷积神经网络进行图像分类。
[0143]
具体地，获取待分类图像；采用搜索到的卷积神经网络对待分类图像进行分类处理，得到待分类图像对应的分类结果。
[0144]
该场景下，通过应用本技术的前述实施例进行图像分类，至少具有如下有益效果：搜索的卷积神经网络过程对于计算资源的消耗低、生成效率高、显存占用低、在显存受限的设备上可以灵活部署的有益效果，使用该卷积神经网络进行图像分类，可以进一步整体上降低图像分类任务的资源消耗且提升图像分类任务部署灵活性；用于进行图像分类的卷积神经网络具有优秀的稳定性，可以进一步整体上有效提升图像分类的分类准确性。
[0145]
为便于更好的实施本技术实施例提供的图像处理网络生成方法，本技术实施例还提供一种基于上述图像处理网络生成方法的图像处理网络生成装置。其中名词的含义与上述图像处理网络生成方法中相同，具体实现细节可以参考方法实施例中的说明。图7示出了根据本技术的一个实施例的图像处理网络生成装置的框图。
[0146]
如图7所示，图像处理网络生成装置400中可以包括结构单元获取模块410、操作集获取模块420、概率计算模块430、单操作采样模块440及优化模块450。
[0147]
结构单元获取模块，用于获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；操作集获取模块，用于获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；概率计算模块，用于根据各所述连接边对应的候选操作的结构参数，生成当前前向传播中各所述连接边选择对应候选操作的概率分布；单操作采样模块，用于根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述初始网络结构单元，得到当前待优化网络；优化模块，用于对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
[0148]
在本技术的一些实施例中，所述优化模块，包括：样本输入单元，用于采用所述当前待优化网络及预设图像处理网络分别对样本图像进行处理，得到图像处理结果；网络优化单元，用于根据所述图像处理结果及所述预设图像处理网络的网络中间层，基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化。
[0149]
在本技术的一些实施例中，所述图像处理结果包括所述当前待优化网络对应的第一结果及所述预设图像处理网络对应的第二结果，所述样本图像标定有预定结果；所述网络优化单元，用于：根据所述第一结果及所述预定结果，计算第一损失；根据所述第一结果及所述第二结果，计算第二损失；根据所述预设图像处理网络及所述当前待优化网络中对应相同层级的网络中间层，计算第三损失；根据所述第一损失、所述第二损失及所述第三损失，基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化。
[0150]
在本技术的一些实施例中，所述概率计算模块，用于：针对各所述连接边，对所述连接边对应的每个候选操作的结构参数进行指数运算，得到每个所述候选操作所对应参数
运算结果；对所述连接边对应的每个候选操作所对应参数运算结果求和，得到所述连接边对应的求和结果；将所述连接边对应的每个候选操作所对应参数运算结果求和与所述连接边对应的求和结果相除，得到各所述候选操作被对应连接边选择的概率；将各所述候选操作被对应连接边选择的概率与随机采样值求和，得到各所述候选操作对应的目标概率值；基于各所述连接边对应的各所述候选操作对应的目标概率值，得到当前前向传播中各所述连接边选择对应候选操作的概率分布。
[0151]
在本技术的一些实施例中，所单操作采样模块，用于：确定各所述连接边对应的概率分布中最大的目标概率值所对应候选操作，得到各所述连接边对应的目标候选操作；将各所述连接边对应的目标候选操作添加至所述初始网络结构单元中各所述连接边对应位置。
[0152]
在本技术的一些实施例中，所述网络优化单元，用于：对所述预设图像处理网络及所述当前待优化网络中，对应相同层级的网络中间层的两个网络特征图进行均值池化操作，得到通道数统一的两个目标特征图；将所述两个目标特征图分别转换为第一加权特征图和第二加权特征图；根据所述第一加权特征图和第二加权特征图，计算所述第三损失。
[0153]
在本技术的一些实施例中，所述网络优化单元，用于：采用均方差损失函数对所述第一加权特征图和第二加权特征图进行计算处理，得到所述第三损失。
[0154]
在本技术的一些实施例中，所述网络优化单元，用于：采用交叉熵损失函数对所述第一结果及所述预定结果进行计算处理，得到所述第一损失；采用相对熵损失函数对所述第一结果及所述第二结果进行计算处理，得到所述第二损失。
[0155]
在本技术的一些实施例中，所述网络优化单元，用于：将所述当前待优化网络中的网络参数与所述连续化处理结果进行二阶近似估计处理，得到二阶近似估计结果；基于所述二阶近似估计结果对所述当前待优化网络中的网络参数及结构参数进行交替梯度优化。
[0156]
本技术实施例还提供一种基于上述图像分类方法的图像分类装置。其中名词的含义与上述图像分类方法中相同，具体实现细节可以参考方法实施例中的说明。图8示出了根据本技术的一个实施例的图像分类装置的框图。
[0157]
如图8所示，图像分类装置500中可以包括图像获取模块510及分类模块520。
[0158]
图像获取模块，用于获取待分类图像；分类模块，用于采用用于进行图像分类的目标图像处理网络对所述待分类图像进行分类处理，得到所述待分类图像对应的分类结果，所述目标图像处理网络为根据本技术任一项实施例所述的图像处理网络生成方法生成的。
[0159]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0160]
此外，本技术实施例还提供一种电子设备，该电子设备可以为终端或者服务器，如图9所示，其示出了本技术实施例所涉及的电子设备的结构示意图，具体来讲：
[0161]
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0162]
处理器601是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对电子设备进行检测。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
[0163]
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
[0164]
电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0165]
该电子设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0166]
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器601会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的计算机程序，从而实现本技术前述实施例的各种功能。
[0167]
如处理器601可以执行：获取初始网络结构单元，所述初始网络结构单元中包括至少一个表示特征图的节点，所述节点之间具有连接边；获取候选操作集，所述候选操作集中包括各所述连接边对应的至少一个候选操作，所述候选操作为用于处理特征图的操作；根据各所述连接边对应的候选操作的结构参数，计算当前前向传播中各所述连接边选择对应候选操作的概率分布；根据各所述连接边对应的概率分布，针对各所述连接边从对应的候选操作中仅选择一个候选操作添加至所述网络结构单元，得到当前待优化网络；对所述概率分布进行离散分布连续化处理，并基于连续化处理结果对所述当前待优化网络中候选操作的结构参数进行梯度优化，直至符合预定优化条件，得到目标图像处理网络。
[0168]
又如处理器601可以执行：获取待分类图像；采用用于进行图像分类的目标图像处理网络对所述待分类图像进行分类处理，得到所述待分类图像对应的分类结果，所述目标图像处理网络为根据本技术任一项实施例所述的图像处理网络生成方法生成的。
[0169]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0170]
为此，本技术实施例还提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种方法中的步骤。
[0171]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0172]
由于该计算机可读存储介质中所存储的计算机程序，可以执行本技术实施例所提供的任一种方法中的步骤，因此，可以实现本技术实施例所提供的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0173]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术上述实施例中各种可选实现方式中提供的方法。
[0174]
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
[0175]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的实施例，而可以在不脱离其范围的情况下进行各种修改和改变。