分类网络的训练方法、图像分类方法及相关设备与流程

1.本技术涉及图像处理领域，特别是涉及一种分类网络的训练方法、图像分类方法、电子设备及计算机可读存储介质。


背景技术：

2.气管插管是指将一特制的气管内导管通过目标的口腔或鼻腔，经声门置入气管内，这一技术能够为气道(呼吸道)通畅、通气供氧、呼吸道吸引和防止误吸等提供最佳条件，是抢救呼吸功能障碍患者的重要措施。不同的人的气管粗细不一致，气管插管的难易程度不同，因此为了成功进行气管插管，需要根据对应的难易程度选择气管插管的方式。
3.现有技术中，完全依靠医护人员依靠自己的经验对目标进行鼻腔、牙、张口度、颈部活动度、咽喉部等检查来对气道进行分类，进而确定气管插管的难易程度。但是由于咽喉部以下至肺部的情况完全观测不到，因此这种方法存在很大的盲区，导致对气道分类的准确度不高。


技术实现要素：

4.本技术提供一种分类网络的训练方法、图像分类方法、电子设备及计算机可读存储介质，能够解决现有的人工对气道分类的准确度不高的问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种分类网络的训练方法、图像分类方法、电子设备及存储介质。该训练方法包括：获取到训练集，训练集包括多个样本图像序列，每个样本图像序列包括多张样本图像，每张样本图像对应同一个活体的气道的不同位置，每张样本图像包括至少部分气道及其相关组织；利用分类网络提取样本图像序列的第一特征，利用分割网络对样本图像序列处理得到第一处理结果，分割网络是在训练集上训练得到的，且在对分割网络训练的过程中分割网络用于对样本图像序列对应的所气道与气道相关组织进行语义分割；利用分类网络基于第一特征和第一处理结果对样本图像序列进行分类，得到第一分类结果，第一分类结果用于表示气道的类别；基于第一分类结果调整所述分类网络的参数。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种图像分类方法，该方法包括：获取目标图像序列，目标图像序列包括多张目标图像，每张目标图像对应目标的气道的不同位置，每张目标图像包括至少部分目标的气道及其相关组织；将目标图像序列输入分类网络，得到目标图像序列的分类结果，目标图像序列的分类结果用于表示目标的气道的类别；其中，分类网络是基于前述所述的训练方法训练得到的。
7.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
8.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
9.通过上述方式，本技术在对分类网络训练的过程中，分类网络基于第一特征对样本图像序列进行分类时，额外考虑了分割网络对样本图像序列的第一处理结果。由于分割网络是利用训练集训练得到的，且在对分割网络的训练过程中，分割网络用于对样本图像序列进行气道与气道相关组织(类别相关部分)的语义分割，从而第一处理结果能够变相反映样本图像序列中哪些部分是类别相关部分，进而第一处理结果能够辅助分类网络对第一特征的分类，故能够提高第一分类结果的准确度。并且，训练得到的分类网络可以基于对应的图像序列实现对目标的气道的端到端分类，无需人工参与，不仅能够提高分类结果的准确度，还能够提高分类结果的效率、减少所需耗费的资源。
附图说明
10.图1是本技术分类网络的训练方法实施例一的流程示意图；
11.图2是本技术分类网络的训练方法实施例二的流程示意图；
12.图3是本技术分类网络和分割网络的一结构示意图；
13.图4是本技术分类网络/分割网络中编码块的一结构示意图；
14.图5是本技术重校准层的实现原理示意图；
15.图6是本技术aff模块的实现原理示意图；
16.图7是本技术ms-cam的实现原理示意图；
17.图8是本技术分类网络的训练方法实施例三的流程示意图；
18.图9是s31-s33的实现原理示意图；
19.图10是本技术分类网络和分割网络的另一结构示意图；
20.图11是本技术分类网络/分割网络中编码块的另一结构示意图；
21.图12是本技术分类网络的训练方法实施例四的流程示意图；
22.图13是本技术分类网络的训练方法实施例五的流程示意图；
23.图14是本技术分类网络的训练方法实施例六的流程示意图；
24.图15是本技术图像分类方法实施例一的流程示意图；
25.图16是本技术电子设备一实施例的结构示意图；
26.图17是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
29.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
30.在介绍本技术提供的方法之前，先对分类网络及分割网络的训练模式进行说明。训练模式可以有多种，以下列举两种实现方式：
31.第一种，先在训练集(后面有涉及，此处不赘述)上对分割网络进行训练。在对分割网络的训练达到预期之后，对经训练的分割网络和分类网络的联合模型进行训练。联合训练过程实质是对分类网络进行训练，分割网络起到辅助的作用。
32.第二种，考虑到气道相关的数据量较少，为了提高训练效果，在进行第一种训练方式之前，先在公共数据集上分别对分割网络和分类网络进行单独的训练，再在公共数据集上对分割网络和分类网络进行联合训练。此外，在经过上述训练之后，还利用验证集、测试集分别对经训练的联合模型进行验证、测试。其中，训练集、验证集和测试集是对原始数据集进行拆分得到的。例如拆分比例可以为6:2:2。
33.图1是本技术分类网络的训练方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
34.s11：获取到训练集。
35.训练集包括多个样本图像序列，每个样本图像序列包括多张样本图像，每张样本图像对应同一个活体的气道的不同位置，每张样本图像包括至少部分气道及其相关组织。
36.气道相关组织可以为气道相关的舌根、脂肪等组织。
37.样本图像序列带有气道类别标签，用于标识其中气道的真实类别。此外，样本图像序列还可以带有语义类别标签，用于标识其中各像素点的语义类别(例如气道、舌根、脂肪和其他)。
38.获取样本图像序列的方式包括但不限于ct扫描。在ct扫描获取方式下，样本图像序列是对活体的头部至肺部依次进行ct扫描得到的，且样本图像序列为ct图像序列。每张图像包括气道的截面和位于该截面上的气道相关组织。
39.s12：利用分类网络提取样本图像序列的第一特征，利用分割网络对样本图像序列处理得到第一处理结果。
40.分割网络是在训练集上训练得到的，且在对分割网络训练的过程中分割网络用于对样本图像序列对应的气道与气道相关组织进行语义分割。
41.所谓语义分割，即对样本图像进行像素级分类，以将所述样本图像序列中属于同一语义类别的像素点归为一类。例如，语义类别包括气道、舌根、脂肪和其他，则在对分割网络训练的过程中，分割网络对样本图像序列的分割结果为样本图像序列中各像素点分别属于气道、舌根、脂肪和其他的概率。
42.可以理解的是，由于在对分割网络训练的过程中分割网络用于对样本图像序列对应的气道与气道相关组织进行语义分割，所以训练好的分割网络对样本图像序列的第一处理结果涵盖了样本图像序列的像素点的语义类别信息，也即可以变相反映样本图像序列中哪些像素点是气道，哪些像素点是气道相关组织。
43.可选地，第一处理结果为样本图像序列的第二特征。可以利用分割网络对样本图像序列进行特征提取，得到样本图像序列的第二特征。
44.可选地，第一处理结果为样本图像序列的第一分割结果。可以利用分割网络对样
本图像序列进行气道与气道相关组织的第一语义分割，得到第一分割结果。
45.s13：利用分类网络基于第一特征和第一处理结果对样本图像序列进行分类，得到第一分类结果。
46.第一分类结果用于表示气道的类别。
47.第一分类结果可以为气道的类别概率。通过该待气道的类别概率与阈值的关系即可确定气道的类别。该阈值的大小可以根据需求的精度来设置。
48.s14：基于第一分类结果调整分类网络的参数。
49.可以基于第一分类结果与气道类别标签之间的差异，获取分类网络的损失函数(例如bceloss)，基于损失函数调整分类网络的参数。
50.s15：重复上述过程直至满足预设条件。
51.预设条件可以为损失函数收敛、训练次数/时间达到阈值、训练效果达到预期等等。
52.通过本实施例的实施，本技术在对分类网络训练的过程中，分类网络基于第一特征对样本图像序列进行分类时，额外考虑了分割网络对样本图像序列的第一处理结果。由于分割网络是利用训练集训练得到的，且在对分割网络的训练过程中，分割网络用于对样本图像序列进行气道与气道相关组织(类别相关位置)的语义分割，从而第一处理结果能够变相反映样本图像序列中哪些部分是类别相关位置，进而第一处理结果能够辅助分类网络对第一特征的分类，故能够提高第一分类结果的准确度。并且，训练得到的分类网络可以基于对应的图像序列实现对目标的气道的端到端分类，无需人工参与，不仅能够提高分类结果的准确度，还能够提高分类结果的效率、减少所需耗费的资源。
53.图2是本技术分类网络的训练方法实施例二的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对s13的进一步扩展，如图2所示，本实施例可以包括：
54.s21：利用分类网络基于第一处理结果对第一特征进行调整，以调整对第一特征的注意力。
55.第一处理结果能够给于分类网络注意力指示，以使分类网络增加对第一特征中气道分类相关特征(气道与气道相关组织对应的部分)的注意力，减小对第一特征中气道分类不相关特征(其他部分)的注意力。
56.其中，基于第一处理结果对第一特征的调整方式可以为对第一处理结果和第一特征进行上下文自适应卷积(context-adaptive convolution，cac)，或者可以为对第一处理结果和第一特征进行融合。
57.s22：利用分类网络基于经调整的第一特征对样本图像序列进行分类，得到分类结果。
58.通过上述注意力的调整，能够减小气道分类不相关特征对分类的影响以及增大气道分类相关特征对分类的影响，从而能够得到更加准确的分类结果。
59.下面基于分类网络和分割网络的结构对上述实施例二作进一步说明。
60.在一具体实施方式(第一种网络结构)中，分割网络可以包括至少一个编码块和至少一个解码块。编码块/解码块用于提取样本图像序列的特征，不同的编码模块/解码模块提取特征的尺度不同。其中编码块和解码块可以呈对称设置，如此，对应的编码块和解码块
输出的特征尺度相同。语义分割块用于对样本图像序列的特征进行气道和气道相关组织的语义分割，得到语义分割结果。
61.分割网络可以依次利用至少一个编码块、至少一个解码块中的第一个对样本图像序列进行处理，得到第二特征。
62.另外，分割网络还可以包括语义分割模块，可以依次利用至少一个编码块、至少一个解码块和语义分割块对样本图像序列处理，得到第一分割结果。
63.此外，为了提高语义分割结果的精度，分割网络还可以包括aff模块。aff模块用于对当前解码块的输出和对应编码块的输出进行加权处理，并对加权处理的结果和当前解码块的输出进行拼接得到拼接结果，拼接结果作为当前解码块的下一个块的输入。
64.分类网络可以包括至少一个编码块、注意力块和分类块。分类网络的编码块和分割网络的编码块的结构相同。分类网络可以利用至少一个编码块提取样本图像序列的第一特征，利用注意力模块基于第一处理结果对第一特征进行调整，以改变对第一特征的注意力，利用分类块对经调整的第一特征分类，得到第一分类结果。
65.在利用上述分割网络辅助上述分类网络的训练架构中，分割网络的第一处理结果为第一个解码块的输出(第二特征)或者语义分割块的输出(第一分割结果)，即可以利用分割网络的第一个解码块的输出或者语义分割块的输出来辅助分类网络的训练。
66.结合图3举例说明，图3为该方式下分类网络和分割网络的一结构示意图。
67.如图3所示，分割网络包括依次连接的4个编码块(encoderblock1～4)、4个解码块(decoderblock1～4)和语义分割块(segmentation)，以及aff模块1～4。aff模块1的输入端与encoderblock4、decoderblock1连接，输出端与decoderblock2连接。aff模块2的输入端与encoderblock3、decoderblock2连接，输出端与decoderblock3连接。aff模块3的输入端与encoderblock2、decoderblock3连接，输出端与decoderblock4连接。aff模块4的输入端与encoderblock1、decoderblock4连接，输出端与segmentation连接。分类网络包括依次连接的4个编码块(encoderblock1～4)、注意力块(attention)和分类块(classification)。其中分割网络中decoderblock1与attention连接。
68.从而，分类网络可以通过encoderblock1～4得到第一特征，分割网络可以通过encoderblock1～4、decoderblock1得到第二特征，分类网络的attention对第一特征和第二特征进行处理后送入classification进行分类，得到气道的类别。
69.下面对编码块和aff模块进行说明：
70.每个编码块encoderblock可以包括至少一个编码子块、扰动层、重校准层和下采样层，每个编码子块包括级联的三维卷积层、实例归一化层和激活层。结合图4举例说明，每个编码块包括两个编码子块、扰动层(disout)、重校准层(feature realibration)和下采样(maxpooling，图未示)，一个编码子块包括三维卷积层(3d conv)、实例归一化层(instancenorml3d)和激活层(prelu)。其中，两个3d conv的卷积核的通道数据随着特征提取阶段(n)逐步增加。
71.解码块decoderblock与encoderblock的结构相似，与encoderblock的不同之处在于其包括的是上采样层而非下采样层，其卷积核的通道数与encoderblock的卷积和通道数对应相等。
72.扰动层用于对特征进行扰动，以增强模型的泛化性。重校准层用于信息筛选。结合
图5对重校准层的实现进行说明。对于扰动层得到的特征am，通过z(.)分别沿着深度、高度、宽度三个维度集成空间映射
[0073][0074][0075][0076][0077]
其次，在空间映射上进行通道重组以获得通道描述算子um：
[0078][0079]
最后，通道描述算子与扰动层得到的特征am相乘得到重校准层的结果：
[0080][0081]
其中b为广播机制，hj,wk,di分别为可学习参数，f1，f2为激活函数，k1，k2为1*1*1的3d卷积层，
⊙
为逐点相乘操作。
[0082]
结合图6-7以aff模块1对encoderblock4的输出x、decoderblock1的输出y进行加权处理为例对aff模块进行说明。
[0083]
如图6所示，aff模块2先将x和y逐点相加后输入ms-cam块进行处理。如图7所示，ms-cam包含两个部分，分别为局部注意力部分和全局注意力部分。在局部注意力部分，依次对x和y的相加结果进行逐点卷积(point-wise conv)降维、非线性转换(relu)、逐点卷积(point-wise conv)升维处理，以压制x和y的相加结果中与分类不相关的信息，强化与分类相关的信息。在全局注意力部分，与局部注意力部分不同的是，在进行逐点卷积(point-wise conv)降维之前，对x和y的相加结果进行了全局平均池化(globalavgpooling)。ms-cam块将局部注意力部分的结果和全局注意力部分的结果相加、sigmoid后得到结果，即权重ms_cam(x+y)。aff模块2基于ms_cam(x+y)对x和y进行加权，得到加权结果z：
[0084][0085]
分类块classification由一个卷积核为1*1*1的3dconv层和sigmoid层组成。
[0086]
语义分割块segmentation由一个卷积核为1*1*1的3dconv层和softmax层组成。
[0087]
若前面s21提及的调整方式为对第一处理结果和第一特征进行上下文自适应卷积，在第一种网络结构的基础上，可以对上述实施例二进一步扩展，具体如下：
[0088]
图8是本技术分类网络的训练方法实施例三的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。s21可以扩展为s31-s32，s22可以
扩展为s33。如图8所示，本实施例可以包括：
[0089]
s31：利用分类网络基于第一处理结果获取第一特征对应的注意力权重。
[0090]
可以利用分类网络获取与第一处理结果相适应的卷积核，可以利用分类网络基于卷积核对第一处理结果进行卷积，得到注意力权重。
[0091]
s32：利用分类网络对第一特征与注意力权重进行相乘处理，得到相乘特征。
[0092]
s33：利用分类网络基于相乘特征对样本图像序列进行分类，得到第一分类结果。
[0093]
结合图9对s31～s33的实现过程进行举例说明。如图9所示，可以利用分类网络获取第一处理结果(decoderblock的输出，第二特征)相适应的卷积核(cac kernels)，利用分类网络基于cac kernels对第一处理结果进行卷积，得到注意力权重(weighting factors)，利用分类网络对第一处理结果和weighting factors进行相乘处理，得到相乘特征(out feature maps)。
[0094]
在另一具体实施方式(第二种网络结构)中，分割网络包括至少一个编码块(encoderblock)、head块、至少一个解码块(decoderblock)和语义分割块(segmentation)。编码块和解码块可以对应设置，对应的编码块的解码块得到的特征尺度相同。至少一个解码块是输入包括上一块的输入以及对应编码块的输入。分类网络包括级联的至少一个编码块(encoderblock)、融合块(fuse)和分类块(classification)。此外，在分类块之前还可以包括transformer块。
[0095]
head块用于对前一个块输出的特征进行语义信息整合。head模块结构与encoderblock相同，但没有下采样层。
[0096]
融合块用于对分割网络的至少一个解码块与其分类网络的至少一个编码块输出的特征进行融合。在融合块仅需要对一个解码块和一个编码块输出的特征进行融合时，解码块和编码块输出的特征尺度一致，可以直接对解码块和编码块输出的特征进行融合。或者，在融合块仅需要对多个解码块和多个编码块输出的特征进行融合时，多个解码块/编码块输出的特征构成特征金字塔，可利用fpt对多个解码块和多个编码块输出的特征进行融合。
[0097]
transformer块可以由两个layernormlization层、一个多头自注意力层(msa)和一个多层感知层(mlp)组成。
[0098]
举例说明，图10是该方式下分类网络和分割网络的一结构示意图。
[0099]
如图10所示，分割网络包括依次连接的4个编码块(encoderblock1～4)、head块、4个解码块(decoderblock1～4)和语义分割块(segmentation)。其中，encoderblock4的输出端decoderblock1的输入端连接，encoderblock3的输出端decoderblock2的输入端连接，encoderblock2的输出端decoderblock3的输入端连接，encoderblock1的输出端decoderblock4的输入端连接。decoderblock1～4输出的特征为第二特征，构成第二特征金字塔。
[0100]
分类网络包括依次连接的4个编码块(encoderblock1～4)、fuse块、transformer块和classification。encoderblock1～4输出的特征为第一特征，构成第一特征金字塔。fuse块的输入为第一特征金字塔和第二特征金字塔。
[0101]
从而，分类网络可以通过encoderblock1～4得到第一特征金字塔，分割网络可以通过encoderblock1～4、head块、decoderblock1～4得到第二特征金字塔，分类网络的fuse
块对第一特征金字塔和第二特征金字塔进行处理后送入classification进行分类，得到气道的类别。
[0102]
本方式中网络的编码块、解码块、语义分割块、分类块的结构可以与前面方式中提到的相同，也可以不同。
[0103]
例如，本方式中编码块和解码块与前面提及的不同。结合参阅图11，编码块包括级联的3d卷积层(8*n)、batch normlization层、relu层、3d卷积层(16*n)、batch normlization层、relu层、下采样层(图未示)。其中，第一个3d卷积层的卷积核为1
×1×
1，第二个3d卷积层的卷积核为1
×1×
1。且每个编码块的输入与第二个batch normlization层的输出相加，以防止梯度消失。解码块与编码块的结构相似。
[0104]
若前面s21提及的调整方式为对第一处理结果和第一特征进行上下文自适应卷积，在第二种网络结构的基础上，可以对上述实施例二进一步扩展，具体如下：
[0105]
图12是本技术分类网络的训练方法实施例四的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图12所示的流程顺序为限。s21可以扩展为s41，s22可以扩展为s42。如图12所示，本实施例可以包括：
[0106]
s41：利用分类网络对第一特征和第二特征融合，得到融合特征。
[0107]
可以理解的是，对第一特征和第二特征融合，能够增加分类网络对气道分类相关特征的注意力，减少对气道分类相关特征的注意力，从而将融合特征应用于后续分类，能够得到更加准确的第一分类结果。
[0108]
若第一特征有多个，多个第一特征构成第一特征金字塔，且第二特征有多个，多个第二特征构成第二特征金字塔，则可以利用分类网络的fpt模块对第一特征金字塔和第二特征金字塔进行融合，得到融合特征。
[0109]
其中，fpt是一种在空间和尺度上完全活跃的特征交互方式，它通过使用三个专门设计的transformer，以自上而下和自下而上的交互方式，将特征之间的语义和空间信息融合。
[0110]
s42：利用分类网络对融合特征分类，得到第一分类结果。
[0111]
下面介绍在上述s12中利用分割网络对样本图像序列处理得到第一处理结果之前，在训练集上对分割网络的训练过程。
[0112]
图13是本技术分类网络的训练方法实施例五的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图13所示的流程顺序为限。如图13所示，在训练集上对分割网络的训练可以包括以下子步骤：
[0113]
s51：利用分割网络对样本图像序列进行气道与气道相关组织的第二语义分割，得到第二分割结果。
[0114]
以第一种网络结构为例。可以依次利用分割网络的至少一个编码块、至少一个解码块和语义分割块对样本图像序列进行处理，得到第二分割结果。
[0115]
s52：基于第二分割结果调整分割网络的参数。
[0116]
可以基于第二分割结果与真实语义标签之间的差异，获取分割网络的损失函数(例如ohem+boundary loss)，以调整分割网络的参数。
[0117]
图14是本技术分类网络的训练方法实施例六的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图14所示的流程顺序为限。如图14所示，在样本图像序列
数量较少的情况下，在公共数据集上对分割网络和分类网络的联合模型的训练可以包括以下子步骤：
[0118]
s61：获取公共数据集。
[0119]
公共数据集中包括多张公共图像；
[0120]
s62：利用分类网络提取公共图像的第三特征，利用分割网络对公共图像进行处理，得到第二处理结果。
[0121]
s63：利用分类网络基于第三特征和第二处理结果对公共图像分类，得到第二分类结果。
[0122]
s64：基于第二分类结果调整分类网络的参数。
[0123]
本实施例的详细描述请参考在训练集上训练的相关描述，在此不赘述。
[0124]
图15是本技术图像分类方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图15所示的流程顺序为限。如图15所示，本实施例可以包括：
[0125]
s71：获取目标图像序列。
[0126]
目标图像序列包括多张目标图像，每张目标图像对应目标的气道的不同位置，每张目标图像包括至少部分目标的气道及其相关组织。
[0127]
s72：将目标图像序列输入分类网络，得到目标图像序列的分类结果。
[0128]
目标图像序列的分类结果用于表示目标的气道的类别。
[0129]
其中，分类网络可以是基于前述的训练方法训练得到的。
[0130]
本实施例的详细描述请参考前面的实施例，在此不赘述。
[0131]
通过本实施例的实施，本技术能够通过分类网络基于目标的气道相关的图像序列实现对目标的气道的端到端分类，以确定目标的气道的类别。
[0132]
图16是本技术电子设备一实施例的结构示意图。如图16所示，该电子设备可以包括处理器81、与处理器81耦接的存储器82。
[0133]
其中，存储器82存储有用于实现上述任一实施例的方法的程序指令；处理器81用于执行存储器82存储的程序指令以实现上述方法实施例的步骤。其中，处理器81还可以称为cpu(central processing unit，中央处理单元)。处理器81可能是一种集成电路芯片，具有信号的处理能力。处理器81还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器81也可以是任何常规的处理器等。
[0134]
图17是本技术计算机可读存储介质一实施例的结构示意图。如图17所示，本技术实施例的计算机可读存储介质90存储有程序指令91，该程序指令91被执行时实现本技术上述实施例提供的方法。其中，该程序指令91可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质90中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质90包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0135]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以
通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0136]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。