工业视觉检测方法、装置、电子设备以及存储介质与流程

1.本技术涉及视觉检测领域，特别是涉及工业视觉检测方法、装置、电子设备以及存储介质。


背景技术：

2.工业场景下产线上产品和零部件外观的视觉检测具有重要意义，出厂前必须保证产品logo不能出现漏贴、倒贴、贴错等等问题，零部件不能出现缺失、损坏等等问题，否则就会影响该产品的销售。目前，相关检测主要是用的常规目标检测算法，常规目标检测算法模型需要采集大量素材去标注训练，然而产线上待检测目标类型复杂多变，频繁采图标注训练模型效率非常低下，很难在短时间内进行大量复制推广。而一些更加极端的场景，例如外销产线的logo检测，检测的logo种类事先是无法预知的，因此无法采集图片来训练模型。


技术实现要素：

3.本技术至少提供一种工业视觉检测方法、装置、电子设备以及存储介质。
4.本技术第一方面提供了一种工业视觉检测方法，该工业视觉检测方法包括：
5.获取第一图像与标准图像；
6.将第一图像与标准图像进行目标检测，得到第一检测结果与第一检测坐标；其中，第一检测坐标为标准图像中目标对象在第一图像的映射坐标；
7.响应于第一检测结果大于预设的第一阈值，则基于第一检测坐标，获取第二图像；其中，第二图像为第一图像中目标区域的图像；
8.将第二图像进行功能检测，得到第二检测结果。
9.本技术第二方面提供了一种工业视觉检测装置，该工业视觉检测装置包括：
10.获取模块，用于获取第一图像与标准图像；
11.目标检测模块，用于根据第一图像与标准图像，得到第一检测结果与第一检测坐标；
12.判断模块，用于判断第一检测结果是否大于第一阈值；
13.响应于第一检测结果大于预设的第一阈值，目标检测模块基于第一检测坐标，获取第二图像；其中，第二图像为第一图像中目标区域的图像；
14.功能检测模块，用于对第二图像进行功能检测，得到第二检测结果。
15.本技术第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中工业视觉检测方法。
16.本技术第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中工业视觉检测方法。
17.本技术的有益效果是：区别于现有技术，本技术通过获取第一图像与标准图像，并通过仿射变换获取标准图像中目标对象在第一图像的映射坐标，根据映射坐标获取第一图像中检测对象的图像，进一步通过检测对象的图像进行功能检测。本技术基于仿射变换的
工业视觉检测方法具有通用性，对检测对象进行检测时，无需标注去重新训练模型，节约了采图、标注、训练的时间，且检测精度可满足工业场景要求；同时根据需要将检测对象的图像，即检测对象在第一图像的坐标切图，给到对应的功能检测模块进行检测，提高检测效率。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术工业视觉检测方法第一实施例的流程示意图；
21.图2是图1中步骤s11的具体流程示意图；
22.图3是图1中步骤s12的具体流程示意图；
23.图4是图1中步骤s14的具体流程示意图；
24.图5是本技术工业视觉检测方法第二实施例的流程示意图；
25.图6是本技术工业视觉检测方法第三实施例的流程示意图；
26.图7是本技术工业视觉检测方法第四实施例的流程示意图；
27.图8是本技术工业视觉检测装置一实施例的框架示意图；
28.图9是本技术电子设备一实施例的框架示意图；
29.图10是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
30.为使本领域的技术人员更好地理解本技术的技术方案，下面结合附图和具体实施方式对本技术所提供的工业视觉检测方法、装置、电子设备以及存储介质做进一步详细描述。可以理解的是，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.本技术中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
32.请参阅图1，图1是本技术工业视觉检测方法第一实施例的流程示意图。
33.本技术的工业视觉检测方法的执行主体可以是一种工业视觉检测装置，例如，工业视觉检测方法可以由终端设备或服务器或其它处理设备执行，其中，工业视觉检测装置可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、个人数字处理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一
些可能的实现方式中，该工业视觉检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
34.具体而言，本实施例的工业视觉检测方法可以包括以下步骤：
35.步骤s11：获取第一图像与标准图像。
36.进一步地，本实施例的工业视觉检测方法应用于检测工业场景下，用于检测产品与零部件的外观，防止产品logo出现漏贴、倒贴或错贴等问题，防止零部件出现缺失或损坏等问题。
37.具体地，步骤s11所获取的第一图像为拍摄待测产品所得到的检测图像，标准图像为预先根据待测产品进行标准化设置的图像，具体地，标准图像可为根据待测产品进行建模所产生的图像，建模标准是包含待测产品全部区域且尽可能少的包含背景。其中，标准图像包括待测产品所有待检测项的信息，例如logo的图标与位置，或零部件的位置与数量。
38.其中，具体获取图像过程请继续参阅图2，图2是图1中步骤s11的具体流程示意图。具体而言，包括以下步骤：
39.步骤s111：获取待测产品的一维码。
40.其中，每个待测产品上对应设置有包括该待测产品的商品信息的一维码，即条形码。条形码是由一组规则排列的条、空以及对应的字符组成的标记，“条”指对光线反射率较低的部分，“空”指对光线反射率较高的部分，这些条和空组成的数据表达一定的信息，并能够用特定的设备识读，转换成与计算机兼容的二进制和十进制信息。通常对于每一种产品而言，它的编码是唯一的。
41.本实施例通过扫描条形码可获取对应待测产品的商品信息。商品信息可包括产品类别和产品型号，通过查询商品信息可得到待测产品为某一类别产品的某一型号。例如，电热水器产品型号命名基本都以es开头，其中e代表的意思是electrical，即用电的意思，s代表的意思是storage，即储水的意思。es后面接着的是二位数字，代表的是容量，例如80代表的是80l。数字后面的字母是h或者是v，其中h代表的意思是horizontal，即横式产品。
42.具体地，商品信息存储于生产信息化管理系统内，本实施例具体使用mes系统(制造执行系统，manufacturing execution system)，mes系统是一套面向制造企业车间执行层的生产信息化管理系统。
43.当扫描一维码成功时，即获取待测产品的商品信息成功时，执行步骤s112。当扫描一维码失败时，在客户端显示扫码失败，具体可显示于客户端的显示屏幕上，进一步长亮示意灯提示扫码失败，具体长亮红色示意灯。
44.步骤s112：响应于成功获取一维码，获取第一图像。
45.其中，本实施例通过工业生产线上的相机拍摄待测产品，即可获取第一图像。
46.步骤s113：基于一维码，得到标准图像。
47.其中，本实施例通过一维码获取待测产品的商品信息，并根据商品信息调取存储于本地数据库中对应的标准图像。
48.可选地，可同时或先后执行步骤s112与步骤s113，本实施例不限制步骤s112与步骤s113的执行顺序。
49.步骤s12：将第一图像与标准图像进行目标检测，得到第一检测结果与第一检测坐标。
50.其中，本实施例采用基于放射变化的单样本目标检测算法进行检测，得到的第一检测结果与第一检测坐标以列表的形式展示。
51.其中，具体检测过程请继续参阅图3，图3是图1中步骤s12的具体流程示意图。具体而言，包括以下步骤：
52.步骤s121：基于双路卷积神经网络(dccnn，dual-channel convolutional neural network)，获取第一图像的第一特征图，与标准图像的第二特征图。
53.其中，双路卷积神经网络由两个结构相同的子网络构成。具体地，本实施例采用vgg-16架构的双路卷积神经网络，通过imagenet图像库获取预设的训练权重，通过在卷积过程中加入了l2-norm(l2正则化算法)，其中l2-norm具体用于进行权重衰减(weight decay)，对双路卷积神经网络进行权重值的微调(fine-tune)，以使两路卷积神经网络的权重值共享，即使两路卷积神经网络的权重值相等。
54.本实施例将第一图像与标准图像作为双路卷积神经网络的两路输入，并根据对应的场景特性设置检测参数与检测阈值。
55.具体地，本实施例通过双路卷积神经网络分别获取第一图像的第一特征图fs与标准图像的第二特征图f
t
。具体地，第一特征图fs与第二特征图f
t
的维度均为h*w*d，其中，w为特征图的宽，h为特征图的高，d为特征图的通道数。
56.步骤s122：对第一特征图与第二特征图进行归一化处理，得到第一检测结果。
57.其中，本实施例采用correlation-layer(相关联层或互相关层)对第一特征图fs与第二特征图f
t
进行归一化处理，具体的归一化公式如下：
58.s：r
h*w*d
×rh*w*d
→rh*w*h*w
ꢀꢀꢀ
(1)
[0059][0060]
其中，公式(1)中的s表示对与进行叉乘；公式(2)中的分子表示第一特征图fs与第二特征图f
t
中的特征点的对应位置的点乘，即把两路卷积神经网络提取得到的特征融合为一个向量，得到(h
×
w)
×
(h
×
w)的立方体，称之为相关性图，相关性图当中的每一个位置(i，j)表示第一特征图fs中的(i，j)位置的特征点与第二特征图f
t
中对应特征点的相似度；公式(2)中的分母表示对相关性图进行归一化处理，以凸显相似度高的特征点。本实施例根据公式(2)可得到第一特征图fs与第二特征图f
t
的匹配分数s。
[0061]
本实施例通过使用correlation-layer，对第一特征图fs与第二特征图f
t
的特征点进行点乘得到相关性图，使得相关性图仅需要保留对应特征点的相似性以及空间位置，防止第一特征图fs与第二特征图f
t
本身的像素信息，影响双路卷积神经网络的输出结果；同时对相关性图进行归一化处理，能够避免对两幅图中每一个通道的特征图进行简单的相加或者相减而产生的匹配点相差较远导致相似度较低的问题，在匹配点相差较远的情况下，也能够凸显出最为匹配的特征点。
[0062]
可选地，本实施例还使用relu(修正线性单元，rectified linear unit)进行归一化。当有多个噪声匹配特征点时，relu会对除了最匹配的特征点之外的噪声点进行降权处
理，以提高双路卷积神经网络的鲁棒性。
[0063]
可选地，第一特征图fs与第二特征图f
t
均只有一个特征点，且第一特征图fs的特征点与第二特征图f
t
的特征点匹配时，得到的匹配分数s为1，则证明第一特征图fs与第二特征图f
t
完全相同。
[0064]
步骤s123：基于第一检测结果，对第一图像与标准图像进行空间几何变换，得到第一检测坐标。
[0065]
其中，根据步骤s122得到匹配分数s，需进一步对第一图像与标准图像进行空间几何变换，使得第一图像与标准图像匹配对齐。本实施例采用transformation regression cnn(transformnet，变换网络)进行图像变换，具体计算公式如下：
[0066]
g：r
h*w*h*w
→rk
，g＝g(s)
ꢀꢀꢀ
(3)
[0067]
其中，公式(3)中的k代表几何模型的自由度，本实施例所使用的几何模型具体为仿射变换模型，k＝6，g表示第一图像与标准图像的几何变换关系。
[0068]
为了衡量得到的几何变换关系g的优劣，本实施例通过使用soft-inlier count(软内联计数)的方法来进行评估，具体评估公式如下：
[0069]
tg：r2→
r2，(us，vs)＝tg(u
t
，v
t
)
ꢀꢀꢀ
(4)
[0070][0071]
其中，在公式(4)中，(u
t
，v
t
)为标准图像中的点，(us，vs)为标准图像中的点按照几何变换关系g映射回第一图像中的映射坐标，即为第一检测坐标。在公式(5)中，tg(k，l)为标准图像中的点(k，l)根据几何变换关系g映射回第一图像中的坐标，即为第一检测坐标，d((i，j)，tg(k，l))为转换误差，该转换误差衡量了第一图像中的点(i，j)和标准图像中的点(k，l)的对齐程度。
[0072]
本实施例通过soft-inlier count c计算公式进一步计算最优的几何变换关系g，具体计算公式如下：
[0073]
c＝∑
i，j，k，lsijklmijkl
ꢀꢀꢀ
(6)
[0074]
其中，选择最大的相似度的值作为scores，即选择最大值的c，将其进行相应的变化后可得到最大值的匹配分数s，此时对应的几何变换关系g即为最优解；将最大值的c对应的bounding box(边框界)作为检测框坐标，检测框用于在第一图像中定位检测对象。
[0075]
具体地，把得到的几何变换关系g送入一个grid sampler，以此在第一图像的每个位置产生一个对齐于标准图像的grid points矩阵，随后根据产生的grid points矩阵对相关性图s
ijkl
进行重采样，最后，对重采样后得到的张量的最后两个维度进行池化操作，得到最终的scores，提取产生的grid points矩阵其第3维度的最大值和第4维度的最小值作为boxes坐标，则可得到第一检测坐标对应的检测框。
[0076]
本实施例通过transformnet的训练得到最优的几何变换关系g，该几何变换关系g不依赖于训练数据分布，因此该仿射变换模型具有很强的泛化能力，可灵活应用于各种场景，即插即用，不用任何二次训练。
[0077]
步骤s13：响应于第一检测结果大于预设的第一阈值，则基于第一检测坐标，获取第二图像。
[0078]
其中，第一检测结果具体为第一特征图fs与第二特征图f
t
的匹配分数s，在本实施例中，预设的第一阈值为0.5。
[0079]
具体地，当匹配分数s小于或等于0.5时，则证明检测不合格，在客户端输出检测不合格信号，具体可显示于客户端的显示屏幕上，进一步长亮示意灯提示待测产品检测不合格，具体长亮红色示意灯。
[0080]
当匹配分数s大于0.5时，则证明检测合格，在客户端输出检测合格信号，具体可显示于客户端的显示屏幕上，进一步长亮示意灯提示完成目标检测，且待测产品检测合格，具体长亮绿色示意灯。
[0081]
进一步地，响应于匹配分数s大于0.5，可根据第一检测坐标，获取第二图像，其中第二图像为第一图像中目标区域的图像，具体为检测框所包含区域的图像，具体地，检测框内包含检测对象的全部区域。
[0082]
步骤s14：将第二图像进行功能检测，得到第二检测结果。
[0083]
其中，本实施例将第二图像进行功能检测，以针对性得到检测对象的第二检测结果。具体地，在本实施例中，功能检测包括第一功能检测与第二功能检测。
[0084]
其中，具体功能检测过程请继续参阅图4，图4是图1中步骤s14的具体流程示意图。具体而言，包括以下步骤：
[0085]
步骤s141：将第二图像进行第一功能检测，得到字符信息。
[0086]
其中，第一功能检测为字符识别检测，本实施例通过ocr模块对第二图像进行字符识别检测，以得到待测产品的字符信息，待测产品的字符信息即为第二检测结果。可选地，字符信息可包括产品型号、能效等级、额定容量、额定功率、工作电压、额定电压、额定频率、生产厂家等等。
[0087]
步骤s142：将第二图像进行第二功能检测，得到第二图像中检测对象的检测分值与检测坐标。
[0088]
其中，第二功能检测为特性检测，用于对特性易混淆的待测目标进行针对性识别，本实施例使用yolov5检测模块进行特性检测，得到第二图像中检测对象的检测分值与检测坐标，检测对象的检测分值与检测坐标即为第二检测结果。
[0089]
可选地，特性检测可包括对检测对象上螺钉数量的检测。例如，通过步骤s11-步骤13对第一图像中待测产品的底角进行检测和定位，得到底角的第二图像，进一步通过yolov5检测模块对底角上螺钉进行检测和识别，得到螺钉对应的检测分值与检测坐标，以确定底角上螺钉的个数和位置。
[0090]
可选地，本实施例根据检测功能需求的不同，选择执行步骤s141或步骤s142，并在完成步骤s141或步骤s142之后，将对应的第二检测结果传入mes系统，完成对待测产品的视觉检测。
[0091]
其中，第一实施例所得到用于在第一图像中定位检测对象的检测框，可能根据检测对象在第一图像中的角度或亮度无法包含整个检测对象，导致定位不准确，本技术还提供另一种工业视觉检测方法，以解决上述问题。请参阅图5，图5是本技术工业视觉检测方法第二实施例的流程示意图。具体而言，本实施例的工业视觉检测方法可以包括以下步骤：
[0092]
步骤s21：基于第一检测坐标，得到第一目标检测框。
[0093]
其中，第一目标检测框即为最大值的c对应的检测框，第一目标检测框包括四个坐
标(x1，y1，x2，y2)，其中(x1，y1)为第一目标检测框的左上顶点坐标，(x2，y2)为第一目标检测框的右下顶点坐标。
[0094]
步骤s22：响应于第一目标检测框未包含第一图像中检测对象的全部区域，则基于缩放参数对第一目标检测框进行缩放，得到第二目标检测框。
[0095]
其中，通过步骤123所得到的第一检测坐标及其对应的检测框，由于第一检测坐标通过仿射变化得到，均可能导致获取的第二图像对检测对象的定位不准确，即第一检测坐标对应的第一目标检测框未包含第一图像中检测对象的全部区域，因此需要对第一目标检测框进行缩放处理，以得到包含第一图像中检测对象的全部区域的第二目标检测框，具体缩放公式如下：
[0096]
w＝x
2-x1ꢀꢀꢀ
(7)
[0097]
h＝y
2-y1ꢀꢀ
(8)
[0098][0099][0100]
new_w＝(x
2-x1)*extent_ratio
ꢀꢀꢀ
(11)
[0101]
new_h＝(y
2-y1)*extent_ratio
ꢀꢀꢀ
(12)
[0102][0103][0104][0105][0106]
其中，公式(7)与公式(8)分别用于计算第一目标检测框的长度与宽度，公式(9)与公式(10)用于计算第一目标检测框的中心点(center_x，center_y)，公式(11)与公式(12)用于计算缩放后的长度与宽度，其中extent_ratio为缩放参数，公式(13)、公式(14)、公式(15)以及公式(16)用于计算缩放后的坐标，根据缩放后的四个坐标，可得到第二目标检测框，其中四个坐标两两组合形成第二目标检测框的四个顶点坐标。
[0107]
本实施例通过缩放参数对第一检测框进行缩放，以使第二目标检测框能够完整包含检测对象，能够实行对检测对象更准确的定位。
[0108]
其中，第一实施例应用于待测产品仅包括一个检测对象的场景，为实现将上述的工业视觉检测方法应用于待测产品包括多个检测对象的场景，本技术还提供另一种工业视觉检测方法，请参阅图6，图6是本技术工业视觉检测方法第三实施例的流程示意图。具体而言，本实施例的工业视觉检测方法可以包括以下步骤：
[0109]
步骤s31：响应于第一图像内检测对象的数量大于一，则根据多目标检测参数，输出多个检测对象对应的第一检测坐标。
[0110]
其中，同一个待测产品上可能包括多个相同的检测对象，需要根据检测对象数量选择双路卷积神经网络对应的检测参数，双路卷积神经网络根据检测参数不同，选择进行常规检测或多目标检测。
[0111]
具体地，每一个检测对象对应一个第一检测坐标，当双路卷积神经网络进行多目标检测时，输出多个检测对象对应的第一检测坐标。
[0112]
步骤s32：基于多个检测对象的第一检测坐标，得到多个对应的第一目标检测框。
[0113]
其中，每一个检测对象的第一检测坐标对应一个第一目标检测框，存在多个检测对象时，则存在多个第一检测坐标与多个对应的第一目标检测框。
[0114]
步骤s33：响应于第一目标检测框的参数小于预设的第二阈值，则删除对应的第一目标检测框。
[0115]
其中，第一目标检测框的参数为第一目标检测框的置信度或检测分值，在本实施例中，第二阈值可为0.7。
[0116]
当判断某一第一目标检测框的置信度小于0.7时，删除该第一目标检测框，直至完成对所有第一目标检测框的置信度的判断，并输出满足第三阈值的第一目标检测框，以进一步执行步骤s13及其后续步骤。
[0117]
其中，第一实施例存在检测对象在第一图像中占比太小，导致双路卷积神经网络计算得到的匹配分数s分值很低，无法通过分值对检测框进行筛选的问题。本技术还提供另一种工业视觉检测方法，以解决上述问题。请参阅图7，图7是本技术工业视觉检测方法第四实施例的流程示意图。具体而言，本实施例的工业视觉检测方法可以包括以下步骤：
[0118]
步骤s41：基于第一检测坐标，得到第一目标检测框。
[0119]
步骤s42：根据第一目标检测框，获取第三图像。
[0120]
其中，第三图像为第一目标检测框位于第一图像所在区域的切图。
[0121]
步骤s43：将第三图像作为新的第一图像，执行后续步骤。
[0122]
其中，本实施例将第三图像作为第二阶段的输入图像，重新执行步骤s11。
[0123]
本实施例通过双路卷积神经网络对应的检测参数来选择一阶段检测或二阶段检测，二阶段检测通过首先在第一图像中进行一阶段检测，以检测出包含检测对象的较大的检测框，然后把该检测框切图作为二阶段检测的输入，在这张切图中去检测较小的检测对象的方式，分步对检测对象进行检测，解决了第一图像中检测对象占比小的问题。
[0124]
请继续参阅图8，图8是本技术工业视觉检测装置一实施例的框架示意图。工业视觉检测装置50包括获取模块51、目标检测模块52、判断模块53以及功能检测模块54。
[0125]
获取模块51用于获取第一图像与标准图像。目标检测模块52用于根据第一图像与标准图像，得到第一检测结果与第一检测坐标。
[0126]
判断模块53用于判断第一检测结果是否大于第一阈值。
[0127]
响应于第一检测结果大于预设的第一阈值，目标检测模块52基于第一检测坐标，获取第二图像；其中，第二图像为第一图像中目标区域的图像。
[0128]
功能检测模块54用于对第二图像进行功能检测，得到第二检测结果。
[0129]
请继续参阅图9，图9是本技术电子设备一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61中存储的程序指令，以实现上述任一工业视觉检测方法实施例中的步骤。在一个具体的实施场景中，电子设备60可以包括但不限于：微型计算机、服务器，此外，电子设备60还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
[0130]
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一工业视觉检测
方法实施例中的步骤。处理器62还可以称为cpu(central processing unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由集成电路芯片共同实现。
[0131]
请参阅图10，图10是本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令71，程序指令71用于实现上述任一工业视觉检测方法实施例中的步骤。
[0132]
在一些实施例中，本实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0133]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0134]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0135]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0136]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0137]
以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。