产品表面缺陷检测方法、装置、设备及存储介质与流程

1.本技术涉及缺陷检测、图像识别技术领域，具体涉及一种产品表面缺陷检测方法、装置、设备及存储介质。


背景技术：

2.在工业生产制造中，一些产品在制造过程中需要对产品的表面进行缺陷检测。以纺织布匹为例，需要对纺织布匹的表面瑕疵进行缺陷检测。
3.现有检测方案，采用cnn深度神经网络模型，进行缺陷检测。该方案需要收集大量的缺陷图片，来制作训练样本训练模型。在缺陷图片收集过程中，存在缺陷图片数量少，收集困难的问题。并且，收集到的图片还存在各类别的缺陷图片数量分布不均匀的问题。


技术实现要素：

4.本技术实施例的目的是提供一种产品表面缺陷检测方法、装置、设备及存储介质，至少能够解决现有技术中采用模型检测表面缺陷的方案中，模型训练过程收集训练样本困难的技术问题。
5.本技术的技术方案如下：
6.第一方面，提供了一种产品表面缺陷检测方法，包括：
7.获取第一图像，第一图像为待测产品表面图像；
8.通过傅里叶变换，提取第一图像的相位谱和频率谱；
9.将第一图像的相位谱输入到预设的第一模型，得到目标相位谱，第一模型是基于不存在表面缺陷的产品的表面图像训练得到的；
10.基于目标相位谱和频率谱做傅里叶反变换，得到目标图像，目标图像为与第一图像对应的没有缺陷的图像；
11.基于目标图像和第一图像，确定待测产品表面是否存在缺陷。
12.在一些可选的实施例中，将第一图像的相位谱输入到预设的第一模型，得到目标相位谱之前，方法还包括：
13.在多张产品表面图像中确定样本图像，样本图像为不存在表面缺陷的产品的表面图像；
14.通过傅里叶变换，提取样本图像的相位谱；
15.基于样本图像的相位谱，构建训练样本；
16.基于训练样本训练预设的第一模型，得到训练后的第一模型。
17.在一些可选的实施例中，基于目标图像和第一图像，确定待测产品表面是否存在缺陷，包括：
18.分别计算目标图像的幅度谱残差和第一图像的幅度谱残差；
19.计算目标图像的幅度谱残差和第一图像的幅度谱残差的差值；
20.在差值大于预设阈值的情况下，确定待测产品表面不存在缺陷。
21.在一些可选的实施例中，计算目标图像的幅度谱残差，包括：
22.通过傅里叶变换，得到目标图像的原始幅度谱；
23.对目标图像的原始幅度谱做平滑处理，得到目标幅度谱；
24.计算目标幅度谱与原始幅度谱的差值，得到目标图像的幅度谱残差。
25.在一些可选的实施例中，通过傅里叶变换，提取第一图像的相位谱和频率谱之前，方法还包括：
26.消除第一图像背景的周期纹理，得到第二图像；
27.通过傅里叶变换，提取第一图像的相位谱和频率谱，包括：
28.通过傅里叶变换，提取第二图像的相位谱和频率谱。
29.在一些可选的实施例中，消除第一图像背景的周期纹理，包括：
30.通过带通滤波器处理第一图像，以消除第一图像背景的周期纹理。
31.在一些可选的实施例中，消除第一图像背景的周期纹理，得到第二图像之后，方法还包括：
32.消除光照变化对第二图像的影响，得到第三图像；
33.通过傅里叶变换，提取第二图像的相位谱和频率谱，包括：
34.通过傅里叶变换，提取第三图像的相位谱和频率谱。
35.在一些可选的实施例中，消除光照变化对第一图像的影响，包括：
36.通过线性反投影算法处理消除周期纹理后的第一图像，以消除光照变化对待第一图像的影响。
37.第二方面，提供了一种产品表面缺陷检测装置，包括：
38.第一获取模块，用于获取第一图像，第一图像为待测产品表面图像；
39.第一数据处理模块，用于通过傅里叶变换，提取第一图像的相位谱和频率谱；
40.模型处理模块，用于将第一图像的相位谱输入到预设的第一模型，得到目标相位谱，第一模型是基于不存在表面缺陷的产品的表面图像训练得到的；
41.第二数据处理模块，用于基于目标相位谱和频率谱做傅里叶反变换，得到目标图像，目标图像为与第一图像对应的没有缺陷的图像；
42.缺陷检测模块，用于基于目标图像和第一图像，确定待测产品表面是否存在缺陷。
43.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的产品表面缺陷检测方法的步骤。
44.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的产品表面缺陷检测方法的步骤。
45.本技术的实施例提供的技术方案至少带来以下有益效果：
46.本技术实施例提供的产品表面缺陷检测方法，将第一模型输出的目标相位谱结合第一图像的频率谱做傅里叶反变换，来恢复图像，以此来得到没有缺陷的目标图像；通过目标图像和第一图像相比较可以确定产品表面是否存在缺陷。其中，由于第一模型仅用于输出没有缺陷的图像的相位谱，其训练过程中无需使用缺陷图片作为训练样本。此外，由于相位谱中包含图像位置信息，通过目标相位谱恢复得到目标图像，对于图像内部的位移偏差
缺陷有较好的检测效果。
47.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
48.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理，并不构成对本技术的不当限定。
49.图1是lbp原理示意图；
50.图2是本技术实施例提供的一种产品表面缺陷检测方法的流程示意图；
51.图3是本技术实施例提供的一种产品表面缺陷检测装置的结构示意图；
52.图4是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
53.为了使本领域普通人员更好地理解本技术的技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
54.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的例子。
55.在工业生产制造中，由于生产工艺、原材料、压制设备等因素，一些产品表面会出现划痕、裂纹、凹坑、麻面、折叠、结疤等缺项。因此，一些产品在制造过程中需要对产品的表面进行缺陷检测。
56.针对产品的表面进行缺陷检测，初期主要依靠人工进行检测。人工检测主要是凭借人眼对缺陷进行检测和识别，但时间过长，眼睛会产生视觉疲劳，导致识别的准确率下降，无法分辨细微的表面缺陷，进而导致出现大量的误检、漏检。
57.随着科学技术的进步，机器视觉检测逐步取代人工检测。例如，背景技术部分中提到的采用cnn深度神经网络模型，进行缺陷检测，以及利用opencv图像处理，经过图像滤波、特征匹配，角点定位等实现缺陷检测。
58.发明人发现，现有技术中应用网络模型的机器视觉检测，虽然不会出现与人工检测类似的视觉疲劳，但是网络模型在投入使用前，需要收集大量的缺陷图片，来制作训练样本训练模型。在缺陷图片收集过程中，存在缺陷图片数量少，收集困难的问题。并且，收集到的图片还存在各类别的缺陷图片数量分布不均匀的问题。这些问题加重了模型训练的困难，导致想要获取一个成熟稳定的模型无比艰难。利用opencv图像处理的检测方案，针对图像中的明显缺陷有较好的检出率，但对细微缺陷检测效果一般，同时对图像的背景噪声、光
照变化等的抗干扰较差，误检测较多。
59.基于上述发现，本技术实施例提供了一种产品表面缺陷检测方法、装置、设备及存储介质，在模型训练时只需要没有缺陷的图片即可，对缺陷图片数量不进行要求，有效解决了缺陷数据集即训练样本收集困难的问题，且检测效果较好。
60.为了更好理解本技术，在介绍本技术的具体实施方式之前，首先介绍描述本技术实施方式时用到的技术术语。
61.傅里叶分析，是一种贯穿时域与频域的分析方法。傅里叶分析可分为傅里叶级数(fourier serie)和傅里叶变换(fourier transformation)。傅里叶变换，指一种信号处理方法，将数据从时域变换到频率域。
62.为了更好地理解傅里叶分析以及数据从时域变换到频率域，下面以一个示例进行说明。
63.首先，纸上画一个sin(x)的曲线。然后，画一个sin(3x)+sin(5x)的曲线。sin(x)的曲线还是比较好画的，但是，sin(3x)+sin(5x)的曲线则很难了。
64.假如给你一个sin(3x)+sin(5x)的曲线，让你将sin(5x)的部分去除，在你不知道这条曲线对应的函数是sin(3x)+sin(5x)的前提下，仅去除sin(5x)的部分是很难的。
65.假如将上述过程转换到频域，那么上述问题就会变得很简单了，无非就是几条竖线而已。所以很多在时域看似不可能做到的数学操作，在频域相反很容易。这就是需要傅里叶变换的地方。尤其是从某条曲线中去除一些特定的频率成分，这在工程上称为滤波，是信号处理最重要的概念之一，只有在频域才能轻松的做到。
66.下面介绍本技术中使用的模型，本技术实施例提供的产品表面缺陷检测方法中的关键步骤需要使用训练好的模型来执行。
67.本技术实施例中的模型可以采用自编码网络(auto
‑
encoder)，也可以采用gan网络模型代替。下文中以auto
‑
encoder网络为例进行说明。
68.auto
‑
encoder网络是一种无监督的深度学习网络，此网络内部有两个模块：包含编码器(encoder)和解码器(decoder)两部分。编码器将输入图片数据压缩成潜在空间表征，解码器将这种表征重构而恢复图片。
69.在执行本技术实施例提供的产品表面缺陷检测方法之前，可以先训练第一模型，第一模型可以为前文中的auto
‑
encoder网络。第一模型的训练过程可以包括步骤s110
‑
s140。
70.步骤s110，在多张产品表面图像中确定样本图像，样本图像为不存在表面缺陷的产品的表面图像；
71.步骤s120，通过傅里叶变换，提取样本图像的相位谱；
72.步骤s130，基于样本图像的相位谱，构建训练样本；
73.步骤s140，基于训练样本训练预设的第一模型，得到训练后的第一模型。
74.在上述训练过程中，步骤s110可以通过图像采集设备采集产品表面图像，然后从多张图片中找到不存在表面缺陷的产品的表面图像来作为样本图像。由于不存在表面缺陷的产品的表面图像的数量很多，采集简单，因此解决了标准的骨干网络因数据集稀少及类别极度不平衡而无法有效训练的问题。
75.步骤s120和步骤s130，采用图像的相位谱作为训练样本，作为第一模型的输入，进
行模型训练。由于相位谱中保留了图像位置信息，后期检测过程中将第一模型生成的相位谱结合原始频率谱做傅里叶反变换，来恢复图像，以此来得到没有缺陷的生成图，可以有效提高对位移缺陷的检出效果。
76.在一些实施例中，为了进一步提升表面缺陷的检出效果，在模型训练过程中可以对样本图像进行预处理，以简化样本图像的背景信息，增加缺陷区域的显著性。基于此，步骤s120之前还可以包括样本图像的预处理过程，预处理过程可以包括步骤s111。
77.步骤s111，消除第一图像背景的周期纹理，得到第二图像。
78.作为一个示例，步骤s111中可以通过带通滤波器处理第一图像，以消除第一图像背景的周期纹理。
79.这里消除第一图像背景的周期纹理，简化图像的背景信息后，步骤s120中就可以直接提取第二图像的相位谱和频率谱了。相比第一图像的相位谱和频率谱，通过第二图像的相位谱和频率谱来恢复无缺陷图像检测缺陷，增加缺陷区域的显著性，进而可以进一步增强对微小缺陷的检出识别率。
80.在一些实施例中，不仅图像背景的周期纹理对图像背景信息有影响，采集图像时光照的变化也对图像有一定的影响。基于此，在上述实施例消除第一图像背景的周期纹理的基础上还可以进一步消除光照变化对第二图像的影响。因此，步骤s111之后还可以包括步骤s112。
81.步骤s112，消除光照变化对第二图像的影响，得到第三图像。
82.作为一个示例，步骤s112可以通过线性反投影算法(local binary patterns，lbp)处理消除周期纹理后的第一图像，以消除光照变化对待第一图像的影响，从而得到第三图像。
83.请参考附图1，lbp原理如下：
84.1.对图案中的所有点，以该点为中心，取3*3的领域窗口；
85.2.将8
‑
领域像素值与中心点像素值比较，大于或等于中心像素的标记为1，否则标记为0；
86.3.将周围0
‑
1序列，以一定的顺序排列，成为一个8位二进制数，转化为十进制数；
87.4.这个十进制整数就是表征这个窗口的lbp值，并用这个值来反映该区域的纹理信息。
88.这里消除光照变化对第二图像的影响，得到第三图像后，步骤s120中就可以直接通过傅里叶变换，提取第三图像的相位谱和频率谱。第三图像相比第二图像，其背景信息更少，缺陷的显著性更好，进而检测效果更好。
89.下面结合附图对本技术实施例提供的产品表面缺陷检测方法进行详细说明。
90.图2示出了本技术实施例提供的一种产品表面缺陷检测方法的流程示意图，如图2所示，该方法可以包括步骤s210
‑
s250。
91.步骤s210，获取第一图像，第一图像为待测产品表面图像。
92.这里，待测产品可以是布匹、螺纹钢等在生产过程中需要对表面缺陷进行检测的产品、工件。
93.具体地，可以通过图像采集设备采集待测产品表面图像，图像采集设备可以是摄像头、摄像机等。然后，通过数据处理分析设备处理获取到的图像，数据处理分析设备具体
可以是电脑，手机等。
94.步骤s220，通过傅里叶变换，提取第一图像的相位谱和频率谱。
95.这里，可以通过预设的算法处理步骤s210中的图像，通过傅里叶变换将图像转换至频率域进行后续处理，并提取第一图像的相位谱和频率谱。
96.步骤s230，将第一图像的相位谱输入到预设的第一模型，得到目标相位谱，第一模型是基于不存在表面缺陷的产品的表面图像训练得到的。
97.这里的第一模型可以是前文实施例中训练完成的模型。
98.具体地，将步骤s220中提取到的相位谱输入到第一模型中，第一模型输出目标相位谱。目标相位谱是第一图像对应的待测产品无缺陷图像转换的相位谱。此处得到目标相位谱的过程类似与前文中去除sin(5x)曲线的过程，具体过程可以参见与傅里叶分析相关的文献资料。
99.步骤s240，基于目标相位谱和频率谱做傅里叶反变换，得到目标图像，目标图像为与第一图像对应的没有缺陷的图像。
100.这里，由于目标相位谱是与无缺陷图像对应的相位谱，因此，此处得到的是待测产品对应的无缺陷图像。
101.步骤s250，基于目标图像和第一图像，确定待测产品表面是否存在缺陷。
102.这里，通过比较第一图像与无缺陷图像(目标图像)的差别，便可以确定待测产品表面是否存在缺陷。
103.本技术实施例提供的产品表面缺陷检测方法，通过将第一模型输出的目标相位谱结合第一图像的频率谱做傅里叶反变换，来恢复图像，以此来得到没有缺陷的目标图像；通过目标图像和第一图像相比较可以确定产品表面是否存在缺陷。其中，由于第一模型仅用于输出没有缺陷的图像的相位谱，其训练过程中无需使用缺陷图片作为训练样本。此外，由于相位谱中包含图像位置信息，通过目标相位谱恢复得到目标图像，对于图像内部的位移偏差缺陷有较好的检测效果。
104.在一些实施例中，确定待测产品表面是否存在缺陷具体可以通过比较两幅图像幅度谱残差的差值来确定，基于此，步骤s250可以具体包括步骤s251
‑
s253。
105.步骤s251，分别计算目标图像的幅度谱残差和第一图像的幅度谱残差；
106.步骤s252，计算目标图像的幅度谱残差和第一图像的幅度谱残差的差值；
107.步骤s253，在差值大于预设阈值的情况下，确定待测产品表面不存在缺陷。
108.这里，步骤s251中图像经过傅里叶变换后，可得到幅度谱和相位谱，对幅度谱做平滑后与原始幅度谱求差，即为幅度谱残差。
109.作为一个示例，计算目标图像的幅度谱残差，可以通过如下步骤实现：
110.通过傅里叶变换，得到目标图像的原始幅度谱；
111.对目标图像的原始幅度谱做平滑处理，得到目标幅度谱；
112.计算目标幅度谱与原始幅度谱的差值，得到目标图像的幅度谱残差。
113.本技术实施例提供的产品表面缺陷检测方法，由于相位谱中包含图像位置信息，通过目标相位谱恢复得到目标图像，不仅对于图像内部的位移偏差缺陷有较好的检测效果，而且可以具体定位缺陷的位置，本技术实施例提供的产品表面缺陷检测方法，可以具体输出是否存在缺陷以及缺陷所在的位置。
114.在一些实施例中，步骤s220提取第一图像的相位谱和频率谱之前，也可以设置对第一图像的预处理步骤。
115.其中，对第一图像的预处理步骤与前文模型训练实施例中介绍的图像预处理步骤的实现原理和技术效果类似，为简介起见，在此不再赘述。
116.基于相同的发明构思，本技术实施例还提供了一种产品表面缺陷检测装置。
117.图3示出了本技术实施例提供的一种产品表面缺陷检测装置，如图3所示，该产品表面缺陷检测装置300，可以包括：
118.第一获取模块310，可以用于获取第一图像，第一图像为待测产品表面图像；
119.第一数据处理模块320，可以用于通过傅里叶变换，提取第一图像的相位谱和频率谱；
120.模型处理模块330，可以用于将第一图像的相位谱输入到预设的第一模型，得到目标相位谱，第一模型是基于不存在表面缺陷的产品的表面图像训练得到的；
121.第二数据处理模块340，可以用于基于目标相位谱和频率谱做傅里叶反变换，得到目标图像，目标图像为与第一图像对应的没有缺陷的图像；
122.缺陷检测模块350，可以用于基于目标图像和第一图像，确定待测产品表面是否存在缺陷。
123.在一些实施例中，该产品表面缺陷检测装置300，还可以包括模型训练模块。
124.模型训练模块可以具体用于将第一图像的相位谱输入到预设的第一模型，得到目标相位谱之前，执行如下步骤：
125.在多张产品表面图像中确定样本图像，样本图像为不存在表面缺陷的产品的表面图像；
126.通过傅里叶变换，提取样本图像的相位谱；
127.基于样本图像的相位谱，构建训练样本；
128.基于训练样本训练预设的第一模型，得到训练后的第一模型。
129.在一些实施例中，缺陷检测模块，可以具体包括：
130.第一计算单元，可以用于分别计算目标图像的幅度谱残差和第一图像的幅度谱残差；
131.第二计算单元，可以用于计算目标图像的幅度谱残差和第一图像的幅度谱残差的差值；
132.缺陷检测单元，可以用于在差值大于预设阈值的情况下，确定待测产品表面不存在缺陷。
133.在一些实施例中，第一计算单元中计算目标图像的幅度谱残差的具体实现方式可以如下：
134.通过傅里叶变换，得到目标图像的原始幅度谱；
135.对目标图像的原始幅度谱做平滑处理，得到目标幅度谱；
136.计算目标幅度谱与原始幅度谱的差值，得到目标图像的幅度谱残差。
137.在一些实施例中，该产品表面缺陷检测装置300，还可以包括预处理模块。
138.预处理模块，可以具体用于通过傅里叶变换，提取第一图像的相位谱和频率谱之前，执行如下图像预处理步骤：
139.消除第一图像背景的周期纹理，得到第二图像；
140.通过傅里叶变换，提取第一图像的相位谱和频率谱，包括：
141.通过傅里叶变换，提取第二图像的相位谱和频率谱。
142.在一些实施例中，消除第一图像背景的周期纹理的具体实现方式可以如下：
143.通过带通滤波器处理第一图像，以消除第一图像背景的周期纹理。
144.在一些实施例中，预处理模块中消除第一图像背景的周期纹理，得到第二图像之后，还可以消除光照变化对第二图像的影响，得到第三图像；
145.此时，通过傅里叶变换，提取第二图像的相位谱和频率谱，可以具体为：通过傅里叶变换，提取第三图像的相位谱和频率谱。
146.在一些实施例中，预处理模块中消除光照变化对第一图像的影响，可以具体为：通过线性反投影算法处理消除周期纹理后的第一图像，以消除光照变化对待第一图像的影响。
147.本技术实施例提供的产品表面缺陷检测装置，可以用于执行上述各方法实施例提供的产品表面缺陷检测方法，其实现原理和技术效果类似，为简介起见，在此不再赘述。
148.基于同一发明构思，本技术实施例还提供了一种电子设备。
149.图4是本技术实施例提供的一种电子设备的结构示意图。如图4所示，电子设备可以包括处理器401以及存储有计算机程序或指令的存储器402。
150.具体地，上述处理器401可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
151.存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
152.处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种产品表面缺陷检测方法。
153.在一个示例中，电子设备还可包括通信接口403和总线410。其中，如图4示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
154.通信接口403，主要用于实现本技术实施例中各模块、设备、单元和/或设备之间的通信。
155.总线410包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线
或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
156.该电子设备可以执行本技术实施例中的产品表面缺陷检测方法，从而实现前文各实施例描述的产品表面缺陷检测方法和装置。
157.另外，结合上述实施例中的产品表面缺陷检测方法，本技术实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序指令；该程序指令被处理器执行时实现上述实施例中的任意一种产品表面缺陷检测方法。
158.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
159.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd
‑
rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
160.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
161.上面根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
162.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。