数字印花方法及装置与流程

本发明是关于数字图像处理技术，特别是关于一种数字印花方法及装置。

背景技术：

数字图像处理在工业中应用越来越广泛。其中基于数字图像处理的数字印花正在改变传统的印花工序：作为印花的一个例子，传统的布料通常只能针对某种固定的图案(形状及颜色)进行彩色着色，改变图案的颜色分布十分困难，而现代的纺织机还不能实现灵活的彩色印染，即彩色图案会是固定的比较简单的，难以改变图案的颜色分布或者实现复杂的彩色图案。若采用人工着色方式(即人工描绘或人工通过控制彩色打印进进行打印)，工作量大，效率低，难以进行批量化生产。尤其当布料发生形变后，布料图像中的待着色区域与对应模板之间存在局部形变差异。这些差异的存在，增加了布料图像着色的难度。

技术实现要素：

本发明提供了一种数字印花方法，包括：

对待印花图像进行图像分割，得到二值图像；

提取所述二值图像的单元区域，其中，所述单元区域的包围盒为包含单元图案的联通区域的最小矩形；

从给定的模板库及所述单元区域中分别提取模板图像的特征及单元区域的特征，建立相似性度量以选择最相似模板图像；

通过仿射变换及非线性变换将最相似模板图像映射到单元区域的图像，生成配准图像；

利用所述配准图像对所述待印花图像进行着色。

本发明提供了一种数字印花装置，包括：

图像分割单元，用于对待印花图像进行图像分割，得到二值图像；

区域提取单元，用于提取所述二值图像的单元区域，其中，所述单元区域的包围盒为包含单元图案的联通区域的最小矩形；

模板匹配单元，用于从给定的模板库及所述单元区域中分别提取模板图像的特征及单元区域的特征，建立相似性度量以选择最相似模板图像；

配准单元，用于通过仿射变换及非线性变换将最相似模板图像映射到单元区域的图像，生成配准图像；

着色单元，用于利用所述配准图像对所述待印花图像进行着色。

本申请实施例中，本发明根据布料图像的特点进行自动化处理，可以设计任意颜色分布的花纹图案并利用彩色打印机实现任意花纹图案的打印，从而实现真正意义上的数字印染；能够快速、精确地对待印染图像进行着色，实现批量化处理，并应用于工业生产中。

当然实施本申请的任一产品或者方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的实现框架示意图；

图2为本发明实施例的数字印花方法流程图；

图3为本发明实施例的典型的输入待印花(布料)灰度图像；

图4为图3所示的输入待印花(布料)灰度图像的分割结果示意图；

图5为本发明实施例的二值图像中连通前景区域的最小外接矩形、拟合椭圆的长轴与X坐标轴的方向角示意图；

图6为本发明实施例的二值图像中利用连通前景区域的重心和包围盒划分网格示意图；

图7为图像配准的一般框架示意图；

图8为本发明实施例的仿射变换的方法流程图；

图9为初始浮动图像、仿射变换后的固定图像和浮动图像、B样条变换后浮动图像和固定图像、B样条配准后的彩色模板图像的对比示意图；

图10为本发明实施例的B样条配准控制点网格结构示意图；

图11为本发明实施例的非线性变换的方法流程图；

图12为本发明实施例的数字印花装置的一结构示意图；

图13为本发明实施例的数字印花装置的另一结构示意图；

图14为本发明实施例的模板匹配单元的结构示意图；

图15为本发明实施例的判断单元的结构示意图；

图16为本发明实施例的配准单元的结构示意图；

图17为本发明实施例的仿射变换模块的结构示意图；

图18为本发明实施例的非线性变换模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术的问题，提高着色质量，提高印染效率，提出本发明。本发明主要包含三个部分的内容：分割、配准、着色。分割的目的在于获取待印染图像中需要的着色图案形状(黑白图像)；利用形状特征从模板库中选择最相似的彩色图案；将图像中图案与最优匹配模板分别通过全局初配准和非线性变形配准精确建立图案与模板之间的空间映射关系，实现布料图像的着色(将黑白图像变成了彩色图案)。

图1为本发明实施例的实现框架示意图。如图1所示，定义输入待印花图像为I(待印花图像可通过高分辨率摄像机对待印花材料(如布料)采集然后进行校准与标定得到)，输入模板集合为:

{(C_i,B_i)|i＝1,2,…,N_T}

其中N_T为模板的个数，C_i为彩色模板(彩色花纹图案)，B_i为对应的二值图像。本发明首先将输入待印花图像I进行分割，提取图像中前景对象(花纹的二值图像)作为感兴趣区域。对于每个感兴趣区域O，利用形状特征，选择最相似的模板(C_k,B_k)；然后以O为参考图像，以B_k作为浮动图像进行空间配准，得到最优的空间变换参数，并应用于C_k得到变换后彩色模板；将变换后模板的颜色映射回原图中，实现待印花图像的着色。

图2为本发明实施例的数字印花方法流程图，如图2所示，该数字印花方法包括：

S201：对待印花图像进行图像分割，得到二值图像；

S202：提取所述二值图像的单元区域(上述的感兴趣区域)，其中，所述单元区域的包围盒为包含单元图案的联通区域的最小矩形；

S203：从给定的模板库及所述单元区域中分别提取模板图像的特征及单元区域的特征，建立相似性度量以选择最相似模板图像；

S204：通过仿射变换及非线性变换将最相似模板图像映射到单元区域的图像，生成配准图像；

S205：利用所述配准图像对所述待印花图像进行着色。

由图1所示的流程可知，本发明先对对待印花图像进行图像分割，从分割后的图像中提取单元区域，然后进行模板匹配，利用匹配的模板进行图像配准，最后对配准图像进行着色处理。本发明根据布料图像的特点进行自动化处理，可以设计任意颜色分布的花纹图案并利用彩色打印机实现任意花纹图案的打印，从而实现真正意义上的数字印染。

待印花的图像I为灰度图像。不失一般性，假设图像中前景(即花纹)在图像I中的灰度值较高，灰度值较低的黑色区域为背景，如图3所示。本实施例中，利用灰度分布特点，可以采用灰度阈值方法对待印花图像进行分割，得到二值图像。分割结果如图4所示，分割结果为一个二值图像，前景像素值为255，背景像素值为0。

由于待印花图像中容易存在伪影(如线头)，为了避免伪影对后续处理产生影响，需要通过几何特征对所述二值图像进行伪影剔除，删除超出预设区域范围的伪影区域。例如，统计每个区域的面积，根据待印花图像中前景图案的面积大小先验知识，删除区域过大以及过小的伪影区域。

分割并优化完毕后，通过连通区域分析技术提取二值分割图像中的每个区域，并计算每个区域的包围盒。每个区域的包围盒定义为平行于图像坐标轴并包含该前景连通区域的最小矩形，如图4中的矩形框所示。从分割图像中提取包围盒对应的区域作为感兴趣区域O，进行后续处理，每个感兴趣区中的255像素为目标像素或对象像素，所有对象像素构成的连通区域组成了对象，0像素为背景像素，所有的0像素构成了背景。

S203为本发明的模板匹配步骤，模板匹配的目的是从给定的模板库中选择与感兴趣区域O最相似的模板(C_i,B_i)。该过程需要提取感兴趣区域特征f_o和模板图像的特征f_k，并建立相似性度量d(f_o,f_k)。一实施例中，感兴趣区域特征f_o为形状特征。形状特征包括如下特征中的至少一种：矩形度、体态比、方向角及像素分布。

1)矩形度：f1＝A₀/A，其中A₀为对象区域面积(二值图像中非0像素的数目)，A为对象区域的最小外接矩形面积(如图5中矩形所示)。当对象为圆时，f1＝PI/4，(PI＝3.142)；当对象为矩形时，f1＝1。

2)体态比：f2＝w/h，其中w,h表示对象区域的最小外接矩形的宽和高。当对象为正方形或者原型时，f2＝1；当对象为细长区域时，f2＞1。

3)方向角α：对象区域主成分分析的主轴方向，即第一主轴与X坐标轴的夹角，可以通过拟合椭圆计算，如图5所示的椭圆所示。

4)像素分布：在感兴趣区域的包围盒区域内划分网格，统计每个网格区域内前景像素数目占整个对象区域像素的比例。将每个网格的比例数值组合为一个特征向量。该特征向量对于图像缩放具有不变性，即当对图像进行放大缩小时，特征向量保持一致；为了保持旋转不变性，可以利用区域主成分分析的主轴方向信息，将图像进行旋转，使得第一主轴与X坐标轴平行；为了提高特征的平移鲁棒性，提取二值图像前景的包围盒，并仅限定在包围盒区域内提取特征；为了降低噪声伪影干扰，划分网格时，首先计算二值图像的重心，然后以过重心的X轴方向直线为界，分别在上下两个区域2等分；以过重心的Y轴方向直线为界，分别在左右两侧进行2等分，即可得到一个4x4的网格，如图6，最后通过从左到右、从上到下的顺序将每个网格计算的标量作为一个分量(如网格中前景像素占的比例)得到一个16维特征向量。

提取特征时，可以根据不同的待印花材料选择上述四个特征中需要的几何特征，从给定的模板库及述单元区域中分别提取模板图像的特征及单元区域的选择的形状特征，组成特征向量f(f∈Rⁿ)。具体地，可以分别提取感兴趣区域特征f_o和所有模板二值图像特征f_k，利用欧氏距离定义两者之间的相似性度量：

j＝1，2……n，n表示特征维数，f_o为单元区域的形状特征，f_k为模板图像的特征。

相似性度量表示两个特征的距离，该距离越小，则相似度越大。当特征完全一致时，距离为0。因此，在模板匹配时，选择特征距离最小的模板，作为最优匹配。

另外，为了避免布料图像中伪影区域进行着色，在寻找相似模板时，定义一个阈值T_f，根据特征距离与预设伪影区域的阈值判断是否找到最相似模板图像。当两者之间的距离d大于阈值T_f时(T_f与应用有关可事先确定，比如0.2左右)，表示未找到相似模板，不进行着色处理。上述特征之间的相似度仅仅用在快速地确定每个感兴趣区对应于什么模板，而后续的图像配准都是基于像素进行的。

当为感兴趣区域找到最优的匹配模板后，需要将模板的颜色信息映射到待印花图像中。待印花图像中感兴趣区域与模板之间可能存在着平移、旋转、尺度差异。另外，当待印花的材料(如布料)发生变形时，感兴趣区域与模板之间还存在局部形变差异。这些差异的存在，增加了印花材料(布料)图像着色的难度。为了提高着色质量，本发明提出了基于图像配准的着色方案，通过计算感兴趣区域与模板图像的精确配准，建立空间映射关系，实现精确着色。

配准是指对于一幅图像寻求一种(或一系列)空间变换，使它与另一幅图像中的对应点达到空间上的一致性。图像配准是一个最小化图像差异性测度或者最大化图像相似性测度的过程。以布料图像中的感兴趣区域O作为参考图像R，最优匹配模板二值图像B_k作为浮动图像F，T作为将图像F映射到图像R空间中的空间变换。图像配准实质上就是找到一个空间变换T，使得图像R和图像F之间的差异性最小化的过程：

其中，x为浮动图像中的点，M是图像差异性测度，Ω_R,F是图像R和F的重叠区域：

Ω_R,F＝{r∈Ω_R|T(r)∈Ω_F}

其中为，r表示参考图像区域Ω_R中的一个点，Ω_F表示浮动图像区域。此处说明：参考图像区域Ω_R中的一个点r，经过变换后，在浮动图像区域Ω_F中。

图7为图像配准的一般框架示意图。如图7所示，给定初始空间变换后，对浮动图像进行变换和插值后，根据预定义的测度函数计算当前测度及其在当前变换参数下的导数，然后根据优化算法(如梯度下降法)更新参数，得到新的空间变换。迭代执行上述过程，直到满足迭代终止条件(下面将介绍)。将最终的空间变换应用于浮动图像进行变换插值，即可得到配准后的图像。

差异性测度M定义了浮动图像与固定图像之间的匹配程度。两个图像越相似，则差异性越小。一实施例中，本发明采用均方差测度：

|Ω_R,F|表示重叠区域中像素对的个数，当待配准的两个图像完全一致时，差异性大小为0。

上述变换T由仿射变换T₁(x|θ)和非线性变换(B样条非线性变换)T₂(x|μ)两部分组成，其中，θ为仿射变换参数向量，μ为B样条变换参数，即T(x)＝T₂(T₁(x|θ)|μ)。

将感兴趣区域与模板图像的配准问题，分为解两个过程。首先通过仿射变换配准，消除平移、旋转和放缩差异，得到仿射变换后的图像，实现全局对齐；再将仿射变换(T₁)后的图像作为输入图像进行B样条非线性变换(T₂)，实现变形配准，消除局部形变，得到配准图像。

对于浮动图像F中一点x＝(x₁,x₂)^T，经仿射变换后在固定图像R中对应的点为x′：

x′＝T₁(x|θ)＝Ax+b

其中，A表示2×2的线性变换矩阵，定义了图像之间的旋转和缩放系数；b表示2维平移向量，定义了两个图像之间的平移变换。因此，二维图像仿射变换共涉及到6个参数，因此θ为6个参数组成的向量。仿射变换配准的目标是找到一组最优的变换参数θ，使得配准后的浮动图像F与参考图像R之间的差异最小：

仿射变换优化可以采用穷举法，即为每个参数平移、旋转、缩放等定义一个合适的范围和步长，然后计算所有不同的参数组合对应的均方差测度M，并取最小均方差测度对应的参数组合为最优参数。虽然该方法能够找到全局最优参数，但是速度较慢。一实施例中，本发明采用梯度下降方法，通过迭代方式期间，其参数更新公式为：

其中，为均方差测度M在θ^(t)处的导数。

图8为本发明实施例的仿射变换的方法流程图，如图8所示，通过仿射变换消除平移、旋转及防缩差异，得到仿射变换后的图像，包括：

S801：以所述单元区域作为参考图像，所述最相似模板图像作为浮动图像，输入所述参考图像、浮动图像及初始仿射变换参数θ^(t＝0)；

S802：利用当前仿射变换参数θ^(t)对所述浮动图像进行插值，并计算变换后的浮动图像与参考图像之间的均方差测度；

S803：计算所述均方差测度在当前仿射变换参数θ^(t)位置的导数，并更新仿射变换参数重复执行S2及S3，直至所述仿射变换参数收敛或者达到第一预设迭代次数，得到最优仿射变换参数；第一预设迭代次数可以根据具体情况设定。

S804：利用最优仿射变换参数对所述浮动图像进行空间变换，消除平移、旋转和缩放差异，得到仿射变换后的浮动图像，达到初始对齐，如图9中(a)及(b)所示。该浮动图像具体为，将变换后图像空间中的像素x，通过T₁逆变换找到对应变换前图像中一点x′,然后通过线性插值计算变换后对应像素的灰度和颜色值。

其中，为均方差测度M在θ^(t)处的导数，|Ω_R，F|表示重叠区域中像素对的个数，R为参考图像，F为浮动图像，T₁是将图像F映射到图像R空间中的空间变换，x为参考图像及浮动图像中的点。

T₂(x|μ)描述了图像之间的局部变形，有多种方式实现，一种方式是基于三次B样条的自由形变模型。该模型假设在浮动图像中能够确定一组标志点，这些点称为控制点。通过优化算法更新控制点，而控制点之间的图像像素点则可以通过B样条函数插值更新，从而通过对浮动图像控制点的操作得到整个浮动图像像素点的空间变换或形变。

利用Φ表示一个均匀间距的n₁×n₂个控制点φ_i,j的网格，其中各个方向控制点之间的间距为δ＝{δ₁,δ₂}。当已知控制点φ_i,j时，即可通过公式计算浮动图像内任一点x＝(x₁,x₂)^T的变换：

其中，表示取整运算。B_m为m次B样条基函数，分别对应如下函数集：

B₀(u)＝(1-u)³/6

B₁(u)＝(3u³-6u²+4)/6

B₂(u)＝(-3u³+3u²+3u+1)/6

B₃(u)＝u³/6

每个点仅受到邻近的16个控制点影响。为了方便处理边界像素，需要对控制点进行扩展，因此实际的控制点网格为(n₁+3)×(n₂+3)，如图10所示。B样条模型的参数为各个控制点的位置(浮动图像空间中二维坐标)φ_i,j，即μ为2*(n₁+3)×(n₂+3)大小的参数向量。而三次B样条配准的目标函数优化即为求解最优μ。此时，测度目标函数为：

与仿射配准类似，该目标函数同样可以采用梯度下降算法求解，其迭代公式为：

为测度函数M在μ^(t)处的导数。

图11为本发明实施例的非线性变换的方法流程图，如图10所示，将仿射变换后的图像作为输入，通过非线性变换进行变形配准，得到配准图像，包括：

S1101：输入所述参考图像、仿射变换后的浮动图像、控制点网格及其对应的初始控制点μ^(t＝0)；

S1102：利用当前控制点μ^(t)对浮动图像进行三次B样条插值更新每个点的位置，并计算变换后浮动图像与参考图像之间的均方差测度；

S1103：计算均方差测度在当前控制点μ^(t)处的导数，并基于梯度下降法更新控制点变换参数直至所述控制点变换参数收敛或者达到第二预设迭代次数，得到最优控制点变换参数；第一预设迭代次数可以根据具体情况设定。

S1104：利用最优控制点变换参数对仿射变换后的浮动图像进行局部形变校正，得到配准图像。具体为，将变换后图像空间中的像素x，通过T₂逆变换找到对应变换前图像中一点x′,然后通过线性插值计算变换后对应像素的灰度和颜色值。

基于B样条的自由形变模型，允许每个控制点独立移动，从而可以很好的模拟局部变形。B样条配准的结果如图9中(c)所示。配准结果依赖于控制网格的疏密程度，当网格较密集时，配准结果可以达到较好的精度，但是耗时较长，由于控制点的影响区域较小，配准结果的光滑性较差；当网格较稀疏时，耗时较短，控制点的影响区域较大，结果比较平滑，但是配准精度较低。因此需要小心选择网格大小，平衡配准精度和效率。

将配准得到的仿射变换T₁(x|θ)和B样条变换T₂(x|μ)应用于彩色模板图像T_k，分别在全局和局部与感兴趣区域进行配准。利用变换后的彩色模板图像T′_k对布料着色，即：

其中C_o(*)表示图像O内一点的颜色，表示匹配模板T_k的对应点的颜色。如图9中(d)表示一个变换后的颜色模板。将变换后颜色模板颜色逐一赋值到待印花图像中，实现待印花图像(如布料)图像着色。

图9中，(a)为初始浮动图像和固定图像；(b)为仿射变换后的固定图像和浮动图像；(c)为B样条变换后浮动图像和固定图像；(d)为B样条配准后的彩色模板图像(图中未显示彩色)。从图9中可以看出，仿射变换可以在全局上达到两个图像的对齐，但是在细节处(尤其是发生形变后)不能对齐，如(b)中椭圆位置处；而通过B样条进行非线性变形配准后，能够矫正局部发生的变形，从而提高了配准精度，如(c)中椭圆处。

本发明能够取得任意复杂的彩色花纹效果，而传统的纺织机器完全做不到(彩色花纹只能固定一种，复杂度非常有限)；与人工方式相比，本方案能够实现自动化、批量的待进行彩色印花材料(如布料)的彩色印花，能够有效处理待印花材料的形变以及伪影等问题，可以直接应用于工业生产中。

基于与上述数字印花方法相同的申请构思，本申请提供一种数字印花装置，如下面实施例所述。由于该数字印花装置解决问题的原理与数字印花方法相似，因此该数字印花装置的实施可以参见数字印花方法的实施，重复之处不再赘述。

图12为本发明实施例的数字印花装置的结构示意图，如图12所示，该数字印花装置包括：

图像分割单元1201，用于对待印花图像进行图像分割，得到二值图像；

区域提取单元1202，用于提取所述二值图像的单元区域，其中，所述单元区域的包围盒为包含单元图案的联通区域的最小矩形；

模板匹配单元1203，用于从给定的模板库及所述单元区域中分别提取模板图像的特征及单元区域的特征，建立相似性度量以选择最相似模板图像；

配准单元1204，用于通过仿射变换及非线性变换将最相似模板图像映射到单元区域的图像，生成配准图像；

着色单元1205，用于利用所述配准图像对所述待印花图像进行着色。

一实施例中，图像分割单元1201可以用于：采用灰度阈值方法对待印花图像进行分割，得到二值图像，其中，每个单元区域的255像素为对象像素，所有对象像素构成的连通区域组成了单元区域的对象，0像素为背景像素，所有0像素构成了单元区域的背景。

一实施例中，如图13所示，该数字印花装置还包括：伪影剔除单元1301，用于根据几何特征对所述二值图像进行剔除伪影，删除超出预设区域范围的伪影区域。

一实施例中，如图14所示，模板匹配单元1203包括：

特征提取模块1401，用于从给定的模板库及所述单元区域中分别提取模板图像的特征及单元区域的形状特征；

计算模块1402，用于利用欧式距离建立模板图像的特征与单元区域的形状特征的相似性度量，计算特征距离；

选择模块1403，用于选择特征距离最小的模板图像为最相似模板图像。

一实施例中，所述形状特征包括如下特征中的至少一种：

矩形度、体态比、方向角及像素分布。

一实施例中，所述相似性度量的表达式为：

n表示特征维数，f_o为单元区域的形状特征，f_k为模板图像的特征。

一实施例中，如图15所示，该数字印花装置还包括：判断单元1501，用于根据特征距离与预设伪影区域的阈值判断是否找到最相似模板图像。

一实施例中，如图16所示，所述配准单元1204包括：

仿射变换模块1601，用于通过仿射变换消除平移、旋转及防缩差异，得到仿射变换后的图像；

非线性变换模块1602，用于将仿射变换后的图像作为输入，通过非线性变换进行变形配准，得到配准图像。

一实施例中，如图17所示，所述的仿射变换模块1601包括：

第一输入子模块1701，用于以所述单元区域作为参考图像，所述最相似模板图像作为浮动图像，输入所述参考图像、浮动图像及初始仿射变换参数θ^(t＝0)；

第一插值子模块1702，用于利用当前仿射变换参数θ^(t)对所述浮动图像进行插值，并计算变换后的浮动图像与参考图像之间的均方差测度；

第一参数更新子模块1703，用于计算所述均方差测度在当前仿射变换参数θ^(t)位置的导数，并更新仿射变换参数第一插值子模块1702及第一参数更新子模块1703重复多次执行，直至得到最优仿射变换参数；

仿射变换子模块1704，用于利用最优仿射变换参数对所述浮动图像进行空间变换，消除平移、旋转和缩放差异，得到仿射变换后的浮动图像；具体为，将变换后图像空间中的像素x，通过T₁逆变换找到对应变换前图像中一点x′,然后通过线性插值计算变换后对应像素的灰度和颜色值。

其中，为均方差测度M在θ^(t)处的导数，|Ω_R,F|表示重叠区域中像素对的个数，R为参考图像，F为浮动图像，T₁是将图像F映射到图像R空间中的空间仿射变换，x为参考图像及浮动图像中的点。

一实施例中，如图18所示，所述非线性变换模块1701包括：

第二输入子模块1801，用于输入所述参考图像、仿射变换后的浮动图像、控制点网格及其对应的初始控制点μ^(t＝0)；

第二插值子模块1802，用于利用当前控制点μ^(t)对浮动图像进行三次B样条插值更新每个点的位置，并计算变换后浮动图像与参考图像之间的均方差测度；

第二参数更新子模块1803，用于计算均方差测度在当前控制点μ^(t)处的导数，并基于梯度下降法更新控制点变换参数直至所述控制点变换参数收敛或者达到第二预设迭代次数，得到最优控制点变换参数；

非线性变换子模块1804，用于利用最优控制点变换参数对仿射变换后的浮动图像进行局部形变校正，得到配准图像。具体为，将变换后图像空间中的像素x，通过T₂逆变换找到对应变换前图像中一点x′,然后通过线性插值计算变换后对应像素的灰度和颜色值。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。