表面缺陷检测模型训练方法、表面缺陷检测方法及系统与流程

本发明涉及机器视觉技术领域，尤其涉及一种表面缺陷检测模型训练方法、表面缺陷检测方法及系统。

背景技术：

随着工业的快速发展，人们对产品的质量越来越关注，提出的要求也越来越严格。由于产品在生产过程中往往会出现一些缺陷，这些缺陷具有一定的随机性，即缺陷类型、形状大小各异，因此产品表面缺陷检测作为生产过程中最重要的工序之一，它将直接影响到产品质量以及用户体验。

此前，针对产品表面的缺陷检测，许多厂家仍是以人工检测为主，即通过人工目视的方式观察产品表面是否存在缺陷，然后利用经验知识判断缺陷所属的类别。这种方式虽然简单，但存在易受人员主观意识影响，耗时费力且检测精度难以保证的缺陷，所以正逐渐被各大厂家弃用。后来，有人提出了基于深度学习的表面缺陷检测技术，该技术的核心是利用机器视觉代替人眼视觉去参与产品的质量监控。由于不仅可以降低人力成本，以排除人的主观意识和视觉疲劳所造成的判断差异的影响，而且还能提高了检测效率和精度，减小了检测误差，因此该技术自提出之日起，就迅速被应用到了产品表面的缺陷检测工序中，成为了当今制造业的发展趋势。

目前，基于深度学习的表面缺陷检测技术通常需要预先采集一些带有缺陷的产品图片和无缺陷的产品图片，以作为缺陷检测模型的训练数据。然而在实际的应用过程中，相对于无缺陷的产品图片而言，采集带有缺陷的产品图片的难度是比较大的，因为带有缺陷的产品图片的数量比较少，往往是很多张无缺陷的产品图片中才会出现一张带有缺陷的产品图片，这就使得带有缺陷的产品图片的采集代价较大，甚至无法采集到带有缺陷的产品图片，从而导致带有缺陷的产品图片的数量远远达不到缺陷检测模型训练的数量级。此外，在训练缺陷检测模型时，对于产品图片有无缺陷的阈值设置需要多次试验才能得到一个合理的阈值，这直接导致所训练得到的缺陷检测模型的稳定性会随着阈值设置的高低而变化，可靠性较差。

因此，对现有的基于深度学习的表面缺陷检测技术进行改进，以解决上述问题就显得非常有必要。

以上信息作为背景信息给出只是为了辅助理解本公开，并没有确定或者承认任意上述内容是否可用作相对于本公开的现有技术。

技术实现要素：

本发明提供一种表面缺陷检测模型训练方法、表面缺陷检测方法及系统，以解决现有技术的不足。

本发明实施例第一方面公开一种表面缺陷检测模型训练方法；

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法包括：

获取产品的正常图片和与产品无关的外部图片；

将所述正常图片和所述外部图片输入到基于深度神经网络产品表面缺陷检测模型中，对所述缺陷检测模型进行训练，得到表面缺陷检测模型。

作为一种可选的实施方式，所述表面缺陷检测模型训练方法中，将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中，对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型的步骤包括：

将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中；

通过所述基于深度神经网络的表面缺陷检测模型分别对所述正常图片和所述外部图片进行特征提取，得到所述正常图片的特征图和所述外部图片的特征图，并由所述正常图片的特征图映射得到所述正常图片的距离矩阵以及由所述外部图片的特征图映射得到所述外部图片的距离矩阵；

根据所述正常图片的距离矩阵和所述外部图片的距离矩阵设定损失函数；

使用所述损失函数对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

作为一种可选的实施方式，所述表面缺陷检测模型训练方法中，训练过程对应的损失函数的表达式为：

其中，lossi为损失函数，w为距离矩阵的宽，h为距离矩阵的高，yi为第i张图片的标签，yi＝1表示正常图片，yi＝0表示非正常图片，fi，j为距离矩阵上第i，j位置处的值。

本发明实施例第二方面公开一种表面缺陷检测方法；

作为一种可选的实施方式，在本发明实施例第二方面中，所述方法利用如上述所述的表面缺陷检测模型训练方法训练得到的表面缺陷检测模型，所述方法包括：

采集待检测的目标产品的图片；

将所述目标产品的图片输入到所述表面缺陷检测模型中，以确定所述目标产品的表面是否存在缺陷，若存在缺陷，则定位到缺陷的区域。

作为一种可选的实施方式，所述表面缺陷检测方法中，将所述目标产品的图片输入到所述表面缺陷检测模型中，以确定所述目标产品的表面是否存在缺陷，若存在缺陷，则定位到缺陷的区域的步骤包括：

将所述目标产品的图片输入到所述表面缺陷检测模型中；

通过所述表面缺陷检测模型对所述目标产品的图片进行特征提取，得到所述目标产品的图片的特征图为f_w,h,c；

由所述目标产品的特征图f映射得到所述目标产品的距离矩阵di,j为：

di,j＝||fw,h,:||2；

由所述目标产品的特征图f映射得到所述目标产品到正常产品距离d表示为：

d＝∑w,h||fw,h,:||2/w×h；

判断所述目标产品的距离中值是否在设定范围内；

若是，则确定所述目标产品的表面不存在缺陷；

若否，则确定所述目标产品的表面存在缺陷，并定位到缺陷的区域。

作为一种可选的实施方式，所述表面缺陷检测方法中，定位到缺陷的区域的步骤包括：

根据距离矩阵进行缺陷定位；

判断所述目标产品的距离矩阵中各个位置<i,j>的距离值是否在设定范围内；

若是，则确定所述目标产品的表面上<i,j>对应的图像块不存在缺陷；

若否，则确定所述目标产品的表面上<i,j>对应的图像块存在缺陷。

本发明实施例第三方面公开一种表面缺陷检测模型训练系统；

作为一种可选的实施方式，在本发明实施例第三方面中，所述系统包括：

图片获取模块，用于获取产品的正常图片和与产品无关的外部图片；

模型训练模块，用于将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中，对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

作为一种可选的实施方式，所述表面缺陷检测模型训练系统中，所述模型训练模块具体用于：

将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中；

通过所述基于深度神经网络的表面缺陷检测模型分别对所述正常图片和所述外部图片进行特征提取，得到所述正常图片的特征图和所述外部图片的特征图，并由所述正常图片的特征图映射得到所述正常图片的距离矩阵以及由所述外部图片的特征图映射得到所述外部图片的距离矩阵；

根据所述正常图片的距离矩阵和所述外部图片的距离矩阵设定损失函数；

使用所述损失函数对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

作为一种可选的实施方式，所述表面缺陷检测模型训练系统中，训练过程对应的损失函数的表达式为：

其中，lossi为损失函数，w为距离矩阵的宽，h为距离矩阵的高，yi为第i张图片的标签，yi＝1表示正常图片，yi＝0表示非正常图片，fi，j为距离矩阵上第i，j位置处的值。

本发明实施例第四方面公开一种表面缺陷检测系统；

作为一种可选的实施方式，在本发明实施例第四方面中，所述系统利用上述所述的表面缺陷检测模型训练方法训练得到的表面缺陷检测模型，所述系统包括：

图片采集模块，用于采集待检测的目标产品的图片；

缺陷确定模块，用于将所述目标产品的图片输入到所述表面缺陷检测模型中，以确定所述目标产品的表面是否存在缺陷，若存在缺陷，则定位到缺陷的区域。

作为一种可选的实施方式，所述表面缺陷检测系统中，所述缺陷确定模块具体用于：

将所述目标产品的图片输入到所述表面缺陷检测模型中；

通过所述表面缺陷检测模型对所述目标产品的图片进行特征提取，得到所述目标产品的图片的特征图为f_w,h,c；

由所述目标产品的特征图f映射得到所述目标产品的距离矩阵di,j为：

di,j＝||fw,h,:||2；

由所述目标产品的特征图f映射得到所述目标产品到正常产品距离d表示为：

d＝∑w,h||fw,h,:||2/w×h；

判断所述目标产品的距离中值是否在设定范围内；

若是，则确定所述目标产品的表面不存在缺陷；

若否，则确定所述目标产品的表面存在缺陷。

作为一种可选的实施方式，所述表面缺陷检测系统中，所述缺陷确定模块具体还用于：

在确定所述目标产品的表面存在缺陷后，根据距离矩阵进行缺陷定位；

判断所述目标产品的距离矩阵中各个位置<i,j>的距离值是否在设定范围内；

若是，则确定所述目标产品的表面上<i,j>对应的图像块不存在缺陷；

若否，则确定所述目标产品的表面上<i,j>对应的图像块存在缺陷。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例提供的一种表面缺陷检测模型训练方法、表面缺陷检测方法及系统，无需采集带有缺陷的产品图片，仅需采集产品的正常图片和与产品无关的外部图片就能训练得到表面缺陷检测模型，解决了现有技术中带有缺陷的产品图片采集困难、集采成本高以及缺陷与否阈值难以确定等问题，模型的可靠性较高，适于大范围推广应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例一提供的一种表面缺陷检测模型训练方法的流程示意图；

图2是本发明实施例一中外部图片和正常图片的特征图映射得到的距离矩阵中的距离值的范围示意图；

图3是本发明实施例一中距离矩阵的示意图；

图4是本发明实施例二提供的一种表面缺陷检测模型训练系统的功能模块示意图；

图5是本发明实施例三提供的一种表面缺陷检测方法的流程示意图；

图6是本发明实施例四提供的一种表面缺陷检测系统的功能模块示意图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。当一个组件被认为是“设置在”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中设置的组件。

此外，术语“长”“短”“内”“外”等指示方位或位置关系为基于附图所展示的方位或者位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或原件必须具有此特定的方位、以特定的方位构造进行操作，以此不能理解为本发明的限制。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例一

有鉴于现有的表面缺陷检测技术存在的缺陷，本发明人基于从事该行业多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种切实可行的表面缺陷检测技术，使其更具有实用性。在经过不断的研究、设计并反复试作及改进后，终于创设出确具实用价值的本发明。

请参阅图1，图1是本发明实施例公开的一种表面缺陷检测模型训练方法的流程示意图，该方法适用于对产品的表面是否存在缺陷进行判断的场景，该方法由表面缺陷检测模型训练系统来执行，该系统可以由软件和/或硬件实现，集成于检测设备的内部。如图1所示，该表面缺陷检测模型训练方法可以包括以下步骤：

s101、获取产品的正常图片和与产品无关的外部图片。

需要说明的是，本实施例的表面缺陷检测技术是基于深度学习的，深度学习又以卷积神经网络模型为主要模型。由于神经网络模型的训练集类别种类数需要≥2，因此除了采集产品表面没有缺陷的产品正常图片外，还需要采集另一类图片。但正如背景技术中交代的，工业生产过程中，出现带有缺陷的图片的概率其实是比较小的，即相当大的一部分是没有缺陷的正常产品表面图片，因此本发明创造性地想到在采集到少量几张带有缺陷的产品图片，或者没有采集到带有缺陷的产品图片的情况下，仅依靠大量正常的图像创建并训练表面缺陷检测模型。具体的，本实施例将没有缺陷的产品正常图片视为一类，将与产品无关的外部图片视为另一类，这样就满足了神经网络模型的训练集类别种类数要求。

本实施例并非只是针对规则纹理的图片，检测对象可以是任意的工业图片，比如锂电池表面、电路板表面，理想的情况下是一个产品线生产的产品的表面图片。

s102、将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中，对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

需要说明的是，本实施例是从没有缺陷的产品图片中学到一种产品正常图片的表征，然后用这个标准去度量未知的待检测图片的异常程度，即是否存在缺陷。

优选的，所述步骤s102进一步包括：

将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中；

通过所述基于深度神经网络的表面缺陷检测模型分别对所述正常图片和所述外部图片进行特征提取，得到所述正常图片的特征图和所述外部图片的特征图，并由所述正常图片的特征图映射得到所述正常图片的距离矩阵以及由所述外部图片的特征图映射得到所述外部图片的距离矩阵；

根据所述正常图片的距离矩阵和所述外部图片的距离矩阵设定损失函数；

使用所述损失函数对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

在本实施例中，训练过程对应的损失函数的表达式为：

其中，lossi为损失函数，w为距离矩阵的宽，h为距离矩阵的高，yi为第i张图片的标签，yi＝1表示正常图片，yi＝0表示非正常图片，fi，j为距离矩阵上第i，j位置处的值。

需要说明的是，在本实施例中，当通过基于深度神经网络的表面缺陷检测模型提取产品的正常图片的特征，得到产品的正常图片的特征图之后，所述正常图片的特征图映射得到的距离矩阵中的各个距离值能够被包围在以o为球心(球心坐标可以默认为(0，0，0))，以r(r即为阈值)为半径的球的范围内。其中，半径r的大小为基于产品的正常图片的特征图映射得到的距离矩阵中的距离值确定的，距离归一化到0～1之间，阈值通常取0.1～0.5之间，且阈值选择对结果影响较小。而通过基于深度神经网络的表面缺陷检测模型提取与产品无关的外部图片的特征，得到与产品无关的外部图片的特征图之后，理想情况下，与产品无关的外部图片的特征图映射得到的距离矩阵中的各个距离值在以o为球心，以r为半径的球的范围外，如图2所示。换句话说，正常图像到中心点(原点)的距离远远小于异常图像(带有缺陷的产品图片)的距离。

进一步需要说明的是，本实施例中每张固定大小的图片i均可由基于深度神经网络的表面缺陷检测模型提取得到一个特征图，再由特征图f_w,h,c映射得到对应的距离矩阵di,j(特征图f用三个维度来进行表示，即宽(width，w)，高(high，h)和通道(channel，c)，如图3所示)。由于只使用卷积操作，距离矩阵di,j和原始图像i保持有位置上的对应关系，即距离矩阵di,j上第<i,j>位置处的值表示原始图像i对应位置图像区域与圆心的距离。

综合各个通道的距离表示得到一个二维的距离表示，所得到的二维的距离表示能够用于缺陷图片中缺陷区域的定位；二维的距离矩阵表示转换为一维的距离d表示可用于正常图片和带有缺陷图片的分类，即以距离d作为待检测的图片是否异常的依据，d的表达式如下：

d＝∑w,h||fw,h,:||2/w×h

本发明实施例提供的一种表面缺陷检测模型训练方法，无需采集带有缺陷的产品图片，仅需采集产品的正常图片和与产品无关的外部图片就能训练得到表面缺陷检测模型，解决了现有技术中带有缺陷的产品图片采集困难、集采成本高以及缺陷与否阈值难以确定等问题，模型的可靠性较高，适于大范围推广应用。

实施例二

请参阅附图4，图4为本发明实施例二提供的一种表面缺陷检测模型训练系统的功能模块示意图，该系统适用于执行本发明实施例提供的表面缺陷检测模型训练方法。该系统具体包含如下模块：

图片获取模块201，用于获取产品的正常图片和与产品无关的外部图片；

模型训练模块202，用于将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中，对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

在本实施例中，所述模型训练模块202具体用于：

将所述正常图片和所述外部图片输入到基于深度神经网络的表面缺陷检测模型中；

通过所述基于深度神经网络的表面缺陷检测模型分别对所述正常图片和所述外部图片进行特征提取，得到所述正常图片的特征图和所述外部图片的特征图，并由所述正常图片的特征图映射得到所述正常图片的距离矩阵以及由所述外部图片的特征图映射得到所述外部图片的距离矩阵；

根据所述正常图片的距离矩阵和所述外部图片的距离矩阵设定损失函数；

使用所述损失函数对所述基于深度神经网络的表面缺陷检测模型进行训练，得到表面缺陷检测模型。

在本实施例中，训练过程对应的损失函数的表达式为：

其中，lossi为损失函数，w为距离矩阵的宽，h为距离矩阵的高，yi为第i张图片的标签，yi＝1表示正常图片，yi＝0表示非正常图片，fi，j为距离矩阵上第i，j位置处的值。

本发明实施例提供的一种表面缺陷检测模型训练系统，无需采集带有缺陷的产品图片，仅需采集产品的正常图片和与产品无关的外部图片就能训练得到表面缺陷检测模型，解决了现有技术中带有缺陷的产品图片采集困难、集采成本高以及缺陷与否阈值难以确定等问题，模型的可靠性较高，适于大范围推广应用。

上述系统可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例三

请参阅图5，图5是本发明实施例公开的一种表面缺陷检测方法的流程示意图，该方法由表面缺陷检测系统来执行，该系统可以由软件和/或硬件实现，集成于检测设备的内部。所述方法利用如实施例一所述的表面缺陷检测模型训练方法训练得到的表面缺陷检测模型，如图5所示，该表面缺陷检测方法可以包括以下步骤：

s301、采集待检测的目标产品的图片。

s302、将所述目标产品的图片输入到所述表面缺陷检测模型中，以确定所述目标产品的表面是否存在缺陷，若存在缺陷，则定位到缺陷的区域。

在本实施例中，所述步骤s302进一步包括：

将所述目标产品的图片输入到所述表面缺陷检测模型中；

通过所述表面缺陷检测模型对所述目标产品的图片进行特征提取，得到所述目标产品的图片的特征图为f_w,h,c；

由所述目标产品的特征图f映射得到所述目标产品的距离矩阵di,j为：

di,j＝||fw,h,:||2；

由所述目标产品的特征图f映射得到所述目标产品到正常产品距离d表示为：

d＝∑w,h||fw,h,:||2/w×h；

判断所述目标产品的距离中值是否在设定范围内；

若是，则确定所述目标产品的表面不存在缺陷；

若否，则确定所述目标产品的表面存在缺陷，并定位到缺陷的区域。

在本实施例中，在确定所述目标产品的表面存在缺陷后，所述定位到缺陷的区域的步骤进一步可以包括：

根据距离矩阵进行缺陷定位；

判断所述目标产品的距离矩阵中各个位置<i,j>的距离值是否在设定范围内；

若是，则确定所述目标产品的表面上<i,j>对应的图像块不存在缺陷；

若否，则确定所述目标产品的表面上<i,j>对应的图像块存在缺陷。

需要说明的是，本实施例是通过判断所述目标产品的距离矩阵中各个位置的距离值di,j是否在设定范围[0，r]内，从而确定所述目标产品的表面是否存在缺陷的。具体的，如果所述目标产品的距离矩阵中各个位置的距离值di,j在设定范围[0，r]内，则确定所述目标产品的表面无缺陷；如果所述目标产品的距离矩阵中各个位置的距离值di,j在设定范围[0，r]外，则确定所述目标产品的表面存在缺陷。

本发明实施例提供的一种表面缺陷检测方法，通过将待检测的目标产品的图片输入到由产品的正常图片和与产品无关的外部图片训练得到的表面缺陷检测模型中，可以有效且准确地确定出存在缺陷的产品，及时发现生产过程中的不良问题，提升产品良率。

实施例四

请参阅附图6，图6为本发明实施例四提供的一种表面缺陷检测系统的功能模块示意图，该系统利用如实施例一所述的表面缺陷检测模型训练方法训练得到的表面缺陷检测模型，适用于执行本发明实施例提供的表面缺陷检测方法。该系统具体包含如下模块：

图片采集模块401，用于采集待检测的目标产品的图片；

缺陷确定模块402，用于将所述目标产品的图片输入到所述表面缺陷检测模型中，以确定所述目标产品的表面是否存在缺陷，若存在缺陷，则定位到缺陷的区域。

在本实施例中，所述缺陷确定模块402具体用于：

将所述目标产品的图片输入到所述表面缺陷检测模型中；

通过所述表面缺陷检测模型对所述目标产品的图片进行特征提取，得到所述目标产品的图片的特征图为f_w,h,c；

由所述目标产品的特征图f映射得到所述目标产品的距离矩阵di,j为：

di,j＝||fw,h,:||2；

由所述目标产品的特征图f映射得到所述目标产品到正常产品距离d表示为：

d＝∑w,h||fw,h,:||2/w×h；

判断所述目标产品的距离中值是否在设定范围内；

若是，则确定所述目标产品的表面不存在缺陷；

若否，则确定所述目标产品的表面存在缺陷。

作为一种可选的实施方式，所述缺陷确定模块402还可以具体还用于：

在确定所述目标产品的表面存在缺陷后，根据距离矩阵进行缺陷定位；

判断所述目标产品的距离矩阵中各个位置<i,j>的距离值是否在设定范围内；

若是，则确定所述目标产品的表面上<i,j>对应的图像块不存在缺陷；

若否，则确定所述目标产品的表面上<i,j>对应的图像块存在缺陷。

本发明实施例提供的一种表面缺陷检测系统，通过将待检测的目标产品的图片输入到由产品的正常图片和与产品无关的外部图片训练得到的表面缺陷检测模型中，可以有效且准确地确定出存在缺陷的产品，及时发现生产过程中的不良问题，提升产品良率。

上述系统可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

至此，以说明和描述的目的提供上述实施例的描述。不意指穷举或者限制本公开。特定的实施例的单独元件或者特征通常不受到特定的实施例的限制，但是在适用时，即使没有具体地示出或者描述，其可以互换和用于选定的实施例。在许多方面，相同的元件或者特征也可以改变。这种变化不被认为是偏离本公开，并且所有的这种修改意指为包括在本公开的范围内。

提供示例实施例，从而本公开将变得透彻，并且将会完全地将该范围传达至本领域内技术人员。为了透彻理解本公开的实施例，阐明了众多细节，诸如特定零件、装置和方法的示例。显然，对于本领域内技术人员，不需要使用特定的细节，示例实施例可以以许多不同的形式实施，而且两者都不应当解释为限制本公开的范围。在某些示例实施例中，不对公知的工序、公知的装置结构和公知的技术进行详细地描述。

在此，仅为了描述特定的示例实施例的目的使用专业词汇，并且不是意指为限制的目的。除非上下文清楚地作出相反的表示，在此使用的单数形式“一个”和“该”可以意指为也包括复数形式。术语“包括”和“具有”是包括在内的意思，并且因此指定存在所声明的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或额外地具有一个或以上的其他特征、整体、步骤、操作、元件、组件和/或其组合。除非明确地指示了执行的次序，在此描述的该方法步骤、处理和操作不解释为一定需要按照所论述和示出的特定的次序执行。还应当理解的是，可以采用附加的或者可选择的步骤。

当元件或者层称为是“在……上”、“与……接合”、“连接到”或者“联接到”另一个元件或层，其可以是直接在另一个元件或者层上、与另一个元件或层接合、连接到或者联接到另一个元件或层，也可以存在介于其间的元件或者层。与此相反，当元件或层称为是“直接在……上”、“与……直接接合”、“直接连接到”或者“直接联接到”另一个元件或层，则可能不存在介于其间的元件或者层。其他用于描述元件关系的词应当以类似的方式解释(例如，“在……之间”和“直接在……之间”、“相邻”和“直接相邻”等)。在此使用的术语“和/或”包括该相关联的所罗列的项目的一个或以上的任一和所有的组合。虽然此处可能使用了术语第一、第二、第三等以描述各种的元件、组件、区域、层和/或部分，这些元件、组件、区域、层和/或部分不受到这些术语的限制。这些术语可以只用于将一个元件、组件、区域或部分与另一个元件、组件、区域或部分区分。除非由上下文清楚地表示，在此使用诸如术语“第一”、“第二”及其他数值的术语不意味序列或者次序。因此，在下方论述的第一元件、组件、区域、层或者部分可以采用第二元件、组件、区域、层或者部分的术语而不脱离该示例实施例的教导。

空间的相对术语，诸如“内”、“外”、“在下面”、“在……的下方”、“下部”、“上方”、“上部”等，在此可出于便于描述的目的使用，以描述如图中所示的一个元件或者特征和另外一个或多个元件或者特征之间的关系。空间的相对术语可以意指包含除该图描绘的取向之外该装置的不同的取向。例如如果翻转该图中的装置，则描述为“在其他元件或者特征的下方”或者“在元件或者特征的下面”的元件将取向为“在其他元件或者特征的上方”。因此，示例术语“在……的下方”可以包含朝上和朝下的两种取向。该装置可以以其他方式取向(旋转90度或者其他取向)并且以此处的空间的相对描述解释。