基于度量学习的圆形砚台质量检测方法与流程

本发明涉及深度学习、图像识别技术领域，具体涉及一种基于度量学习的圆形砚台质量检测方法。

背景技术：

传统的圆形砚台质检一般为千分表检测，称重检测，甚至有些依旧是人力单个检测，无论是砚台流程间的检测还是最后的质检主要还是人工检测，这些方式不仅对人力资源是种极大的浪费，而且面对大量繁重的工作量，极易导致人眼疲劳，检测注意力不集中，以及造成漏检误检现象，质检质量亦无法保证，会直接导致生产效率低下，企业的效益在于销量和产量，质检效率太低直接约束了产量提升。

而基于机器视觉的系统通常含有多种手工设计参数，且需要专用光源等复杂设备，对于快速、小批量的砚台产业而言不适用，且调试成本高、维护成本高，变相地提高了生产成本，实用性较差。现有圆形砚台质量检测评估技术存在人工成本高、检测效率低、检测精度低的问题，同时，由于机器视觉系统需要光源、光照环境鲁棒性差的特性导致引入自动化检测设备进一步提高生产成本。

在人工智能发展越来越快的今天，基于度量学习的深度神经网络已经解决了多种度量问题，常见的有人脸识别，行人重识别等，其主要原理是训练时提供样本之间的距离，而网络自身在训练中实现对应的特征向量提取。

对于砚台这种高质量、小批量但人工效率低的产业而言。实现质量的智能度量，使圆形砚台的质检流程化、智能化，提高检测效率和检测精度，是促进传统工业向智能制造转型面临的亟需解决的问题。

技术实现要素：

本发明提供了一种基于度量学习的圆形砚台质量检测方法，基于样本自动标注生成用于自动训练深度卷积神经网络的数据集，根据数据集训练得到端到端的质量检测网络，实现智能的流程化的圆形砚台质量检测，最终降低人工成本，同时检测效率更高，检测精度更高。

一种基于度量学习的圆形砚台质量检测方法，该方法包括：

步骤一，对相机获取的圆形砚台图像进行预处理，获得去噪砚台图像；

步骤二，对去噪砚台图像进行连通域检测，得到砚台连通域，根据标准规格砚台的尺度参数确定过滤规则，对砚台连通域过滤；

步骤三，对过滤后的砚台连通域作最小外接矩形，根据最小外接矩形抠取图像，得到单个砚台轮廓图像；

步骤四，根据单个砚台轮廓图像以及砚台连通域的最小外接圆，生成标准圆遮罩，将标准圆遮罩嵌入单个砚台轮廓图像，得到内嵌标准圆的砚台轮廓图像；

步骤五，对内嵌标准圆的砚台轮廓图像进行极坐标转换，得到极坐标下的待评估砚台图像；

步骤六，对待评估砚台图像中外侧轮廓进行波动分析，生成外侧轮廓的波动程度衡量指标，根据波动程度衡量指标评估砚台质量是否合格；

步骤七，基于评估结果对圆形砚台图像进行标注，标注后的圆形砚台图像作为样本数据集，训练深度卷积神经网络，实现砚台质量的自动检测。

步骤一具体为：

据圆形砚台图像的rgb数据，对原始图像各通道分量做最强明度提取，得到砚台灰度图像；

对砚台灰度图像进行阈值化处理，得到二值化的砚台灰度图像；

对二值化的砚台灰度图像进行形态学滤波处理，获得去噪砚台图像。

形态学滤波处理具体为闭运算。

步骤二中的标准规格砚台的尺度参数包括砚台面积、砚台半径。

步骤四具体为：

以单个砚台轮廓图像的最小外接矩形尺寸作为标准圆遮罩的尺寸，对标准圆遮罩进行最小灰度等级初始化；

以砚台连通域最小外接圆的圆心为圆心，以砚台连通域最小外接圆半径的一半作为半径，作为标准圆；

对初始化的标准圆遮罩的标准圆对应区域以最大灰度等级填充，完成标准圆遮罩的赋值；

将标准圆遮罩与单个砚台轮廓图像进行图像或运算，从而将标准圆遮罩嵌入单个砚台轮廓图像，得到内嵌标准圆的砚台轮廓图像。

步骤六具体为：

对待评估砚台图像中内嵌标准圆和外侧轮廓进行点采样；

分别计算内嵌标准圆和外侧轮廓各采样点极坐标值的方差；

计算外侧轮廓各采样点极坐标值的方差与内嵌标准圆各采样点极坐标值的方差的差值，作为外侧轮廓的波动程度衡量指标，根据波动程度衡量指标评估砚台质量是否合格。

步骤七包括：

基于评估结果对圆形砚台图像进行标注；

将标注后的圆形砚台图像作为样本数据集代入预设的深度卷积神经网络，采用基于余弦距离的损失函数来训练深度卷积神经网络，保存训练好的深度卷积神经网络模型；

将待检测圆形砚台图像代入深度卷积神经网络模型，得到待检测圆形砚台图像的特征向量；

计算待检测圆形砚台图像特征向量与标准圆形砚台图像特征向量之间的相似度，得到砚台质量检测结果。

损失函数具体为：

loss＝(sim(x,y)-and(labelx,labely))²

其中and为与操作，sim(x,y)为向量x、y之间的余弦距离,labelx,labely分别是向量x、y的标签。

本发明的有益效果在于：

1、本发明利用计算机视觉、计算机图像处理，深度学习技术，实现了智能的流程化的砚台质量检测，降低了人工成本；

2、本发明可以使用户最终得到端到端的质量检测深度卷积神经网络，基于深度卷积神经网络进行推理，无需传统机器视觉系统；

3、本发明采用深度度量学习，对于小批量数据，能够有效描述样本之间的相似度，提高计算效率，并且，通过自动标注样本数据，提高了标注效率，从而提高质量检测效率；

4、本发明在自动标注过程中采用图像极坐标变换，一方面可以得到可视化的质量检测数据，一方面根据极坐标系下砚台轮廓的波动程度来评估圆形砚台的质量，相较于机器视觉检测系统而言，大幅降低了调参量，提高了砚台质量标注精度，从而提高质量检测精度。

附图说明

图1为本发明方法流程图；

图2为相机获取的圆形砚台图像示意图；

图3为内嵌标准圆的砚台轮廓图像示意图；

图4为待评估砚台图像示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明针对圆形砚台提出一种智能质量检测方法，对圆形砚台图像采用形态学处理，连通域过滤等去除表面干扰，抠取单个砚台图像，然后对其进行极坐标展开，计算轮廓的波动方差与标准圆的波动方差，与设定阈值比较，评估砚台质量是否合格，根据评估结果对砚台进行标注，训练深度卷积神经网络，从而实现砚台质量的自动检测。本发明方法流程图如图1所示。下面通过具体实施例来进行说明。

实施例一：

基于度量学习的圆形砚台质量检测方法，该方法包括：

步骤一，对相机获取的圆形砚台图像进行预处理，获得去噪砚台图像。

本发明采用手机相机自顶而下获得圆形砚台图像，如图2所示。根据圆形砚台图像的rgb数据，对原始图像各通道分量做最强明度提取，得到砚台灰度图像。

对砚台灰度图像进行阈值化处理，实现图像分割。一种实施例是采用最大类间方差法获取自适应阈值，根据自适应阈值对砚台灰度图像进行图像分割，从而获得二值化的砚台灰度图像。

对二值化的砚台灰度图像进行形态学滤波处理。形态学滤波处理，与卷积运算类似，可以理解为将结构算子在图像上进行卷积操作。构建形态学结构算子，对二值化的砚台灰度图像进行闭运算，从而填平图像中的细小空洞。在本实施例中，构建3*3的全1矩阵作为形态学结构算子，首先通过卷积将卷积核区域内最大值作为锚点像素值来膨胀；然后，腐蚀时通过卷积将卷积核区域内最大值作为锚点像素值。

至此，砚台图像经过灰度处理、阈值化处理、形态学滤波处理，获得了去噪砚台图像。经过预处理，可以大大降低后续处理的计算量，提高后续图像处理效率。

步骤二，对去噪砚台图像进行连通域检测，得到砚台连通域，根据标准规格砚台的尺度参数确定过滤规则，对砚台连通域过滤。

对去噪砚台图像进行连通域检测，对获取的砚台连通域进行感兴趣区域roi标定，获得砚台连通域包围框。根据获得的砚台连通域包围框，根据待检测砚台型号的标准规格尺度参数，建立过滤规则。可以确定关于砚台连通域面积、砚台连通域半径的规则。具体地，以标准规格砚台的面积作为参考，确定砚台连通域面积过滤区间，对砚台连通域面积进行过滤，去除过大的和过小的不合理连通域。以标准规格砚台的半径作为参考，确定砚台连通域半径的过滤区间，去除干扰。其中，采用积分方法计算砚台连通域面积；对砚台连通域包围框做最小外接圆，得到圆心与半径。针对标准规格半径为200像素左右的砚台，一种实施例是确定半径过滤区间为[100,300]，对砚台连通域进行过滤。根据过滤规则对砚台连通域进行过滤，即获得过滤后的砚台连通域。

步骤三，对过滤后的砚台连通域作最小外接矩形，根据最小外接矩形抠取图像，得到单个砚台轮廓图像。

本发明可以同时对含有多个砚台的砚台图像进行质量检测处理，可以提高砚台质量检测的效率。因此，需要将单个砚台轮廓抠取出来，便于后续分析。对过滤后的砚台连通域作最小外接矩形，根据最小外接矩形抠取单个砚台轮廓图像，便于后续单独处理。

步骤四，根据单个砚台轮廓图像以及砚台连通域的最小外接圆，生成标准圆遮罩，将标准圆遮罩嵌入单个砚台轮廓图像，得到内嵌标准圆的砚台轮廓图像。

以单个砚台轮廓图像的最小外接矩形尺寸作为标准圆遮罩的尺寸，对标准圆遮罩进行全零初始化。砚台为圆形，以砚台连通域包围框最小外接圆的圆心为圆心，以砚台连通域包围框最小外接圆半径的一半作为半径，作为标准圆。对全零初始化的标准圆遮罩的对应区域以255填充，完成标准圆遮罩的赋值。将标准圆遮罩与砚台轮廓进行图像或运算，从而将标准圆遮罩嵌入单个砚台轮廓图像，得到内嵌标准圆的砚台轮廓图像。所得内嵌标准圆的砚台轮廓图像如图3所示。

步骤五，对内嵌标准圆的砚台轮廓图像进行极坐标转换，得到极坐标下的待评估砚台图像。

通常通过极坐标变化校正图像中的圆形物体或包含在圆环中的物体，实现“圆图”到“方图”的转换。根据“方图”，可以很容易地观察或计算出圆形物体缺陷。图像极坐标变换的关键在于，对于“圆图”上任一点，在“方图”找到上对应的点。根据点的对应关系，通过插值法实现极坐标系下图像像素点的赋值。

对于xoy平面上的任意一点(x,y)，以(x0,y0)为中心的极坐标转换公式为：

通过以上公式，得到极坐标下的极径γ与极角θ。根据极径γ与极角θ，将内嵌标准圆的砚台轮廓图像进行极坐标展开，得到内嵌标准圆的砚台轮廓图像的极坐标图像，即待评估砚台图像，对待评估砚台图像进行自适应阈值二值化处理，得到可视化的待评估砚台图像如图4所示。

步骤六，对待评估砚台图像中外侧轮廓进行波动分析，生成外侧轮廓的波动程度衡量指标，根据波动程度衡量指标评估砚台质量是否合格。

两条曲线的相似程度，可以通过欧式距离、相关性、弗雷歇距离、波动相似性等衡量标准来评价，实施者将其作为候选项供实际使用时按效果选择。如果砚台合格，不存在缺口或凸起，待评估砚台图像中砚台轮廓即外侧轮廓与内侧标准轮廓基本拟合，两条轮廓相关性很高；如果砚台存在缺陷，存在缺口、凸起，轮廓不标准，与内侧标准轮廓相比，外侧砚台轮廓会出现波动程度较大的点。本发明根据外侧轮廓相对于标准轮廓的波动程度，来评估砚台质量是否合格。

此处采用计算方差来反映曲线波动程度。对外侧轮廓上的点进行采样，根据采样点像素值的方差，来反应外侧轮廓的波动程度。计算公式如下所示：

其中，n为采样点的数量，ρi为采样点的值，μ为各采样点的均值，var即得到的轮廓的波动程度。这里需要分别计算内嵌标准圆和外侧轮廓各采样点极坐标值的方差。理论上，根据上述算式获得的砚台轮廓的方差var1，即可反映波动程度。但是，将图像从直角坐标系下变换到极坐标系下时，难免出现误差，即便是标准轮廓在极坐标系下也会存在一定的波动程度。因此，为了消除图像在坐标变换过程的误差，根据上述算式计算标准轮廓的方差var2，反映标准轮廓的波动情况。

计算外侧轮廓各采样点极坐标值的方差与内嵌标准圆各采样点极坐标值的方差的差值，作为外侧轮廓的波动程度衡量指标，根据波动程度衡量指标评估砚台质量是否合格。一种实施例是根据获得的砚台轮廓的方差var1、标准轮廓的方差var2，建立评估参数l：

设定阈值，对评估参数l进行评价。经过大量数据实验，一种实施例是，合适的阈值为1.5。如果0<＝l<1.5，则为判断为合格圆形砚台，如果l>＝1.5，则判断圆形砚台存在质量缺陷。用户实际使用时可自行调节阈值。

步骤七，基于评估结果对圆形砚台图像进行标注，标注后的圆形砚台图像作为样本数据集，训练深度卷积神经网络，实现砚台质量的自动检测。

基于评估结果对圆形砚台图像进行标注。上述的数据中，当砚台是良品时标注为label＝1，当砚台是次品时标注为label＝0。

将标注后的圆形砚台图像作为样本数据集代入预设的深度卷积神经网络，采用基于余弦距离的损失函数来训练深度卷积神经网络，保存训练好的深度卷积神经网络模型。

一般的卷积神经网络都可以基于典型的网络结构进行修改，例如用于imagenet预训练好的resnet101、vgg-16等。一般的度量学习网络都采用较高的维度进行输出，推荐的做法是，输入图像大小的张量[h,w,c]为[224,224,3],将卷积神经网络的末端的全连接网络的最后一层去除，加入新一层全连接网络，输出为1×256的256维度的特征向量。

通过实验，目前较为先进的损失函数如：三元组损失、四元组损失、基于孪生网络的对比损失等无法对小样本、高分辨率、小幅特征进行特征的提取，需要引入缓启动等训练技巧来保证收敛，对于自动的系统而言不具备实用性。

余弦距离是能够作为将神经网络提取的高维特征向量之间的差异统一度量的损失函数，且三角函数在远距离、近距离分布具有平坦、陡峭的不同梯度，因此，基于小样本能够很快收敛。

基于余弦距离的损失函数的设计如下所述。

对于两个任意维度特征向量之间的余弦距离的简单定义如下：

基于该损失函数，随机将数据集中的两个样本组成样本对分别送入统一网络，得到两组特征向量[x,y]，通过标注信息确定当前损失:

loss＝(sim(x,y)-and(labelx,labely))²

其中and为与操作。

实施者应当知道，深度卷积神经网络的损失函数下降率低于阈值时即可停止训练。至此，得到了训练好的深度卷积神经网络模型。

训练完成后，用户使用训练好的深度卷积神经网络，载入已知的砚台良品图像即标准圆形砚台图像的特征向量。随后有待检测砚台时，取一待检测砚台的图像。将待检测圆形砚台图像代入深度卷积神经网络模型，得到待检测圆形砚台图像的特征向量；计算待检测圆形砚台图像与标准圆形砚台图像之间的相似度，得到砚台质量检测结果。用户通过得到的待检测砚台特征向量与良品图像特征向量之间的余弦距离，即可得知良品评分情况，越接近1则良品可能性越大，用户可设计阈值，根据评分进行次品的筛选。

本发明在数据准备阶段先对灰度图进行形态学处理，再通过自适应阈值，避免人为设计参数，得到二值化图像，对二值化图像进行连通域包围，对筛选得到的轮廓图做标准内嵌圆，对每个标准圆内嵌砚台轮廓图进行极坐标展开，利用方差计算极坐标展开的标准圆轮廓波动程度与砚台轮廓波动程度，然后使用波动程度差值的算术平方根与阈值比较，判定是否有缺陷。实现了一种半监督的圆形砚台质量分类的自动标注的方法，该方法能够克服圆形砚台表面纹路，只需摄像头将图像实时传入即可。对相机摆放、场景都具有很强的适应性和灵活性，用户可迅速建立私有数据集。本发明在网络训练阶段使用余弦距离进行不同特征层面的缺陷特征度量，能够广泛捕捉缺陷特征，具有较好的泛化能力，通过本发明的质量检测方法，即可完成单张图片的端到端检测，终端可以是手机等常用设备，促进工坊的智能制造发展。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。