一种基于机器视觉的槟榔切片轨迹计算方法

1.本发明涉及槟榔加工技术领域，特别涉及一种基于机器视觉的槟榔切片轨迹计算方法。


背景技术：

2.槟榔切片是食品槟榔加工过程中的重要工序，其工艺直接影响成品食用槟榔的外形和质量。目前，在槟榔切片工序中仍然以人工手持刀具进行剖切的方式为主，存在生产效率低下、费时费力。有部分企业采用了机械切片的方式，但由于槟榔的机构特征，其形状大小不一，无法找到槟榔居中的切割面，使得生产出来的槟榔品像不佳，影响槟榔的口感、感官、销售等，这些都严重制约了槟榔产业的进一步发展。
3.如公告号为cn104772777a的发明专利就公开一种全自动槟榔等分切片机，其中主要公开了通过plc系统控制振动盘面进行振动落籽，用u形定位槽对槟榔定位和内锥孔顶住槟榔的两端，使槟榔与分切刀片相对移动进行切片动作。该方法中使用机械式的槟榔定位方法，切刀不能相对定位槽灵活调整至最优的分切线上，由于槟榔个体差异极大，所以定位不够准确而容易导致切偏或漏切现象，故该机在实际槟榔加工中并不理想，仍有较大改进空间。而利用机器视觉技术能够有效的避免因槟榔个体差异引起的定位不准问题，其图像识别的快速性、准确性、非破坏性具有其他技术所没有的优点，如何将机器视觉技术实际应用于槟榔切片过程中就成了本领域亟待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于机器视觉的槟榔切片轨迹计算方法，该方法至少在一定程度上克服了槟榔切片工序中不能准确定位到最优切片轨迹线的问题，提高了槟榔切片的质量。
5.为实现以上目的，本发明采用的技术方案如下：
6.本发明提供了一种基于机器视觉的槟榔切片轨迹计算方法，包括以下步骤：
7.原始图像采集：采集位于生产线上的槟榔原始图像；
8.图像预处理：对槟榔图像进行滤波处理，并转换至hsv颜色空间，分离出h通道、s通道、v通道三个单通道图像，并得到s单通道图像；
9.阈值分割：对s通道图像进行阈值分割，得到二值化图像，对二值图像中的连通域用漫水填充算法和图像形态学处理进行图像填充去除孔洞、小连通域；
10.轮廓识别：利用边缘检测算子检测识别出槟榔轮廓图像，提取出其有效轮廓计算出槟榔区域regiondiff的长轴a、短轴b、周长p、面积s、得到外轮廓的最小外接矩形；
11.切片轨迹计算：槟榔轮廓图像计算切片轨迹预选线集合，对每个预选线集合进行权重打分，加权后计算每条预选线组合分数，根据各分数确定槟榔的最终切片轨迹线。
12.在一些实施例中，所述原始图像采集步骤中，当槟榔接近光电开关时，光电开关即刻触发工业ccd相机采集一帧图像，采用图像采集的方式为触发式采集。
13.在一些实施例中，所述图像预处理步骤中，滤波处理采用中值滤波，用图像像素点邻域灰度值的中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点；中值滤波计算公式如下：
14.p(i,j)＝median{f(i-m,j-m)},m＝3,5,7...
15.式中：p(i,j)——处理后图像在点(i,j)的灰度值；f(i,j)——原始图像灰度值。
16.在一些实施例中，所述图像预处理步骤中，将图像进行转换至hsv色彩空间，转换公式如下：
[0017][0018][0019][0020]
v＝m
[0021]
式中：r、g、b——分别为rgb图像中的红色分量、绿色分量、蓝色分量；h、s、v——分别为转换后的hsv颜色空间图像中的色度分量、饱和度分量、亮度分量。
[0022]
在一些实施例中，所述阈值分割步骤中，利用自适应阈值分割的otsu确定图像二值化的阈值，其计算公式如下：
[0023]
w0＝n0/(m
×
n)
[0024]
w1＝n1/(m
×
n)
[0025]
n0+n1＝(m
×
n)
[0026]
w0+w1＝1
[0027]
μ＝w0*μ0+w1*μ1[0028]
g＝w0(μ
0-μ)2+w1(μ
1-μ)2[0029]
采用遍历的方法得到使类间方差最大的阈值t；式中：m
×
n——为图像的大小；n0——图像中像素的灰度值小于阈值t的像素个数；n1——像素灰度大于阈值t的像素个数；ω0——前景的像素点数占整幅图像的比例；μ0——前景的像素点数占整幅图像的平均灰度；ω1——背景像素点数占整幅图像的比例；μ1——景像素点数占整幅图像的平均灰度；μ——图像的总平均灰度记；g——类间方差。
[0030]
在一些实施例中，所述阈值分割步骤中，按下式将槟榔从背景图像中分割出来，则
[0031][0032]
式中：t为二值化分割阈值，image3(x,y)为图像中(x,y)位置像素的灰度值：x表示槟榔图像x轴的坐标，y表示示槟榔图像y轴的坐标。
[0033]
在一些实施例中，所述轮廓识别步骤中，具体步骤如下：
[0034]
计算最小外接矩形：提取槟榔区域regiondiff的长轴a，短轴b的特征，对区域regiondiff构建最小外接矩形，最小外接矩形的长边、短边即对应的长轴a、短轴b，利用以下计算公式计算得到最小外接矩形的长轴中轴线坐标g、e坐标；
[0035][0036][0037]yn
＝f(xn)
[0038][0039][0040]
式中：l、w分别为外接矩形的长度和宽度；(x0,y0)和(x5,y5)为外接矩形的轴线坐标；(xn,yn)、(xm,ym)分别为矩形的四个顶点坐标，函数f(x)为槟榔外轮廓曲线函数。
[0041]
提取周长：提取周长p的特征，运用链式法则得到槟榔长度：p＝sqrt(2)*nd+nx+ny；
[0042]
提取面积：提取面积s的特征，设每个像素点的长度为单位1，则面积为：
[0043][0044]
式中：(x,y)表示图像坐标；q表示槟榔区域regiondiff。
[0045]
在一些实施例中，所述切片轨迹计算步骤中，对背高值和切长值分别使用两套不同的权重评分规则，当背高值或切长值在表中给定值之间时，其取值在评分分数二者之间的基于线性插值所得到的具体分数。
[0046]
与现有技术相比，本发明的有益效果是：该方法克服了在槟榔切片工序过程中依靠机械式定位而不能准确定位到最优切片轨迹线的问题，能有效解决槟榔切线定位不准的情况，能快速、准确、非破坏性的获取到槟榔切片轨迹，提高了槟榔切片质量，该视觉识别方法简单，准确，稳定，满足生产线的实时切片要求。
[0047]
1、本发明采用了图像识别算法对槟榔进行识别，能够通过设定背高和切长阈值计算切片轨迹，最后通过自定义权重算法进行综合判定槟榔切片预选线，可以针对不同企业工厂的籽形进行自定义更改权重评分表，适用性强。
[0048]
2、本发明与现有机械式定位切片方法相比，该检测算法具有整体算法简单、高效、重复性好等优势，满足现有生产线实时在线识别、稳定可靠的需求。
附图说明
[0049]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
[0050]
图1为本发明的槟榔切片轨迹计算方法的流程图；
[0051]
图2为本发明具体处理步骤及对应处理后的图像；其中，(a)为工业相机采集的原始图像；(b)为(a)的滤波处理后图像；(c)为(b)的hsv色彩空间图像；(d)为(c)的s单通道图像；(e)为(d)otsu阈值分割后的图像；(f)为(e)进行漫水填充后的图像；(g)为(f)进行边缘检测后检测出槟榔的轮廓图像；(h)为(g)的槟榔对应最小外接矩形图像；(i)为(h)生成的切片轨迹图像；
[0052]
图3为本发明槟榔外轮廓参数提取标识图；
[0053]
图4为本发明槟榔切片轨迹计算框图；
[0054]
图5为本发明轨迹集合线计算示意图；其中，(a)为获取头尾分析线上a、b、c、d四个偏移点；(b)为获取b1、b2、c1、c2偏移点；(c)为获取a集合线；(d)为获取d集合线；(e)为获取b集合线；(f)为获取c集合线。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
实施例一
[0057]
请参阅图1-图5，在一个具体的实施例中，本发明实施例提供了一种基于机器视觉的槟榔切片轨迹计算方法，包括以下步骤：
[0058]
s1、原始图像采集：采集位于生产线上的槟榔原始图像，记作image0，如图2(a)所示；
[0059]
其中，可利用ccd工业相机对生产线上的槟榔果进行拍取一张图像；
[0060]
具体的，当槟榔接近光电开关时，光电开关即刻触发工业ccd相机采集一帧图像，采用图像采集的方式为触发式采集；
[0061]
s2、图像预处理：
[0062]
s2.1对槟榔图像image0进行滤波处理，得到图像image1，如图2(b)所示；
[0063]
其中，滤波处理采用中值滤波，即用图像像素点邻域灰度值的中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，中值滤波计算公式如下：
[0064]
p(i,j)＝median{f(i-m,j-m)},m＝3,5,7...
[0065]
式中：p(i,j)——处理后图像在点(i,j)的灰度值；f(i,j)——原始图像灰度值；
[0066]
s2.2对槟榔图像image1进行转换至hsv色彩空间，如图2(c)所示；
[0067]
其中，hsv色彩空间分别包含h通道、s通道、v通道三个单通道图像，色彩空间转换
公式如下：
[0068][0069][0070][0071]
v＝m
[0072]
式中：r、g、b——分别为rgb图像中的红色分量、绿色分量、蓝色分量；h、s、v——分别为转换后的hsv颜色空间中的色度分量、饱和度分量、亮度分量；
[0073]
以上单通道操作：即单通道图，俗称灰度图，每个像素点只能有一个值表示颜色，像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色；
[0074]
s2.3分离色彩空间得到s单通道图像，记作image2，如图2(d)所示；
[0075]
s3、阈值分割：对槟榔图像image2进行otsu自适应阈值分割，得到二值化图像，记作image3，如图2(e)所示；
[0076]
其中，利用自适应阈值分割的otsu(最大类间方差法)确定图像二值化的阈值，其计算公式如下：
[0077]
w0＝n0/(m
×
n)
[0078]
w1＝n1/(m
×
n)
[0079]
n0+n1＝(m
×
n)
[0080]
w0+w1＝1
[0081]
μ＝w0*μ0+w1*μ1[0082]
g＝w0(μ
0-μ)2+w1(μ
1-μ)2[0083]
采用遍历的方法得到使类间方差最大的阈值t；
[0084]
式中：m
×
n——为图像的大小；n0——图像中像素的灰度值小于阈值t的像素个数；n1——像素灰度大于阈值t的像素个数；ω0——前景的像素点数占整幅图像的比例；μ0——前景的像素点数占整幅图像的平均灰度；ω1——背景像素点数占整幅图像的比例；μ1——景像素点数占整幅图像的平均灰度；μ——图像的总平均灰度记；g——类间方差；
[0085]
其中，将槟榔从背景图像中分割出来，则
[0086]
[0087]
式中：t为二值化分割阈值，image3(x,y)为图像中(x,y)位置像素的灰度值：x表示槟榔图像x轴的坐标，y表示示槟榔图像y轴的坐标；
[0088]
对槟榔图像image3进行漫水填充算法和图像形态学处理去除孔洞、小连通域，得到图像，记作image4，如图2(f)所示；对二值图像中的连通域进行图像填充，减少图像干扰轮廓，其中的二值化操作：即图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果；
[0089]
s4、轮廓识别：利用边缘检测算子检测识别出槟榔轮廓图像，提取出其有效轮廓计算出槟榔区域regiondiff的长轴a、短轴b、周长p、面积s、得到外轮廓的最小外接矩形；
[0090]
即对槟榔图像image4利用canny边缘算子进行边缘检测，得到槟榔区域regiondiff，即为槟榔的轮廓；记作image5，如图2(g)所示，绘制外轮廓；
[0091]
对槟榔轮廓图像image5计算出槟榔区域regiondiff的长轴a、短轴b、周长p、面积s，如图3所示；具体步骤如下：
[0092]
s4.1、计算最小外接矩形：提取槟榔区域regiondiff的长轴a，短轴b的特征，对区域regiondiff构建最小外接矩形，记作image6，如图2(h)所示，最小外接矩形的长边、短边即对应的长轴a、短轴b，利用以下计算公式计算得到最小外接矩形的长轴中轴线坐标g、e坐标；
[0093][0094][0095]yn
＝f(xn)
[0096][0097][0098]
式中：l、w分别为外接矩形的长度和宽度；(x0,y0)和(x5,y5)为外接矩形的轴线坐标；(xn,yn)、(xm,ym)分别为矩形的四个顶点坐标，函数f(x)为槟榔外轮廓曲线函数。
[0099]
s4.2、提取周长：提取周长p的特征，周长指的是槟榔的轮廓长度，运用链式法则得到槟榔长度：p＝sqrt(2)*nd+nx+ny；
[0100]
s4.3、提取面积：提取面积s的特征，槟榔面积描述了槟榔轮廓区域的大小，即图像中所有属于槟榔的像素点个数，对于区域regiondiff来说，设每个像素点的长度为单位1，则面积为：
[0101][0102]
式中：(x,y)表示图像坐标；q表示槟榔区域regiondiff；
[0103]
s5、切片轨迹计算：
[0104]
槟榔轮廓图像计算切片轨迹预选线集合，对每个预选线集合进行权重打分，加权后计算每条预选线组合分数，根据各分数确定槟榔的最终切片轨迹线；
[0105]
具体地，先对槟榔轮廓图像image6计算切片轨迹预选线集合，通过外接矩形中轴
线坐标得到槟榔的中轴线，对头尾进行缩进比例来分别获取头部分析线和尾部分析线，取头部分析线上槟榔中点，按2mm偏移量间隔，获得a点和d点。取尾部分析线上槟榔中点，按0.2取点比例，获得c点和b点，如图5(a)所示；b点在尾部分析线上，按设定100像素间距生成b1、b2点，c点同理，生成c1、c2点，如图5(b)所示；以a点为初始点，分别连接尾部分析线上的b1、b2，获得abn线组成集合即a集合，如图5(c)所示；同理生成dcn线集合即d集合，如图5(d)所示，以b点位圆心，ba线以间隔为2
°
进行旋转，计算ba线的切线长度和背高值。当切线长度小于切长下限时或背高小于背高下限值时，ba线停止旋转选取，切线长l和背高值h计算公式如下：
[0106][0107][0108]
式中：l为切长值；h为背高值；(xa,ya)为a点坐标；(xb,yb)为b点坐标；(xf,yf)为f点坐标；δ为切长上限值，μ为背高上限值，如此获得ba线，所有的ba线组成ba线集合，同理生成b1a线集合、b2a线集合、cd线集合、c1d线集合、c2d线集合；以b、b1、b2点旋转的预选线集为b集合，如图5(e)所示；以c、c1、c2点旋转的预选线集为c集合，如图5(f)所示；
[0109]
再利用切长值和背高值设定阈值分别对生成的所有集合中预选线进行过滤，针对背高小于8mm或高于14mm、切长小于38mm或高于66mm的预选线进行排除，把对余下的预选线集合进行分组，分成a+d、a+c、d+b、b+c四种组合集合，利用背高权重评分表、切长权重评分表对集合内预选线评分，选定分数最高的一组预选线确定为槟榔的最终切片轨迹线。可以理解地，该方法克服了在槟榔切片工序过程中依靠机械式定位而不能准确定位到最优切片轨迹线的问题，能有效解决槟榔切线定位不准的情况，能快速、准确、非破坏性的获取到槟榔切片轨迹，提高了槟榔切片质量，该视觉识别方法简单，准确，稳定，满足生产线的实时切片要求。如图2(i)所示，对背高值和切长值分别使用两套不同的权重评分规则，当背高值或切长值在表中给定值之间时，其取值在评分分数二者之间的基于线性插值所得到的具体分数；
[0110]
其中，权重评分表如下：
[0111]
表1切长权重评分表
[0112][0113]
表2背高权重评分表
[0114][0115]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0116]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。