专利名称：一种基于机器视觉的码垛玻璃瓶检测方法与搬运机的制作方法
技术领域：
本发明属于生产线自动监测与控制领域，涉及一种基于机器视觉的码垛玻璃瓶检
测方法与搬运机。
背景技术：
玻璃瓶作为人们生活中常见的容器，具有透明度高、便于检查、可高温灭菌、可重复利用、水氧透过率低而使内容物不易氧化变质等优点。因此，玻璃瓶被大量应用于各行业各类产品的包装。例如啤酒、葡萄酒、白酒等各类酒品饮料的包装；输液剂、水针剂、片剂、丸剂等药品的包装；食醋、酱油等食品的包装。我国是啤酒生产消费大国，产量连续多年居世界首位。以2008年我国啤酒产量4103万吨为基数，大约消耗500-560亿只玻璃瓶。我国在大输液药品的生产方面也居于世界前列，2004年的产量就已达到44亿瓶，而80%以上采用玻璃瓶包装。由以上两项就可看出玻璃瓶在我国制造业中的产量与使用量是非常大的。
玻璃瓶高速自动化生产线的末端环节，玻璃瓶成品由传送带送入集瓶区并整齐排列。在此区域中，玻璃瓶可能出现瓶体倒伏、瓶体倾侧、个数缺失、位置错误等情况，因此，搬运装置在搬运过程中也可能出现遗漏瓶等现象。集瓶台上已摆满一层瓶且瓶子必须排放整齐，一层瓶子的数量由大瓶、小瓶及各瓶种的不同而不固定。目前，各生产厂家都使用人工对这一环节进行不间断监测，以及控制搬运机的搬运动作。因此，玻璃瓶生产厂家迫切需要一种自动化的玻璃瓶码垛检测与搬运装置以实现该环节无人值守，提高生产效率。
发明内容
本发明要解决的问题，就是提供一种基于机器视觉的码垛玻璃瓶检测方法及基于该方法的搬运机，利用机器视觉技术监测玻璃瓶生产线末端的集瓶区，实时检测集瓶区可能出现的瓶体倒伏、瓶体倾侧、个数缺失、位置错误等错误情况并进行报警；在集瓶区满瓶且检测通过之后，控制搬运装置将规定数目的瓶子搬运到指定位置。
为实现上述目的，本发明的技术方案为 —种基于机器视觉的码垛玻璃瓶检测方法，其特征在于，首先获取由传送带送入集瓶区的瓶口图像；然后对获取的瓶口图形进行图像处理以识别当前集瓶区中的玻璃瓶是否存在异常情况，如果有异常情况则启动报警； 所述的异常情况包括瓶体倒伏、瓶体倾侧、个数缺失、位置错误；
所述的图像处理包括以下步骤 1)图像预处理以去除瓶口图像中的噪声和增强图像； 2)图像分割及瓶口特征提取采用改进型的二维图像灰度直方图方法实现图像分割，在二维直方图熵法的基础上引入遗传算法对计算进行优化；从预处理后的瓶口图像中分割出瓶口图像，得到瓶口二值图像；
3)瓶口计数的算法 对瓶口二值图像进行计数，即数出图像中白色连通区域的数目，根据检测出的数
4目与预先设定的数目比较，如果数目 一致表示集瓶区中的玻璃瓶状态正常，否则判定集瓶区中的玻璃瓶状态为异常。 改进型的二维图像灰度直方图方法包括以下步骤在预处理后的瓶口图像的二维平面上作出灰度直方图，每个像素点的坐标值为(i， j) ， i和j分别代表像素点的灰度值和该像素点的邻域的灰度平均值，i和j组合出现的频率为fij，每一个像素点的灰度等级均为L ;该像素点的联合概率密度函数Pij如下A;1A7 '》.=0,1".丄-1， 以(s， t)为分割阈值，准则函数W (S， t)为，) = ，) + ， = In/^l —。 + ":1,;其 中 ，
〈/ 1 一
i=0 )=0
使W (s， t)最大的灰度值(s， t)即是所求的最优阈值t*，即r =^^{^^甲0力};其中Arg{}表示求反函数。
针对(s， t)两个参数的最优求解采用遗传算法优化编码将各个染色体编码为8位二进制码；
人口模型设置人口数为50，最大繁殖代数为200 ;
评价采用准则函数W (S， t)为适应度函数；选择采用比例选择算子；交叉交叉概率取为0. 6 ;变异变异概率取为0. 1 ;
终止准则当算法执行到最大代数或群体中的最高适应度值稳定时，算法停止运行，具有最高适应度值的个体即为所求的解。 —种基于上述基于机器视觉的码垛玻璃瓶检测方法的搬运机，包括玻璃瓶传送带、装有气囊式抓头提升机构和紧固框的行车、安装行车的立柱机架，紧固框的正下方为集瓶区，传送带与集瓶区连接；其特征在于，在集瓶区设有纵向导轨和可沿纵向导轨移动的横向导轨；用于获取集瓶区内玻璃瓶图像的相机设置在横向导轨上；相机的镜头垂直集瓶区向下，相机与用于图像处理和导轨控制的工业控制计算机系统连接；相机的镜头周围设置有环形光源；纵向导轨和横向导轨与驱动电机连接；所述工业控制计算机系统包括工业控制计算机、安装于工业控制计算机的机箱内的双轴运动控制卡和1/0卡、与工业控制计算机连接的PLC以及与PLC连接的触摸屏；所述立柱机架包括集瓶台四周立柱以及立柱上方的端梁和行车导轨，行车导轨向集瓶台侧面延伸至码垛包装区上空。 工业控制计算机与双轴运动控制卡结合实现对相机运动轨迹的控制。工控计算机与相机结合，负责系统的管理。包括运行检测软件对集瓶台图像进行处理及判断，与PLC以及工控机本身外设的连接与通信控制，检测信息数据库的管理，同时提供各种人机界面实时显示集瓶台实况；PLC主要负责电气部分的底层控制控制光源，控制相机拍摄，控制
5行车、提升机构和紧固框运动流程，控制传送带速度，启动声光报警装置等。
紧固框可对集瓶区内的瓶体的排列状况进行约束，使其达到规则紧密的状态。
这种搬运机主要由玻璃瓶传送与收集机构、图像摄取与处理机构、工业控制计算机系统、立柱机架、玻璃瓶提升搬运机构等部分组成。 所述玻璃瓶传送与收集机构包括传送带和集瓶台，由五条19cm宽和一条10cm宽的输瓶链组成，对应的移动速度分别为0. 33m/s和0. 24m/s，输瓶链的条数、宽度、速度等还可根据玻璃瓶的不同规格设计为别的参数(此处以650ml的啤酒瓶为例)。输瓶链为光滑不锈钢制成。 所述图像摄取与处理机构，包括工业相机及其安装于镜头周围的环形光源、控制相机运动的横向导轨与纵向导轨及其驱动电机、和运行在工业控制计算机系统中的处理软件。 所述工业控制计算机系统包括工业控制计算机、安装于其机箱内的双轴运动控制卡和I/0卡、与其连接的PLC、以及与PLC连接的触摸屏等。工业控制计算机与双轴运动挖制卡结合实现对相机运动轨迹的控制。工控计算机(上位机)与相机结合，负责系统的管理。包括运行检测软件对集瓶台图像进行处理及判断，与PLC以及工控机本身外设的连接与通信控制，检测信息数据库的管理，同时提供各种人机界面实时显示集瓶台实况；PLC(下位机)主要负责电气部分的底层控制控制光源，控制相机拍摄，控制行车、提升机构和紧固框运动流程，控制传送带速度，启动声光报警装置等。 所述立柱机架包括集瓶台四周立柱以及上面的端梁和行车导轨，导轨向集瓶台侧面延伸至码垛包装区上空。 所述玻璃瓶提升搬运机构包括装置于集瓶台上空导轨上的行车、行车上安装的气囊式抓头提升机构、紧固框。紧固框可对集瓶区内的瓶体的排列状况进行约束，使其达到规则紧密的状态。
有益效果 与现有技术相比，本发明的优点就在于 (1)本发明结构简单、自动化程度高。通过行车机构的设计，玻璃瓶堆垛检测和搬运系统能自主运动，利用工业图像采集和处理系统，可以实现堆垛台集瓶情况的精确检测，改变目前玻璃瓶生产线堆垛环节全部依靠人工监测和控制的现状。 (2)本发明的系统中设置有图像采集装置，能够自动检测集瓶台上瓶子的详细情况，即对获取的图像进行自动处理、检测和识别，以便提高搬运系统的效率。此外，图像处理系统还可对缺瓶、倒瓶进行检测。 (3)本发明的适用性广、移植性强。本系统能广泛适用于使用玻璃瓶为容器的产品搬运与包装，并且可推广应用于啤酒饮料行业、大输液制药行业、食品加工业等，具有广阔的应用前景。 本发明研究的智能控制系统，将改变目前玻璃瓶生产线相应环节全部依靠人工监测和控制的现状，大大提高其生产线自动化水平。
图1为搬运机自动检测与搬运装置的主视6
机
图2为搬运机自动检测与搬运装置的俯视图3为搬运机自动检测与搬运装置的控制系统示意图4图像处理流程图5玻璃瓶堆垛的灰度图像；
图6玻璃瓶堆垛图像的灰度直方图7玻璃瓶堆垛图像的增强结果；
图8玻璃瓶堆垛图像的分割结果；
图中标号说明
1、玻璃瓶 2、纵向导轨4、气囊式抓头提升机构 5、声光报警器
7、相机 8、横向导轨10、集瓶区 11、紧固框
13、双轴运动控制卡16、可编程逻辑控制器(PLC)18、纵向导轨伺服电机
14、双轴伺服驱动器
19、横向导轨伺服电机
3、行车6、立柱机架9、传送带12、工业控制计算
15、 I/O数据卡17、触摸屏
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步说明。
实施例1 : 如图1 3所示，本发明主要包括带行车导轨的立柱机架6、设置有气囊式抓头提升机构4和紧固框11的行车3、由多条输瓶链组成的传送带9和集瓶区10、可以沿纵向导轨2和横向导轨8在平面内运动的相机7、工业控制计算机12等结构。其中，紧固框ll内侧设置有气垫，能增大与空瓶接触的摩擦力，起到抱紧玻璃瓶的作用。紧固框11通过可上下伸縮的导轨副与行车3连接，通过气动装置驱动紧固框抱紧或松开。立柱机架6上端的行车3导轨向集瓶区10侧面延伸至码垛包装区上空。气囊式抓头提升机构4和紧固框11可在行车3与集瓶区10之间的空间自由升降。玻璃瓶1通过传送带9中窄的那条输瓶链连续不断的被送入集瓶区10，由于窄输瓶链与周围宽输瓶链的速度不同，玻璃瓶1在输瓶链间滑动，从集瓶区10底端(右端)开始逐行排满，并最终形成类似于梯形的形状(如图2)，通过传送带的输送带动及瓶子间的相互挤压，瓶子就能排列成如图2所示的形状。置于横向导轨8上的相机7可沿导轨自由滑动，而横向导轨8两端置于纵向导轨2上，并可沿纵向导轨方向自由滑动。相机7的镜头周围装有环形LED光源，镜头垂直集瓶区10向下，位于玻璃瓶1上方适当位置。双轴运动控制卡13安装于工业控制计算机12机箱内，实现对相机7运动轨迹的控制。I/O卡15也安装于工业控制计算机12机箱内。相机7和可编程逻辑控制器(PLC) 16与工业控制计算机12直接相连。与可编程逻辑控制器(PLC) 16直接相连的有行车3、声光报警器5、传送带9、紧固框11、 I/O数据卡15、触摸屏17。
本发明的工作原理及过程如下 当玻璃瓶1通过传送带9中窄的那条输瓶链连续不断的送入集瓶区10，由于窄输瓶链与周围宽输瓶链的速度不同，玻璃瓶1在输瓶链间滑动，从集瓶区10底端(图2的右
7端)开始逐行排满，并最终形成类似于梯形的形状(如图2)。相机7沿着横向导轨8和纵向导轨2从集瓶区10底端(右端)开始检测，每次只检测一个区域玻璃瓶状态是否正确。随着集瓶区10的玻璃瓶1不断累积，逐步检测，当玻璃瓶放满时，检测也随之结束。检测过程与积瓶过程基本同步，滞后时间不超过25秒。检测过程中固化在相机7内的检测软件将对集瓶区10图像进行处理及判断，参见图4，具体处理流程如下 使用工业相机获取到的传动带上的集瓶区空瓶的灰度图像如图5所示，可以看出，瓶口区域具有均匀一致的灰度值，集瓶区传送带引起的图像背景的灰度值与瓶口的灰度值有明显差异，但存在有横竖亮条纹。针对瓶口和背景图像间的对比度较大，可考虑采用阈值分割的方法对其进行二值化，使瓶口从背景中初步分离开来，并以瓶口作为特征进行缺瓶检测。
(1)图像预处理 为了目标分割易于进行，并提高处理的精度，玻璃瓶堆垛自动计数系统需对采集到的图像进行预处理。根据图1和图3所示的堆垛检测与搬运系统结构，系统噪声主要是CCD电路、传送带反光、工业现场环境等引起的随机噪声，而在确定图像分割阈值时，阈值的选取对噪声较敏感，因此采用中值滤波方法来去除噪声和增强图像，得到的图像如图7所示。
(2)图像分割及瓶口特征提取 本专利采用改进的二维图像灰度直方图技术实现图像分割。此方法在考察各象素灰度值的出现频数的同时，也考察各像素的位置及其邻域特征等空间信息，因此这种方法具有更高的精度和鲁棒性，适用于大噪声的复杂图像的分割。然而，基于二维灰度直方图的阀值分割方法的算法更复杂，也需要耗费更多的图像处理时间。因此我们将在二维直方图熵法的基础上引入遗传算法对系统进行优化。 设图像共有L个灰度级，每个像素点的领域灰度平均值也为这L个灰度级，显然总的灰度级为LXL个。于是可以在二维平面上作出灰度直方图，每个像素点的坐标值为(i，j) ， i和j分别代表像素点的灰度值和其领域的灰度平均值，该灰度组合出现的频率为fij，该像素点函数值为联合概率密度函数Pij。
<formula>formula see original document page 8</formula>
若以(s， t)为分割阈值，对应于物体O的概率分布Pij(i = 1，2， ...s;j = 1，
2， . . . t)的和应当为l，于是需进行归一化操作。 定义归一化操作后与物体0的概率分布相关的熵为 <formula>formula see original document page 8</formula>其中，csi;^/ <formula>formula see original document page 8</formula>
同理，与背景B的概率分布相关 熵为
<formula>formula see original document page 9</formula>
只要在区域<formula>formula see original document page 9</formula>中Pij " 0，以上定义的H(B)就能成立，这样假设有助于节省计算时间。由于许多情况下，非对角线的概率分布可以忽略的，因此作出上述假设是合理的。
准则函数W (s， t)取为H(O) ， H(B)之禾口，即
<formula>formula see original document page 9</formula>使W (s， t)最大的灰度值(s， t)即是所求的最优阈值t*，即
在此，针对(s， t)两个参数问题的最优求解采用遗传算法优化。遗传算法利用简单的编码技术和繁殖机制来表现难以用传统搜索方法解决的复杂和非线性的问题。
编码由于图像灰度值在0 255之间，所以将各个染色体编码为8位二进制码；
人口模型若人口过多，则每一代适应度的计算量大，在此，设置人口数为50，最大繁殖代数为200 ; 评价采用式(6)为适应度函数；
选择采用比例选择算子； 交叉交叉的重要特征是它能产生不同于父体的子体，体现了自然界信息交换的
思想，交叉概率取为0.6 ; 变异变异概率取为0. 1 ; 终止准则当算法执行到最大代数或群体中的最高适应度值稳定时，算法停止运行，具有最高适应度值的个体即为所求的解。获得的图像如图8所示。
(3)瓶口计数的算法 对分割后的瓶口二值图像进行计数，即数出图像中白色连通区域的数目，直接采用传统连通区域标号的方法，算法简单，实现方便。 工业控制计算机12的显示器实时显示集瓶区10实况。如果相机7检测到集瓶区10中存在瓶体倒伏、瓶体倾侧、个数缺失、位置错误等异常情况，将发送"不合格"信号至可编程逻辑控制器(PLC) 16，然后可编程逻辑控制器(PLC) 16会启动声光报警器5发出声音与灯光双重警报信号并停止传送带9。如果相机7检测到集瓶区10中玻璃瓶1排列状态"合格"且"排满"，则会通过可编程逻辑控制器(PLC) 16控制位于集瓶区10上方的行车3放下紧固框11对集瓶区10的玻璃瓶1阵列进行紧固动作，然后放下气囊式抓头提升机构4抓取集瓶区10的玻璃瓶1阵列，垂直上行至立柱机架6顶端后沿导轨平行移动至码垛区上方进入后续包装工序。当气囊式抓头提升机构4提升集瓶区10的玻璃瓶1阵列后，相机7将再次对集瓶区10进行快速检测，如果集瓶区10内有遗漏下的玻璃瓶l，声光报警器5将发出报警信号，如果没有玻璃瓶1遗漏，则进入下一个集瓶的过程。
检测过程中的实时数据将记入工业控制计算机12中的数据库中，随时可以查验历史数据。 触摸屏17提供人机界面，可以控制全系统的启动与停止，可设定系统数据，包括输瓶链速度、行车3开启时间和速度、声光报警器5的报警模式等，还可根据不同的瓶体型号，选用不同的产品模式。 本发明不局限于上述最佳实施方式，根据不同的需要，本装置的各项配置可增可减，各硬件设备的规格也可依据不同的参数设计。任何人在本发明的启示下得出的其他任何与本发明相同或相近似的产品，均落在本发明的保护范围之内。
权利要求
一种基于机器视觉的码垛玻璃瓶检测方法，其特征在于，首先获取由传送带送入集瓶区的瓶口图像；然后对获取的瓶口图形进行图像处理以识别当前集瓶区中的玻璃瓶是否存在异常情况，如果有异常情况则启动报警；所述的异常情况包括瓶体倒伏、瓶体倾侧、个数缺失、位置错误；所述的图像处理包括以下步骤1)对图像进行预处理以去除瓶口图像中的噪声和增强图像；2)图像分割及瓶口特征提取采用改进型的二维图像灰度直方图方法实现图像分割，在二维直方图熵法的基础上引入遗传算法对计算进行优化；从预处理后的瓶口图像中分割出瓶口图像，得到瓶口二值图像；3)瓶口计数的算法对瓶口二值图像进行计数，即计算出图像中自色连通区域的数目，根据检测出的数目与预先设定的数目比较，如果数目一致表示集瓶区中的玻璃瓶状态正常，否则判定集瓶区中的玻璃瓶状态为异常。
2. 根据权利要求1所述的基于机器视觉的码垛玻璃瓶检测方法，其特征在于，改进型 的二维图像灰度直方图方法包括以下步骤在预处理后的瓶口图像的二维平面上作出灰度 直方图，每个像素点的坐标值为(i， j) ， i和j分别代表像素点的灰度值和该像素点的邻域 的灰度平均值，i和j组合出现的频率为fij，每一个像素点的灰度等级均为L ;该像素点的 联合概率密度函数Pij如下以(S，t)为分割阈值，准则函数W(S，t)为<formula>formula see original document page 2</formula>使W (s， t)最大的灰度值(s， t)即是所求的最优阈值t*，即 Z = Ag^J^;甲"W ;其中Arg{}表示求反函数。针对(S， t)两个参数的最优求解采用遗传算法优化 编码将各个染色体编码为8位二进制码； 人口模型设置人口数为50，最大繁殖代数为200 ; 评价采用准则函数W (S， t)为适应度函数； 选择采用比例选择算子； 交叉交叉概率取为0. 6 ; 变异变异概率取为0. 1 ;终止准则当算法执行到最大代数或群体中的最高适应度值稳定时，算法停止运行，具 有最高适应度值的个体即为所求的解。
3. —种基于权利要求1或2所述基于机器视觉的码垛玻璃瓶检测方法的搬运机，包括 玻璃瓶传送带、装有气囊式抓头提升机构和紧固框的行车、安装行车的立柱机架，紧固框的 正下方为集瓶区，传送带与集瓶区连接；其特征在于，在集瓶区设有纵向导轨和可沿纵向导轨移动的横向导轨；用于获取集瓶区内玻璃瓶图像的相机设置在横向导轨上；相机的镜头 垂直集瓶区向下，相机与用于图像处理和导轨控制的工业控制计算机系统连接；相机的镜 头周围设置有环形光源；纵向导轨和横向导轨与驱动电机连接；所述工业控制计算机系统 包括工业控制计算机、安装于工业控制计算机的机箱内的双轴运动控制卡和1/0卡、与工 业控制计算机连接的PLC以及与PLC连接的触摸屏；所述立柱机架包括集瓶台四周立柱以 及立柱上方的端梁和行车导轨，行车导轨向集瓶台侧面延伸至码垛包装区上空。
全文摘要
本发明提供了一种基于机器视觉的码垛玻璃瓶检测方法及基于该方法的搬运机，该检测方法为首先获取经传送带送入集瓶区的瓶口图像；然后对获取的瓶口图形进行图像处理以识别当前集瓶区中的玻璃瓶是否存在异常情况，如果有异常情况则启动报警；搬运机包括玻璃瓶传送带、装有气囊式抓头提升机构和紧固框的行车、相机、立柱机架，紧固框的正下方为集瓶区，传送带与集瓶区连接；在集瓶区设有纵向导轨和可沿纵向导轨移动的横向导轨；用于获取集瓶区内玻璃瓶图像的相机设置在横向导轨上；相机的镜头垂直集瓶区向下，相机与用于图像处理的计算机连接。本发明易于实施、自动化程度高，效率高，具有广阔的工业应用前景。
文档编号B65G57/00GK101710080SQ20091022714
公开日2010年5月19日 申请日期2009年12月1日 优先权日2009年12月1日
发明者周博文, 张辉, 朱慧峰, 王耀南, 葛继 申请人:湖南大学