一种物流仓储规则形状货物识别系统的制作方法

本发明涉及物流分拣检测技术领域，具体涉及一种物流仓储规则形状货物识别系统。

背景技术：

物流仓储是先进制造领域、计算机集成制造系统和现代物流技术的重要组成部分,对制造业的发展起着举足轻重的作用。目前的仓库仍然停留在自动化阶段,这种自动化仓库主要存在的一个问题是拣选作业时，大部分码头或港口还需人工进行货物的识别和出入库作业，费时费力。

目前自动化出入库物体识别操作主要采用三种方式：

一、条形码扫描。条码识别技术出现较早，是目前应用最为成熟的一种识别技术，通过将包含货物信息的一组固定格式的编码贴于货物表面来标识相关信息，并通过识别设备与识别技术在货箱流转过程中进行识别。在非自动化物流仓储系统中，这一类货物识别系统应用广泛，在自动化立体仓库中也有应用。

但是条码在使用过程中会有损坏，自动识别时会有较高的误码率，其可靠性受到影响。另外，受识别技术本身的条件限制，条码包含的信息单一，随着立体仓库自动化水平与工作效率的不断提高，这一类识别系统已经不能满足应用要求。

二、rfid技术。采用非接触ic卡技术的射频识别技术(rfid)是目前应用在自动化立体仓库中的一个技术发展方向。其利用射频识别(radiofrequencyidentification,rfid)技术，又称为电子标签(e-tag)技术，通过射频通信实现的非接触式自动识别技术。射频识别系统一般由两个部分组成，即电子标签(应答器，e-tag)和阅读器(读头，reader)。在rfid的实际应用中，电子标签附着在被识别的物品上(表面或内部)，当带有电予标签的被识别物体通过阅读器的可识读范围时，阅读器自动以不接触的方式将电子标签中的识别信息读取出来，从而实现自动识别物品或自动收集物品标志信息的功能。这种方式最大的优点就在于非接触式工作方式，整个识别过程无须人工干预，适用于实现自动化且不易损坏，可识别高速运动物体并对同时识别多个射频标签，操作快捷方便。对于油渍、灰尘污染等恶劣的环境有较好的适应性。

经对现有技术的检索发现，中国专利申请号：201220505565.1，专利名称：一种智能化仓库管理系统，该申请方案提供了一种本实用新型提供一种智能化仓库管理系统，包括视频采集设备、视频传输设备、服务器组、rfid读写器、报警装置、led显示屏、存储设备，服务器组包括数据处理服务器、图像处理服务器、流媒体传送服务器，中央控制服务器是服务器组的核心，用于统一控制并发送指令给图像处理服务器、数据处理服务器、流媒体传送服务器，从而实现不同的功能，并对各服务器反馈回来的信息进行处理。其中并未涉及对图像的操作，而且具有以下缺陷：rfid标签加上rfid发射器，读取机，编码器及天线等设备成本高；人为贴上标签，增加了劳动量；含有金属和水分的物件或是环境，会对rfid产生影响。虽然条形码技术和rfid技术已经日趋成熟，但是它们并不是货物的固有属性，与人类认识事物的方法大相径庭。因此，如何利用货物本身的特征高效率地实现货物的自动识别，是物流技术领域里一个亟待解决的问题。

三、物品图像识别方法。图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。一般工业使用中，采用工业相机拍摄图片，然后再利用软件根据图片灰阶差做进一步识别处理。中国专利申请号201810642072.4，专利申请名称一种基于目标识别与knn算法的超市仓库货物识别分类方法，该申请方案提供了一种基于目标识别与knn算法的超市仓库货物识别分类方法，包括：获取货物图像样本数据；对样本数据进行预处理；提取出目标轮廓；选取出目标的最小外接矩形；算出整个区域的平均rgb值与直方图分布；通过knn算法进行待测样本与训练样本之间的匹配。此方法只对物品类别进行分类，并不能判断出物体的摆放，不适用于物流仓储系统。中国申请号201711467294.9，专利申请名称提供了了一种基于货物图像识别技术的仓库货物智能识别系统，包括数据输入模块、数据储存模块、分析对比模块、采相模块、输出模块和异常报警模块。通过图像识别技术将良品样本的图像与实际货物的图像进行对比，来判断被检测的货物是否为正确的良品。同样，此方法只对物品类别进行分类，并不能判断出物体的摆放，不适用于物流仓储系统。

技术实现要素：

本发明的目的在于提供一种物流仓储规则形状货物识别系统，可识别货物类型，判断货物位置和摆放方式，从而货物进行分拣入库。

实现本发明目的的技术方案为：一种物流仓储规则形状货物识别系统，包括货物信息统计模块，图像采集模块，图像预处理模块，货物识别模块和货物调整入库模块；

货物信息统计模块用于获取所有样本货物的长、宽、高、半径、边长，根据平均颜色信息建立货物信息数据库；

图像采集模块用于采集视频信息，传输至图像预处理模块；

图像预处理模块用于将获取的每一帧图片与背景作差，经图像滤波、灰度化、二值化、腐蚀、膨胀、边缘检测、轮廓提取和图像填充处理；

货物识别模块用于根据特征判断货物形状，提取roi区域内颜色，最终确定货物类型和摆放方式；

货物调整入库模块根据识别结果，控制机械臂移动距离和旋转角度，将货物分类入库并堆叠整齐。

本发明与现有技术相比，其显著优点为：(1)与传统人工分拣和搬运入库相比，采用机器进行图像处理的方法，极大程度上解放了人力，提高了运行效率；(2)与条形码识别相比，利用货物本身的特征高效率地实现货物的自动识别，不用担心条形码污损；(3)与rfid标签识别相比，不需要人为贴标签，简化了流程，而且使用单摄像头降低了成本。

附图说明

图1是本发明物流仓储规则形状货物识别系统框图。

图2是本发明系统硬件部分系统框图。

图3是本发明图像采集模块机械结构图。

图4是本发明图像预处理模块原理图。

图5是本发明货物识别模块的原理图。

具体实施方式

自动化仓储货物管理能够解决码头、港口等地人工分拣搬运费时费力的问题，让入库更加高效。而图像识别方法弥补了现有条形码扫描，rfid、图像识别方法的缺陷。

如图1所示，本发明提出一种物流仓储规则形状货物识别系统，包括货物信息统计模块，图像采集模块，图像预处理模块，货物识别模块和货物调整入库模块；

货物信息统计模块用于获取所有样本货物的长、宽、高、半径、边长，根据平均颜色信息建立货物信息数据库；以便跟处理过后的测试货物特征对比，从而获得测试货物种类和摆放方式。

图像采集模块用于采集视频信息，传输至图像预处理模块；图像采集就是从工作现场获取场景图像的过程。使用具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点的ccd摄像机，采集连续的现场图像，将模拟图像信号数字化后送给图像处理模块。

图像预处理模块用于将获取的每一帧图片与背景做差，经图像滤波、灰度化、二值化、腐蚀、膨胀、边缘检测、轮廓提取和图像填充处理；

货物识别模块用于根据特征判断货物形状，再提取roi区域内颜色，最终确定货物类型和摆放方式；

货物调整入库模块根据识别结果，控制机械臂移动距离和旋转角度，将货物分类入库并堆叠整齐。

平均颜色信息获取方法为：拍摄多张货物的照片，转换至lab颜色空间，选择货物所在区域，进行三通道颜色直方图统计，求取货物平均颜色。

所述图像采集模块包括前端摄像机、传输线路和存储器，前端摄像机通过传输线路与工控机相连，用于采集视频信号，工控机与图像预处理模块相连，用于将获取的模拟视频信号转换为数字视频序列并将其传输到图像预处理模块；图像采集模块机械结构图如图3所示，摄像头固定安装在传送带正上方，使用补光灯降低光线影响。

所述图像预处理包括灰度化，图像滤波，背景减法，二值化，腐蚀，膨胀，图像填充；其中：从存储器中获取背景图像和当前图像，依次进行灰度化，图像滤波，背景减法，二值化，腐蚀，膨胀，图像填充处理，图像预处理模块与货物识别模块相连，处理过程如图4所示。

所述货物识别模块包括边缘检测、形状检测、轮廓绘制、感兴趣区域颜色分析模块和对比数据库货物信息模块。其中：形状检测用的是laplace边缘检测算法计算图形周长和顶点个数。先判断几何图形是否为圆形，即判断这个图形周长的平方与面积的比是否在规定的范围内，否则，判断顶点的个数，等于3即为三角形，等于4即为矩形。若为矩形，根据长与宽的比值，可以继续细分货物种类，并且可以根据这个比值判断货物是正放还是侧放。在识别几何图形形状的同时输出此图形的周长和面积。形状检测后绘制轮廓，内部设置为感兴趣区域，分析颜色。最终通过形状检测和颜色检测判断出货物类别和摆放方式，具体流程如图5所示。

所述货物调整入库货物调整入库是根据识别结果，控制机械臂移动距离和旋转角度，将货物分类入库并堆叠整齐。其中：货物调整入库整个系统硬件部分主要由人机界面、plc控制系统、摄像机、驱动单元、伺服系统、货架仓位和机械部件组成。通过人机界面对可编程控制器进行数据的监控和数据的写入，来实现对仓库进行监控、货物识别和提取货物。

下面结合附图对本发明的系统进一步描述。

实施例

一种物流仓储规则货物识别系统，包括货物信息统计模块，图像采集模块，图像预处理模块，货物识别模块和货物调整入库模块五个部分；

货物信息统计模块用于获取所有样本货物长、宽、高，半径、边长，以及平均颜色信息建立货物信息数据库。以便跟处理过后的测试货物特征对比，从而获得测试货物种类和摆放方式。平均颜色信息获取需要拍多张货物的照片，转换至lab颜色空间，选择货物所在区域，进行三通道颜色直方图统计，求取货物平均颜色。

图像采集模块接收模拟视频信号通过a/d将其数字化，或者是直接接收摄像机数字化后的数字视频数据。图像采集部分将数字图像存放在工控机的内存中。图像采集模块按照事先设定的程序和延时，每30ms读取当前帧，从而获得连续的视频信号。拍摄5张传送带上没有货物时的背景照片，取平均值得到平均背景图。

图像预处理模块：对于采集到的数字图像，由于受到设备和环境因素的影响，往往会受到不同程度的干扰，如噪声、几何形变、彩色失调等，都会影响准确度。为此，必须对采集图像进行预处理。预处理过程包括灰度化，图像滤波，背景减法，二值化，腐蚀，膨胀，图像填充。

灰度化是rgb彩色图片经过加权平均法得单通道的灰度图像的处理过程。将平均背景图片与当前帧经灰度化后进行高斯滤波，利用背景减法将处理过后的平均背景图片与当前帧相减得到差值图。设置合适的阈值，对差值图二值化后进行腐蚀和膨胀处理，消除噪声，让边缘更加清晰，得到了封闭的边界，但是内部还存在大大小小的孔洞，通过孔洞填充方法的到较为完整的货物图片。

所述货物识别模块是边缘检测，根据特征判断货物形状，轮廓绘制后，再提取roi区域内颜色，最终确定货物类型和摆放方式。

形状检测：

(1)圆形：圆形是所有规则几何图形中最特殊的一种图形，周长的平方与面积的比在4π周围幅动，半径对比值没有任何影响，所以只要所识别的图形满足这个条件即为圆形。

(2)矩形：有4个顶点，只要对所检测的图形的边界点进行判断并计算顶点的个数，如果个数等于4，则为矩形；否则就为其他几何图形。与圆形的识别相类似，在对矩形的实际检测过程中也可能会出现顶点个数不为4的现象，需要对已经检测出来的顶点再进行一次“同邻域”判断，看其中是否有些顶点属于同一个邻域范围，本实施例为8邻域，如果有，只留下一个而将其他的去除，这样就可以对结果进行很好的修正，从而可避免错误检测的出现。利用这种方法就可以很好地识别出所检测的图形为矩形。

(3)三角形：三角形的识别与矩形的识别方法相类似，也是利用顶点的个数来判断图形所属的几何形状。

计算图形周长和顶点个数时用的是laplace边缘检测算法。用laplace边缘检测算法对几何图形进行检测完成后，累加边界点的个数即为几何图形的周长。然后再对这些边界点进行进一步区分，找出顶点。在完成图像的预处理和特征提取之后，便可以开始根据特征信息对几何图形的形状进行判断。在这个过程中首先判断几何图形是否为圆形，即判断这个图形周长的平方与面积的比是否在规定的范围内。如果在，则为圆形；否则，再判断顶点的个数，等于3即为三角形，等于4即为矩形。在识别几何图形形状的同时还可输出这个图形的周长和面积。因为规则几何图形的周长、面积和顶点坐标已知，故可计算出边长、形心等参数。

颜色检测：

将轮廓序列输出，对应到当前帧，形成roi区域，对区域内rgb图像求三通道平均值(x,y,z)，与样本货物信息库做比较，找出最可能的货物种类，做辅助判断。

摆放方式：

针对矩形货物，根据长与宽的比值，判断货物是正放还是侧放。

所述货物调整入库是根据识别结果，控制机械臂移动距离和旋转角度，将货物分类入库并堆叠整齐。

如图2所示，整个系统硬件部分主要由人机界面、plc控制系统、摄像机、驱动单元、伺服系统、货架仓位和机械部件组成。通过人机界面对可编程控制器进行数据的监控和数据的写入，来实现对仓库进行监控、货物识别和提取货物。点击相应画面即可显示相应的界面，同时在货单输入样本货物长、宽、高，半径、边长，以及平均颜色信息也方便些。

图像采集部分如图3所示，传送带上方固定有摄像头，摄像头上方周围有一圈补光灯。当传送至摄像头下方，摄像机拍摄的画面中出现会出现货物图像，识别模块就会识别出货物类型和摆放方式。

图像预处理部分如图4所示，包括灰度化，背景减法，图像滤波，二值化，腐蚀，膨胀，图像填充。获取当前帧和平均背景图，分别灰度化、高斯滤波后，相减后得差值图，进行二值化化处理后进行腐蚀和膨胀处理，消除噪声，让边缘更加清晰，得到了封闭的边界，但是内部还存在大大小小的孔洞，使用孔洞填充法填补内部孔洞。

货物识别部分如图5所示，首先检测预处理过的图像边缘，提取轮廓，根据形状和颜色两种途径判断货物的种类，根据轮廓信息判断货物摆放方式。

本发明通过设计一种物流仓储规则形状货物识别系统，该系统能够很好的判断传送带上货物的种类和摆放方式。该系统极大程度上解放了人力，提高了效率；与条形码识别相比，利用货物本身的特征高效率地实现货物的自动识别，不用担心条形码污损；与rfid标签识别相比，不需要人为贴标签，简化了流程，而且使用单摄像头降低了成本，具有良好的市场前景。