一种定位密排货物的平台及其中心定位方法与流程

本发明属于数字图像处理技术领域，具体为一种定位密排货物的平台及其中心定位方法。

背景技术：

随着计算机科学、图像处理、模式识别及互联网等技术的发展，人们对图像的提取、运用等都有了较高的要求，更希望高效而充分地利用图像中的大量信息，因此对图像中重要物体信息的准确识别显得越来越重要。就目前情况而言，图像在采集过程中，由于所使用的器件本身存在的局限性和其它外界因素(如轻微抖动等现象)的干扰，使得图像的采集效果受到一定的影响。例如，在复杂情景下受光照强度的影响以及噪声等影响因素的引入，导致许多细节部分的信息被光照、噪声等因素所掩盖，从而直接或间接影响图像在后续三维重建过程中三维信息的提取，进而影响后续过程中机械臂的运动抓取策略的制定。通常情况下，人工选取颜色、形状、纹理、空间关系等作为图像特征，主要凭借设计者的主观意识对特定场景的对象进行图像特征的提取。但是对于密排货物而言，目标特征(例如，光照影响密排货物的接触缝隙)并不鲜明，没有一种通用的分割识别方法。

由于机器人在抓取货物过程中往往只需要整体的图像中的某一类或某几类显著图像特征信息来定位周转箱内的待取货物，我们提出了一种定位密排货物的平台及其中心定位方法，在计算机视觉领域的低层次视觉中，实现了有效地对密排货物进行图像分割和图像识别。

技术实现要素：

针对背景技术中存在的问题，本发明提供了一种定位密排货物的平台，其特征在于，包括：升降支架、滑动支架、防震器、光源、半球式支架、工业相机、周转箱和计算机，其中两根竖直设置的升降支架放置与地面上，两根升降支架之间设有滑动支架，半球式支架通过防震器安装在滑动支架下方，半球式支架上设有至少一个与计算机相连的工业相机；周转箱放置于滑动支架正下方的地面上，半球式支架的中心处安装有光源。

还提供了一种定位密排货物的中心定位方法，其特征在于，包括以下步骤：

步骤1、对工业相机采集到的原始图像进行去除畸变处理，得到矫正后的图像信息；再对图像进行灰度化处理，将彩色图转变成灰度图；

步骤2、接着对灰度图进行二值化处理，设定固定阈值参数，把处于二者之间的部分转换为前景目标，之外区域转换成背景，分割出货物和背景；把二值图像中的前景作为目标区域进行平滑处理和均值滤波处理去除噪点信息，然后再对图像使用canny算子进行边缘检测并获得获取边缘线条后的效果图；

步骤3、对效果图进行轮廓遍历，然后，对整体粘连轮廓边缘线进行膨胀处理，使用开运算和形态学梯度，充分保留物体的边缘轮廓，获得凸显边缘的结果图；

步骤4、对结果图采用双边滤波，并计算图像差分，得到x，y方向上的差分阶数，再运行sobel算子进行边缘检测，得到密排货物的新轮廓线；

步骤5、利用不变矩公式，对轮廓图通过边缘轮廓信息来计算矩、惯性矩和中心矩，得到密排货物的独立轮廓信息，最终通过矩等计算得到货物中心坐标信息。

所述灰度化处理公式为：

其中单独提取分量时可将原始彩色图像转换为单分量r、g、b灰度图，b代表蓝色通道，g代表绿色通道，r代表红色通道。

所述步骤2中：

对灰度图像进行阈值操作，在不同环境下分别采用白炽光和黄光照射，在白炽光下，取一个初始阈值127，用127分割图像，将图像分为2个区域和计算两个区域的平均灰度值，其中和为第i次迭代时区域c1和c2的像素点个数，f(x,y)和g(x,y)分别表示图像中(x,y)点的灰度值，构造函数：

其中在白光源下的最佳阈值范围为[102,218],黄光源下的最佳阈值为[118,295]。通过选定阈值为[102,218]，处于二者之间的部分转换为像素点为255的白色，之外区域转换成像素点为0的黑色，黄光源下设定阈值为[118,295]，处于二者之间部分转换成像素点为255的白光，之外区域转换成像素点为0的黑色，公式如下：

再把二值图像中的白色像素区域作为目标区域进行平滑处理和均值滤波去除噪点信息，然后再对均值滤波去噪后的图像使用canny算子进行边缘检测，获取边缘线条后的效果图。

所述步骤3中：

步骤301、对步骤2所获得效果图进行检测，并对中的每个轮廓进行遍历，计算每个轮廓像素面积s(x,y)，去除最大轮廓面积smax(x，y)与最小轮廓面积smin(x，y)后，取剩余轮廓面积的平均值save(x，y)；

步骤302、遍历并比较每个轮廓面积与1.8倍平均轮廓面积的大小，若前者大于后者，认为该轮廓面积为粘连区域，对单个粘连区域使用最小外接矩形包围，将外接矩形区域与实际轮廓区域做差后得到凸包点集；再遍历计算两凸包点集之间的欧式距离，取欧式距离最小的两点，连接成线；

步骤303、重复步骤301和步骤302，完成每个粘连区域的分割；

步骤304、对整体粘连轮廓边缘线进行膨胀处理，使用开运算和形态学梯度运算，更加凸显物体的边缘轮廓后，获得凸显边缘的结果图。

本发明的有益效果在于：

1.可以调节垂直高度和水平位置的工业相机实现了不同方位角度的可调实时拍摄，使待处理的原始图像能更加精准反映密排货物的特征。

2.半球式支架的半球式设计解决了反对称振动模式对结构的厚度不敏感，加工容差大的问题。

3.中心定位方法通过迭代得到固定阈值进行图像分割，通过比较最佳阈值对图像进行处理，将部分瑕疵特征进行去除；然后利用两次边缘检测算法进行轮廓检测和提取，同时通过形态学滤波对边缘轮廓进行处理，确保轮廓识别的准确性，提升单个货物中心定位准确性。

4.中心定位方法基于物体形状轮廓信息，实现密排物品中心定位实时性良好。

5.中心定位方法使用边缘检测分割方法实现了货物中心定位，可以适应于同色系密排农产品等货物。

附图说明

图1为本发明一种定位密排货物的平台实施例的结构示意图；

图2为本发明实施例中中心定位方法的流程示意图；

图3为本发明实施例中待处理的原始图像；

图4为本发明实施例中获取边缘线条后的效果图；

图5为本发明实施例中获取凸显物体的边缘轮廓后的结果图；

图6为本发明实施例的轮廓图；

图7为本发明实施例中不同规格密排放置的中心点效果图；

图8为本发明实施例中同种规格密排放置的中心点效果图。

图中：1-升降支架，2-滑动支架，3-防震器，4-光源，5-半球式支架，6-工业相机，7-周转箱，8-计算机。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

如图2所示的本发明实施例，平台包括：升降支架1、滑动支架2、防震器3、光源4、半球式支架5、工业相机6、周转箱7和计算机8，其中两根竖直设置的升降支架1放置与地面上，两根升降支架1之间设有滑动支架2，半球式支架5通过防震器3安装在滑动支架2下方，半球式支架5上设有至少一个与计算机8相连的工业相机6；周转箱7放置于滑动支架2正下方的地面上，半球式支架5的中心处安装有可以调整高度的光源4。

升降支架1可以调节高度；半球式支架5可以沿滑动支架2的轨迹左右移动，从而实现了工业相机的不同方位角度的可调实时拍摄，使待处理的原始图像能更加精准反映密排货物的特征，其中密排货物是指周转箱7内待抓取同色系物品符合紧密贴合状态；减震器用于抵消滑动平移过程产生的轻微振动，具体是因为外界干扰和人工调节过程容易发生振动，此处安装减震器可以大幅扰乱并降低振动频率，在多次调整的过程中，大幅减少等待静止保持平稳的时间。

工作时，使用工业相机6在不同位置对周转箱7内的密排货物进行拍照获得若干张原始图像，并对每张原始图像使用中心定位方法做中心定位操作，以获得周转箱7内每个货物的中心定位。

中心定位方法包括以下步骤：

步骤1、计算机8对工业相机6采集到的周转箱7内的原始图像进行去除畸变处理，得到矫正后的图像信息；再对图像进行灰度化处理，将彩色图转变成灰度图，具体的：

先对采集的原始图像进行畸变矫正得到去除畸变之后的图像，再对去除畸变之后的图像进行灰度化处理，其中通过改进优化获得以下灰度化处理公式：

单独提取分量时可将原始彩色图像转换为单分量r、g、b灰度图，b代表蓝色通道，g代表绿色通道，r代表红色通道；原始图像如图3所示。

步骤2、接着对灰度图进行二值化处理，设定固定阈值参数，把处于二者之间的部分转换为前景目标(像素点设定为255)，之外区域转换成背景(像素点设定为0)，分割出货物和背景；把二值图像中的前景作为目标区域进行平滑处理和均值滤波处理去除噪点信息，然后再对图像使用canny算子进行边缘检测并获得获取边缘线条后的效果图；具体的：

对灰度图像进行阈值操作，在不同环境下分别采用白炽光和黄光照射，在白炽光(安装在货物上方2米处为环形led光源，此光源由36颗0.5w的灯珠组成)下，取一个初始阈值127，用127分割图像，将图像分为2个区域和计算两个区域的平均灰度值，其中和为第i次迭代时区域c1和c2的像素点个数，f(x，y)和g(x,y)表示图像中(x,y)点的灰度值，构造函数：

其中在白光源下的最佳阈值范围为[102,218],黄光源下的最佳阈值为[118,295]。通过选定阈值为[102,218]，处于二者之间的部分转换为白色(像素点设定为255)，之外区域转换成黑色(像素点设定为0)，黄光源下设定阈值为[118,295]，处于二者之间部分转换成白光(像素点设定为255)，之外区域转换成黑色(像素点设定为0)，公式如下：

再把二值图像中的白色像素区域作为目标区域进行平滑处理和均值滤波去除噪点信息，然后再对均值滤波去噪后的图像使用canny算子进行边缘检测，获取边缘线条(密排货物的大致外形轮廓)后的效果图，如图4所示。

步骤3、对效果图进行轮廓遍历，然后，对整体粘连轮廓边缘线进行膨胀处理，使用开运算和形态学梯度，充分保留物体的边缘轮廓，获得凸显边缘的结果图；具体的：

步骤301、对步骤2所获得效果图进行检测，并对中的每个轮廓进行遍历，计算每个轮廓像素面积s(x,y)，去除最大轮廓面积smax(x，y)与最小轮廓面积smin(x，y)后，取剩余轮廓面积的平均值save(x，y)；

步骤302、遍历并比较每个轮廓面积与1.8倍平均轮廓面积的大小，若前者大于后者，认为该轮廓面积为粘连区域，对单个粘连区域使用最小外接矩形包围，将外接矩形区域与实际轮廓区域做差后得到凸包点集；再遍历计算两凸包点集之间的欧式距离，取欧式距离最小的两点，连接成线

步骤303、重复步骤301和步骤302完成每个粘连区域的分割；

步骤304、对整体粘连轮廓边缘线进行膨胀处理，使用开运算和形态学梯度运算，更加凸显物体的边缘轮廓后，获得如图5所示的凸显边缘的结果图。

步骤4、对结果图采用双边滤波，并计算图像差分，得到x，y方向上的差分阶数，再运行sobel算子进行边缘检测，得到密排货物的新轮廓线；具体的：

对步骤4中获得的结果图进行双边滤波处理，得到滤波后的滤波图(滤波后的效果图)，对滤波图像计算图像差分，分别求出x，y方向上的梯度并进行梯度合并，再利用sobel算子进行边缘检测，得到新的密排货物轮廓线，再根据轮廓信息绘制矩形，得到的轮廓图如图6所示。

步骤5、利用不变矩公式，对轮廓图通过边缘轮廓信息来计算矩、惯性矩和中心矩(物体轮廓形状的中心)，得到密排货物的独立轮廓信息，最终通过矩等计算得到货物中心坐标信息；具体的：

利用不变矩公式，对轮廓图通过边缘轮廓信息计算矩、惯性矩和中心矩(物体轮廓形状的中心)，得到密排货物的独立轮廓信息，并对各个独立轮廓进行遍历，计算并显示其对应的中心点位置(红色点为中心位置)，图7所示，两种类型的同色系密排货物的中心位置显示效果，并显示出像素坐标值；如图8所示，同一类型同色系密排货物效果图，隐藏像素坐标效果图。