一种大宗物料堆垛视觉扫描系统及其图像处理方法与流程

本发明涉及一种视觉系统，具体涉及一种大宗物料堆垛视觉扫描系统及其图像处理方法。

背景技术：

存储堆垛是物流学中的术语，在仓库面积有限的前提下，对物料进行堆垛能否有效减缓仓库压力。存储堆垛提供了必要的缓冲库存，能够有效减少原材料供给和顾客需求的限制给生产活动带来的负面影响，从而提供企业经营的效率。同时，在对物料进行运输前也需要在运输车上进行堆垛存放以尽可能利用货仓。可以说，对物料的堆垛好坏直接影响了运输安全。库房里对物料进行堆垛已经实现了自动化操作，无需人工搬运。

然而，现有的自动化设备只能对物料进行码垛存放，码垛的路径预设在程序中，由plc进行控制。上述码垛方法具有局限性，只能根据预设的程序进行操作。此外，物料的码垛误差容易逐渐累加，当误差累加到一定程度后由于高处的重心不在中点处，当运输途中遇到颠簸容易造成物料倒塌，造成极大的安全隐患。

技术实现要素：

发明目的：提供一种大宗物料堆垛视觉扫描系统及其图像处理方法，有效解决了现有技术存在的上述问题。

技术方案：一种大宗物料堆垛视觉扫描系统，包括堆垛组件、视觉系统、工控机、以及用户终端四部分。

其中，堆垛组件，包括工作台基座，固定在所述工作台基座两侧、且相互平行的滑道，固定在所述滑道两侧的传输道，设置在所述工作台基座中部的下挖基础，以及滑动设置在所述滑道上的码垛机器人；

视觉系统，包括固定在所述码垛机器人末端的车辆视觉检测定位装置，以及固定在所述传输道起点处的垛型视觉识别装置；

工控机，包括与所述堆垛组件和视觉系统建立通讯连接的可编程逻辑控制器和计算机；

用户终端，包括与所述视觉系统远程连接的移动通讯设备，包括但不限于智能手机、手提电脑、智能手表。

在进一步的实施例中，所述码垛机器人包括底座，固定在所述底座上的回转电机，转动连接在所述回转电机上的一级回转关节，与所述一级回转关节的一端转动连接的二级回转关节，以及与所述二级回转关节转动连接的三级回转关节。通过设置三个回转关节，使得该码垛机器人拥有水平转动方向、竖直转动方向、水平移动方向、竖直移动方向的运动自由度，使得该码垛机器人能够灵活地将物料抓取并运送到指定位置处。

在进一步的实施例中，所述回转电机包括转动组件、制动组件、溢流阀、以及回转阻尼组件；所述转动组件包括电机缸体，滑动设置在所述电机缸体内的柱塞，固定在所述柱塞末端的滑靴，以及转动设置在所述电机缸体内的输出轴；所述制动组件包括安装在所述电机缸体一侧的制动控制阀；所述回转阻尼组件包括设置在所述输出轴一端的旋转阻尼器，设置在所述旋转阻尼器内部的油腔室，以及连接前述旋转阻尼器和油腔室的若干管道。回转电机是回转机构的关键部件，它可将主泵提供的油压转变为机械能，并输入到减速箱实现右回转和左回转。旋转阻尼器通过控制液压油的走向对转动速度进行调节，维持转动稳定性。

在进一步的实施例中，所述一级回转关节包括固定在所述回转电机上的过渡支架，通过伺服电机与所述过渡支架转动连接的主连杆，铰接在所述过渡支架一侧的第一连杆，以及固定在所述过渡支架上、且位于所述伺服电机一侧的第二连杆；所述二级回转关节包括与所述第一连杆和主连杆共同铰接的第一关节杆，以及铰接在所述第一关节杆一侧、且与所述第二连杆的一端铰接的第二关节杆；所述三级回转关节包括铰接在所述第一关节杆末端的“人”字形转动部，以及共同铰接所述转动部和第二关节杆的第三连杆。上述第一连杆、第二连杆、第三连杆用于传动上一部分的动力，即第一连杆用于牵动第一关节杆，第二连杆用于牵动第二关节杆，第三连杆用于牵动转动部。上述三个连杆采用仿生学设计，模拟动物体上各个关节的运动方式，关节杆模拟了肌肉体，连杆模拟了肌肉体内的牵动神经，这种驱动方式的效率高、对伺服电机的负载小。

在进一步的实施例中，所述车辆视觉检测定位装置包括至少三个安装在所述码垛机器人末端的激光扫描器；所述垛型视觉识别装置包括固定在所述传输道起点处“倒l形”支撑架，以及安装在所述支撑架一端的工业相机；所述工业相机包括imx264传感器以及千兆以太网接口，所述千兆以太网接口通过网线与所述工控机建立双向通讯连接。激光扫描器主要负责对物流车辆进行视觉检测，并根据检测结果完成装车路径规划，计算出装车码垛放料位置，将位置发送给码垛机器人，并协调两台机器人共同完成装车工作。垛型视觉识别装置主要由工业相机完成，设置于栈板输送线起始位置，用来检测叉车过来的物料垛型的摆放情况，以便于指导机器人第一次抓取的方向。

一种大宗物料堆垛视觉扫描系统的图像处理方法，其特征在于包括以下步骤：

s1、堆垛组件启动，通过传输道将大宗物料运送至预定位置处；

s2、位于传输道起点处的垛型视觉识别装置工作，工业相机检测叉车过来的大宗物料垛型的摆放情况，通过网线与工控机建立双向通讯，由工控机指导码垛机器人进行第一次抓取；

s3、当大宗物料经过车辆视觉检测定位装置时，激光扫描器启动，根据检测结果完成装车路径规划，计算出装车码垛放料位置，将位置发送给码垛机器人，并协调码垛机器人完成装车工作；

s4、装车完成后，由运输车将物料运送出站；

s5、用户通过用户终端对物料进行溯源与实时跟踪，检测物流进展。

在进一步的实施例中，所述码垛机器人还包括贴标机，所述贴标机在对大宗物料抓取前工作，将带有相应信息的溯源二维码贴在物料上；所述溯源二维码包括但不限于以下信息：出库日期、物料名称、物料规格、物料质量；所述激光扫描器在进行装车路径规划前首先对物料上的溯源二维码进行扫描并读取信息，并将读取后的信息反馈至计算机，计算机将所述溯源二维码的信息解码后与原始信息进行比对，比对无误后进行下一步操作。

在进一步的实施例中，所述垛型视觉识别装置的图像处理包括以下步骤：

s201、计算机选取半径为2像素点、且外围8个像素的圆的作为模板筛选特征点，对工业相机拍摄到的图像进行分割；

s202、计算机比对相邻像素点是否达到阈值，若未达到设定的阈值，则判定不是边界，若达到设定的阈值，则判定为物料边界。

在进一步的实施例中，所述激光扫描器的图像处理包括以下步骤：

s301、利用“拉普拉斯金字塔”算法，对图像进行拉普拉斯操作，随后进行降采样，将扫描到的原始图像作为金字塔的底层，并逐层堆积；

s302、检测相邻尺度的64个像素点，将邻接像素点的最大值或最小值标记为特征点；

s303、重复上述s302的过程，最终完成图像的特征点提取。

有益效果：本发明涉及一种大宗物料堆垛视觉扫描系统及其图像处理方法，通过设置视觉系统检测物流车辆车厢区域并定位车厢位置，自动判断物流车辆的类型；具体的，通过激光扫描器扫描获取车身点云数据，经过视觉处理算法，实现智能化的物流车辆定位和车型判断。通过设置堆垛组件自动输送整垛物料到装车位，方便机器人进行物料抓取，节约装车时间；通过设置工控机自动完成装车垛型码放位置规划、装车过程中两台机器人工作流程的调度及分配。垛型视觉识别装置能够对物料的堆垛状况进行扫描分析，防止堆垛的累积误差，确保物料堆垛整齐，有效防止运输途中遇到颠簸造成物料倒塌的问题出现。

附图说明

图1为本发明的整体结构示意图。

图2为本发明中码垛机器人的结构示意图。

图3为图2中回转电机的剖切视图。

图4为本发明视觉扫描定位示意图。

图5为本发明中垛型视觉识别装置识别摆放情况示意图。

图6为本发明中激光扫描器装车路径规划示意图。

图7为图6中算法采样示意图。

图8为本发明中激光扫描器扫描范围示意图。

图9为本发明的系统架构图。

图中各附图标记为：工作台基座1、传输道2、滑道3、码垛机器人4、底座401、回转电机402、电机缸体402a、柱塞402b、滑靴402c、输出轴402d、制动控制阀402e、旋转阻尼器402f、油腔室402g、过渡支架403、主连杆404、第一连杆405、第二连杆406、第二关节杆407、第一关节杆408、第三连杆409、转动部410、伺服电机411、车辆视觉检测定位装置5、激光扫描器501、垛型视觉识别装置6、下挖基础7。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

如图1至图9所示，本发明公开了一种大宗物料堆垛视觉扫描系统及其图像处理方法，其中一种大宗物料堆垛视觉扫描系统包括工作台基座1、滑道3、传输道2、下挖基础7、码垛机器人4、车辆视觉检测定位装置5、垛型视觉识别装置6、可编程逻辑控制器、计算机、移动通讯设备。所述滑道3固定在所述工作台基座1的两侧、且相互平行安装；所述传输道2固定在所述滑道3的两侧、且相互平行安装；所述下挖基础7以预定深度在所述工作台基座1上进行下挖，用于给运输车形成通道；所述码垛机器人4滑动设置在所述滑道3上；所述车辆视觉检测定位装置5固定在所述码垛机器人4末端；所述垛型视觉识别装置6固定在所述传输道2的起点处；所述可编程逻辑控制器和计算机共同构成工控机，所述工控机与所述堆垛组件和视觉系统之间建立通讯连接；所述移动通讯设备与所述视觉系统远程连接，连接方式包括无线网络，所述移动通讯设备包括但不限于智能手机、手提电脑、智能手表。上述基座、滑道3、传输道2、下挖基础7、码垛机器人4共同构成堆垛组件；车辆视觉检测定位装置5、垛型视觉识别装置6共同构成视觉系统；可编程逻辑控制器、计算机共同构成工控机。

下面分别对码垛机器人4、车辆视觉检测定位装置5、以及垛型视觉识别装置6进行详细说明。所述码垛机器人4包括底座401、回转电机402、一级回转关节、二级回转关节、以及三级回转关节；所述底座401固定在所述工作台基座1上，所述回转电机402固定在所述底座401上，所述一级回转关节转动连接在所述回转电机402上，所述二级回转关节转动连接在所述一级回转关节的一端，所述三级回转关节转动连接在所述二级回转关节的一端。通过设置三个回转关节，使得该码垛机器人4拥有水平转动方向、竖直转动方向、水平移动方向、竖直移动方向的运动自由度，使得该码垛机器人4能够灵活地将物料抓取并运送到指定位置处。更为具体的，所述回转电机402包括转动组件、制动组件、溢流阀、以及回转阻尼组件；所述转动组件包括电机缸体402a、柱塞402b、滑靴402c、输出轴402d；所述柱塞402b滑动设置在所述电机缸体402a内，所述滑靴402c固定在所述柱塞402b的末端，所述输出轴402d通过圆锥滚子轴承和轴承座配合设置所述电机缸体402a内，为该回转电机402的动力输出。所述制动组件包括制动控制阀402e、旋转阻尼器402f、油腔室402g；所述旋转阻尼器402f设置在所述输出轴402d的中部位置处，所述油腔室402g设置在所述旋转阻尼器402f的内部，所述旋转阻尼器402f本体和油腔室402g之间连通有若干管道。回转电机402是回转机构的关键部件，它可将主泵提供的油压转变为机械能，并输入到减速箱实现右回转和左回转。旋转阻尼器402f通过控制液压油的走向对转动速度进行调节，维持转动稳定性。所述一级回转关节包括过渡支架403、主连杆404、第一连杆405、第二连杆406；所述主连杆404通过伺服电机411与所述过渡支架403转动连接，所述第一连杆405铰接在所述过渡支架403的一侧，所述第二连杆406固定在所述过渡支架403上、且位于所述伺服电机411的一侧。所述二级回转关节包括第一关节杆408、第二关节杆407；所述第一关节杆408与所述第一连杆405和主连杆404共同铰接，所述第二关节杆407固定在所述第一关节杆408的一侧、且与所述第二连杆406的一端铰接；所述三级回转关节包括转动部410、第三连杆409；所述转动部410呈人字形，所述转动部410铰接在所述第一关节杆408的末端，所述第三连杆409共同与所述转动部410和第二关节杆407铰接。上述第一连杆405、第二连杆406、第三连杆409用于传动上一部分的动力，即第一连杆405用于牵动第一关节杆408，第二连杆406用于牵动第二关节杆407，第三连杆409用于牵动转动部410。上述三个连杆采用仿生学设计，模拟动物体上各个关节的运动方式，关节杆模拟了肌肉体，连杆模拟了肌肉体内的牵动神经，这种驱动方式的效率高、对伺服电机411的负载小。所述车辆视觉检测定位装置5包括至少三个安装在所述码垛机器人4末端的激光扫描器501；所述垛型视觉识别装置6包括固定在所述传输道2起点处“倒l形”支撑架，以及安装在所述支撑架一端的工业相机；所述工业相机包括imx264传感器以及千兆以太网接口，所述千兆以太网接口通过网线与所述工控机建立双向通讯连接。激光扫描器501主要负责对物流车辆进行视觉检测，并根据检测结果完成装车路径规划，计算出装车码垛放料位置，将位置发送给码垛机器人4，并协调两台机器人共同完成装车工作。垛型视觉识别装置6主要由工业相机完成，设置于栈板输送线起始位置，用来检测叉车过来的物料垛型的摆放情况，以便于指导机器人第一次抓取的方向。

通过上述技术方案，本发明具体的工作过程如下：首先，堆垛组件启动，通过传输道2将大宗物料运送至预定位置处。接着，位于传输道2起点处的垛型视觉识别装置6工作，工业相机检测叉车过来的大宗物料垛型的摆放情况，通过网线与工控机建立双向通讯，由工控机指导码垛机器人4进行第一次抓取。所述码垛机器人4还包括贴标机，所述贴标机在对大宗物料抓取前工作，将带有相应信息的溯源二维码贴在物料上；所述溯源二维码包括但不限于以下信息：出库日期、物料名称、物料规格、物料质量；所述激光扫描器501在进行装车路径规划前首先对物料上的溯源二维码进行扫描并读取信息，并将读取后的信息反馈至计算机，计算机将所述溯源二维码的信息解码后与原始信息进行比对，比对无误后进行下一步操作。当大宗物料经过车辆视觉检测定位装置5时，激光扫描器501启动，根据检测结果完成装车路径规划，计算出装车码垛放料位置，将位置发送给码垛机器人4，并协调码垛机器人4完成装车工作。装车完成后，由运输车将物料运送出站。用户可以通过用户终端对物料进行溯源与实时跟踪，检测物流进展。

下面针对所述垛型视觉识别装置6和激光扫描器501的图像处理算法进行详细说明：

垛型视觉识别装置6的图像处理算法：

首先，计算机选取半径为2像素点、且外围8个像素的圆的作为模板筛选特征点，对工业相机拍摄到的图像进行分割，算法如下：

其中，t为阈值，取值为8，表示中心像素的像素值，表示外围8个像素的圆的作为模板时的像素值。计算机统计圆形区域中d或b的个数，若未达到设定的阈值，则判定不是边界，若达到设定的阈值，则判定为物料边界。

同时，该算法符合以下角点相应函数：

利用“拉普拉斯金字塔”算法，对图像进行拉普拉斯操作，随后进行降采样，将扫描到的原始图像作为金字塔的底层，并逐层堆积；检测相邻尺度的64个像素点，将邻接像素点的最大值或最小值标记为特征点；重复上述过程，最终完成图像的特征点提取。“拉普拉斯金字塔”算法可以产生多尺度空间的核。一个图像的尺度空间l（），定义为原始图像i（x，y）与一个可变尺度的二维高斯函数g（）进行卷积运算。其中，上述二维高斯函数如下：

其中，尺度空间表示为：

l（）=g（）*i（x，y）

随后对采集到的图像进行灰度处理，灰度处理采用以下表达式：

其中，是窗口的偏移量，是窗口的权重系数。

下面采用泰勒展开对表达式进行演化：

综上，本发明中的堆垛组件能够自动输送整垛物料到装车位，方便机器人进行物料抓取，节约装车时间。工控机自动完成装车垛型码放位置规划、装车过程中两台机器人工作流程的调度及分配；同时对车辆的车辆信息、装车订单等信息进行记录并做好存档，方便数据存储以及物流信息的可追溯。视觉系统检测物流车辆车厢区域并定位车厢位置、自动判断物流车辆的类型；通过激光扫描器501扫描获取车身点云数据，经过视觉处理算法，实现智能化的物流车辆定位和车型判断。垛型视觉识别装置6对物料的堆垛状况进行扫描分析，防止堆垛的累积误差，确保物料堆垛整齐。此外，用户可以通过用户终端对物料进行溯源与实时跟踪，检测物流进展。视觉系统将检测获取的参数值反馈给控制系统，以供控制系统根据视觉系统检测获取的参数值规划装车。(由视觉系统给出车厢的长、宽和高，且系统预先设置待码垛物品的长、宽、高，进而计算出物品码垛的层数，根据车宽的不同可以设计摆放方式如两横三竖，两竖两横等码垛方式。机器人只需利用开始端的码垛位位置即可，后续码垛可根据物品(如袋装盐包)的长宽和高度进行固定偏移。激光扫描器501从车厢尾端向前端移动扫描，找出车厢端部和尾部位置，获取车厢长、宽及侧板高度的参数值。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。