一种基于多尺度轮廓直角检测的拆垛方法与流程

本发明涉及机器视觉领域，具体来说，涉及一种基于多尺度轮廓直角检测的拆垛方法。

背景技术：

随着物流产业的快速发展，市场对物流效率的提升有了更高的要求，同时，人工成本、土地成本和能耗成本迅速提升，因此，物流机器人成为了物流公司应对以上挑战的焦点。

物流机械臂在搬运、码垛、拆垛、拣选等物流环节得以应用。在应用中，机械臂的运动需要机器视觉系统进行辅助决策，机器视觉系统通过从客观事物的图像中提取信息，进行处理并加以理解。然而，在对物品拆垛的过程中，由于物流商品的种类以及摆放规则千变万化，在选取抓取点的过程中会遇到各种困难，因此利用尽可能少的先验信息决定机械臂的抓取点有利于解决更多的问题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现要素：

针对相关技术中的问题，本发明提出一种基于多尺度轮廓直角检测的拆垛方法，其解决了现有技术中的无纹理特征的单一物流商品难以进行抓取点检测的问题。

为了解决现有技术中存在的技术问题，本发明公开了一种基于多尺度轮廓直角检测的拆垛方法，该基于多尺度轮廓直角检测的拆垛方法包括：步骤s1，提取图像中的sku(stockkeepingunit，其为库存量单位，同时库存进出计量的基本单元可以是以件，盒，托盘等为单位)集合的外轮廓；步骤s2，通过在外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；步骤s3，根据最优抓取点，确定抓取点方向，从而对商品进行拆垛。

根据本发明的一个实施例，步骤s1进一步包括：提取图像中的sku集合的外轮廓；获取所有外轮廓的长度，并对所有外轮廓的长度进行排序，选择最大长度的外轮廓进行步骤s2。

根据本发明的一个实施例，通过在外轮廓中寻找精确直角点包括：计算外轮廓上的每个轮廓点在外轮廓上的余弦值，其中，余弦值由当前轮廓点及其在设定步长下的两个相邻轮廓点确定；以及在设定的不同的步长的条件下，筛选满足直角判定条件的轮廓点，从而将所有满足直角判定条件的轮廓点作为直角点候选集合；将直角点候选集合中的轮廓点对称分布在商品轮廓直角点附近，并将集中在商品轮廓直角点附近的轮廓点作为精准直角点，从而得到多个精准直角点。

根据本发明的一个实施例，还包括：步骤s41，将当前精准直角点作为核心，并根据当前精准直角点，计算分布在当前精准直角点左右两个方向上的指定间隔的两个第一相邻点，并计算两个第一相邻点的中心，若中心在封闭轮廓内，则中心为凸点，否则，中心为凹点；步骤s42，对每个精准直角点执行步骤s41，以得到凸点集合，从而完成对每个精准直角点的凹凸性的判断。

根据本发明的一个实施例，从精确直角点中选取凸点作为最优抓取点包括：根据每个凸点与其相邻直角点的夹角、每个凸点与相邻的两个第二轮廓点之间的距离、每个凸点与其相邻的两个第二轮廓点之间距离的方差，从凸点集合中选取最优抓取点。

根据本发明的一个实施例，根据最优抓取点，确定抓取点方向包括：以最优抓取点为中心，沿着外轮廓相两边延长sku集合的短边长度距离得到外轮廓上的两个轮廓点，并将两个轮廓点的中点作为抓取点的最终方向。

本发明的有益技术效果在于：

本发明通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于多尺度轮廓直角检测的拆垛方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于多尺度轮廓直角检测的拆垛方法。

如图1所示，根据本发明实施例的基于多尺度轮廓直角检测的拆垛方法包括：步骤s1，提取图像中的sku集合的外轮廓；步骤s2，通过在外轮廓中寻找精确直角点，并从精确直角点中选取凸点作为最优抓取点；步骤s3，根据最优抓取点，确定抓取点方向，从而对商品进行拆垛。

借助于本发明的上述技术方案，其通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。

根据本发明的一个实施例，步骤s1进一步包括：提取图像中的sku集合的外轮廓；获取所有外轮廓的长度，并对所有外轮廓的长度进行排序，选择最大长度的外轮廓进行步骤s2。

根据本发明的一个实施例，通过在外轮廓中寻找精确直角点包括：计算外轮廓上的每个轮廓点在外轮廓上的余弦值，其中，余弦值由当前轮廓点及其在设定步长下的两个相邻轮廓点确定；以及在设定的不同的步长的条件下，筛选满足直角判定条件的轮廓点，从而将所有满足直角判定条件的轮廓点作为直角点候选集合；将直角点候选集合中的轮廓点对称分布在商品轮廓直角点附近，并将集中在商品轮廓直角点附近的轮廓点作为精准直角点，从而得到多个精准直角点。

根据本发明的一个实施例，还包括：步骤s41，将当前精准直角点作为核心，并根据当前精准直角点，计算分布在当前精准直角点左右两个方向上的指定间隔的两个第一相邻点，并计算两个第一相邻点的中心，若中心在封闭轮廓内，则中心为凸点，否则，中心为凹点；步骤s42，对每个精准直角点执行步骤s41，以得到凸点集合，从而完成对每个精准直角点的凹凸性的判断。

根据本发明的一个实施例，从精确直角点中选取凸点作为最优抓取点包括：根据每个凸点与其相邻直角点的夹角、每个凸点与相邻的两个第二轮廓点之间的距离、每个凸点与其相邻的两个第二轮廓点之间距离的方差，从凸点集合中选取最优抓取点。

根据本发明的一个实施例，根据最优抓取点，确定抓取点方向包括：以最优抓取点为中心，沿着外轮廓相两边延长sku集合的短边长度距离得到外轮廓上的两个轮廓点，并将两个轮廓点的中点作为抓取点的最终方向。

为了便于理解本发明的技术方案，下面对本发明的技术方案进行详细的介绍。

该基于多尺度轮廓直角检测的拆垛方法包括：

首先，对图像中sku集合的外轮廓进行提取，对所有外轮廓的长度进行排序，选择长度最大的外轮廓进行下一步分析；

然后，求取最大轮廓上每个点在轮廓中的余弦值，其中，余弦值由距离轮廓当前点和其在设定步长下的两个相邻轮廓点求得，同时，其通过设定不同的步长来实现多尺度条件。同时，在不同的尺度下筛选满足直角判定条件的轮廓点，最终在多尺度条件下筛选稳定的直角点作为候选直角点集(或直角点候选集合)；

然后，利用稳定的候选直角点集对称分布在商品轮廓直角点附近来寻找精确直角点，将集中在商品轮廓直角点附近的直角点集的中点作为精确直角点；

然后，判断每个精确直角点的凹凸性(凹直角点或凹点可能是两个sku的交接处，凸直角点或凸点为可能的sku角点)，以待检验的直角点为核心，计算出该点的左右指定间隔的相邻点作为判断该点凹凸性的依据，如果两个相邻点的中心在封闭轮廓内，则此点为凸点(或凸直角点)，如果两个相邻点的中心在封闭轮廓外，此点为凹点(凹直角点)；

然后，从外轮廓上的精确凸直角点集中寻找最优直角点作为抓取点，抓取点的选择由凸直角点与相邻直角点的夹角、凸直角点与相邻两点之间的距离、凸直角点与相邻两点之间距离的方差三个因素加权求和后得到的最大权值对应的直角点为最佳抓取点。

最后，确定抓取点方向，抓取点方向的终点选择由sku的短边以及抓取点位置决定，以抓取点为中心，沿着轮廓向两边延长sku的短边长度距离得到轮廓上的两个点，以两点的中点为抓取点方向终点。

综上所述，借助于本发明的上述技术方案，通过利用物流商品边缘的直角为特征先验，通过在物体轮廓中寻找直角点，从直角点中寻找最优的凸直角点作为最优抓取直角点，最后确定抓取点的方向，从而其通过利用无纹理方形物品的边缘具有直角这一单一而稳定的特征，通过轮廓直角检测为机械臂提供拆垛抓取点，稳定性较好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。