一种夹取方法、夹取系统及存储介质与流程

本申请涉及物品夹取技术领域，特别涉及一种夹取方法、夹取系统及存储介质。

背景技术：

随着当前餐厅的用工成本越来越高，自动化配餐解决方案也越来越多的被更多的餐厅应用。在应用过程中，总会遇到对油炸食品的自动抓取。因餐厅无法使用压缩空气，且油炸食品容易堵塞气压管路，因此多用电夹爪对油炸食品进行夹取。

现有夹取油炸食物的夹指多是使用pp材料、聚氨酯材料或橡胶材料的胶垫，胶垫上会划上各种条纹以增大摩擦力。

在现有夹取过程中，类似于油炸原味鸡等不规则块状的油炸食品，会因为不规则的形状以及摆放问题导致在夹取放入的过程中会掉落或不好放入到食品盒子中，会影响食品的外观和食用的口感。另外，六轴机器人或机械臂等配合机器视觉完成智能夹取也是当前比较流行的解决方案，但是由于夹取点的选取导致的夹取不稳固容易滑落等问题也时常出现。

技术实现要素：

针对上述问题，本发明提出了一种可以实现稳固夹取的夹取方法、夹取系统及存储介质。

本发明提出了一种夹取方法，包括以下步骤：

获取点云图像的夹取难度序列步骤，获取待夹取区域内物品的点云图像，根据所述点云图像确定所述点云图像的夹取难度序列；

确定待夹取区域的对应物品的夹取序列步骤，根据所述点云图像的夹取难度序列，确定所述待夹取区域内对应物品的夹取序列；

确定实际夹取点步骤，根据所述待夹取区域内对应物品的夹取序列，确定对应待夹取物品，并获取所述待夹取物品的点云图像，根据点云图像获取轮廓图像，根据待夹取物品的轮廓图像，得到对应待夹取物品的实际夹取点；

完成待夹取物品的夹取步骤，根据所述得到对应待夹取物品的实际夹取点，依次完成对应物品的夹取。

作为本发明的优选，所述获取点云图像的夹取难度序列步骤具体包括以下步骤：

根据所述点云图像，绘制所述待夹取区域内的对应物品的轮廓图像；

根据得到的所述待夹取区域内的对应物品的轮廓图像，对所述轮廓图像的清晰度进行评分，获取所述轮廓图像的评分结果；

根据所述轮廓图像的评分结果确定所述待夹取区域内物品的点云图像的夹取难度序列。

作为本发明的优选，所述确定待夹取区域内对应物品的夹取序列步骤具体包括以下步骤：

对所述图像进行处理，获取所述待夹取区域内对应物品的轮廓图像；

根据所述轮廓图像的评分结果，确定所述待夹取区域内对应物品的轮廓图像的评分结果；

根据所述确定所述待夹取区域内对应物品的轮廓图像的评分结果确定待夹取区域内对应物品的夹取序列。

作为本发明的优选，所述确定实际夹取点步骤具体包括以下步骤：

从待夹取区域内对应物品的夹取序列中按照预设规则确定一个待夹取物品；

获取对应所述待夹取物品的轮廓图像；

根据对应待夹取物品的轮廓图像，建立夹取点图像模型，得到待夹取物品的实际夹取点。

作为本发明的优选，建立夹取点图像模型，得到待夹取物品的实际夹取点，其特征在于，具体包括：

根据待夹取物品的轮廓图像，将所述轮廓图像按照周长进行n等分，得到n段轮廓曲线，计算每段轮廓曲线的拟合曲线函数；

根据所述拟合曲线函数，对每段轮廓曲线的拟合曲线函数求二阶导数，并根据对应的二阶导数的正负情况，以及一阶导数情况，分别得到对应的夹指投影位置；

根据轮廓图像的二阶导数的正负，判断该图形为凸或凹的特征，根据图像特征选取一夹指投影作为基准，得到由所述夹指投影对应的夹指所能到达的最大位置的内切圆和最小位置的内切圆组成的一圆环，所述圆环的外环定点与所述夹指投影的底线中点相切；

所述圆环绕所述夹指投影的底线中点旋转，得到若干个圆环，从中选取包含最多夹指投影的圆环，为最终圆环；

得到所述最终圆环后，计算位于所述最终圆环内能与所述夹指投影组成最接近正三角的两个夹指投影位置，建立夹取点图像模型，得到待夹取物品的实际夹取点。

作为本发明的优选，根据所述待夹取区域内对应物品的实际夹取点，依次完成对应物品的夹取，当某一个物品无法完成夹取动作时，依次对其后的物品进行夹取至剩余物品均无法夹取，发出警报。

本发明还提出了一种夹取系统，适用于上述的夹取方法，包括：

拍摄单元，所述拍摄单元用于拍摄待夹取区域内的物品；

控制单元，所述控制单元接收所述拍摄单元拍摄的点云图像，建立夹取点图像模型，并输出夹取方案；

驱动单元，所述驱动单元与所述控制单元连接；

电夹爪，所述电夹爪与所述驱动单元连接，所述控制单元根据所述实际夹取点通过所述驱动单元驱动所述电夹爪进行夹取动作。

作为本发明的优选，所述控制单元包括：

视觉模块，所述视觉模块接收拍摄单元拍摄的所述待夹取区域内的物品，得到待夹取区域内物品的点云图像，并输出待夹取区域内的物品的轮廓图像；

计算模块，所述计算模块接收所述视觉模块输出的轮廓图像，对所述轮廓图像进行打分，输出待夹取区域内物品的点云图像的夹取难度序列；

模型分析模块，所述模型分析模块接收所述计算模块输出的点云图像的夹取难度序列，确定待夹取区域内的对应物品的夹取序列，选取对应的待夹取物品，根据对应的待夹取物品的轮廓图像，建立夹取点图像模型，输出夹取点的坐标位置。

作为本发明的优选，所述模型分析模块根据所述待夹取物品的轮廓图像，将所述轮廓图像按照周长进行n等分，得到n段轮廓曲线，计算每段轮廓曲线的拟合曲线函数；根据所述拟合曲线函数，对每段轮廓曲线的拟合曲线函数求二阶导数，并根据对应的二阶导数的正负情况和一阶导数情况，分别得到对应的夹指投影位置；根据轮廓图像的二阶导数的正负，判断该图形为凸或凹的特征，根据图像特征选取一夹指投影作为基准，得到由所述夹指投影对应的夹指所能到达的最大位置的内切圆和最小位置的内切圆组成的一圆环，所述圆环的外环定点与所述夹指投影的底线中点相切；所述圆环绕所述夹指投影的底线中点旋转，得到若干个圆环，从中选取包含最多夹指投影的圆环，为最终圆环；得到所述最终圆环后，计算位于所述最终圆环内能与所述夹指投影组成最接近正三角的两个夹指投影位置，建立夹取点图像模型，得到待夹取物品的实际夹取点的坐标。

本发明还提出了一种计算机可读的存储介质，其上存储有程序，该程序被处理器执行时实现如上述的方法。

与现有技术相比，本发明具有以下优点：

1、通过对待夹取区域内物品的拍摄，得到待夹取区域内物品的夹取难度序列，便于选择多个夹取序列。

2、通过建立夹取点图像模型，可以快速确定夹取点，并获得夹取方案，提高家去的稳固度，提高夹取效率。

3、本发明的夹取方法，当当前的夹取序列均无法完成夹取任务时，会发出警报，进行人工调整，待调整后再重新工作。

4、根据本发明还提出了一种电夹爪，设置有三角形或多边形的夹取空间，可以对不规则的油炸食品实现稳定夹取。

5、根据本发明提出的一种电夹爪，设置为三面棱面的夹指结构有利于准确获得夹指点，防止掉落。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的夹取方法的流程图；

图2是本实施例中选取的夹取点图像模型的示意图；

图3是算法中夹指投影的位置确认示意图；

图4是算法中夹指投影的位置示意图；

图5是算法中圆环的位置确认示意图；

图6是算法中圆环的位置示意图一；

图7是算法中圆环的位置示意图二；

图8是本公开实施例提供的夹取系统的结构示意图；

图9是本公开实施例提供的电夹爪的结构示意图；

图10是本公开实施例提供的夹指结构示意图；

以上图中：

1、机座；2、连接柱；3、伸展连杆组合；4、固定板；

5、联动推杆；6、法兰；7、夹指结构。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

需要说明的是，术语“内”、“外”、“上”、“下”、“前”、“后”等指示的方位或位置关系为基于附图所示的位置关系，仅是为了便于描述本公开实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

电连接包括直接连接和通过其他元件连接的方式。

本公开实施例中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提出了一种夹取方法，包括以下步骤：

获取点云图像的夹取难度序列步骤，获取待夹取区域内物品的点云图像，根据所述点云图像确定所述点云图像的夹取难度序列；

在具体的应用中，获取点云图像的夹取难度序列步骤具体包括：

根据所述点云图像，绘制所述待夹取区域内的对应物品的轮廓图像；

根据得到的所述待夹取区域内的对应物品的轮廓图像，对所述轮廓图像的清晰度进行评分，获取所述轮廓图像的评分结果；

根据所述轮廓图像的评分结果确定所述待夹取区域内物品的点云图像的夹取难度序列。

其中，所拍摄的待夹取区域内的物品为一个或多个，且待夹取区域内的物品有序或无序进行摆放，譬如，存在两个物品叠放的情况时，首先对其上的物品进行抓取，然后再对其下的物品进行夹取，此过程中，如果存在无法夹取的情况，发出警报进行调整。当出现两个物品的夹取难度评分出现相同的情况下，进行随机排序。

点云图像的获取方式包括但不限于以下方法：通过3d相机拍摄直接得到点云图像。

在具体的应用中，首先判断轮廓图像是否清晰，排除不清晰的轮廓图像后再对剩余的轮廓图像进行评分。

确定待夹取区域的对应物品的夹取序列步骤，根据所述点云图像的夹取难度序列，确定所述待夹取区域内对应物品的夹取序列；

在具体的应用中，确定待夹取区域的对应物品的夹取序列步骤具体包括：

对所述图像进行处理，获取所述待夹取区域内对应物品的轮廓图像；

根据所述轮廓图像的评分结果，确定所述待夹取区域内对应物品的轮廓图像的评分结果；

根据所述确定所述待夹取区域内对应物品的轮廓图像的评分结果确定待夹取区域内对应物品的夹取序列。

在具体应用中，对图像的处理包括切割、降噪和处理等步骤。

确定实际夹取点步骤，根据所述待夹取区域内对应物品的夹取序列，确定对应待夹取物品，并获取所述待夹取物品的点云图像，根据点云图像获取轮廓图像，根据待夹取物品的轮廓图像，得到对应待夹取物品的实际夹取点；

在具体应用中，确定实际夹取点步骤具体包括以下步骤：

从待夹取区域内对应物品的夹取序列中按照预设规则确定一个待夹取物品；

获取对应所述待夹取物品的轮廓图像；

根据对应待夹取物品的轮廓图像，建立夹取点图像模型，得到待夹取物品的实际夹取点。

完成待夹取物品的夹取步骤，根据所述得到对应待夹取物品的实际夹取点，依次完成对应物品的夹取。

在具体应用中，根据夹取点图形模型序列和待夹取区域内对应物品的实际夹取点情况，对待夹取区域内的物品依次进行夹取。

在具体的应用中，建立夹取点图像模型，得到待夹取物品的实际夹取点，包括：

根据待夹取物品的轮廓图像，将所述轮廓图像按照周长进行n等分，得到n段轮廓曲线，计算每段轮廓曲线的拟合曲线函数，在具体应用中，n大于等于100；.

根据所述拟合曲线函数，对每段轮廓曲线的拟合曲线函数求二阶导数，并根据对应的二阶导数的正负情况，以及一阶导数情况，分别得到对应的夹指投影位置；

根据轮廓图像的二阶导数的正负，判断该图形为凸或凹的特征，根据图像特征选取一夹指投影作为基准，得到由所述夹指投影对应的夹指所能到达的最大位置的内切圆和最小位置的内切圆组成的一圆环，所述圆环的外环定点与所述夹指投影的底线中点相切；

所述圆环绕所述夹指投影的底线中点旋转，得到若干个圆环，从中选取包含最多夹指投影的圆环，为最终圆环；

得到所述最终圆环后，计算位于所述最终圆环内能与所述夹指投影组成最接近正三角的两个夹指投影位置，建立夹取点图像模型，得到待夹取物品的实际夹取点。

在具体的应用中，上述算法具体描述如下：

(1)首先将得到的待夹取物品的轮廓图像投影到xy平面上，将轮廓图像按照周长平均分为100等份；

(2)计算上述每段轮廓曲线的拟合曲线函数，将所有函数拟合为一元二次方程；

(3)对每段拟合曲线函数进行二阶求导，求导情况包括：

若对应的二阶导出现正数，则该拟合曲线函数为凹曲线，记录二阶导数对应的拟合曲线的位置，将夹指的三角形投影放置于该拟合曲线位置处，使得该拟合曲线等分线尽可能与夹指投影三角形的中线重合，这样做的目的是为了增加夹取的稳定性；

若对应的二阶导出现负数，则该拟合曲线函数为凸曲线，则将夹指等边三角形的一边与该拟合曲线函数斜率为0处相切，得到该夹指相对于该拟合曲线的夹指投影位置，详见图3。

(4)根据以上规则，得到100个拟合曲线对应的夹指投影位置，详见图4。

(5)当整个轮廓图像的拟合曲线函数中存在二阶导为正的函数，则选取值最大的拟合曲线函数对应的夹指投影位置，即选择最凹的位置，以该拟合曲线函数对应的夹指投影为基准，得到由所述夹指投影对应的夹指所能到达的最大位置的内切圆和最小位置对应的内切圆组成的圆环，该圆环外环定点与该夹指底线中点相切，详见图5；

(6)然后，以该夹指底线的中点为旋转基点，每0.5°计算一次，旋转360度，得到720个圆环，图6-7为圆环位置示意图。选取其中包含最多夹指投影的圆环，为最终选择的圆环。

(7)在求得最终圆环位置后，以之前旋转基点对应的夹指投影，计算位于圆环内能与该夹指投影组成最接近正三角的2个夹指投影位置，建立夹取点图像模型，得到待夹取物品的实际夹取点。

(8)当整个轮廓的所有拟合曲线的二阶导数皆为负数，则证明该轮廓为凸曲线，则随机选取一个点位为基准点，按照(5)—(7)步骤计算即可得到实际的夹取点。

在具体应用中，在运用拟合曲线函数求取求二阶导数之前，首先根据物品的轮廓中能否拟合出等分拟合曲线，对拟合曲线函数进行筛选，减少处理器的运算量。

在具体应用中，首先对每个夹指投影得到对应的其他两个夹指投影的情况进行评分，当夹指投影越多，评分越高，越优先与预存的正三角图像进行比对。这样做的目的是减少处理器的运算压力，减少运算量。

在具体应用中，如果得到的夹取位置为正三角形，可以首先对该物品进行夹取。

在具体的应用中，根据所述待夹取区域内对应物品的实际夹取点，依次完成对应物品的夹取，当某一个物品无法完成夹取动作时，依次对其后的物品进行夹取至剩余物品均无法夹取，发出警报。

在具体的应用中，当第一个序列的图像不能使夹指结构完成夹取的过程，可使用第二序列，如果获得的所有排序都不能使夹指完成食品的夹取，则向系统发出警告，需要人工调整食品的位置，重新识别建立夹取模型。

如图8所示，本发明还提出了一种夹取系统，适用于上夹取方法，包括：

拍摄单元，所述拍摄单元用于拍摄待夹取区域内的物品；

控制单元，所述控制单元接收所述拍摄单元拍摄的点云图像，建立夹取点图像模型，并输出夹取方案；

驱动单元，所述驱动单元与所述控制单元电连接；

电夹爪，所述电夹爪与所述驱动单元连接，所述控制单元根据所述实际夹取点通过所述驱动单元驱动所述电夹爪进行夹取动作。

上述驱动单元包括但不限于气缸。电夹爪与驱动单元连接，驱动单元驱动电夹爪进行夹取动作；本实施例中，拍摄单元设置为包括但不仅限于普通相机、3d相机和深度相机，拍摄单元对待夹取区域的物品进行拍摄。

控制单元根据拍摄单元拍摄的图像建立夹取点图像模型，得到夹取方案，所述控制单元通过所述驱动单元驱动所述电夹爪进行夹取动作。

在具体应用中，控制单元具体包括：

视觉模块，所述视觉模块接收拍摄单元拍摄的所述待夹取区域内的物品，得到待夹取区域内物品的点云图像，并输出待夹取区域内的物品的轮廓图像；

计算模块，所述计算模块接收所述视觉模块输出的轮廓图像，对所述轮廓图像进行打分，输出待夹取区域内物品的点云图像的夹取难度序列；

模型分析模块，所述模型分析模块接收所述计算模块输出的点云图像的夹取难度序列，确定待夹取区域内的对应物品的夹取序列，选取对应的待夹取物品，根据对应的待夹取物品的轮廓图像，建立夹取点图像模型，输出夹取点的坐标位置。

当拍摄单元为3d相机时，视觉模块接收3d相机的3d图像，即点云图像，根据点云图像，绘制待夹取区域内的物品的轮廓图像。

在具体的应用中，所述模型分析模块根据所述待夹取物品的轮廓图像，将所述轮廓图像按照周长进行n等分，得到n段轮廓曲线，计算每段轮廓曲线的拟合曲线函数；根据所述拟合曲线函数，对每段轮廓曲线的拟合曲线函数求二阶导数，并根据对应的二阶导数的正负情况和一阶导数情况，分别得到对应的夹指投影位置；根据轮廓图像的二阶导数的正负，判断该图形为凸或凹的特征，根据图像特征选取一夹指投影作为基准，得到由所述夹指投影对应的夹指所能到达的最大位置的内切圆和最小位置的内切圆组成的一圆环，所述圆环的外环定点与所述夹指投影的底线中点相切；所述圆环绕所述夹指投影的底线中点旋转，得到若干个圆环，从中选取包含最多夹指投影的圆环，为最终圆环；得到所述最终圆环后，计算位于所述最终圆环内能与所述夹指投影组成最接近正三角的两个夹指投影位置，建立夹取点图像模型，得到待夹取物品的实际夹取点的坐标。

以下为当拍摄单元为3d相机时，本发明在具体应用中的情况：

将待夹取物品放在托盘上，视觉模块利用3d相机实时捕捉托盘上所要夹取的全部物品，得到3d图像，即点云图像，根据点云图像，将食品的轮廓绘制出来并进行切割，得到多个待夹取物品的轮廓图像，并确定待夹取物品的个数为n个。

将获得的多个轮廓图像发送给控制单元内部的计算模块，计算模块对多个轮廓图像进行打分并根据打分进行排序，排名第一的轮廓图像对应夹取难度最低的待抓取物品，如果遇到排名相同的两个图像，则夹取的顺序随机生成。

如图2所示，模型分析模块从n个待夹取物品中选择抓取难度最低的，确定第n个为需要夹取的对象，获取第n个待夹取物品的轮廓图像，通过算法计算，得到夹取点图像模型，从而得到实际夹取点。

当得到了待夹取区域内对应物品的夹取序列和对应的实际夹取点后，电夹爪根据夹取点实现对待夹取物品的夹取。

本发明还提出了一种计算机可读的存储介质，其上存储有程序，该程序被处理器执行时实现如上述的方法。

如图9-10所示，本实施例还提出一种电夹爪，适用于上述夹取方法和/或上述的夹取系统，电夹爪至少包括三个夹指结构，所述夹指结构之间形成一夹取空间，所述夹指结构设置为三角棱形，所述三角棱形的尖端设置有平滑曲面，防止对夹取物品造成损伤，所述夹指结构7的内侧边上设置有若干个同向倾斜的凸起。夹指结构7的设计可以保证电夹爪在接触食物后，始终以最大的接触面积接触食物，凸起可以增加摩擦力。

在具体应用中，上述电夹爪可以旋转，保证该夹指的底面始终可以与物品保持最大的接触面积。

本实施中，夹指结构7设置为三个，所形成的夹取空间呈正三角形排列，每个夹指采用橡胶或高分子等软性材料制成。

上述电夹爪与驱动单元和控制单元配合动作，控制单元与驱动单元电性连接，驱动单元与电夹爪连接，驱动单元的驱动方式包括但不限于液压驱动、气压驱动、电气驱动和机械驱动，因此，驱动单元设置为包括但不限于气缸、电机和油缸。驱动单元与电夹爪的连接方式包括但不限于电连接和机械连接，驱动单元驱动电夹爪在竖直和水平方向上移动，将电夹爪移动到需要夹取的食物处。

电夹爪还包括：本体，所述夹指结构7通过一法兰装设在所述本体上，夹指结构7与法兰之间通过卡槽连接，卡槽由橡胶或高分子等软性材质制成，夹指结构7可以围绕法兰进行轴旋转。

本体包括机座1、连接柱2、伸展连杆组合3、固定板4和联动推杆5，机座1和伸展连杆组合3与固定板4可拆卸连接，机座1通过伸展连杆组合3与法兰6连接，机座1还通过连接柱2与驱动单元连接。

机座1的内部设置有直线电机，直线电机与伸展连杆组合3连接，直线电机通过伸展连杆组合3与夹指结构连接，直线电机通过伸展连杆组合3带动夹指结构张开和闭合。机座1可以安装在一旋转电机上，旋转电机的旋转的角度不超过180度，旋转电机用于调节整个电夹爪夹取的角度。

联动推杆5设置在伸展连杆组合3与夹指结构之间，联动推杆5连接有伸缩杆，伸缩杆控制联动推杆5动作，联动推杆5还与法兰6连接。伸展连杆组合3使夹指结构在竖直方向上完成夹取动作，联动推杆在伸缩杆的作用下辅助伸展连杆组合进行精确控制。即，联动推杆5与伸展连杆组合3配合控制夹指结构向下移动的距离，可以精确控制夹指结构的移动距离，实现精确夹取。

伸展连杆组合3还与连接柱2、机座1和联动推杆5连接，联动推杆5与法兰6的一侧连接，法兰6的另一侧与夹指连接。如图4所示，以左侧的伸展连杆组合为例，伸展连杆组合3包括三个相互联动的推杆，以最左侧的推杆为第一推杆，顺时针转动，另两个推杆依次为第二推杆和第三推杆，其中，第一推杆和第三推杆与连接柱连接，第二推杆和第三推杆与固定板连接。上述部件共同工作，配合夹指机构完成夹取动作。

前述内容，仅是本发明的较佳实施例，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。