物体抓取方法、装置和系统

1.本发明涉及机器人控制技术领域，尤其涉及一种物体抓取方法、 装置和系统。


背景技术：

2.机械臂抓取是机器人重要的基础操作，在工业零部件的分拣、装 配和服务型机器人等众多领域有着广泛的应用。在国内的工业零部件 分拣任务中，大多数工厂仍然使用传统的示教或者人工分拣方式，灵 活性和适应性受到较大的限制。以视觉作为输入结合深度网络学习预 测复杂场景下的物品的精准抓取位姿成为当前的一个重要研究热点。
3.目前，传统基于彩色图片的平面抓取(4
‑
dof)检测方法，受限 于其自上向下的抓取方式，较大的限制了抓取操作的自由度，因而抓 取灵活性较差。而目前基于点云输入的6
‑
dof抓取位姿检测方法，针 对复杂堆叠的抓取场景，由于缺乏对局部抓取区域的关注与理解，致 使生成的抓取位姿不精准，从而导致夹取位置不稳定，夹爪易与堆叠 物品发生碰撞，导致抓取成功率不高。


技术实现要素：

4.本发明提供一种物体抓取方法、装置和系统，用以解决现有技术 中抓取灵活性欠佳、抓取准确性不足的缺陷。
5.本发明提供一种物体抓取方法，包括：
6.确定待抓取物体所在场景的场景点云数据；
7.将所述场景点云数据输入至抓取配置预测模型，得到所述抓取配 置预测模型输出的所述待抓取物体对应的抓取配置；
8.基于所述抓取配置，抓取所述待抓取物体；
9.其中，所述抓取配置预测模型用于基于所述场景点云数据中各点 的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云 中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到 所述待抓取物体对应的抓取配置；
10.所述抓取配置预测模型是基于样本场景的样本场景点云数据，以 及所述样本场景点云数据中各样本点的样本抓取配置标签训练得到 的。
11.根据本发明提供一种的物体抓取方法，所述抓取配置预测模型包 括粗略抓取配置预测网络和抓取配置微调网络；
12.其中，所述粗略抓取配置预测网络用于对所述场景点云数据进行 点云特征提取，得到所述场景点云数据中各点的点云特征，并基于各 点的点云特征，预测各点的抓取配置标签，得到所述粗略抓取配置结 果；
13.所述抓取配置微调网络用于基于抓取闭合框内局部点云中各点 的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待 抓取物体对应的抓取配置；所述抓取闭合框与所述粗略抓取配置结果 对应。
14.根据本发明提供的一种物体抓取方法，所述基于抓取闭合框内局 部点云中各点
的坐标和点云特征，对所述粗略抓取配置结果进行微调， 得到所述待抓取物体对应的抓取配置，具体包括：
15.基于所述粗略抓取配置结果，抠取对应抓取闭合框内的局部点 云；
16.基于所述局部点云中各点的坐标和点云特征，进行特征提取，得 到所述局部点云中各点的微调点云特征；
17.基于所述局部点云中各点的微调点云特征，对所述粗略抓取配置 结果进行微调，得到所述待抓取物体对应的抓取配置。
18.根据本发明提供的一种物体抓取方法，所述样本场景为杂乱堆叠 场景；
19.所述样本场景是基于如下步骤构建的：
20.随机采样若干个样本物体；
21.基于各个样本物体的三维模型，随机采样各个样本物体的初始位 姿；
22.基于各个样本物体的初始位姿，依次将各个物体悬空落下至放置 于桌面上的盒子内，直至所有样本物体完成坠落，并记录每个物体的 终止位姿；
23.其中，若样本物体之间发生嵌入，或者样本物体与盒子之间发生 嵌入，则重新构建样本场景。
24.根据本发明提供的一种物体抓取方法，各样本点的样本抓取配置 标签是基于如下步骤确定的：
25.确定各个样本物体的标准抓取配置；
26.将各个样本物体在所述样本场景中的位姿转换成旋转矩阵；
27.基于各个样本物体对应的旋转矩阵，将各个样本物体的标准抓取 配置与所述样本场景相匹配，得到各个样本物体在所述样本场景中的 样本抓取配置；
28.滤除产生碰撞的样本抓取配置后，基于各个样本物体剩余的样本 抓取配置，对所述样本场景点云数据进行标注，得到各样本点的样本 抓取配置标签。
29.根据本发明提供的一种物体抓取方法，所述确定各个样本物体的 标准抓取配置，具体包括：
30.在任一样本物体的模型表面上随机采样若干个点；
31.确定每个采样点的对跖抓取点，构成多个采样点对；
32.基于所述多个采样点对，确定抓取点对及其对应的可选抓取配置， 作为所述任一样本物体的标准抓取配置。
33.根据本发明提供的一种物体抓取方法，所述基于所述多个采样点 对，确定抓取点对及其对应的可选抓取配置，具体包括：
34.计算各个采样点对的力封闭属性，其计算方法如下：
35.θ
1,2
＝cos
‑1(v,v
i
)
(i＝1,2)
36.其中，v是采样点对中两点连线所形成的向量，v
i
是采样点对中 各点处的法向量；
37.确定力封闭属性满足预设条件的采样点对，作为抓取点对；
38.确定各个抓取点对对应的可选抓取配置；所述可选抓取配置包括 对应抓取点对中两抓取点连线的中心、夹爪闭合方向向量、抓取趋近 方向向量和抓取宽度。
39.本发明还提供一种物体抓取装置，包括：
40.点云数据获取单元，用于确定待抓取物体所在场景的场景点云数 据；
41.抓取配置预测单元，用于将所述场景点云数据输入至抓取配置预 测模型，得到所述抓取配置预测模型输出的所述待抓取物体对应的抓 取配置；
42.抓取执行单元，用于基于所述抓取配置，抓取所述待抓取物体；
43.其中，所述抓取配置预测模型用于基于所述场景点云数据中各点 的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云 中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到 所述待抓取物体对应的抓取配置；
44.所述抓取配置预测模型是基于样本场景的样本场景点云数据，以 及所述样本场景点云数据中各样本点的样本抓取配置标签训练得到 的。
45.本发明还提供一种物体抓取系统，包括：
46.视觉感知模块，用于获取待抓取物体所在场景的深度图像；
47.信息与指令发送模块，用于基于所述深度图像，确定所述待抓取 物体所在场景的场景点云数据，将所述场景点云数据输入至抓取配置 预测模型，得到所述抓取配置预测模型输出的所述待抓取物体对应的 抓取配置，并将所述抓取配置转换为操作执行模块所需的执行指令；
48.操作执行模块，用于基于所述执行指令，抓取所述待抓取物体；
49.其中，所述抓取配置预测模型用于基于所述场景点云数据中各点 的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云 中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到 所述待抓取物体对应的抓取配置；
50.所述抓取配置预测模型是基于样本场景的样本场景点云数据，以 及所述样本场景点云数据中各样本点的样本抓取配置标签训练得到 的。
51.本发明提供的物体抓取方法、装置和系统，抓取配置预测模型通 过两阶段的抓取配置预测，在第一阶段，基于场景点云数据中各点的 点云特征，预测粗略抓取配置结果，在第二阶段，基于抓取闭合框内 局部点云中各点的坐标和点云特征，对粗略抓取配置结果进行微调， 得到待抓取物体对应的抓取配置，能够有效提高物体抓取的准确性， 同时还提高了物体抓取的灵活性。
附图说明
52.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。
53.图1为本发明提供的物体抓取方法的流程示意图；
54.图2为本发明提供的抓取配置预测模型的结构示意图；
55.图3为本发明提供的夹爪闭合方向和抓取趋近方向的预测示意 图；
56.图4为本发明提供的场景数据标注方法的示意图；
57.图5为本发明提供的物体抓取装置的结构示意图；
58.图6为本发明提供的物体抓取系统的结构示意图；
59.图7为本发明提供的电子设备的结构示意图。
具体实施方式
60.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
61.图1为本发明实施例提供的物体抓取方法的流程示意图，如图1 所示，该方法包括：
62.步骤110，确定待抓取物体所在场景的场景点云数据；
63.步骤120，将场景点云数据输入至抓取配置预测模型，得到抓取 配置预测模型输出的待抓取物体对应的抓取配置；
64.步骤130，基于抓取配置，抓取待抓取物体；
65.其中，抓取配置预测模型用于基于场景点云数据中各点的点云特 征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的 坐标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对 应的抓取配置；
66.抓取配置预测模型是基于样本场景的样本场景点云数据，以及样 本场景点云数据中各样本点的样本抓取配置标签训练得到的。
67.具体地，可以利用深度相机等视觉感知单元采集待抓取物体所在 场景的视觉信息，并结合相机内外参数对视觉信息进行处理，恢复出 该场景的场景点云数据。将上述场景点云数据输入至抓取配置预测模 型中进行抓取配置的预测，得到可以从该场景中准确抓取到该待抓取 物体的抓取配置。其中，抓取配置中包含抓取机器人抓取该待抓取物 体时的抓取中心点位置、夹爪闭合方向、抓取趋近方向和抓取宽度。
68.此处，抓取配置预测模型在预测抓取配置时，会分两个阶段进行 预测。其中，在第一个阶段，抓取配置预测模型会基于场景点云数据 中各点的点云特征，利用深度学习方式预测粗略抓取配置结果；在第 二个阶段，抓取配置模型会对上一阶段得到的粗略抓取配置结果进行 微调，得到更为精确的抓取配置，以提高抓取准确性。具体而言，在 第二个阶段，会基于抓取闭合框内局部点云中各点的坐标和点云特征， 对粗略抓取配置结果进行微调，得到待抓取物体对应的抓取配置。其 中，根据第一阶段得到的粗略抓取配置结果，可以聚焦到待抓取物体 对应的最佳抓取配置所在的局部点云中，通过对局部点云进行更细致 地分析，实现对粗略抓取配置结果的微调，能够有效提高物体抓取的 准确性，同时，该方式也不受限于抓取方向，提高了物体抓取的灵活 性。
69.另外，在执行步骤120之前，还可以预先训练得到抓取配置预测 模型，具体可通过如下方式训练得到抓取配置预测模型：首先，收集 大量样本场景的样本场景点云数据，并标注样本场景点云数据中各样 本点的样本抓取配置标签。其中，样本抓取配置标签可以表明各样本 点是否为抓取点，以及当任一样本点为抓取点时，该样本点对应的样 本抓取配置。基于样本场景的样本场景点云数据，以及样本场景点云 数据中各样本点的样本抓取配置标签对初始模型进行训练，从而得到 抓取配置预测模型。
70.本发明实施例提供的方法，抓取配置预测模型通过两阶段的抓取 配置预测，在第一阶段，基于场景点云数据中各点的点云特征，预测 粗略抓取配置结果，在第二阶段，基于抓取闭合框内局部点云中各点 的坐标和点云特征，对粗略抓取配置结果进行微调，得到待
抓取物体 对应的抓取配置，能够有效提高物体抓取的准确性，同时还提高了物 体抓取的灵活性。
71.基于上述实施例，抓取配置预测模型包括粗略抓取配置预测网络 和抓取配置微调网络；
72.其中，粗略抓取配置预测网络用于对场景点云数据进行点云特征 提取，得到场景点云数据中各点的点云特征，并基于各点的点云特征， 预测各点的抓取配置标签，得到粗略抓取配置结果；
73.抓取配置微调网络用于基于抓取闭合框内局部点云中各点的坐 标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对应 的抓取配置；抓取闭合框与粗略抓取配置结果对应。
74.具体地，抓取配置预测模型包括粗略抓取配置预测网络和抓取配 置微调网络，分别用于执行上述两个阶段的操作。其中，粗略抓取配 置预测网络用于对场景点云数据进行点云特征提取，得到场景点云数 据中各点的点云特征，并基于各点的点云特征，预测各点的抓取配置 标签，得到粗略抓取配置结果。
75.图2为本发明实施例提供的抓取配置预测模型的结构示意图，如 图2所示，粗略抓取配置预测网络可以对输入点云进行特征编解码， 得到各点的点云特征，从而进行抓取接触点分割和抓取配置生成。其 中，抓取接触点分割可以识别各点是否可以作为抓取点，抓取配置生 成则可以针对抓取点，生成对应的抓取配置结果。粗略抓取配置预测 网络可以采用pointnet++网络结构，共包含有4层特征提取层，和4 层特征扩散层，经过特征提取与扩散层后的特征向量，再经过全连接 层预测各点对应的抓取配置标签。此处，抓取配置标签可以表明各点 是否为抓取点，以及抓取点的抓取配置及其抓取度量分数。基于各点 的抓取配置标签，可以确定待抓取物体对应的粗略抓取配置结果。
76.为了提高粗略抓取配置预测网络的预测准确性，粗略抓取配置预 测网络在预测抓取点对应的抓取配置时，可以将抓取配置中的夹爪闭 合方向和抓取趋近方向转换为方位角和仰角。图3为本发明实施例提 供的夹爪闭合方向和抓取趋近方向的预测示意图，如图3所示，可以 将夹爪闭合方向r投影到x
‑
y平面，并转换为方位角θ3x将抓取趋 近方向n分别投影到x
‑
z平面和x
‑
y平面，从而转换为方向角θ1和 仰角θ2。为了预测角度θ1、θ2和θ3，如图3所示，可将各角度的取值 范围划分为多个子范围(bin)，首先预测各角度应当落入哪个子范围， 然后再预测各角度具体是对应子范围中的哪个角度。基于预测的各角 度，可以对应转换为夹爪闭合方向和抓取趋近方向。
77.此时，粗略抓取配置预测网络的损失函数可以为：
[0078][0079]
[0080]
其中，的损失包括两项，为抓取配置预测的损失， 为抓取点分类的损失；n
pos
是接触点为正样本的数量，pos为所 有正样本点，y
t
是预测点作为抓取点的概率；和是各角度对 应的bin预测结果和bin内部的残差预测结果，该残差预测结果可以 基于预测角度值与该bin的角度范围计算得到，和是对应的 真实标签，u在计算位置x，y，z以及角度θ
1,2,3
时具体代入。表 示bin的预测损失，表示残差预测结果的回归损失。
[0081]
基于粗略抓取配置结果，可以进行非极大值抑制与采样，去除粗 略抓取配置结果中的冗余抓取配置。然后，再将处理后的粗略抓取配 置结果输入至抓取配置微调网络。
[0082]
如图2所示，抓取配置微调网络可以对抓取闭合框内的局部点云 进行归一化后，融合局部点云中各点的坐标和点云特征，对局部点云 中进行进一步的特征编码，从而对粗略抓取配置结果进行微调，得到 待抓取物体对应的抓取配置，并输出抓取结果。
[0083]
基于上述任一实施例，基于抓取闭合框内局部点云中各点的坐标 和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对应的 抓取配置，具体包括：
[0084]
基于粗略抓取配置结果，抠取对应抓取闭合框内的局部点云；
[0085]
基于局部点云中各点的坐标和点云特征，进行特征提取，得到局 部点云中各点的微调点云特征；
[0086]
基于局部点云中各点的微调点云特征，对粗略抓取配置结果进行 微调，得到待抓取物体对应的抓取配置。
[0087]
具体地，基于粗略抓取配置结果，抠取对应抓取闭合框内的局部 点云。其中，抓取闭合框为以抓取中心点下表面中心点的长方体，抓 取中心点可以根据粗略抓取配置结果中抓取点以及抓取宽度确定得 到。抓取闭合框的长为抓取宽度，宽和高可以分别设置为2cm和4cm， 局部点云则为抓取闭合框这个长方体内部的所有点。随后，将局部点 云内所有点的坐标归一化到抓取闭合框的标准坐标系下。
[0088]
基于局部点云中各点的坐标和点云特征，进行进一步的点云特征 提取，得到局部点云中各点的微调点云特征。基于局部点云中各点的 微调点云特征，可以对粗略抓取配置结果进行微调，得到待抓取物体 对应的抓取配置。
[0089]
基于上述任一实施例，样本场景为杂乱堆叠场景；
[0090]
样本场景是基于如下步骤构建的：
[0091]
随机采样若干个样本物体；
[0092]
基于各个样本物体的三维模型，随机采样各个样本物体的初始位 姿；
[0093]
基于各个样本物体的初始位姿，依次将各个物体悬空落下至放置 于桌面上的盒子内，直至所有样本物体完成坠落，并记录每个物体的 终止位姿；
[0094]
其中，若样本物体之间发生嵌入，或者样本物体与盒子之间发生 嵌入，则重新构建样本场景。
[0095]
具体地，可以构建杂乱堆叠的场景作为样本场景。在构建样本场 景时，可以随机采样1
‑
15个样本物体，平均数量为10个。基于每个 样本物体的三维模型，随机采样其6维位姿作为初始位姿，并将样本 物体从一定高度(例如30cm)处悬空落下至放置于桌面上的盒
子内， 待姿态稳定后，第二个样本物体开始接续以上坠落过程，直至所有样 本物体按照步骤完成坠落，并记录每个物体的终止位姿。在上述过程 中若有发生样本物体之间相互嵌入，或者物体与盒子之间发生嵌入的 情况，则丢弃本次生成的场景，不给予保存，然后重新构建样本场景。 最终生成场景的数量规模可以为100k。
[0096]
基于上述任一实施例，各样本点的样本抓取配置标签是基于如下 步骤确定的：
[0097]
确定各个样本物体的标准抓取配置；
[0098]
将各个样本物体在样本场景中的位姿转换成旋转矩阵；
[0099]
基于各个样本物体对应的旋转矩阵，将各个样本物体的标准抓取 配置与样本场景相匹配，得到各个样本物体在样本场景中的样本抓取 配置；
[0100]
滤除产生碰撞的样本抓取配置后，基于各个样本物体剩余的样本 抓取配置，对样本场景点云数据进行标注，得到各样本点的样本抓取 配置标签。
[0101]
具体地，图4为本发明实施例提供的场景数据标注方法的示意图， 如图4所示，确定各个样本物体的标准抓取配置，得到单个物体的抓 取数据集。基于生成的堆叠样本场景，将各个样本物体在样本场景中 的6维位姿转换成旋转矩阵。基于各个样本物体对应的旋转矩阵，将 各个样本物体的标准抓取配置与样本场景相匹配，得到各个样本物体 在样本场景中的样本抓取配置。此处，可以将标准抓取配置与对应样 本物体的旋转矩阵相乘，实现抓取配置与场景的匹配，得到样本抓取 配置。
[0102]
对样本抓取配置进行碰撞滤除，滤除产生碰撞的样本抓取配置后， 基于各个样本物体剩余的样本抓取配置，对样本场景点云数据进行标 注，得到各样本点的样本抓取配置标签。具体标注方式可采用如下规 则：
[0103][0104][0105][0106]
其中，为生成点云标签的指示函数，为p
i
点对应的抓取配置，为抓取配置的抓取质量度量指标，具体依据ferrari
‑
cannymetric计算得到，p
i
为场景点云中索引为i的点，m(p
i
)为p
i
点对应的 掩码，用于表示p
i
点的正负样本属性，l(p
i
)为p
i
点的具体标签，n和 r分别代表抓取趋近方向与夹爪闭合方向。
[0107]
基于上述任一实施例，确定各个样本物体的标准抓取配置，具体 包括：
[0108]
在任一样本物体的模型表面上随机采样若干个点；
[0109]
确定每个采样点的对跖抓取点，构成多个采样点对；
[0110]
基于多个采样点对，确定抓取点对及其对应的可选抓取配置，作 为该样本物体的标准抓取配置。
[0111]
具体地，针对每个样本物体的三维模型，在其模型表面随机采样 若干个点(例如2500个点)，并针对每个采样点寻找其对跖抓取点， 构成采样点对。其中，针对任一采样点，可以计算其法向量，并依照 其法向量反方向的射线，计算该射线与模型三角面片的交点，若存在 交点，则将该交点作为该采样点的对跖抓取点。
[0112]
从多个采样点对中，选取可行的抓取点对，并生成抓取点对对应 的可选抓取配置，作为该样本物体的标准抓取配置。此处，针对生成 的标准抓取配置的冗余情况，可以采用局部极大值抑制算法，滤除冗 余的抓取配置。其中，可以首先计算各个标准抓取配置的抓取度量分 数，再据此进行局部极大值抑制。例如，可以采样如下方式计算标准 抓取配置的抓取度量分数：
[0113][0114][0115]
s
distance
＝1
‑
d/0.03
[0116]
s＝s
fcl
*α+s
curv
*β+sdistance*γ
[0117]
α+β+γ＝1
[0118]
其中，s
fcl
为抓取点对的力封闭属性得分，n
proj
为抓取点对连线 在抓取点的法线方向上的投影，n
diff
为抓取点对之间的距离，f
coef
为 摩擦力系数，s
curv
为抓取点对的曲率属性得分，v
curv1
和v
curv2
为抓取 点对的平均曲率值，c
max
为设定的曲率归一化阈值，s
distance
为抓取 中心点与物体中心点的相对位置的得分，d为抓取中心点与物体中心 点的欧氏距离。这里α，β，γ可以分别设为0.5，0.3，0.2。
[0119]
需要说明的是，上述抓取度量分数计算方式同样可以应用于粗略 抓取配置预测网络中，用于计算网络生成的抓取配置对应的抓取度量 分数。
[0120]
随后，可以基于如下方式进行局部极大值抑制：
[0121][0122]
其中，g1和g2为采样出的两个具体抓取配置，c1和c2为对应抓取 配置的抓取接触点，d(g1，g2)为计算抓取配置g1和g2的距离函数，n 和r分别代表抓取趋近方向与夹爪闭合方向，β1，β2，β3可以设为 1，0.03，0.03。
[0123]
基于上述任一实施例，基于多个采样点对，确定抓取点对及其对 应的可选抓取配置，具体包括：
[0124]
计算各个采样点对的力封闭属性，其计算方法如下：
[0125]
θ
1,2
＝cos
‑1(v,v
i
)
(i＝1,2)
[0126]
其中，v是采样点对中两点连线所形成的向量，v
i
是采样点对中 各点处的法向量；
[0127]
确定力封闭属性满足预设条件的采样点对，作为抓取点对；
[0128]
确定各个抓取点对对应的可选抓取配置；可选抓取配置包括对应 抓取点对中两抓取点连线的中心、夹爪闭合方向向量、抓取趋近方向 向量和抓取宽度。
[0129]
具体地，计算各个采样点对的力封闭属性，其计算方法如下：
[0130]
θ
1,2
＝cos
‑1(v,v
i
)
(i＝1,2)
[0131]
其中，v是采样点对中两点连线所形成的向量，v
i
是采样点对中 各点处的法向量。
[0132]
基于预先设置的满足力封闭的条件，例如力封闭属性均不超过 30度，选取满足上述条件的采样点对，作为抓取点对。若不满足上 述条件，则认为该采样点对不能生成有效的抓取配置，予以去除。
[0133]
生成各个抓取点对对应的可选抓取配置。其中，可选抓取配置包 括对应抓取点对中两抓取点连线的中心、夹爪闭合方向向量、抓取趋 近方向向量和抓取宽度。此处，生成的可选抓取配置可表示为：
[0134]
g＝c,v
a
,v
b
,l
[0135]
l＝||l||2[0136]
其中，c为两抓取点连线的中心，v
b
为两抓取点连线方向的单位 向量，也是夹爪闭合方向向量，v
a
为垂直于夹爪闭合方向向量的单位 向量，作为抓取趋近方向向量，l为抓取宽度，l为抓取点对连线所形 成的向量。
[0137]
基于上述任一实施例，图5为本发明实施例提供的物体抓取装置 的结构示意图，如图5所示，该装置包括：点云数据获取单元510、 抓取配置预测单元520和抓取执行单元530。
[0138]
其中，点云数据获取单元510用于确定待抓取物体所在场景的场 景点云数据；
[0139]
抓取配置预测单元520用于将场景点云数据输入至抓取配置预 测模型，得到抓取配置预测模型输出的待抓取物体对应的抓取配置；
[0140]
抓取执行单元530用于基于抓取配置，抓取待抓取物体；
[0141]
其中，抓取配置预测模型用于基于场景点云数据中各点的点云特 征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的 坐标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对 应的抓取配置；
[0142]
抓取配置预测模型是基于样本场景的样本场景点云数据，以及样 本场景点云数据中各样本点的样本抓取配置标签训练得到的。
[0143]
本发明实施例提供的装置，抓取配置预测模型通过两阶段的抓取 配置预测，在第一阶段，基于场景点云数据中各点的点云特征，预测 粗略抓取配置结果，在第二阶段，基于抓取闭合框内局部点云中各点 的坐标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体 对应的抓取配置，能够有效提高物体抓取的准确性，同时还提高了物 体抓取的灵活性。
[0144]
基于上述任一实施例，抓取配置预测模型包括粗略抓取配置预测 网络和抓取配置微调网络；
[0145]
其中，粗略抓取配置预测网络用于对场景点云数据进行点云特征 提取，得到场景点云数据中各点的点云特征，并基于各点的点云特征， 预测各点的抓取配置标签，得到粗略抓取配置结果；
[0146]
抓取配置微调网络用于基于抓取闭合框内局部点云中各点的坐 标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对应 的抓取配置；抓取闭合框与粗略抓取配置结果对应。
[0147]
基于上述任一实施例，基于抓取闭合框内局部点云中各点的坐标 和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对应的 抓取配置，具体包括：
[0148]
基于粗略抓取配置结果，抠取对应抓取闭合框内的局部点云；
[0149]
基于局部点云中各点的坐标和点云特征，进行特征提取，得到局 部点云中各点的微调点云特征；
[0150]
基于局部点云中各点的微调点云特征，对粗略抓取配置结果进行 微调，得到待抓取物体对应的抓取配置。
[0151]
基于上述任一实施例，样本场景为杂乱堆叠场景；
[0152]
样本场景是基于如下步骤构建的：
[0153]
随机采样若干个样本物体；
[0154]
基于各个样本物体的三维模型，随机采样各个样本物体的初始位 姿；
[0155]
基于各个样本物体的初始位姿，依次将各个物体悬空落下至放置 于桌面上的盒子内，直至所有样本物体完成坠落，并记录每个物体的 终止位姿；
[0156]
其中，若样本物体之间发生嵌入，或者样本物体与盒子之间发生 嵌入，则重新构建样本场景。
[0157]
基于上述任一实施例，各样本点的样本抓取配置标签是基于如下 步骤确定的：
[0158]
确定各个样本物体的标准抓取配置；
[0159]
将各个样本物体在样本场景中的位姿转换成旋转矩阵；
[0160]
基于各个样本物体对应的旋转矩阵，将各个样本物体的标准抓取 配置与样本场景相匹配，得到各个样本物体在样本场景中的样本抓取 配置；
[0161]
滤除产生碰撞的样本抓取配置后，基于各个样本物体剩余的样本 抓取配置，对样本场景点云数据进行标注，得到各样本点的样本抓取 配置标签。
[0162]
基于上述任一实施例，确定各个样本物体的标准抓取配置，具体 包括：
[0163]
在任一样本物体的模型表面上随机采样若干个点；
[0164]
确定每个采样点的对跖抓取点，构成多个采样点对；
[0165]
基于多个采样点对，确定抓取点对及其对应的可选抓取配置，作 为该样本物体的标准抓取配置。
[0166]
基于上述任一实施例，基于多个采样点对，确定抓取点对及其对 应的可选抓取配置，具体包括：
[0167]
计算各个采样点对的力封闭属性，其计算方法如下：
[0168]
θ
1,2
＝cos
‑1(v,v
i
)
(i＝1,2)
[0169]
其中，v是采样点对中两点连线所形成的向量，v
i
是采样点对中 各点处的法向量；
[0170]
确定力封闭属性满足预设条件的采样点对，作为抓取点对；
[0171]
确定各个抓取点对对应的可选抓取配置；可选抓取配置包括对应 抓取点对中两抓取点连线的中心、夹爪闭合方向向量、抓取趋近方向 向量和抓取宽度。
[0172]
基于上述任一实施例，图6为本发明实施例提供的物体抓取系统 的结构示意图，如图6所示，该系统包括：视觉感知模块610、信息 与指令发送模块620和操作执行模块630。
[0173]
其中，视觉感知模块610用于获取待抓取物体所在场景的深度图 像；
[0174]
信息与指令发送模块620用于基于深度图像，确定待抓取物体所 在场景的场景点
云数据，将场景点云数据输入至抓取配置预测模型， 得到抓取配置预测模型输出的待抓取物体对应的抓取配置，并将抓取 配置转换为操作执行模块所需的执行指令；
[0175]
操作执行模块630用于基于执行指令，抓取待抓取物体；
[0176]
其中，抓取配置预测模型用于基于场景点云数据中各点的点云特 征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的 坐标和点云特征，对粗略抓取配置结果进行微调，得到待抓取物体对 应的抓取配置；
[0177]
抓取配置预测模型是基于样本场景的样本场景点云数据，以及样 本场景点云数据中各样本点的样本抓取配置标签训练得到的。
[0178]
具体地，搭建物体抓取系统，作为实际机器人抓取实验平台，其 包括：
[0179]
视觉感知模块：用于获取待抓取物体所在场景的深度图像，其可 以使用phoxi 3d扫描仪感知三维点云结构，扫描仪分辨率可以为 1024*772，安装位置可以为抓取区域的正上方1.3m处。
[0180]
信息与指令发送模块：安装在pc端，负责接收视觉感知模块的 视觉信息输入，并调用训练好的抓取配置预测模型进行抓取配置预测， 并将抓取配置预测模型输出的抓取配置转换为操作执行模块所需的 执行指令，然后将执行指令发送给操作执行模块。
[0181]
机器人操作执行模块：接收信息与指令发送模块发送的执行指令， 抓取待抓取物体。其具体操作流程如下：
[0182]
抓取阶段：机器人的右臂的初始位姿可以为(0.45，
‑
0.50，0.50，
‑
180，0，
‑
180)。其中位姿的表示采用如下的方式：前三个维度表示 在机器人坐标系下x、y、z位置，单位为米，后三个维度表示绕3个 轴的旋转欧拉角，单位为度。然后到达抓取区域的中心正上方位置， 位姿为(0.45，0，0.30，
‑
180，0，
‑
180)，再到达预抓取位置(最终 抓取位姿沿着抓取趋近方向回退10cm)，最后沿着机器人工具坐标系 的z轴前进10cm，闭合平行指夹具，夹取物体。
[0183]
恢复阶段：首先回到抓取区域的中心正上方位置，再回到机器人 的右臂的初始位姿，再打开平行指，使物体掉落，完成一次物体抓取。
[0184]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电 子设备可以包括：处理器(processor)710、通信接口(communicationsinterface)720、存储器(memory)730和通信总线740，其中，处理器710， 通信接口720，存储器730通过通信总线740完成相互间的通信。处 理器710可以调用存储器730中的逻辑指令，以执行物体抓取方法， 该方法包括：确定待抓取物体所在场景的场景点云数据；将所述场景 点云数据输入至抓取配置预测模型，得到所述抓取配置预测模型输出 的所述待抓取物体对应的抓取配置；基于所述抓取配置，抓取所述待 抓取物体；其中，所述抓取配置预测模型用于基于所述场景点云数据 中各点的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局 部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调， 得到所述待抓取物体对应的抓取配置；所述抓取配置预测模型是基于 样本场景的样本场景点云数据，以及所述样本场景点云数据中各样本 点的样本抓取配置标签训练得到的。
[0185]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令
用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，random access memory)、磁碟 或者光盘等各种可以存储程序代码的介质。
[0186]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序 产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计 算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能 够执行上述各方法所提供的物体抓取方法，该方法包括：确定待抓取 物体所在场景的场景点云数据；将所述场景点云数据输入至抓取配置 预测模型，得到所述抓取配置预测模型输出的所述待抓取物体对应的 抓取配置；基于所述抓取配置，抓取所述待抓取物体；其中，所述抓 取配置预测模型用于基于所述场景点云数据中各点的点云特征，预测 粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的坐标和点 云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对 应的抓取配置；所述抓取配置预测模型是基于样本场景的样本场景点 云数据，以及所述样本场景点云数据中各样本点的样本抓取配置标签 训练得到的。
[0187]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各 提供的物体抓取方法，该方法包括：确定待抓取物体所在场景的场景 点云数据；将所述场景点云数据输入至抓取配置预测模型，得到所述 抓取配置预测模型输出的所述待抓取物体对应的抓取配置；基于所述 抓取配置，抓取所述待抓取物体；其中，所述抓取配置预测模型用于 基于所述场景点云数据中各点的点云特征，预测粗略抓取配置结果， 并基于抓取闭合框内局部点云中各点的坐标和点云特征，对所述粗略 抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置；所述 抓取配置预测模型是基于样本场景的样本场景点云数据，以及所述样 本场景点云数据中各样本点的样本抓取配置标签训练得到的。
[0188]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部 件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付 出创造性的劳动的情况下，即可以理解并实施。
[0189]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软 件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所 述的方法。
[0190]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而 非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领 域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。