图像数据处理方法、装置、电子设备和存储介质与流程

本申请涉及机械手臂或夹具的自动控制、程序控制b25j领域，更具体而言，特别涉及图像数据处理方法、装置、电子设备和存储介质。

背景技术：

1、目前，在商场，超市以及物流等领域，已经逐渐开始使用机器人代替人工执行货物的分拣，搬运，摆放等操作，受限于传统的机器人只能以预先确定好的方式运作或者以有限度的智能方式进行运作，导致在这些场景中，对待作业物品的位置和摆放都有较高的要求。例如，对于某个超市中的分拣任务，任务需求是将放置在物料框中的待分拣物品取出，并搬运至指定位置。在该任务中，机器人将通过视觉识别物料框中的每个物品所在的位置，并将物品取出放置在指定位置，在这样的任务中，为了保证机器人能够顺利地抓取每个物品，现有方案需要工作人员先将物品整齐地摆放至物料框中，并且物料框中的每个物品都需要按照特定的姿态摆放，例如，罐装饮品、盒装食品，袋装食品等，均需要开口正面朝上摆放，之后将放置有摆放整齐的大量物品的物料框运至机器人作业区域，由机器人执行抓取作业。

2、在基于机器视觉的任意物体抓取任务中，检测物品的抓取位姿是较为标准的工作流程。如何准确计算出物体的位姿，其中主成分分析(pca)作为工业界中的区域点云位姿估计方法被广泛应用。现有技术中使用主成分分析法，对物体表面进行位姿估计已经可以实现较为准确的预估结果。但是在实际应用中，由于物体的多样性或点云质量问题经常导致主成分分析法无法对更复杂的物体表面点云进行位姿预估。

技术实现思路

1、鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，本发明的抓取控制方案通过提取物品点云中的部分点云，并基于部分点云估计物品的位置特征和旋转特征，从而可以在工业中常见的物体点云质量不佳的情况下，仍能够获取准确的位姿信息。

2、本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种图像数据处理方法、装置、电子设备和存储介质。

3、本申请的实施方式的图像数据处理方法，包括：

4、获取待抓取物品的点云；

5、对获取的待抓取物品的点云进行随机采样，从中随机采集一定数量的点云；

6、基于所述随机采集的点云，预测所述待抓取物品的位置特征以及旋转特征。

7、在某些实施方式中，所述待抓取物品包括待抓取物品的可抓取区域。

8、在某些实施方式中，所述对获取的待抓取物品的点云进行随机采样包括对获取的待抓取物品的点云进行至少两次随机采样。

9、在某些实施方式中，所述位置特征包括平移参数，和/或所述旋转特征包括欧拉角和/或旋转向量四元数。

10、在某些实施方式中，基于深度学习网络执行点云的随机采样以及预测待抓取物品的位置特征以及旋转特征。

11、在某些实施方式中，所述深度学习网络还包括线性修正组件和/或批标准化组件。

12、在某些实施方式中，在对所述深度学习网络进行训练时，对训练用的点云进行随机抖动、平移，并对随机抖动、平移后的点云进行碰撞检测。

13、在某些实施方式中，基于待抓取物品的位置特征及旋转特征预测机器人末端执行器执行抓取时的位姿。

14、在某些实施方式中，比较机器人末端执行器点云的位姿，与深度学习网络预测的末端执行器的位姿之间的误差，并基于所述误差更新所述深度学习网络。

15、本申请的实施方式的图像数据处理装置，包括：

16、点云获取模块，用于获取待抓取物品的点云；

17、随机采样模块，用于对获取的待抓取物品的点云进行随机采样，从中随机采集一定数量的点云；

18、位姿预测模块，用于基于所述随机采集的点云，预测所述待抓取物品的位置特征以及旋转特征。

19、在某些实施方式中，所述待抓取物品包括待抓取物品的可抓取区域。

20、在某些实施方式中，所述对获取的待抓取物品的点云进行随机采样包括对获取的待抓取物品的点云进行至少两次随机采样。

21、在某些实施方式中，所述位置特征包括平移参数，和/或所述旋转特征包括欧拉角和/或旋转向量四元数。

22、在某些实施方式中，所述随机采样模块和所述位姿预测模块基于深度学习网络实现。

23、本申请的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式的图像数据处理方法。

24、本申请的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的图像数据处理方法。

25、本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种图像数据处理方法，其特征在于，包括：

2.根据权利要求1所述的图像数据处理方法，其特征在于：所述待抓取物品包括待抓取物品的可抓取区域。

3.根据权利要求1所述的图像数据处理方法，其特征在于：所述对获取的待抓取物品的点云进行随机采样包括对获取的待抓取物品的点云进行至少两次随机采样。

4.根据权利要求1所述的图像数据处理方法，其特征在于，所述位置特征包括平移参数，和/或所述旋转特征包括欧拉角和/或旋转向量四元数。

5.根据权利要求1-4中任一项所述的图像数据处理方法，其特征在于：基于深度学习网络执行点云的随机采样以及预测待抓取物品的位置特征以及旋转特征。

6.根据权利要求5所述的图像数据处理方法，其特征在于，所述深度学习网络还包括线性修正组件和/或批标准化组件。

7.根据权利要求5所述的图像数据处理方法，其特征在于，还包括：在对所述深度学习网络进行训练时，对训练用的点云进行随机抖动、平移，并对随机抖动、平移后的点云进行碰撞检测。

8.根据权利要求5所述的图像数据处理方法，其特征在于，还包括：基于待抓取物品的位置特征及旋转特征预测机器人末端执行器执行抓取时的位姿。

9.根据权利要求8所述的图像数据处理方法，其特征在于，还包括：比较机器人末端执行器点云的位姿，与深度学习网络预测的末端执行器的位姿之间的误差，并基于所述误差更新所述深度学习网络。

10.一种图像数据处理装置，其特征在于，包括：

11.根据权利要求10所述的图像数据处理装置，其特征在于：所述待抓取物品包括待抓取物品的可抓取区域。

12.根据权利要求10所述的图像数据处理装置，其特征在于：所述对获取的待抓取物品的点云进行随机采样包括对获取的待抓取物品的点云进行至少两次随机采样。

13.根据权利要求10所述的图像数据处理装置，其特征在于，所述位置特征包括平移参数，和/或所述旋转特征包括欧拉角和/或旋转向量四元数。

14.根据权利要求10-13中任一项所述的图像数据处理装置，其特征在于：所述随机采样模块和所述位姿预测模块基于深度学习网络实现。

15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的图像数据处理方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的图像数据处理方法。

技术总结
本申请公开了一种图像数据处理方法、装置、电子设备和存储介质。图像数据处理方法包括：获取待抓取物品的点云；对获取的待抓取物品的点云进行随机采样，从中随机采集一定数量的点云；基于所述随机采集的点云，预测所述待抓取物品的位置特征以及旋转特征。本发明的抓取控制方案通过提取物品点云中的部分点云，并基于部分点云估计物品的位置特征和旋转特征，从而可以在工业中常见的物体点云质量不佳的情况下，仍能够获取准确的位姿信息。

技术研发人员：崔致豪,丁有爽,邵天兰
受保护的技术使用者：梅卡曼德（北京）机器人科技有限公司
技术研发日：
技术公布日：2024/1/13