基于触觉与视觉结合的多模态物体抓取方法与系统与流程

文档序号:20512726发布日期:2020-04-24 18:43阅读:来源:国知局

技术特征:

1.一种基于触觉与视觉结合的多模态物体抓取方法,其特征在于,包括:

a1、对相机进行标定,以实现从世界坐标系向像素坐标系的转换;

a2、对从所述相机获取的图像进行背景干扰因素的滤除;

a3、对a2中的图像进行预处理得到抓取候选区域集合,从所述抓取候选区域集合中选择n个得分最高的抓取候选区域作为机械手可行抓取区域;

a4、控制机械手随机选择一个所述机械手可行抓取区域,以一定的力闭合,并停留m个时间周期对目标物体进行触觉数据采集;将采集到的触觉数据与a2中得到的图像数据融合输入进卷积神经网络中,判定抓取是否可行;若不可行则按照同样的步骤对另外的所述机械手可行抓取区域进行判断;若n个机械手可行抓取区域都判定为不可抓取,则判定所述目标物体超出机械手抓取的能力范围;

a5、发出抓取指令,以控制机械臂和机械手完成抓取所述目标物体的动作。

2.根据权利要求1所述方法,其特征在于还包括建立数据集:

获取多种物体的视觉数据;

获取每个物体的不同部位所使用的力由小至大持续采集p个触觉传感器数据采集周期的触觉数据,并最后叠加所有时间序列的触觉数据,一个部位得到p+1个触觉数据,一个物体采集多个部位,得到多组触觉数据;

使所述多组触觉数据对齐;

将所述视觉数据和所述触觉数据排列成一列,以实现视觉数据和触觉数据的融合,得到视觉触觉数据;

将所述视觉触觉数据输入到所述卷积神经网络,训练出数据集内不同目标物体的特征。

3.根据权利要求2所述方法,其特征在于所述使所述多组触觉数据对齐具体为:采用dtw动态时间规划的方法使所述多组触觉数据对齐。

4.根据权利要求2所述方法,其特征在于:所述多组触觉数据为二指机械手的两组触觉数据。

5.根据权利要求1所述方法,其特征在于所述a1具体为:运用张正友棋盘标定法对相机进行标定。

6.根据权利要求1所述方法,其特征在于所述a2包括:对所述图像做前景和背景的二分类并框选出前景中的目标物体;完成分类之后对背景做掩模操作。

7.根据权利要求1所述方法,其特征在于:所述机械手为二指机械手;所述卷积神经网络为y=f(x);其中,y为是否可以抓取,为0、1二值分布;x=(dcamera,dlsensor,drsensor),其中,dcamera,dlsensor,drsensor分别为从相机、二指机械手的左指尖触觉传感器、二指机械手的右指尖触觉传感器获取的触觉数据。

8.根据权利要求2所述方法,其特征在于:所述n的值为3,所述m的值为100,所述p的值为100。

9.一种基于触觉与视觉结合的多模态物体抓取系统,其特征在于:包括相机、机械手、机械臂、主控制计算机和力传感器;所述主控制计算机用于执行根据权利要求1至8任一项所述方法。

10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有程序指令,所述程序指令被计算机的处理器执行时使所述处理器执行根据权利要求1至8任一项所述方法。


技术总结
本申请实施例公开一种基于触觉与视觉结合的多模态物体抓取方法与系统。所述方法包括:对相机进行标定;对从所述相机获取的图像进行背景干扰因素的滤除;对所述图像进行预处理得到抓取候选区域集合,从所述抓取候选区域集合中选择N个得分最高的抓取候选区域作为机械手可行抓取区域;控制机械手随机选择一个所述机械手可行抓取区域,以一定的力闭合,并停留M个时间周期对目标物体进行触觉数据采集;将采集到的触觉数据与A2中得到的图像数据融合输入进卷积神经网络中,判定抓取是否可行;发出抓取指令,以控制机械臂和机械手完成抓取所述目标物体的动作。所述系统用于执行所述方法。本申请实施例可提高一次性抓取成功率。

技术研发人员:刘厚德;周星如;张郑;王学谦;阮见;刘思成;梁斌
受保护的技术使用者:清华大学深圳国际研究生院
技术研发日:2019.12.17
技术公布日:2020.04.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1