一种机器人目标图像抓取方法与流程

本发明涉及机器人控制技术领域，尤其涉及一种机器人目标图像抓取方法。

背景技术：

当前，利用机器人来抓取物体时，一般是利用照相设备拍摄产品的图像，随后对拍摄到的图像进行图像处理以获取诸如物体尺寸之类的物体信息。物体信息随后被发送到机器人的控制单元，使得机器人能够根据物体信息，例如物体尺寸以及照片显示出的物体位置，来控制机器人手臂的具体操作。

传统的机器人以其高刚度、高强度、高精度、高速度的特点在工业领域得到广泛应用，然而，当众多的科研和技术人员付出巨大努力师徒将刚性机器人从工业生产线应用扩展到其他领域(如家政服务、助老助残、农业自动化、医疗康复等)时，却发现严重依赖结构化环境和精确数学模型的机器人在上述的非结构复杂环境中与难以用准确的数学模型加以描述。复杂多变对象进行交互作业时，机器人的高刚度、高强度、高精度特点反而成为导致其不能胜任此类任务的缺点。在这种情况下，机器人研究逐渐兴起。

对于抓取机器人而言，设计和制造类似人的手指比较困难，容易出现故障，并且使用控制器控制机械手指的几十个关节也很复杂。新时代的人们需要更高级的仿制人手。这种仿制手能够更好地进行人机互动，能够更加灵活地在复杂的环境中工作。

技术实现要素：

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种机器人目标图像抓取方法，通过3d相机拍摄图像，视觉反馈法定位目标物，根据逆运动学计算得出抓取目标物期望轨迹，使得这种仿制手更好地进行人机互动，能够更加灵活地在复杂的环境中工作。

(二)技术方案

为解决上述问题，本发明提供了一种机器人目标图像抓取方法，包括：

机器人旋转带动其头部3d相机识别目标物体并拍摄图像；

机器人移动至其机械手抓取目标物时最佳工作空间的位置；

3d相机从不同方位拍摄目标物，并将图像信号传输给计算机，计算机利用图像信息对目标物进行3d建模；

根据逆运动学规划机械手末端执行器的抓取位姿，并产生一条机械臂运动无碰撞的目标抓取路径；

利用机器人手臂逆运动学模型计算各关节电机的转动量，生成期望轨迹，末端执行器产生相应动作协调实现仿人稳定抓取目标物。

优选的，通过手眼标定将3d相机坐标系下的目标物空间位置信息转换到机械臂基座标系下表示，用于对目标物的定位。

优选的，3d相机拍摄的图像进行预处理时基于hsv模型对h颜色通道进行颜色分割-轮廓提取-形态学去除-部分干扰-霍夫变换圆检测-圆率、面积大小、外接矩形面积、面积大小/外接矩形面积比值等，以此设置阈值进行最终的识别。

优选的，根据目标位姿信息，利用三次b样条曲线拟合出一条光滑过渡的轨迹。

优选的，三次b样条曲线拟合主要根据德布尔推导公式最终得到以下曲线方程：p(x)＝p1*n1+p2*n2+p3*n3+p4*n4；其中：其中p1…pi为控制顶点。

优选的，抓取目标物期望轨迹的获取步骤为：

s1、由逆运动学求解出末端离散点反求得到各个离散点对应的关节角度；

s2、利用三次样条曲线对各个关节角进行拟合，得到各个关节的抓取目标的期望轨迹，对期望轨迹的跟踪，基于前期采用的pid控制效果不是很理想，拟主要采用自抗扰控制技术。

优选的，自抗扰控制器(adrc)由跟踪器(td)、非线性状态误差反馈控制律(nlsef)及扩张状态观测器(eso)三部分组成，这三部分有机结合成的adrc可很好解决对被控对象进行跟踪控制。

优选的，采用视觉反馈法对目标物定位。

优选的，视觉反馈法的步骤为：

s1、先粗运动控制，使机械手运动到目标物范围，这时视觉系统可同时看到机械手末端和目标；

s2、在机械说目的贴上一个易识别定位的标签，此时可以实时检测标签与目标中心的位置误差；

s3、根据误差作为adrc的期望跟踪量，得到各个关节微转动量，最后实现精准控制到目标位置。

本发明中，实际工作环境使用时，机器人系统旋转带动其头部3d相机拍摄场景搜索目标物，识别目标物后，机器人系统移动至其机械手抓取目标物时最佳工作空间的位置，接着3d相机从不同方位拍摄目标物，并将图像信号传输给计算机，然后计算机利用图像信息对目标物进行3d建模，并规划末端执行器的抓取位姿，并产生一条机械臂运动无碰撞的目标抓取路径，利用机器人手臂逆运动学模型计算各关节电机相应的转动量，最后控制器生成控制指令控制机械手各个关节电机联合运动跟踪期望轨迹，末端执行器产生相应动作协调实现仿人稳定抓取目标物。这种仿制手可以更好地进行人机互动，能够更加灵活地在复杂的环境中工作。

本发明中，通过手眼标定对目标物进行定位，使得定位更加便捷准确；图像进行预处理时，采用以上基准，使得图像处理更加便捷；利用三次b样条曲线拟合出一条光滑过渡的轨迹，保证机械手运动的平稳性，避免突变而产生的抖振加大机械设备的磨损；通过曲线方程计算曲线拟合点坐标，结果更加准确，保证机械手运动的平稳性；自抗扰控制器的使用使得控制效果较好；采用视觉反馈法对目标物定位可精确定位。

附图说明

图1为本发明提出的一种机器人目标图像抓取方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，本发明提出的一种机器人目标图像抓取方法，机器人旋转带动其头部3d相机识别目标物体并拍摄图像；

机器人移动至其机械手抓取目标物时最佳工作空间的位置；

3d相机从不同方位拍摄目标物，并将图像信号传输给计算机，计算机利用图像信息对目标物进行3d建模；

根据逆运动学规划机械手末端执行器的抓取位姿，并产生一条机械臂运动无碰撞的目标抓取路径；

利用机器人手臂逆运动学模型计算各关节电机的转动量，生成期望轨迹，末端执行器产生相应动作协调实现仿人稳定抓取目标物。

本发明中，实际工作环境使用时，机器人系统旋转带动其头部3d相机拍摄场景搜索目标物，识别目标物后，机器人系统移动至其机械手抓取目标物时最佳工作空间的位置，接着3d相机从不同方位拍摄目标物，并将图像信号传输给计算机，然后计算机利用图像信息对目标物进行3d建模，并规划末端执行器的抓取位姿，并产生一条机械臂运动无碰撞的目标抓取路径，利用机器人手臂逆运动学模型计算各关节电机相应的转动量，最后控制器生成控制指令控制机械手各个关节电机联合运动跟踪期望轨迹，末端执行器产生相应动作协调实现仿人稳定抓取目标物。这种仿制手可以更好地进行人机互动，能够更加灵活地在复杂的环境中工作。

在一个可选的实施例中，通过手眼标定将3d相机坐标系下的目标物空间位置信息转换到机械臂基座标系下表示，用于对目标物的定位。

需要说明的是，通过手眼标定对目标物进行定位，使得定位更加便捷准确。

在一个可选的实施例中，3d相机拍摄的图像进行预处理时基于hsv模型对h颜色通道进行颜色分割-轮廓提取-形态学去除-部分干扰-霍夫变换圆检测-圆率、面积大小、外接矩形面积、面积大小/外接矩形面积比值等，以此设置阈值进行最终的识别。

需要说明的是，图像进行预处理时，采用以上基准，使得图像处理更加便捷。

在一个可选的实施例中，根据目标位姿信息，利用三次b样条曲线拟合出一条光滑过渡的轨迹。

需要说明的是，利用三次b样条曲线拟合出一条光滑过渡的轨迹，保证机械手运动的平稳性，避免突变而产生的抖振加大机械设备的磨损。

在一个可选的实施例中，三次b样条曲线拟合主要根据德布尔推导公式最终得到以下曲线方程：p(x)＝p1*n1+p2*n2+p3*n3+p4*n4；其中：其中p1…pi为控制顶点。

需要说明的是，通过曲线方程计算曲线拟合点坐标，结果更加准确，保证机械手运动的平稳性。

在一个可选的实施例中，抓取目标物期望轨迹的获取步骤为：

s1、由逆运动学求解出末端离散点反求得到各个离散点对应的关节角度；

s2、利用三次样条曲线对各个关节角进行拟合，得到各个关节的抓取目标的期望轨迹，对期望轨迹的跟踪，基于前期采用的pid控制效果不是很理想，拟主要采用自抗扰控制技术。

需要说明的是，可通过以上步骤，得到抓取目标物期望轨迹。

在一个可选的实施例中，自抗扰控制器(adrc)由跟踪器(td)、非线性状态误差反馈控制律(nlsef)及扩张状态观测器(eso)三部分组成，这三部分有机结合成的adrc可很好解决对被控对象进行跟踪控制。

需要说明的是，自抗扰控制器的使用使得控制效果较好。

在一个可选的实施例中，采用视觉反馈法对目标物定位。

需要说明的是，采用视觉反馈法对目标物定位可精确定位。

在一个可选的实施例中，视觉反馈法的步骤为：

s1、先粗运动控制，使机械手运动到目标物范围，这时视觉系统可同时看到机械手末端和目标；

s2、在机械说目的贴上一个易识别定位的标签，此时可以实时检测标签与目标中心的位置误差；

s3、根据误差作为adrc的期望跟踪量，得到各个关节微转动量，最后实现精准控制到目标位置。

需要说明的是，通过以上步骤可得到目标物的精确位置。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。