基于机器双目视觉和人工势场避障法的倒茶机器人的制作方法

本发明属于机器人控制技术领域，具体涉及一种基于机器双目视觉和人工势场避障法的倒茶机器人。

背景技术：

目前人们的生活质量日渐提高，对生活中服务的需求量也越来越高，随着人工服务费的提高，我们需要一款价格相对低廉、耐久度高、使用错误率低的服务机器人来满足人们日益增多的需求。

机器视觉是当前人工智能领域的一个快速发展方向，随着机器视觉技术的不断进步，推动了工业自动化、智慧安防和人工智能等行业的进步，也为各个领域的应用带来了更多的发展潜力和机会，其中双目视觉是机器视觉的一个重要分枝。将视觉应用于机械臂是将机器人控制技术和机械视觉技术相结合的产物，可以更好地满足人们需求，融入人们的日常生活。

目前市场上对于端茶倒水机器人的应用并不多，并且市面上的大部分服务机器人为轮式机器人，只能在水平地面上行走并进行服务。其有一个显著的缺点便是体型过大、制作成本过高。虽然功能比较齐全，但是完全不适用于家庭普及。

技术实现要素：

本发明解决的技术问题是提供一种基于机器双目视觉和人工势场避障法的倒茶机器人，解决倒茶服务机器人小型化，家庭化，普适化，自动化的问题。

本发明提供一种基于机器双目视觉和人工势场避障法的倒茶机器人，包括人机交互系统、主控系统、识别与定位系统和机械臂执行系统；人机交互系统、识别与定位系统和机械臂执行系统均与主控系统连接；

人机交互系统，用于获取倒茶指令；识别与定位系统，包括双目摄像头和激光测距模块；机械臂执行系统包括舵机和机械臂；

当人机交互系统接收到倒茶指令时，将指令发送给主控系统；主控系统控制双目摄像头搜寻并识别茶杯，并将茶杯相对机器人的位置信息反馈给主控系统；主控系统控制激光测距模块正对茶杯，获取茶杯相对机器人的距离信息；主控系统根据茶杯的位置和距离信息，结合人工势场避障法和机器人的d-h坐标系反解出舵机旋转角度，利用pid算法控制舵机旋转进而控制机械臂抓取茶杯，抓取茶杯后进行沏茶操作。

进一步地，双目摄像头识别茶杯时，先识别茶杯的颜色，根据茶杯特征色块的rgb值进行图像二值化，突出茶杯。

进一步地，双目摄像头识别茶杯时，两个摄像头分别识别出各自画面中茶杯的图像坐标，通过茶杯在两幅图像中的视差进行相似三角形运算，计算出茶杯的位置信息。

进一步地，主控系统利用pid算法控制激光测距模块旋转，进而使激光测距模块正对茶杯。

进一步地，当双目摄像头与激光测距模块的正方向一致时，主控系统通过控制双目摄像头正对茶杯，进而使激光测距模块正对茶杯。

进一步地，人机交互系统包括语音模块，语音模块接收使用者的语音命令并进行解码，将解码信号发送给主控系统。

进一步地，语音模块设有一级口令，倒茶指令一级口令响应后的预设时间内有效。

进一步地，人机交互系统在机器人完成倒茶动作后通过语音或灯光提示使用者。

进一步地，该机器人还包括电源供电系统，用于给机器人供电。

本发明的有益效果为：本发明的基于机器双目视觉和人工势场避障法的倒茶机器人，将机器双目视觉与机械臂人工势场避障法结合起来，通过人机交互系统获取使用者的指令，通过双目摄像头和激光测距获取茶杯的三维空间坐标，将人工势场法与机械臂运动相结合，配合机械臂运动的反解算法，可以获取机械臂各轴的值，准确抓取完成对倒茶动作，提高了工作效率，便于使用者使用。

进一步地，图像处理采用颜色特征识别与阈值二值化，根据茶杯的rgb值，将图像二值化，使茶杯凸显出来，有助于减少外界环境的影响，准确率高，同时利于后续对茶杯进行处理。

进一步地，使用声控方法操作机器人，方便使用者的使用，通过对语音模块设置一级口令，只有当口令响应后的特定时间内输入倒茶指令，机器人才会执行倒茶动作，可以有效避免干扰。机器人完成倒茶动作后通过语音或灯光提示使用者，便于使用者使用。

附图说明

图1是本发明的基于机器双目视觉和人工势场避障法的倒茶机器人结构框图。

图2是本发明的基于机器双目视觉和人工势场避障法的倒茶机器人控制流程图。

具体实施方式

下面将结合附图对本发明作进一步的说明：

本发明实施例的基于机器双目视觉和人工势场避障法的倒茶机器人，如图1所示，包括人机交互系统、主控系统、识别与定位系统和机械臂执行系统；人机交互系统、识别与定位系统和机械臂执行系统均与主控系统连接；进一步地，该机器人还包括电源供电系统，用于给机器人供电。人机交互系统，用于获取倒茶指令；识别与定位系统，包括双目摄像头和激光测距模块；机械臂执行系统包括舵机和机械臂；

当人机交互系统接收到倒茶指令时，将指令发送给主控系统；主控系统控制双目摄像头搜寻并识别茶杯，并将茶杯相对机器人的位置信息反馈给主控系统；主控系统控制激光测距模块正对茶杯，获取茶杯相对机器人的距离信息；主控系统根据茶杯的位置和距离信息，结合人工势场避障法和机器人的d-h坐标系反解出舵机旋转角度，利用pid算法控制舵机旋转进而控制机械臂抓取茶杯，抓取茶杯后进行沏茶操作。

进一步地，双目摄像头识别茶杯时，先识别茶杯的颜色，根据物体特征色块，即茶杯的rgb值进行图像二值化，突出茶杯，减少外界干扰。双目摄像头识别茶杯时，两个摄像头分别识别出各自画面中茶杯的图像坐标，通过茶杯在两幅图像中的视差进行相似三角形运算，计算出茶杯的位置信息。

进一步地，主控系统利用pid算法控制激光测距模块旋转，进而使激光测距模块正对茶杯。当双目摄像头与激光测距模块的正方向一致时，主控系统通过控制双目摄像头正对茶杯，进而使激光测距模块正对茶杯，进而测出距离信息。

进一步地，人机交互系统包括语音模块，语音模块接收使用者的语音命令并进行解码，将解码信号发送给主控系统。语音模块设有一级口令，倒茶指令一级口令响应后的预设时间内有效，有效避免干扰。人机交互系统在机器人完成倒茶动作后通过语音或灯光提示使用者。

本发明另一实施例的基于机器双目视觉和人工势场避障法的倒茶机器人，如图1所示，包括主控系统，电源供电系统，人机交互系统，识别与定位系统，机械臂执行系统。其中，主控系统部分选用了stm32f407zgt6单片机。电源供电系统包括boost升压电路与稳压电源电路两部分。人机交互系统主要包括ld3320语音识别模块部分。识别与定位系统主要包括两个openmv摄像头构成的双目摄像头以及激光测距模块。机械臂执行系统则主要包括控制六轴机械臂运动的执行机构。

如图2是机器人一个控制周期内的工作流程。机器人首先会判断目前所处的工作状态，若初始化未成功，系统返回重新进行初始化。当初始化成功后，机器人进入等待状态，此时由使用者通过语音向机器人发送指令，ld3320模块收到命令后进行解码，解码后的信息通过串口传给主控芯片进行模式选择。当进入抓取物体模式时，双目摄像头在视野内搜索目标物体，若未搜到则转动机械臂的底盘直至物体出现在视野中。找到物体后，双目摄像头率先识别目标物体位置，通过双目摄像头分别识别出各自画面中茶杯的图像坐标，通过茶杯在两幅图像中的视差进行相似三角形运算，计算出茶杯相对机器人的位置信息。发送位置坐标x和y给主控芯片，使用pid算法控制机械臂底盘旋转，使得摄像头正对物体，并利用激光测距模块获得茶杯的距离z。解出目标物体的三维空间坐标后，反解出机械臂运动位置，结合人工势场避障法与机器人的d-h坐标系反解出舵机旋转角度，利用pid算法控制舵机旋转进而控制机械臂抓取茶杯，抓取茶杯后点亮led，标志着任务已经完成。

人机交互系统的ld3320模块将用户语音输入的信息解码，以特定的频率通过串口发送给主控芯片实现信息的实时反馈，控制系统根据反馈得到的信息进行双目摄像头识别与图像处理，同时反馈得到的信息会用于机械臂控制。ld3320模块采用带有一级指令的口令，在一级口令响应15s之内有效，这样可以规避干扰。

在双目摄像头识别物体时，摄像头先识别图像中的颜色，特别是茶杯的颜色，然后根据物体特征色块的rgb值进行图像二值化，突出目标物体。接着得出目标物体的x和y坐标值，便于机械臂底盘控制转到正对茶杯。将物体的x和y坐标值与激光测距模块所得z值相结合，以特定频率通过串口发送给主控芯片，运算后得出机械臂各轴旋转角度，便于进一步处理。

在机械臂运动抓取物体过程中，机械臂建立d-h坐标系，摄像头识别到的目标物体位置与障碍物位置，通过人工势场法结合机械臂运动反解公式规划出机械臂运动路径，得出每个轴需要旋转的角度，控制舵机旋转到相应位置，方进行机械抓手的抓取工作。当抓取到物体后控制机械臂返回，进行沏茶工作，完成工作后亮灯显示。

综上所述，一种基于机器双目视觉、人工势场避障法与机械臂运动分析的声控倒茶机器人系统，以stm32f407zgt6为核心，以双目openmv摄像头和激光测距模块为传感器，以六轴机械臂为运动模块，结合ld3320语音模块与使用者进行通信。本机器人结合当代机器人学前沿人工智能，通过双目视觉技术和人工势场机器人避障法，其具有高性价比、效率高、可靠性高、能够听取命令并迅速执行。该机器人将改良机器视觉双目识别算法与人工势场法应用于端茶机器人，结合声控模块与六轴机械臂控制，全自动运行。在未来该机器人不仅可以应用于日常生活中针对每个用户进行特色服务，也可以应用于饮品店、饭店等，解放劳动力，提高工作效率，推动我国服务业的发展。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。