一种垃圾瓶清捡机器人及控制方法与流程

本发明涉及智能机器人技术领域，特别是指一种垃圾瓶清捡机器人及控制方法。

背景技术：

随着中国社会老龄化的现象日益凸显，国内劳动力成本不断上升，人口红利逐渐消失，当前采用人力维护清洁的方式存在人工死角，清洁效率低，打扫不及时等问题，而且清洁工不仅很辛苦，劳动机械性重复，劳动强度大，而且劳动环境导致较高慢性呼吸道疾病发病率，甚至复杂多变的交通和路况会置他们生命于危险之中。

但现有的扫地机器人仍存在不少弊端：1.扫地机器人普遍采用旋转毛刷式结构，使得内部清理维护困难；2.大部分扫地机器人应用场景小，只适合于室内干燥且平坦的地面；3.应用范围也较小，只适合清洁灰尘、碎屑等小型垃圾，面对如塑料瓶等稍大点垃圾无能为力。垃圾瓶属于可回收垃圾，将塑料瓶或玻璃瓶等与其他垃圾放置在一起处理，会增加回收处理的难度，减少了可回收材料的回收率，同时增加了污染。

技术实现要素：

有鉴于此，本发明提供了一种垃圾瓶清捡机器人。

本发明提供一种垃圾瓶清捡机器人，包括：底板、中间层隔板、外壳、机械臂和微型主机，底板下表面设置有主动轮、步进电机和万向从动轮，底板上表面设置有所述微型主机、开发板和步进电机驱动器，步进电机驱动器用于驱动所述步进电机，进而带动主动轮控制机器人运动，微型主机与所述开发板电连接，作为上位机控制作为下位机的所述开发板；

中间层隔板通过连接柱固定连接于所述底板上，所述机械臂固定连接于所述中间层隔板上表面的一端；

外壳固定于所述底板上并包裹所述中间层隔板，外壳上表面一端设置有预留开口，以便所述机械臂从预留开口伸出，将清捡的垃圾瓶投入到外壳上表面的中间固定有的垃圾篓中，上表面另一端固定有激光雷达；

机械臂末端装载双目视觉摄像头，与机械臂共同构成手眼系统，用于清捡垃圾瓶；

微型主机包括有神经网络芯片，所述神经网络芯片用于根据所述激光雷达和所述双目视觉摄像头获取的反馈信息判断待清捡目标是否为垃圾瓶。

本发明通过设计了一种垃圾瓶清捡机器人，通过神经网络芯片进行学习，根据所述激光雷达和所述双目视觉摄像头获取的反馈信息判断待清捡目标是否为垃圾瓶，并进行高效清捡处理，可以增加可回收材料的回收率，降低日常垃圾清扫的难度，还可以对特殊环境如游客较多的环境起到比传统垃圾清扫机器人更好的清洁效果。

优选的，所述开发板为arduinouno开发板。

优选的，所述连接柱为6个，使得整体结构更加稳定。

优选的，所述主动轮、万向从动轮，步进电机和步进电机驱动器均为两个。

优选的，底板上还设置有降压模块、4g通信模块、gps模块和电池；

微型主机与开发板、激光雷达、机械臂、双目视觉摄像头、4g通信模块和gps模块电连接，用于作为上位机通信并控制所有与微型主机电连接的部件；

优选的，双目视觉摄像头和机械臂与上位机相连，使用摄像头对垃圾瓶进行识别，通过机械臂进行抓取。将摄像头于机械臂夹爪上角度固定设置，便于通过对机械臂姿态的判断进而对摄像头的拍摄角度进行控制。

可选的，激光雷达和上位机相连，并进行对垃圾瓶大小、形状和材质的辅助判断。

外壳上还固定有4g天线，并与4g通信模块电连接。

可选的，机器人安装其他通信模块如蓝牙模块进行远程通信。

优选的，步进电机驱动器同时与开发板和步进电机电连接，并接收开发板的脉冲信息，从而根据脉冲信息驱动步进电机，并由所述步进电机带动主动轮进行移动。

优选的，电池通过降压模块与步进电机驱动器、微型主机、激光雷达和机械臂电连接，并进行供电。

优选的，垃圾瓶清捡机器人还包括wifi模块，

wifi模块与微型主机电连接，用于远程通信。

可选的，判断wifi模块是否与网络连接，若连接，则使用wifi模块进行远程通信，若未连接，则通过4g通信模块进行远程通信。

可选的，机器人有两个步进电机，每个步进电机附近还安装有加速度传感器，并与开发板电连接，用于校正机器人的速度。

机械臂末端还安装有激光测距传感器和温湿度传感器，并与开发板电连接，用于校正机器人的精度。

本发明还提供一种垃圾瓶清捡机器人的控制方法，基于机器人系统框架ros进行设计，控制上述的任一种垃圾瓶清捡机器人，方法包括：

s1、机器人的微型主机通过激光雷达获得工作区域的地图；

s2、所述微型主机在所述工作区域上自动规划路线巡检；

s3、神经网络芯片控制所述激光雷达和所述双目视觉摄像头在巡检的过程中识别垃圾瓶；

s4、激光雷达结合所述gps模块测算所述垃圾瓶相对所述机器人在地图上的坐标；

s5、机器人行驶至所述垃圾瓶的所在位置；

s6、双目视觉摄像头测算所述垃圾瓶与机械臂的相对位置信息；

s7、微型主机控制所述机械臂捡起所述垃圾瓶并放入垃圾篓，并继续进行巡检。

优选的，所述工作区域的地图由slam构建。

可选的，所述工作区域的地图也可以通过wifi模块等通过远程通信手段获取。

优选的，所述一种垃圾瓶清捡机器人的控制方法还包括：

微型主机通过与微型主机电连接的所述wifi模块或4g模块与远程控制器进行通信，所述通信包括：接收所述远程控制器发出的远程控制信号，或发送周边环境障碍物信息、机器人定位信息和机器人视野信息给所述远程控制器。

优选的，所述步骤s3包括：

神经网络芯片根据所述激光雷达和所述双目视觉摄像头的反馈信息，构建神经网络进行训练，并识别所述垃圾瓶的形状和材质。

可选的，激光雷达和双目视觉摄像头分别获取目标信息构建相应的训练集和验证集，并构建神经网络进行训练，通过人工智能图像识别技术识别垃圾瓶的形状，判断目标是否为垃圾瓶。还可以通过激光雷达和双目视觉摄像头一起进行神经网络训练，以进一步提高对垃圾瓶材质判断的准确率，并实现精准捡拾塑料瓶或玻璃瓶的效果。

本发明还提供一种垃圾瓶清捡机器人的控制系统，基于机器人系统框架ros进行设计，控制上述的任一种垃圾瓶清捡机器人，包括：

地图服务节点，用于通过激光雷达和gps模块获得工作区域的地图；

路径规划节点，用于通过所述微型主机在工作区域上自动规划路线巡检；

神经网络节点，用于通过所述神经网络芯片控制所述激光雷达和双目视觉摄像头在巡检的过程中识别垃圾瓶；

gps节点，用于通过所述gps模块和所述激光雷达测算所述垃圾瓶相对所述机器人在地图上的坐标；

电机控制节点，用于行驶至所述垃圾瓶的位置；

摄像头节点，用于通过所述双目视觉摄像头测算所述垃圾瓶与所述机械臂的相对位置信息；

机械臂节点，用于通过所述微型主机控制所述机械臂捡起所述垃圾瓶并放入垃圾篓，并继续进行巡检。

优选的，系统还包括：

激光雷达节点，用于将激光雷达扫描出的障碍物信息发布给路径规划节点，或将扫描出的垃圾瓶信息发布给神经网络节点。

机器人姿态发布节点，用于向各节点发布机器人各传感器和部件的坐标变换，例如将激光测距传感器的数值发送给微型主机进行处理。

优选的，系统还包括：

通信节点，用于通过所述微型主机通过与微型主机电连接的所述wifi模块或4g模块与远程控制器进行通信，所述通信包括：接收所述远程控制器发出的远程控制信号，或发送周边环境障碍物信息、机器人定位信息和机器人视野信息给所述远程控制器。

优选的，所述远程控制器可以是工业机器人控制器，也可以是手机app，可以通过微型主机连接的wifi模块或4g模块与机器人的通信节点通信，可人为控制机器人行驶，接收机器人激光雷达，gps模块和双目视觉摄像头模块等发布的信息，在室内外均能远程控制机器人。

本发明还提供一种电子设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法实施例中记载的任何一种垃圾瓶清捡机器人的控制方法的部分或全部步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法实施例中记载的任何一种垃圾瓶清捡机器人的控制方法的部分或全部步骤。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中的一种垃圾瓶清捡机器人结构示意图；

图2是本发明实施例中的一种垃圾瓶清捡机器人控制方法流程图；

图3是本发明实施例中的机器人右向内部结构示意图；

图4是本发明实施例中的机器人左向内部结构示意图；

图5是本发明实施例中的各节点实际通信示意图。

图中：

1、底板2、主动轮3、步进电机4、从动轮5、微型主机6、开发板7、步进电机驱动器8、降压模块9、4g通信模块10、gps模块11、电池12、中间层隔板13、连接柱14、机械臂15、外壳16、垃圾篓17、4g天线18、激光雷达19、双目视觉摄像头。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的实施例提供一种垃圾瓶清捡机器人，如图1所示，包括：底板1、中间层隔板12、外壳15、机械臂14和微型主机5，底板1下表面设置有主动轮2、步进电机3和万向从动轮4，底板1上表面设置有所述微型主机5、开发板6和步进电机驱动器7，步进电机驱动器7用于驱动所述步进电机3，进而带动主动轮2控制机器人运动，微型主机5与所述开发板6电连接，作为上位机控制作为下位机的所述开发板6；

中间层隔板12通过连接柱13固定连接于所述底板1上，所述机械臂14固定连接于所述中间层隔板12上表面的一端；

外壳15固定于所述底板1上并包裹所述中间层隔板12，外壳15上表面一端设置有预留开口，以便所述机械臂14从预留开口伸出，将清捡的垃圾瓶投入到外壳15上表面的中间固定有的垃圾篓16中，上表面另一端固定有激光雷达18；

机械臂14末端装载双目视觉摄像头19，与机械臂14共同构成手眼系统，用于清捡垃圾瓶；

微型主机5包括有神经网络芯片，所述神经网络芯片用于根据所述激光雷达18和所述双目视觉摄像头19获取的反馈信息判断待清捡目标是否为垃圾瓶。

优选的，底板1上还设置有降压模块8、4g通信模块9、gps模块10和电池11，机器人的内部如图3和图4所示；

微型主机5与开发板6、激光雷达18、机械臂14、双目视觉摄像头19、4g通信模块9和gps模块10电连接，用于作为上位机通信并控制所有与微型主机5电连接的部件；

外壳上15还固定有4g天线17，并与4g通信模块9电连接。

优选的，步进电机驱动器7同时与开发板6和步进电机3电连接，并接收开发板6的脉冲信息，从而根据脉冲信息驱动步进电机3，并由所述步进电机3带动主动轮2进行移动。

优选的，电池11通过降压模块8与步进电机驱动器7、微型主机5、激光雷达18和机械臂14电连接，并进行供电。

优选的，垃圾瓶清捡机器人还包括wifi模块，

wifi模块与微型主机5电连接，用于远程通信。

本发明的实施例还提供一种垃圾瓶清捡机器人的控制方法，基于机器人系统框架ros进行设计，控制上述的任一种垃圾瓶清捡机器人，如图2所示，方法包括：

s1、机器人的所述微型主机通过所述激光雷达获得工作区域的地图；

s2、所述微型主机在所述工作区域上自动规划路线巡检；

s3、所述神经网络芯片控制所述激光雷达和所述双目视觉摄像头在巡检的过程中识别垃圾瓶；

s4、所述激光雷达结合所述gps模块测算所述垃圾瓶相对所述机器人在地图上的坐标；

s5、所述机器人行驶至所述垃圾瓶的所在位置；

s6、所述双目视觉摄像头测算所述垃圾瓶与机械臂的相对位置信息；

s7、所述微型主机控制所述机械臂捡起所述垃圾瓶并放入垃圾篓，并继续进行巡检。

优选的，所述一种垃圾瓶清捡机器人的控制方法还包括：

微型主机通过与微型主机电连接的所述wifi模块或4g模块与远程控制器进行通信，所述通信包括：接收所述远程控制器发出的远程控制信号，或发送周边环境障碍物信息、机器人定位信息和机器人视野信息给所述远程控制器。

优选的，所述步骤s3包括：

神经网络芯片根据所述激光雷达和所述双目视觉摄像头的反馈信息，构建神经网络进行训练，并识别所述垃圾瓶的形状和材质。

可选的，激光雷达和双目视觉摄像头分别通过反馈信息构建相应的训练集和验证集，并构建神经网络进行训练，通过人工智能图像识别技术识别垃圾瓶的形状，判断目标是否为垃圾瓶。还可以通过激光雷达和双目视觉摄像头一起进行神经网络训练，以进一步提高对垃圾瓶材质判断的准确率，并实现精准捡拾塑料瓶或玻璃瓶的效果。

上述实施例中涉及到的细胞神经网络或卷积神经网络(cellular/convolutionalneuralnetworks，cnn)芯片，在实际具体实施中，也可以替换为其它机器视觉识别芯片，例如基于浅度学习(shallowlearning)的机器视觉识别芯片、基于自动编码器(autoencoder)、稀疏编码(sparsecoding)、限制玻尔兹曼机(restrictedboltzmannmachine，rbm)、深信度网络(deepbeliefnetworks)等深度学习(deeplearning)算法的机器视觉识别芯片。

本发明的实施例还提供一种垃圾瓶清捡机器人的控制系统，基于机器人系统框架ros进行设计，控制上述的任一种垃圾瓶清捡机器人，包括：

地图服务节点，用于通过所述激光雷达获得工作区域的地图；

路径规划节点，用于通过所述微型主机在工作区域上自动规划路线巡检；

神经网络节点，用于通过所述神经网络芯片控制所述激光雷达和双目视觉摄像头在巡检的过程中识别垃圾瓶；

gps节点，用于通过所述gps模块和所述激光雷达测算所述垃圾瓶相对所述机器人在地图上的坐标；

电机控制节点，用于行驶至所述垃圾瓶的位置；

摄像头节点，用于通过所述双目视觉摄像头测算所述垃圾瓶与所述机械臂的相对位置信息；

机械臂节点，用于通过所述微型主机控制所述机械臂捡起所述垃圾瓶并放入垃圾篓，并继续进行巡检。

在一个具体的实施例中，各节点基于机器人系统框架ros进行设计，具体节点通信示意图如图5所示：

电机控制节点处理速度命令，并根据速度命令向下位机输出脉冲信号。该节点会订阅路径规划节点或远程控制节点发布的cmd_vel话题，话题的具体消息格式主要为：

vector3linear

vector3angular

vector3在ros系统框架中的定义为：

float32x

float32y

float32z

该话题包含机器人在空间坐标系中x、y、z三个方向的线速度和角速度。电机控制节点接收话题后将速度解算成两主动轮分别的转速，然后进一步转换为脉冲频率，控制下位机引脚的脉冲信号，从而驱动电机。

在一个具体的实施例中，地图服务节点将slam所得地图以map话题发布，map话题的主要消息格式如下：

mapmetadatainfo

int8[]data

该话题包含地图的元数据、占用概率。

在一个具体的实施例中，gps节点发布odom话题，odom话题消息格式主要为：

geometry_msgs/posewithcovariancepose

该话题包含机器人的位置信息，gps节点将gps提供的经纬度坐标在slam所得地图上标定转换后，发布odom话题。

在一个具体的实施例中，摄像头节点通过compressed_image话题发布拍摄的图像信息，通过一个训练的网络进行识别塑料瓶，实时监测视野中是否有塑料瓶垃圾，若检测出目标，则利用双目的视差测算出该目标的距离，计算出目标在slam所得地图上的坐标，发布move_goal动作请求，待接收到请求完成的反馈信息后，进一步测出目标与机器人相对位置，发出grip_goal动作请求。在未检测到目标时，随机生成可到达的目标点，发送move_goal请求。

compressed_image的主要消息格式为：

stringformat

uint8[]data

该话题包含图像数据的格式，图像的缓冲数据。

move_goal的主要消息格式为：

float64x

float64y

float64z

该动作消息表示目标点在slam地图上的位置坐标。

grip_goal的消息格式为：

float64x

float64y

float64z

float64w

包含了目标相对于机器人的坐标，以及目标的姿态。

在一个具体的实施例中，机械臂节点接收grip_goal动作请求后，通过逆运动学出机械臂的目标姿态，控制机械臂运动，抓取目标，放入垃圾篓，然后反馈完成信息给摄像头节点。

在一个具体的实施例中，路径规划节点是ros中提供的路径规划节点，包含全局规划和局部规划节点，路径规划节点订阅tf、odom、scan、map话题，在收到move_goal动作请求后，通过全局规划规划出到达目标点的总体路径，再由局部规划规划出每一小段路程的行驶速度，实现实时避障，将速度通过cmd_vel话题发布，在到达目标点附近后，反馈完成信息给摄像头节点。路径规划节点还会对slam地图进行更新。

优选的，系统还包括：

激光雷达节点，用于将激光雷达扫描出的障碍物信息发布给路径规划节点，或将扫描出的垃圾瓶信息发布给神经网络节点。

机器人姿态发布节点，用于向各节点发布机器人各传感器和部件的坐标变换，例如将激光测距传感器的数值发送给微型主机进行处理。

在一个具体的实施例中，激光雷达节点负责将雷达扫描出的障碍物信息发布给路径规划节点，发布scan话题，该话题的消息格式主要为：

headerheader

float32angel_min

float32angle_max

float32angle_increment

float32time_increment

float32scan_time

float32range_min

float32range_max

float32[]ranges

float32[]intensities

该话题包含扫描顺序增加的id序列，激光数据的时间戳，扫描数据的名字，开始扫描的角度，结束扫描的角度，每次扫描增加的角度，测量的时间间隔，扫描的时间间隔，测距的最小值，测距的最大值，一周的障碍物距离，光的强度。这些话题消息首先会用于slam，以构建机器人周围环境的地图，slam在ros中有功能包，可直接调用，该地图以栅格图的形式表示，用于导航中的全局规划。该话题也会由路径规划节点订阅，用于导航中的局部规划以及更新地图。

在一个具体的实施例中，机器人姿态发布节点发布tf话题，该话题的消息格式主要为：

transformtf::transform

该话题包含机器人各部件、传感器的坐标变换数据。

优选的，系统还包括：

通信节点，用于通过所述微型主机通过与微型主机电连接的所述wifi模块或4g模块与远程控制器进行通信，所述通信包括：接收所述远程控制器发出的远程控制信号，或发送周边环境障碍物信息、机器人定位信息和机器人视野信息给所述远程控制器。

优选的，所述远程控制器可以是工业机器人控制器，也可以是手机app，可以通过微型主机连接的wifi模块或4g模块与机器人的通信节点通信，可人为控制机器人行驶，接收机器人激光雷达，gps模块和双目视觉摄像头模块等发布的信息，在室内外均能远程控制机器人。

本发明还提供一种电子设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法实施例中记载的任何一种垃圾瓶清捡机器人的控制方法的部分或全部步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法实施例中记载的任何一种垃圾瓶清捡机器人的控制方法的部分或全部步骤。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。