一种基于AprilTag视觉定位的巡逻机器人

本发明涉及人工智能技术领域，尤其涉及一种基于apriltag视觉定位的巡逻机器人。

背景技术：

随着计算机视觉科学领域的逐渐发展，视觉技术精准定位已是当前所面临的重要问题，其技术包括基于自然场景识别和基于人工地标识别。而识别率更高、鲁棒性更好的视觉系统就是apriltag，具有很好的开源特性，支持多簇多id的图标同时识别，满足不同场景的需求。

目前针对办公场所工作人员相互递交文件频繁和车间工人搬运零部件繁琐，在取物件不太重的场合中人员重复走动所带来的工作效率低下，且传统视觉中人工地标易受环境、光照等条件影响，识别出错率较高等现象，现提出一种机器人能够主动巡查apriltag图标状况，能第一时间帮助解决传递问题，且24小时巡逻监控一些突发情况。因此，巡逻机器人能充分解决视觉定位和巡逻监控中精准坐标定位和无延时数据传导的问题。

技术实现要素：

本发明的目的在于提供一种基于apriltag视觉定位的巡逻机器人，既能够巡逻避障、视觉定位、监控、人机交互，还能够对工作人员的工作起到搬运的作用。

本发明是通过如下措施实现的：一种基于apriltag视觉定位的巡逻机器人，所述apriltag视觉定位的巡逻机器人用于办公区域或公共场合轮巡监视；

包括底座、壳体、中央处理单元、驱动单元、超声波传感器、图像采集单元、音频采集器、音频播放器、显示器和惯性测量单元；

所述驱动单元分别设置在所述底座上，所述驱动单元由驱动单元一、驱动单元二、驱动单元三和驱动单元四组成，每个驱动单元电控端与行走轮的电驱动端连接并驱动所述行走轮转动；

所述壳体设置在底座上，所述超声波传感器、图像采集单元、音频采集器、音频播放器、显示器分别设置在所述壳体上，所述壳体上开设相应分别用于所述超声波传感器、图像采集单元、音频采集器、音频播放器、显示器外露的开口；

所述中央处理单元和惯性测量单元分别设置在所述底座上，所述中央处理单元通过线路分别与驱动单元、超声波传感器、图像采集单元、音频采集器、音频播放器、显示器、惯性测量单元电连接。

所述巡逻机器人还包括用于给各组件供电的电源，所述电源为蓄电池。

进一步地，所述壳体内设置有至少一个放入物品的容置腔，所述容置腔开口处设置将所述容置腔封闭的舱门。便使用者放入需要搬运的物品件，所述舱门21可以为抽拉式舱门或全开式舱门，所述壳体2可采用abs材料一体成型制成。

所述巡逻机器人本体为椭圆形状，底盘采用麦克纳姆轮设计，其轮毂轴与辊子转轴呈45°角，位于巡逻机器人的背面正中处，上层为抽拉式设计，下层为全开门设计。

进一步地，所述图像采集单元包括两个用于全程监控录像的监控摄像头和一个用于扫tag标签获取信息的apriltag扫码摄像头，所述监控摄像头和apriltag扫码摄像头位于在所述壳体上部，所述监控摄像头和apriltag扫码摄像头分别与中央处理单元控制端连接。

所述监控摄像头采用ov5640-cmos传感器，能自动对焦且输出800万像素高清图像。所述apriltag扫码摄像头采用bm401扫码引擎，内部图像传感器视角范围宽，识读距离有5cm至30cm，并使用补光灯连续识读。所述apriltag扫码摄像头通过bm401扫码引擎读取纸张、玻璃屏幕、塑料等载体上类似于二维码的apriltag标签。

进一步地，所述中央处理单元为zynq处理器，所述zynq处理器内置有通讯模块和语音识别模块。

所述zynq处理器用于前端数据的信息融合处理、网络数据的通讯以及执行机构的控制。所述通讯模块为nb-lot通讯模块，所述语音识别模块为ld3320声控芯片，所述zynq处理器为核心逻辑运算单元，还可内置xc7z020芯片、ddr3存储器、e2prom存储器、rtc时钟模块、pwm隔离电路等，并可支持丰富的接口外设，包括rs232、rs485、can、spi、i²c。

所述zynq处理器为核心逻辑运算单元，位于巡逻机器人的中下处，利用铜柱和钣金作支架与底盘支撑，所述zynq处理器与内部24v畜电池电连接，续航能力能连续工作48小时，并与四个直流磁编码电机通过pwm隔离电路控制电连接。

所述nb-lot通讯模块通过自动驻网后进行coap透传，其特点是固定的收发机制、操作简单，在该模式下只需要设置服务器地址和端口号，即可实现zynq处理器的串口通过nb73-ba直接发送数据到指定的coap服务器，nb-lot通讯模块也可以直接接收来自服务器的数据并将信息转发至zynq处理器,数据传送过程中的协议转换模块自动完成。用户可在微信小程序中查看巡逻机器人的位置和提交搬运命令，通过nb-lot网络直接控制巡逻机器人下任务。

所述ld3320声控芯片，集成高精度ad/da转换，对关键词语设置到相关寄存器把待识别内容以字符形式传递给识别引擎。

进一步地，所述驱动单元为直流磁编码电机，所述行走轮为麦克纳姆轮，通过驱动单元驱动麦克纳姆轮，用于机器人的全方位移动。通过中央处理单元调制控制实现正反转、转弯和急停。

进一步地，所述多个所述超声波传感器设置在所述壳体下部，所述超声波传感器包括发射器和接收器，所述发射器和接收器分别与水平面呈30°夹角设置在所述壳体上，所述发射器和接收器分别与中央处理单元控制端连接。

所述超声波传感器用于在巡逻机器人移动过程中起到多方位的避障作用。所述超声波传感器可选为dyp-a02测距避障传感器，量程范围在3-450cm，开关量输出数据稳定，防护等级ip67设计能适应潮湿恶劣环境，带温补使得测量精度更高，接入zynq处理器的接口可将功耗降至最低。

所述超声波传感器包括有三对，其每对具有一个发射器和一个接收器，所述发射器和接收器分别设置在显示器的下方，分别成60°角方向安装，与内部的zynq处理器电连接。

所述超声波传感器内置温度补偿、智能算法、分体防水、多元输出设计，能够调节测距3-450cm范围，其目的是在移动过程中起到多方位的避障作用。

进一步地，所述音频采集器为麦克风，所述麦克风分别设置在所述壳体中部以及两侧，所述麦克风与中央处理单元控制端连接；用于将采集到的音频传输给中央处理单元进行识别，所述麦克风可采用频率响应范围宽、灵敏度高、全指向降噪的驻极体传声器，麦克风为全向电容插针咪头，具有抗干降噪的特性，输出阻抗2.2kω，灵敏度-30±2db。

所述麦克风采用驻极体式话筒和振动式喇叭，驻极体式话筒尺寸6.0*2.7mm，振动式喇叭尺寸为33*12.6mm，分别安装在巡逻机器人的下方两侧和中间位置，紧挨底盘上方,且与内部的zynq处理器电联接。

进一步地，所述音频播放器为扬声器，所述扬声器可采用低功耗、高频率响应的振动式喇叭；所述扬声器为圆形设计，输出额定阻抗和功率8ω/0.5w，灵敏度73±3db，共振频率达500hz。

进一步地，所述显示器为液晶显示器，所述液晶显示器设置在所述壳体上，并位于图像采集单元下方，所述液晶显示器与中央处理单元控制端连接；用于根据识别到语音命令将存储在中央处理单元内的apriltag标签所在位置进行显示。

所述显示器采用1602显示模块，具有16×2点阵的带背光模组，其目的是显示tag标签视觉识别对应的位置。

所述显示器位于监控摄像头的下方，与内部的zynq处理器电连接，目的是通过接收语音命令识别apriltag标签码去往目的地，显示下一站视觉定位处。

进一步地，所述惯性测量单元为mpu6050九轴运动处理传感器，实时的输出三维角速度信号与加速度信号，以此解算出当前姿态。

所述惯性测量单元还可以是三个加速度计和三个陀螺仪，加速度计和陀螺仪安装在互相垂直的测量轴上，目的是给出空间所需的角速度和加速度参数，与内部的zynq处理器电连接。

所述惯性测量单元是基于mems技术的imu，还内置有温度计进行实时的温度校准，实时的输出三维角速度信号与加速度信号，以此解算出当前姿态。

所述巡逻机器人身高55cm，外壳采用一体成型的abs材质，头部为椭圆形设计，高度20cm，底部为圆柱形设计，高度25cm，底盘设计为相互平行的四个麦克纳姆轮，在每轮中心轴圆周方向布置一圈独立倾斜45°度的行星轮，行星轮把中心轴的前进速度分解成x和y两个方向，每个轮子的精确速度与地面发生滑动摩擦都有约束关系，实现前进及横行，其结构紧凑，运动灵活，驱动部分采用makeblock直流磁编码电机，其pid参数、码盘分辨率、减速比都可通过i²c总线设置，自动保存至e²prom。

本发明在实际使用时：用户先将每一个输送位置信息存储到apriltag标签中，接着对apriltag标签编号后录入巡逻机器人的中央处理单元中，然后在对应的输送位置设置对应的apriltag标签，再通过语音说出编号，音频采集器采集到音频信息后由语音识别单元识别，所述中央处理单元调取内部储存的apriltag标签获取到输送位置后，在液晶显示器上显示所处在的位置，移动巡逻机器人到所在位置，最后用扫码摄像头与输送位置的apriltag标签匹配，语音提醒正确成功，用户可打开舱门取货。

与现有技术相比，本发明的有益效果为：

(1)、本发明对巡逻机器人视觉定位进行智能化控制，超声波传感器具有避障指示，引导机器人转弯出行；监控摄像头通过实时录屏来存储路径和环境现场，起到巡逻的安防效果。

(2)、apriltag扫码摄像头能够在复杂环境下保持快速、稳定读码的高性能状态，识别运算速度快、跟踪准确率和识别率高；惯性测量单元自感应精确检测快速和慢速的运动，实现自适应平衡过程，使机器人平移和旋转能更平衡更稳；zynq处理器可扩展处理平台，满足复杂嵌入式系统的高性能、低功耗和多核处理的要求，通过nb-lot通讯模块，联动前端手机微信小程序可实现搬运和巡逻操作。

(3)、本发明具有标准输入、输出接口，方便与其他装置集成，并可实现远程控制与管理，强大的系统扩容能力。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1是本发明的巡逻机器人正面示意图；

图2是本发明的巡逻机器人背面示意图；

图3是本发明的巡逻机器人电原理框图；

图4是本发明的巡逻机器人中zynq处理器电路图；

图5是本发明的巡逻机器人惯性测量单元电路图；

图6是本发明的巡逻机器人显示器电路图；

图7是本发明的巡逻机器人的超声波传感器电路图；

图8是本发明的巡逻机器人中图像采集单元的监控摄像头电路图；

图9是本发明巡逻机器人行驶示意图；

图10是本发明巡逻机器人的tag16h5标签图；

图11是本发明巡逻机器人的tag25h9标签图；

图12是本发明巡逻机器人的tag36h11标签图；

图13是本发明巡逻机器人的tag41h12标签图。

其中，附图标记为：1、底座；2、壳体；21、舱门；3、中央处理单元；4、驱动单元；5、超声波传感器；6、图像采集单元；7、音频采集器；8、音频播放器；9、显示器；10、惯性测量单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1至图13，本发明提供其技术方案为，一种基于apriltag视觉定位的巡逻机器人，所述apriltag视觉定位的巡逻机器人用于办公区域或公共场合轮巡监视；

包括底座1、壳体2、中央处理单元3、驱动单元4、超声波传感器5、图像采集单元6、音频采集器7、音频播放器8、显示器9和惯性测量单元10；

所述驱动单元4分别设置在所述底座1上，所述驱动单元4由驱动单元一、驱动单元二、驱动单元三和驱动单元四组成，每个驱动单元4电控端与行走轮的电驱动端连接并驱动所述行走轮转动；

所述壳体2设置在底座1上，所述超声波传感器5、图像采集单元6、音频采集器7、音频播放器8、显示器9分别设置在所述壳体2上，所述壳体2上开设相应分别用于所述超声波传感器5、图像采集单元6、音频采集器7、音频播放器8、显示器9外露的开口；

所述中央处理单元3和惯性测量单元10分别设置在所述底座1上，所述中央处理单元3通过线路分别与驱动单元4、超声波传感器5、图像采集单元6、音频采集器7、音频播放器8、显示器9、惯性测量单元10电连接。

所述巡逻机器人还包括用于给各组件供电的电源，所述电源为蓄电池。

进一步地，所述壳体2内设置有至少一个放入物品的容置腔，所述容置腔开口处设置将所述容置腔封闭的舱门21。便使用者放入需要搬运的物品件，所述舱门21可以为抽拉式舱门或全开式舱门，所述壳体2可采用abs材料一体成型制成。

所述巡逻机器人本体为椭圆形状，底盘采用麦克纳姆轮设计，其轮毂轴与辊子转轴呈45°角，位于巡逻机器人的背面正中处，上层为抽拉式设计，下层为全开门设计。抽拉式门的舱体积为15*10*10cm，可以容纳一般零件；全开门的舱体积为15*10*20cm，可以容纳a4纸文件。

进一步地，所述图像采集单元6包括两个用于全程监控录像的监控摄像头和一个用于扫tag标签获取信息的apriltag扫码摄像头，所述监控摄像头和apriltag扫码摄像头位于在所述壳体2上部，所述监控摄像头和apriltag扫码摄像头分别与中央处理单元3控制端连接。

所述监控摄像头采用ov5640-cmos传感器，能自动对焦且输出800万像素高清图像。所述apriltag扫码摄像头采用bm401扫码引擎，内部图像传感器视角范围宽，识读距离有5至30cm，并使用补光灯连续识读。所述apriltag扫码摄像头通过bm401扫码引擎读取纸张、玻璃屏幕、塑料等载体上类似于二维码的apriltag标签。

进一步地，所述中央处理单元3为zynq处理器，所述zynq处理器内置有通讯模块和语音识别模块。

所述zynq处理器用于前端数据的信息融合处理、网络数据的通讯以及执行机构的控制。所述通讯模块为nb-lot通讯模块，所述语音识别模块为ld3320声控芯片，所述zynq处理器为核心逻辑运算单元，还可内置xc7z020芯片、ddr3存储器、e2prom存储器、rtc时钟模块、pwm隔离电路等，并可支持丰富的接口外设，包括rs232、rs485、can、spi、i²c。

所述zynq处理器为核心逻辑运算单元，位于巡逻机器人的中下处，利用铜柱和钣金作支架与底盘支撑，所述zynq处理器与内部24v畜电池电连接，续航能力能连续工作48小时，并与四个直流磁编码电机通过pwm隔离电路控制电连接。

所述nb-lot通讯模块通过自动驻网后进行coap透传，其特点是固定的收发机制、操作简单，在该模式下只需要设置服务器地址和端口号，即可实现zynq处理器的串口通过nb73-ba直接发送数据到指定的coap服务器，nb-lot通讯模块也可以直接接收来自服务器的数据并将信息转发至zynq处理器,数据传送过程中的协议转换模块自动完成。用户可在微信小程序中查看巡逻机器人的位置和提交搬运命令，通过nb-lot网络直接控制巡逻机器人下任务。

所述ld3320声控芯片，集成高精度ad/da转换，对关键词语设置到相关寄存器把待识别内容以字符形式传递给识别引擎。

进一步地，所述驱动单元4为直流磁编码电机，所述行走轮为麦克纳姆轮，通过驱动单元4驱动麦克纳姆轮，用于机器人的全方位移动。通过中央处理单元3调制控制实现正反转、转弯和急停。

进一步地，所述多个所述超声波传感器5设置在所述壳体2下部，所述超声波传感器5包括发射器和接收器，所述发射器和接收器分别与水平面呈30°夹角设置在所述壳体2上，所述发射器和接收器分别与中央处理单元3控制端连接。

所述超声波传感器5用于在巡逻机器人移动过程中起到多方位的避障作用。所述超声波传感器5可选为dyp-a02测距避障传感器，量程范围在3-450cm，开关量输出数据稳定，防护等级ip67设计能适应潮湿恶劣环境，带温补使得测量精度更高，接入zynq处理器的接口可将功耗降至最低。

所述超声波传感器5包括有三对，其每对具有一个发射器和一个接收器，所述发射器和接收器分别设置在显示器9的下方，分别成60°角方向安装，与内部的zynq处理器电连接。

所述超声波传感器5内置温度补偿、智能算法、分体防水、多元输出设计，能够调节测距3-450cm范围，其目的是在移动过程中起到多方位的避障作用。

进一步地，所述音频采集器7为麦克风，所述麦克风分别设置在所述壳体2中部以及两侧，所述麦克风与中央处理单元3控制端连接；用于将采集到的音频传输给中央处理单元3进行识别，所述麦克风可采用频率响应范围宽、灵敏度高、全指向降噪的驻极体传声器，麦克风为全向电容插针咪头，具有抗干降噪的特性，输出阻抗2.2kω，灵敏度-30±2db。

所述麦克风采用驻极体式话筒和振动式喇叭，驻极体式话筒尺寸6.0*2.7mm，振动式喇叭尺寸为33*12.6mm，分别安装在巡逻机器人的下方两侧和中间位置，紧挨底盘上方,且与内部的zynq处理器电联接。

进一步地，所述音频播放器8为扬声器，所述扬声器可采用低功耗、高频率响应的振动式喇叭；所述扬声器为圆形设计，输出额定阻抗和功率8ω/0.5w，灵敏度73±3db，共振频率达500hz。

进一步地，所述显示器9为液晶显示器，所述液晶显示器设置在所述壳体2上，并位于图像采集单元6下方，所述液晶显示器与中央处理单元3控制端连接；用于根据识别到语音命令将存储在中央处理单元3内的apriltag标签所在位置进行显示。

所述显示器9采用1602显示模块，具有16×2点阵的带背光模组，其目的是显示tag标签视觉识别对应的位置。

所述显示器9位于监控摄像头的下方，与内部的zynq处理器电连接，目的是通过接收语音命令识别apriltag标签码去往目的地，显示下一站视觉定位处。

进一步地，所述惯性测量单元10为mpu6050九轴运动处理传感器，实时的输出三维角速度信号与加速度信号，以此解算出当前姿态。

所述惯性测量单元10还可以是三个加速度计和三个陀螺仪，加速度计和陀螺仪安装在互相垂直的测量轴上，目的是给出空间所需的角速度和加速度参数，与内部的zynq处理器电连接。陀螺仪可测精度为±500°/s，加速度计精度为±8g。

所述惯性测量单元10是基于mems技术的imu，还内置有温度计进行实时的温度校准，实时的输出三维角速度信号与加速度信号，以此解算出当前姿态。

所述巡逻机器人身高55cm，外壳采用一体成型的abs材质，头部为椭圆形设计，高度20cm，底部为圆柱形设计，高度25cm，底盘设计为相互平行的四个麦克纳姆轮，在每轮中心轴圆周方向布置一圈独立倾斜45°度的行星轮，行星轮把中心轴的前进速度分解成x和y两个方向，每个轮子的精确速度与地面发生滑动摩擦都有约束关系，实现前进及横行，其结构紧凑，运动灵活，驱动部分采用makeblock直流磁编码电机，其pid参数、码盘分辨率、减速比都可通过i²c总线设置，自动保存至e²prom。

本发明的工作原理为：将每一个输送位置信息存储到apriltag标签中，接着对apriltag标签编号后录入巡逻机器人的中央处理单元3中，然后在对应的输送位置设置对应的apriltag标签，再通过语音说出编号，音频采集器7采集到音频信息后由语音识别单元识别，所述中央处理单元3调取内部储存的apriltag标签获取到输送位置后，在液晶显示器上显示所处在的位置，移动巡逻机器人到所在位置，最后用扫码摄像头与输送位置的apriltag标签匹配，语音提醒正确成功，用户可打开舱门取货。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。