基于视觉的多传感器融合的智能防疫机器人及系统

1.本发明涉及防疫机器人，尤其是涉及一种基于视觉的多传感器融合的智能防疫机器人及系统。


背景技术：

2.防疫机器人应用在商场、机场、车站、医疗机构、学校等公共场所的防疫工作，可以极大地节省人力物力，有效地阻断疫情的传播。防疫机器人的发展不仅符合时代，还能满足人们对快疫情期间的需要，提供安全保障。防疫机器人的应用是做好疫情防控工作，减少人与人接触是减少疫情传播风险的有效措施。
3.现有技术中，提供了一些防疫机器人，可以实现体温检测、口罩识别和跟踪等，但是现有的防疫机器人通常会采用让口罩识别和行走引导采用同一套视觉硬件来达到节省物料的目的，但是，上述方案由于缺乏深度信息，机器人的运动对于环境的要求较高，适用范围较窄。


技术实现要素：

4.本发明的目的就是为了提供一种基于视觉的多传感器融合的智能防疫机器人及系统
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于视觉的多传感器融合的智能防疫机器人，包括上下设置的机器人上盖和机器人主体，所述机器人主体内设有旋转轴和驱动旋转轴的旋转电机，所述机器人上盖的中央设有用于所述旋转轴穿过的通孔，所述旋转轴穿过所述通孔的一端固定有传感器盒，所述传感器盒上设有红外摄像头和高清摄像头；
7.所述机器人上盖上设有深度相机、单目相机和扬声器，所述机器人主体的下方设有两个主动轮和两个万向轮；
8.所述机器人主体内设有控制系统，所述红外摄像头、高清摄像头、深度相机、单目相机、扬声器和主动轮均与控制系统连接，所述控制系统被配置为执行以下步骤：
9.获取高清摄像头采集的图像信息，进行人物识别，并检测是否佩戴好口罩；
10.获取红外摄像头采集的数据，并根据人物识别结果得到各人物的各特征点的体温，与预设条件进行对比，并根据对比结果确定各人物是否发烧，并将发烧的人物判定为目标人物；
11.获取深度相机和单目相机的数据，定位目标人物，并控制主动轮跟随目标人物。
12.所述机器人还包括超声波传感器，所述超声波传感器设于机器人主体上并与控制系统连接。
13.所述超声波传感器共设有两个。
14.所述机器人还包括显示屏，所述显示屏设于机器人主体上并与控制系统连接。
15.所述机器人还包括加速度计和陀螺仪，所述加速度计和陀螺仪设于机器人主体
内。
16.所述机器人主体上还设有电池仓。
17.所述电池仓位于机器人主体的底部，且一端开口。
18.所述特征点包括额头、眼睑、脖子和手背。
19.所述根据人物识别结果得到各人物的各特征点的体温，与预设条件进行对比，并根据对比结果确定各人物是否发烧，具体包括：
20.步骤s1：根据人物识别结果得到各人物的各特征点的体温；
21.步骤s2：判断额头温度是否超过设定第一阈值，若为是，则执行步骤s3，反之，选择下一个人物；
22.步骤s3：判断额头温度是否超过第二设定阈值，若为是，则判断该人物已发烧，反之，则执行步骤s4；
23.步骤s4：判断是否获取到该人物的手背温度，若为是，则执行步骤s5，反之，则执行步骤s6；
24.步骤s5：判断手背温度是否超过第三设定阈值，若为是，则判断该人物已发烧，反之，选择下一个人物；
25.步骤s6：判断眼睑温度是否超过第四设定阈值，若为是，则判断该人物已发烧，反之，选择下一个人物。
26.一种机械人系统，包括换电站和如上述的机器人。
27.与现有技术相比，本发明具有以下有益效果：
28.1)采用视觉和超声波结合的避障方案，通过布置于机器人前后的超声波传感器，实时检测机器人行进路线上的障碍物信息，再结合视觉图像的点云数据，使得机器人可以更清晰的判断当前规划路径的可通过性，极大的提高了机器人的避障和路径规划能力。
29.2)更广范围的红外热成像测温和数据共享，通过旋转轴可完成360度范围的旋转，为视频序列的捕获，提供了更广的搜索范围，上接红外热成像摄像头，完成当前视野范围的人体体温数据监控，且通过控制系统的数据分析，可实现单画面内多个人体体温的监测工作，在外置显示屏上显示的同时，将数据信息上传远端计算机实现数据共享。
30.3)高清摄像头的多重功能复用，机器人头部的高清摄像头在完成口罩检测的同时，还可作为安防监控，此时机器人可用于移动的安防侦测，对地图区域实现无死角的安防巡逻，有效的利用了各处的资源。
31.4)通过设计的体温检测逻辑，可以保持高效检测体温，并提高发烧检测的准确度。
32.5)采用智能换电的电源方案，配合自动换电站，机器人在电源不足时，自动前往换电站进行换电，短时间内可完成电源的满载，之后继续投入工作，实现了全天候的工作要求。
附图说明
33.图1为本发明实施例的主视图；
34.图2为本发明实施例内部装置示意图；
35.图3为本发明实施例底盘示意图；
36.图4为本发明实施例用于配套的自动换电站示意图；
37.图5为本发明实施例底盘运动控制流程图；
38.其中：1、高清摄像头，2、红外摄像头，3、信息接传单元，4、旋转轴，5、单目相机，6、深度相机，7、扬声器，8、显示屏，9、超声波传感器，10、左万向轮，11、超声波传感器，12、右万向轮，13、右主动轮，14、旋转电机，15、imu， 16、控制系统，17、左主动轮，18、电池仓，19、坡道，20、换电工作区。
具体实施方式
39.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
40.一种基于视觉的多传感器融合的智能防疫机器人，如图1至图3、图5所示，包括上下设置的机器人上盖和机器人主体，机器人主体内设有旋转轴4和驱动旋转轴4的旋转电机14，机器人上盖的中央设有用于旋转轴4穿过的通孔，旋转轴4 穿过通孔的一端固定有传感器盒，传感器盒上设有红外摄像头2和高清摄像头1；
41.机器人上盖上设有深度相机6、单目相机5和扬声器7，机器人主体的下方设有两个主动轮和两个万向轮；
42.机器人主体内设有控制系统16，红外摄像头2、高清摄像头1、深度相机6、单目相机5、扬声器7和主动轮均与控制系统16连接，控制系统16包括工控机和驱动电路板，两者间通过串口连接，用于发布指令，实现对智能防疫机器人的活动控制，控制系统16被配置为执行以下步骤：
43.获取高清摄像头1采集的图像信息，进行人物识别，并检测是否佩戴好口罩；
44.获取红外摄像头2采集的数据，并根据人物识别结果得到各人物的各特征点的体温，与预设条件进行对比，并根据对比结果确定各人物是否发烧，并将发烧的人物判定为目标人物；
45.获取深度相机6和单目相机5的数据，定位目标人物，并控制主动轮跟随目标人物。
46.机器人还包括超声波传感器，超声波传感器设于机器人主体上并与控制系统 16连接。超声波传感器共设有两个，分别为9和11。两个主动轮用步进轮毂电机直接驱动，可以实现防疫机器人任意方向的前进倒退。机器人前后各两路超声波传感器9，用于收集运动路径上的障碍物信息，并在必要时进行避让。
47.机器人还包括显示屏8，显示屏8设于机器人主体上并与控制系统16连接。
48.机器人还包括加速度计和陀螺仪，加速度计和陀螺仪即成为imu，设于机器人主体内，实时计算姿态角度和加速度。
49.机器人主体上还设有电池仓18，电池仓18位于机器人主体的底部，且一端开口，图4所示，一种机械人系统，包括换电站和如上述的机器人，当机器人电量低时，自主运动至自动换电站，进行全自动的换电池操作，换电过程，用时短。换电后，机器人可立即出站，进行巡检任务，以此实现机器人的全天候巡检。
50.特征点包括额头、眼睑、脖子和手背，根据人物识别结果得到各人物的各特征点的体温，与预设条件进行对比，并根据对比结果确定各人物是否发烧，具体包括：
51.步骤s1：根据人物识别结果得到各人物的各特征点的体温；
52.步骤s2：判断额头温度是否超过设定第一阈值，若为是，则执行步骤s3，反之，选择下一个人物；
53.步骤s3：判断额头温度是否超过第二设定阈值，若为是，则判断该人物已发烧，反之，则执行步骤s4；
54.步骤s4：判断是否获取到该人物的手背温度，若为是，则执行步骤s5，反之，则执行步骤s6；
55.步骤s5：判断手背温度是否超过第三设定阈值，若为是，则判断该人物已发烧，反之，选择下一个人物；
56.步骤s6：判断眼睑温度是否超过第四设定阈值，若为是，则判断该人物已发烧，反之，选择下一个人物。
57.在一些实施例中，还可以采用机器学习与深度学习，机器人在完成区域地图构建后，地图数据将分享至远端计算机，实时掌握地图详细及机器人的位置信息，配合部署多个机器人后，实现可同时检测多个地点的详细信息数据，更好的实现跨域的防疫信息采集和控制。
58.在一些实施例中，行人检测及跟随，使用获取的深度图像建立样本库，通过cnn分类器训练样本得到检测所需的分类器。用自适应值的均值滤波方法对图像进行预处理，确定运动目标所在的感兴趣区域。继而提取目标的hog特征，通过训练好的分类器对这些目标特征进行分类，完成行人检测，最后用meanshift方法对目标进行跟随。
59.在一些实施例中，口罩识别通过高清摄像头1捕捉人脸信息，使用yolo(youonly look once)目标检测算法结合人脸检测模型实现人脸识别，并将识别结果显示于显示屏8上。结合同步的体温数据，显示屏将显示机器人拍摄到的，人体的体温数据以及口罩佩戴情况。
60.在一些实施例中，此智能防疫机器人可自定义应用环境，根据不同需求搭载各类传感器模块，应用范围广，操作简单，用户可以通过开放的sdk开发包增加模块，对智能防疫机器人进行扩展开发。
61.自主导航与避障通过机器人前后各两路的超声波传感器9、11实时获取所在环境的障碍物数据，融合了深度相机6和单目相机5的环境点云数据，结合imu15 得知的机器人自身运动数据。基于扩展卡尔曼滤波的slam算法创建增量式的环境地图，同时用该地图实现自身定位和导航。基于全局规划和局部寻优的改进a* 算法实现机器人增量式构图并优化路径，完成自主避障和路径规划，实现在超市、商场、车站、学校和社区等复杂环境下的行动自如。
62.该发明的行人检测和跟随功能通过深度相机6，单目相机5获取行人体态、衣服特征、等大量的行人样本，由控制系统16对样本进行训练，并结合基于cnn 的目标检测算法，对于行人有了更好的区分度，使智能防疫机器人可以准确识别疑似病患，再由控制系统16，控制左万向轮10，右万向轮12，左主动轮17和右主动轮13，以实现防疫机器人对疑似病患的运动跟随。
63.防疫机器人部署于自动巡检时，首先防疫机器人会自动运行于当前工作区域通过深度相机6，单目相机5以及超声波传感器9、11捕捉当前环境的地图信息和障碍物信息，并在控制系统16生成具体的栅格地图，通过信息接传设备3将地图信息发送至远端计算机，实
现远端的信息共享，同时可远程查看机器人的位置信息以及工作状态。开始自动巡检工作后，机器人在设定的工作区域进行自主的移动，与此同时旋转电机14控制旋转轴4进行旋转，为其上方的红外热成像摄像头2提供更广的监测视野范围，热成像摄像头将监测到的图像数据传至控制系统，控制系统对于得到的数据进行数值分析，判别体温是否正常，高清摄像头1会把拍摄到的视频图像传输至控制系统，控制系统分析获取图像中的人脸数据，使用yolo目标检测算法结合人脸检测模型可判断待测人是否正确佩戴口罩，其识别结果会显示于显示屏8上，若口罩佩戴方式有误，通过扬声器7发出语音提醒。通过信息接收设备3，远程计算机端也可同步接受显示屏画面。远程计算机通过远程控制机器人，可实现跨空间的协同防疫，当监测范围更大时，可通过配置多个防疫机器人对区域进行划分，更加细致的管理大范围的防控工作，通过栅格地图对各个位置的机器人精准掌握。
64.当防疫机器人检测到温度异常时，该人员会被标记为疑似人员，机器人会对该人员进行跟随，并由扬声器7播报语音预警，通过深度相机6，单目相机5获取的行人体态、衣服特征会由信息接传设备3传输给远端计算机，此时远端计算机的栅格地图上会出现疑似人员的标记信号，防疫人员可根据疑似人员特征和栅格地图的引导，迅速的找到该疑似人员进行体温的核查。
65.当防疫机器人在工作中遇到电量不足时，该处的机器人通过信息接传设备上传自己的状态和需要换电的请求信息给远端计算机，远端计算机会就近调配较近距离的机器人接管工作，同时低电量机器人自动前往自动换电站进行换电操作，机器人通过坡道19进入自动换电站，同时自动换电站通过坡道上的感应装置启动换电流程，机器人进入换电工作区20后进入待机状态，其电池仓18的仓门会自动打开，等待换电，通过自动换电站的机械臂完成整个换电工作，之后机器人出站继续完成检疫测温的工作。
66.在某些应用场景下，防疫机器人只需运行于白天，为此在夜间配合机器人的高清摄像头1，可完成指定区域的安防需要，搭配区域原先的监控摄像头，完成区域内无死角的视频监控安防需求，由于提供了自动换电站，符合监控24小时运行的需求。另外机载的电池也可在某些紧急断电情况下，继续为机器人提供持续的电力输出。