基于视觉语意分析应用于巡逻机器人的智能巡逻方法与流程

本发明涉及机器人技术领域，特别是涉及一种巡逻机器人的智能巡逻方法。

背景技术

随着社会经济的发展，在小区、商场、会议中心、车站、机场等场所的人流量日益增多，对于这类场合进行完整布控显得尤为重要，采用传统的固定摄像头进行布控不能完全覆盖布控区域，存在很多监控死角，且布控成本也较高，需要很高的布控密度才能达到较好的监控效果，因此，可移动式的巡逻机器人应运而生，巡逻机器人由于其可移动的特性，可以在巡逻区域内进行移动巡逻，补充固定摄像头的监控死角。目前对于巡逻机器人的应用思维仍然和采用固定摄像头的应用思维相同，即巡逻机器人上的摄像头只起到视频录制的作用，不能结合图像作出反应，智能化程度低。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种智能化程度较高、巡逻机器人可结合图像信息执行一定任务的基于视觉语意分析应用于巡逻机器人的智能巡逻方法。

技术方案：为实现上述目的，本发明的基于视觉语意分析应用于巡逻机器人的智能巡逻方法，包括巡逻机器人与数据处理单元，巡逻机器人包含视觉单元；

巡逻机器人在巡逻区域内进行自主导航巡逻，视觉单元采集外界图像信息，所述数据处理单元对视觉单元获取的图像信息进行特征提取，识别图像中的对象，并实时选择性地结合特定的附加条件判断是否满足某一预设触发条件，当满足某一预设触发条件时，执行该触发条件所对应的任务；所述对象包含人、车辆、动物、火焰、浓烟，所述附加条件包含天气、环境、位置，所述触发条件包含单独的对象、不同对象的组合或对象与附加条件的组合。

进一步地，还包括内置或外设于所述巡逻机器人的数据库，数据库中包含可在巡逻区域内通行的人员的面部数据，所述数据处理单元可对人这一类对象进行面部识别，判断其面部数据是否包含在数据库内，若不在数据库内，则构成触发条件执行对应任务。

进一步地，所述数据处理单元可进一步对人这一类对象进行性别和/或年龄推断，并结合推断的性别和/或年龄与附加条件对相应的人进行语音提醒。

进一步地，还包括内置或外设于所述巡逻机器人的数据库，数据库中包含可在巡逻区域内通行的车辆的车牌信息，所述数据处理单元可对车辆这一类对象进行车牌识别，判断被识别车辆的车牌信息是否包含在数据库内，若不在数据库内，则构成触发条件执行对应任务。

进一步地，数据处理单元结合车辆这一类对象及其所处位置这一附加条件判断车辆所处的位置是否在合适的位置，当其所处位置不在合适的位置时，构成触发条件并执行对应任务。

进一步地，数据处理单元首先判断车辆所处位置是否为车位，若否构成触发条件，若是则结合车辆的车牌信息与车辆所处的车位信息判断车辆是否停在正确的车位，若否构成触发条件。

进一步地，数据处理单元可对人与动物这两类对象的结合进行语音提醒，提醒内容包含注意伤人、注意排泄、提醒及时注射防疫针。

进一步地，数据处理单元可针对火焰、烟雾等对象及时发出警报或提醒后台人员注意。

进一步地，所述数据处理单元可连接外部网络资源，针对对象或对象与附加条件的组合挖掘关联数据，并执行相应的任务。

进一步地，所述数据处理单元可以将数据库的数据上传、分发至有监管权限的外部平台，外部平台可针对数据处理单元上传的数据进行自主数据分析，外部平台包含火警平台、医疗急救平台、公安平台。

有益效果：本发明的基于视觉语意分析应用于巡逻机器人的智能巡逻方法具有较高的智能化水平，巡逻机器人的数据处理单元可以对不同的对象以及附加条件的组合作出相应的反应，可以起到防止陌生人员或车辆进入巡逻区域、与人进行交流并给出一些友情提醒、以及及时发现火灾等作用，为使用场合的安防与生活提供便利。

附图说明

附图1为包含巡逻机器人在内的巡逻系统的组成图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如附图1所示，巡逻机器人系统包括巡逻机器人100、数据处理单元200以及数据库300，巡逻机器人100包含视觉单元110；数据处理单元200以及数据库300均可内置在巡逻机器人100中或独立于巡逻机器人100存在，视觉单元110与数据库300均连接数据处理单元200。此外巡逻机器人100还包括用于人机交互的人机交互单元120与环境探测传感器130，人机交互单元120主要包含用于采集声音的麦克风、用于输出图像的显示屏以及用于输出语音的扬声器，也可以包含闪烁报警灯、蜂鸣器等。环境探测传感器130用于探测巡逻机器人100周围的障碍物，在巡逻机器人100前进的过程中辅助其绕开行人、车辆或其他障碍物。

巡逻机器人100在巡逻区域内进行自主导航巡逻，视觉单元110采集外界图像信息，所述数据处理单元200对视觉单元110获取的图像信息进行特征提取，识别图像中的对象，并实时选择性地结合特定的附加条件判断是否满足某一预设触发条件，当满足某一预设触发条件时，执行该触发条件所对应的任务；所述对象包含人、车辆、动物、火焰、浓烟等，所述附加条件包含天气、环境、位置等，所述触发条件包含下列几种情形：

(a)单独的对象；主要是单独的人、单独的车辆、单独的动物等；巡逻机器人100针对单独的人或车辆可以进行问候、给出一些提示、对其身份进行验证等，对于单独的动物，巡逻机器人100可以将位置与动物的图像信息推送至后台并提醒有野生动物出现；

(b)不同对象的组合；如人与动物的组合、人与车辆的组合、多人组成的人群等；对于人与动物的组合，巡逻机器人100可以对人进行语音提醒，提醒内容包括但不限于注意伤人、注意排泄、提醒及时注射防疫针等；对应人与车辆的组合，巡逻机器人100可以给出“请把车辆停到车位”、“禁止乱停车”等提示；对于聚在一起的人群，巡逻机器人100可将现场图像与位置信息发送至后台，由后台人员判断情况是否异常，若后台人员判断情形较异常可安排工作人员前来处理，或给巡逻机器人100指令使巡逻机器人100发出声、光信号驱散人群。

(c)对象与附加条件的组合；如巡逻机器人100遇到行人，结合当天天气预报要下雨的附加条件，可以给行人注意带伞的提示，或者结合该位置不远处在施工的附加条件，可以给出行人注意绕行的提示。

下面结合一些场景对巡逻机器人100的巡逻方法进行详细介绍：

一、结合面部识别功能管理巡逻区域内的通行人员

所述数据库300中包含可在巡逻区域内通行的人员的面部数据，所述数据处理单元200可对人这一类对象进行面部识别，判断其面部数据是否包含在数据库300内，若不在数据库300内，则构成触发条件执行对应任务，执行的任务可以是语音提示陌生人离开、报告后台管理人员注意陌生人的行为或者将陌生人的面部数据保存至数据库300以方便查阅等。

此外，所述数据处理单元200可进一步对人这一类对象进行性别和/或年龄推断，并结合推断的性别和/或年龄与附加条件对相应的人进行语音提醒。如遇到老人、小孩等，巡逻机器人100可提醒其天气变化注意保暖、附近车多注意安全等。

二、结合车牌识别功能管理巡逻区域内的车辆

所述数据库300中包含可在巡逻区域内通行的车辆的车牌信息，所述数据处理单元200可对车辆这一类对象进行车牌识别，判断被识别车辆的车牌信息是否包含在数据库300内，若不在数据库300内，则构成触发条件执行对应任务，执行的任务可以是提示陌生车辆离开、报告后台管理人员跟进处理以及将陌生车辆的车牌信息录入数据库300以方便查阅等。

数据处理单元200结合车辆这一类对象及其所处位置这一附加条件判断车辆所处的位置是否在合适的位置，当其所处位置不在合适的位置(如违章停车、占用消防通道等)时，构成触发条件并执行对应任务(提醒挪车、通知后台、记录在案等)。具体地，数据处理单元200首先判断车辆所处位置是否为车位，若否构成触发条件，若是则结合车辆的车牌信息与车辆所处的车位信息判断车辆是否停在正确的车位，若否构成触发条件，防止车辆占用其他车辆的专用车位，有益于车位的管理并减少纠纷。

三、火灾防范、异常情况识别

数据处理单元200可识别火焰、烟雾等对象并及时发出警报或提醒后台人员注意并确认，同时巡逻机器人100上可以针对火灾等灾害安装专用探测传感器，探测传感器包含烟雾探测器、空气干湿度传感器等，巡逻机器人100靠近疑似火灾区域的现场，其上的探测传感器通过检测烟雾浓度、空气干湿变化并结合视觉单元110获取的图像信息可综合自行判断是否发生火灾，并提醒相关人员或直接报火警，防止深夜等疏于防范时发生火灾。

此外数据处理单元200还可以识别对象的异常状态，例如，数据处理单元200可识别人摔倒的状态，并提醒后台及时给出处理措施，除此之外，还可以识别例如树被刮倒的状态、物品倾倒的状态、公共安全设施(护栏、井盖等)损坏或丢失等，并及时通知后台处理。

四、数据的深度挖掘与共享

为了提高巡逻机器人100的智能化水平，所述数据处理单元200可连接外部网络资源400，针对对象或对象与附加条件的组合挖掘关联数据，并执行相应的任务。如：较为常见地，数据处理单元200可从外部网络资源400中获取天气与空气质量的数据并加以利用提醒用户防雨防霾；数据处理单元200还可以针对不同的使用场合获取不同领域的数据，如巡逻机器人100使用在车站、机场等场合，其可以获取外部网络资源400发布的通缉令、寻人启事等信息，并帮助比对寻找相关人员。同时，数据处理单元200可以将数据库300的数据上传、分发至有监管权限的外部平台，如火警平台、医疗急救平台、公安平台等，外部平台可针对数据处理单元200上传的数据进行自主数据分析、筛查有用信息等操作。

本发明的基于视觉语意分析应用于巡逻机器人100的智能巡逻方法具有较高的智能化水平，巡逻机器人100的数据处理单元200可以对不同的对象以及附加条件的组合作出相应的反应，可以起到防止陌生人员或车辆进入巡逻区域、与人进行交流并给出一些友情提醒、以及及时发现火灾等作用，为使用场合的安防与生活提供便利。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。