本发明涉及电子技术领域,尤其涉及一种飞行陪伴机器人控制方法及装置。
背景技术:
随着智能手机产品的普及以及手机功能的丰富,现代人们对手机的依赖会愈加强烈,随之而来的负面影响就是造成了严重的用眼过度,很难想象长此以往发展下去,未来十年、二十年、三十年后,人类的眼睛将是一个怎样的状况,因此如何能够帮助人们摆脱对手机的依赖成为一个迫在眉睫的研究课题。
随着智能机器人应用领域的扩大,人们期望机器人可以在更多领域为人类服务,现阶段我国机器人行业也是群雄并起、如火如荼,在人机交互、大数据建立以及深度学习等方面技术已经走在了世界同行业的前列,可以说智能机器人行业应该是中国实现弯道超车的重要抓手,因此国家在这方面正在不断的加大投资和政策倾斜力度。
现阶段获得专利的陪伴机器人大多是利用双腿行走或者是轮式以及履带式行走机构实现运动的,这类机器人大多体积庞大,行动缓慢,灵活性较低,因此对使用环境的要求就会比较高,成本也居高不下,造成了智能机器人普及率还比较低的现实情况。
另外,现有的智能机器人的学习效率较低,不能满足人们的陪伴需求。
技术实现要素:
本发明旨在解决上述问题之一。
本发明的主要目的在于提供一种飞行陪伴机器人控制方法;
本发明的另一目的在于提供一种飞行陪伴机器人控制装置。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明一方面提供了一种飞行陪伴机器人控制方法,包括:建立蜂巢层级神经网络系统,蜂巢层级神经网络系统至少包括底层蜂巢神经网络、中层蜂巢神经网络以及高层蜂巢神经网络,每层蜂巢神经网络包括多个蜂巢单元,每个蜂巢单元组成一个指令应答模块,包括六个单元壁,每个蜂巢单元根据互不相同的信息源通过六个单元壁获取输入信息,其中,六个单元壁对应六条信息源,每个单元壁对应的信息源互不相同,六条信息源分别为六个信息条件,六个信息条件包括:环境、大数据、云平台、应用市场、情绪分析和信息提存;接收指令,判断指令是自主动作还是指令动作;如果是自主动作,根据蜂巢层级神经网络系统存储的预设应答模式控制飞行陪伴机器人对指令进行响应;如果是指令动作,对指令进行指令意图分析,将指令意图分析结果融合到中层蜂巢神经网络的加权系数中,并对指令进行字段分析,将字段分析结果输入底层蜂巢神经网络辅助信息采集,根据第三结果控制飞行陪伴机器人对指令进行响应;其中,第三结果通过如下方式获得:底层蜂巢神经网络根据指令结合字段分析结果以蜂巢单元为单位按照各自的信号采集路径和采集方式采集输入信息,组合成以底层蜂巢单元为单位的底层指令应答模块,将每个蜂巢单元采集的输入信号进行整合形成底层蜂巢单元信息总和值数据,将底层蜂巢单元信息总和值数据代入激励函数进行运算,并将第一结果输出到中层蜂巢神经网络;中层蜂巢神经网络结合指令意图分析结果对第一结果中的每个底层蜂巢单元中的每一个信息数据增加不同的加权系数并进行整合形成中层蜂巢单元信息总和值数据,将中层蜂巢单元信息总和值数据代入激励函数进行运算,并将第二结果输出到高层蜂巢神经网络;高层蜂巢神经网络将第二结果中的每个中层蜂巢单元中的数据根据预设分析方式进行分析,选取理想的蜂巢单元中的数据代入激励函数进行运算并输出第三结果。
此外,第三结果通过如下公式计算:
oj=f(f(f(xai+xbi+yai+ybi+zai+zbi)+(xan+xbn+yan+ybn+zan+zbn)wij)
+xaj+xbj+yaj+ybj+zaj+zbj)
其中,xai、xbi、yai、ybi、zai、zbi表示底蜂巢层神经网络的各个输入,xan、xbn、yan、ybn、zan、zbn表示中层蜂巢神经网络的各个输入,wij为加权系数,xaj、xbj、yaj、ybj、zaj、zbj表示高层蜂巢神经网络的各个输入,f(·)为激励函数。
此外,接收指令包括:通过传感器接收多模态的输入信号,对输入信号进行模数转换,得到指令。
此外,如果是自主动作,且缺少辅助动作执行的参数,则请求补充指令中的参数,重新执行接收指令的操作。
此外,如果是指令动作,且根据第三结果不能对指令提出执行方案,则请求用户补充指令中的参数,重新执行接收指令的操作。
此外,方法还包括:对指令以及第三结果进行存储。
本发明另一方面还提供了一种飞行陪伴机器人控制装置,包括:建立模块,用于建立蜂巢层级神经网络系统,蜂巢层级神经网络系统至少包括底层蜂巢神经网络、中层蜂巢神经网络以及高层蜂巢神经网络,每层蜂巢神经网络包括多个蜂巢单元,每个蜂巢单元组成一个指令应答模块,包括六个单元壁,每个蜂巢单元根据互不相同的信息源通过六个单元壁获取输入信息,其中,六个单元壁对应六条信息源,每个单元壁对应的信息源互不相同,六条信息源分别为六个信息条件,六个信息条件包括:环境、大数据、云平台、应用市场、情绪分析和信息提存;接收模块,接收指令,判断指令是自主动作还是指令动作;第一响应模块,用于在指令是自主动作时,根据蜂巢层级神经网络系统存储的预设应答模式控制飞行陪伴机器人对指令进行响应;第二响应模块,用于在指令是指令动作时,对指令进行指令意图分析,将指令意图分析结果融合到中层蜂巢神经网络的加权系数中,并对指令进行字段分析,将字段分析结果输入底层蜂巢神经网络辅助信息采集;根据第三结果控制飞行陪伴机器人对指令进行响应;其中,第三结果通过如下方式获得:底层蜂巢神经网络根据指令结合字段分析结果以蜂巢单元为单位按照各自的信号采集路径和采集方式采集输入信息,组合成以底层蜂巢单元为单位的底层指令应答模块,将每个蜂巢单元采集的输入信号进行整合形成底层蜂巢单元信息总和值数据,将底层蜂巢单元信息总和值数据代入激励函数进行运算,并将第一结果输出到中层蜂巢神经网络;中层蜂巢神经网络结合指令意图分析结果对第一结果中的每个底层蜂巢单元中的每一个信息数据增加不同的加权系数并进行整合形成中层蜂巢单元信息总和值数据,将中层蜂巢单元信息总和值数据代入激励函数进行运算,并将第二结果输出到高层蜂巢神经网络;高层蜂巢神经网络将第二结果中的每个中层蜂巢单元中的数据根据预设分析方式进行分析,选取理想的蜂巢单元中的数据代入激励函数进行运算并输出第三结果。
此外,第三结果通过如下公式计算:
oj=f(f(f(xai+xbi+yai+ybi+zai+zbi)+(xan+xbn+yan+ybn+zan+zbn)wij)
+xaj+xbj+yaj+ybj+zaj+zbj)
其中,xai、xbi、yai、ybi、zai、zbi表示底蜂巢层神经网络的各个输入,xan、xbn、yan、ybn、zan、zbn表示中层蜂巢神经网络的各个输入,wij为加权系数,xaj、xbj、yaj、ybj、zaj、zbj表示高层蜂巢神经网络的各个输入,f(·)为激励函数。
此外,接收模块通过如下方式接收指令:通过传感器接收多模态的输入信号,对输入信号进行模数转换,得到指令。
此外,第一响应模块,还用于在指令是自主动作,且缺少辅助动作执行的参数时,请求补充指令中的参数,指示接收模块重新执行接收指令的操作。
此外,第二响应模块,还用于在指令是指令动作,且根据第三结果不能对指令提出执行方案时,请求用户补充指令中的参数,指示接收模块重新执行接收指令的操作。
此外,装置还包括:存储模块;存储模块,用于对指令以及第三结果进行存储。
由上述本发明提供的技术方案可以看出,本发明提供的飞行陪伴机器人控制方法及装置,其中蜂巢层级神经网络系统将辅助机器人系统做出决策的所有信息源整合成六类条件,与蜂巢单元的六个单元壁一一对应,每一个单元壁代表一种类型的条件,系统依据指令要求按单元壁分类采集信息条件,系统将采集的各类信息进行分析和分配权重,并最终做出决策判断。通过蜂巢层级神经网络系统可以最大限度的采集各类相关信息,大数据、云平台和应用市场为系统提供标准化、模块化的参数信息;环境和情绪分析为系统提供更人性化、个性化的参数信息;信息提存为系统提供更加智能化和深度学习后的一类参数信息,该类信息增加了系统的智能化程度,使飞行陪伴机器人的思考方式更加接近于人类。蜂巢层级神经网络系统兼顾了人机智能交互的可控性和智能性,既保证了系统可以按照预设的程序模式按图索骥,又赋予了系统深度学习和思考的能力,结合场境因素,给予用户最符合其气质特征和心理需求的目标答案。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的飞行陪伴机器人的俯视图;
图2为本发明实施例提供的飞行陪伴机器人的主视图;
图3为本发明实施例提供的飞行陪伴机器人的仰视图;
图4为本发明实施例提供的飞行陪伴机器人控制方法的流程图;
图5为本发明实施例提供的蜂巢层级神经网络的数学模型;
图6为本发明实施例提供的飞行陪伴机器人控制装置的结构示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或数量或位置。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面将结合附图对本发明实施例作进一步地详细描述。
本发明实施例提供的飞行陪伴机器人,其可以设置为如图1至图3所示的结构,当然,还可以根据需要增加其他部件或者删减部分部件,以下仅对本发明实施例提供的飞行陪伴机器人的结构进行简要说明,但本发明并不局限于此,其他根据需要自行设定的增加或者删减的结构均应属于本发明的保护范围。
参见图1至图3,本发明实施例提供的飞行陪伴机器人可以包括:球形舱1和基座2,球形舱1和基座2整体组合在一起可以呈飞碟形状,球形舱1嵌在基座2内,可以依靠卡扣固定,当然也可以通过其他方式固定。
球形舱1内中间位置可以并排设置影像摄像模块101(例如高清摄像头)和第一红外摄像模块102(例如第一红外摄像头),球形舱1的双摄像头中间还可以设置第一闪光灯103,球形舱1圆弧面下部分布内置天线104。
基座2上部可以设置为圆弧状,底部为扁平的圆形平面,基座2的边缘可以均匀分布四个超声波模块201(例如超声波传感器),当然也可以根据需要设置为八个或者其他数量,这在本发明中并不做限制,本发明仅以四个为例进行说明。基座2上部圆弧面中间位置可以设置第一热释电红外模块202(例如第一热释电红外传感器),基座2上部还设置惯性测量模块203,可以包括陀螺仪传感器2031和加速度传感器2032,基座2上部还可以设置角度测量模块204(例如角度传感器),基座2上部还可以设置温度传感器205,基座2上部还可以设置语音播放模块206(例如音频播放器)和声学采集模块207(例如声学传感器),基座2上部圆弧面还可以设置指纹识别模块208,基座2上部圆弧面靠近底面处还可以设置充电接口209和usb接口210等。
基座2底部中央可以设置红外投影模块211(例如红外投影仪),在基座底部接近红外投影仪镜头处设置第二热释电红外模块212(例如第二热释电红外传感器),基座2底部接近红外投影仪镜头处还可以设置第二红外摄像模块213(例如小型的第二红外摄像头),基座2底部红外投影仪旁边还可以设置第二闪光灯214。
基座2底部平面周边可以均匀分布四个内嵌式旋翼215,当然也可以根据需要设置为八个或者其他数量,这在本发明中并不做限制,本发明仅以四个为例进行说明。基座2边缘一周粘合环形橡胶护垫216,基座2底部对称设置四个半球形实心橡胶护垫217,当然也可以根据需要设置为八个或者其他数量,这在本发明中并不做限制,本发明仅以四个为例进行说明。旋翼215外部有碳纤维护网218,防止旋翼伤手。基座2下部设两组电机219,每组两个,分别与四个旋翼215相连,通过电机控制器驱动旋翼飞行。
本发明实施例提供的飞行陪伴机器人基座底部周边均匀分布的四个旋翼215为飞行陪伴机器人提供飞行动力,四个旋翼215处于一个高度平面,四个旋翼215结构和半径完全相同,两组电机219位于基座底部对称两侧两个旋翼中间,每组两个电机219,通过电机控制器调节电机219转速改变旋翼转速,实现升力变化,从而控制飞行姿态和位置。四个旋翼215的两个相对设置的旋翼逆时针旋转,另外两个相对设置的顺时针旋转,因此当飞行陪伴机器人平衡飞行时,陀螺效应和空气动力扭矩效应均被抵消。飞行陪伴机器人通过调节四个旋翼215的旋转方向和转速实现垂直运动、俯仰运动、滚转运动、偏航运动、前后运动和倾向运动。
基座2内下部的红外投影仪两侧可以各设置一块石墨烯基锂离子电池220为飞行陪伴机器人提供电能。石墨烯基锂离子电池储电量高于普通锂离子电池,充电速度快。
基座2外壳可以为碳纤维材质,球形舱1材质可以采用聚碳酸酯材质。
基座2内可以设置基于xilinx产品集成fpga(field-programmablegatearray,现场可编程门阵列)与arm(acornriscmachine,嵌入式微处理器)的片上系统(system-on-chip,soc)——zynq-7020为主控制单元。zynq-7020可以包括处理器系统(processorsystem,ps)与可编程逻辑(programmablelogic,pl),其中ps可以基于armcortex-a9双核处理器构建,而pl可以由xilinx的7系列fpga构成,可以使用verilog语言编程。飞行陪伴机器人可以使用ros(robotoperatingsystem,机器人操作系统),系统可以集成机器人的人机交互模块、传感器数据采集模块、视觉识别模块、通讯模块、拍摄模块、无线网络模块、蓝牙模块、交互投影模块、飞行控制模块、导航模块和翻译模块等功能模块,负责人机交互、指令解析、行为控制、数据上传等功能。为与ros通讯接口保持一致,可以使用ubuntu作为操作系统,运行于zynq的ps端arm处理器之中。
本发明实施例提供的飞行陪伴机器人可以依靠分布于基座2底部周边的旋翼215飞行,处理器可以通过各种类型传感器收集的信号指导飞行完成自主避障和各种飞行姿态以及各种指令任务。
本设计的飞行陪伴机器人体积小,行动灵活,携带方便,成本也大幅降低,因此该机器人更容易商业化和家庭普及。该机器人总体构造类似传统意义上的飞碟形状,上部的球形舱类似于飞碟的座舱,下部的蝶形基座类似于飞碟的船体部分,整体依靠四个旋翼实现飞行。机器人借助智能的控制系统和多传感器的配合,可以为用户提供人机交互、通讯、飞行拍摄、音视频播放、获取资讯、生活服务、安全陪护、导航、翻译、游戏等服务,可以代替现在手机的绝大部分功能。
图4示出了本发明实施例提供的飞行陪伴机器人控制方法,参见图4,本发明实施例提供的飞行陪伴机器人控制方法,包括:
s401,建立蜂巢层级神经网络系统(cellularhierarchicalneuralnetwork,chnn),蜂巢层级神经网络系统至少包括底层蜂巢神经网络、中层蜂巢神经网络以及高层蜂巢神经网络,每层蜂巢神经网络包括多个蜂巢单元,每个蜂巢单元组成一个指令应答模块,包括六个单元壁,每个蜂巢单元根据互不相同的信息源通过六个单元壁获取输入信息,其中,六个单元壁对应六条信息源,每个单元壁对应的信息源互不相同,六条信息源分别为六个信息条件,六个信息条件包括:环境、大数据、云平台、应用市场、情绪分析和信息提存。
具体地,本发明实施例可以将主控制单元分析判断和决策的逻辑过程设计为蜂巢层级神经网络系统,该系统模拟蜂巢结构特点建立数学模型,将辅助主控制单元判断和决策的所有条件融合进蜂巢结构内。
本发明实施例提供的蜂巢层级神经网络系统结构可以分为底层蜂巢神经网络,中层蜂巢神经网络和高层蜂巢神经网络三层结构。具体地,蜂巢层级神经网络系统按照六个信息条件方向输入信息,每满足六个条件的输入就组成一个蜂巢单元,每一个蜂巢单元就是一个指令应答模块,由多个蜂巢单元组合形成底层蜂巢神经网络。在底层蜂巢神经网络与中层蜂巢神经网络之间没有连接权,在底层蜂巢神经网络向中层蜂巢神经网络输出的过程中每个蜂巢单元信息总和值数据要代入函数以决定输出方式。中层蜂巢神经网络对底层蜂巢单元输入的每一条信息数据都加入相应的权系数,结合输入意图不同对权值进行调整,改善系统的行为。中层蜂巢神经网络对加权后的蜂巢单元信息总和值数据再次代入函数并输出高层蜂巢神经网络。高层蜂巢神经网络也不需要对输入信息进行加权,但要对输入信息进行记忆并且提取训练样本中的信息进行比对,同时将相应的期望输出与中层蜂巢神经网络输出相比较,选取最为理想的蜂巢单元代入函数进行输出。其中,底层蜂巢神经网络向高层蜂巢神经网络传输的过程中蜂巢单元数量是递减的,通过加速收敛达到目的。
蜂巢层级神经网络系统的基础在于蜂巢单元,蜂巢单元以单元壁相互连接,每一个蜂巢单元的六个单元壁对应蜂巢层级神经网络系统采集信息的六个来源,蜂巢层级神经网络系统按照用户指令要求以每一个蜂巢单元为一组采集信息,由于每相邻两个蜂巢单元共享一条信息单元壁,因此可以使信息既以组为单位集合,又彼此互联互通,以为上层结构提取融合信息提供了方便。
蜂巢层级神经网络系统将信息信号分为六大部分对应一个蜂巢单元的六个单元壁,分别是环境、大数据、云平台、应用市场、情绪分析和信息提存。通过蜂巢层级神经网络系统可以最大限度的采集各类辅助指令完成的相关信息,大数据、云平台和应用市场为系统提供标准化、模块化的参数信息,这是相对可控的一类信息;环境和情绪分析为系统提供更人性化、个性化的参数信息,这是条件可控的一类信息;信息提存为系统提供更加智能化和深度学习后的一类参数信息,这类信息一般由飞行陪伴机器人通过自主学习获得,是相对不可控的一类信息,但是该类信息增加了系统的智能化程度,通过不断的学习,使飞行陪伴机器人的思考方式更加接近于人类。蜂巢层级神经网络系统兼顾了人机智能交互的可控性和智能性,既保证了系统可以按照预设的程序模式按图索骥,又赋予了系统深度学习和思考的能力,结合场境因素,给予用户最符合其气质特征和心理需求的目标答案。
环境是指机器人所处的内外部情境要素的集合,主要由各类传感器和摄像头提供信息,蜂巢层级神经网络系统对环境信息进行定位、判断和选取;大数据是指蜂巢层级神经网络系统通过互联网针对用户指令相关信息的模糊选取和收集;云平台是指蜂巢层级神经网络系统将所有同类型机器人信息系统上传的资料整合后的平台上选取的与指令相关的同质化信息数据的选取和收集;应用市场是蜂巢层级神经网络系统后续自建的适应本类型机器人使用的应用程序软件的集合;情绪分析是指蜂巢层级神经网络系统通过视觉识别模块对用户表情、行为做出判断的信息的采集和解读;信息提存是指蜂巢层级神经网络系统对历史存储信息和用户习惯、个性化信息以及用户语音模板的提取、匹配和存储。
具体信息条件如下:
环境是指飞行陪伴机器人工作时所处的内外部情境要素的集合,主要依靠各类传感器和摄像头采集信息,环境信息主要分为可控和不可控信息,可控信息为可规划或已存储的室内外路径路线信息,不可控信息包括室内外新增障碍信息,行人或者其他运动物体的位置变动信息,天气变化信息等。另外蜂巢层级神经网络系统会对用户所处环境信息进行关联考量,结合用户前后使用环境的变化,对用户情绪的影响做出预测性调整;
大数据是指蜂巢层级神经网络系统通过互联网针对用户指令相关信息的模糊选取和收集。蜂巢层级神经网络系统依据用户指令要求通过搜索引擎在互联网上检索与指令要求相关的信息资源,通过数据挖掘算法对相关资源数据进行采集和提取,并将提取后的数据输入蜂巢单元与其他信息一一匹配;
云平台是指在飞行陪伴机器人支持平台上建立的,为用户提供云端计算、存储、分析和应用支持服务的服务系统,它使用物理资源虚拟化技术,使飞行陪伴机器人支持平台上运行的所有飞行陪伴机器人客户间的资源实现共享。平台为使用者提供虚拟存储和计算服务,可以进一步提升飞行陪伴机器人的计算能力,云平台可以为用户提供云存储管理,云通讯管理和云应用管理服务;
应用市场集成于飞行陪伴机器人支持平台的云平台之上,类似手机的应用软件集合,像苹果的appstore,但又不同于appstore,飞行陪伴机器人云平台将组建应用程序网(applicationnetwork,an),所有经过授权后的应用软件全部集成到an中,用户只需授权飞行陪伴机器人使用其中的某款app,飞行陪伴机器人就可以按照指令在云端an中打开并使用该app,并通过在平台建立的账户存储使用进度,应用市场集成第三方应用软件,技术上通过云端虚拟化技术,实现多用户共同分享应用软件资源,通过云平台共用计算和存储资源,提高资源利用率,降低飞行陪伴机器人自身的计算和存储压力;
情绪分析是指蜂巢层级神经网络系统通过视觉识别模块对用户表情、动作等做出解读的信息的采集,他具体包括面部表情、行为动作、语音语调、体温变化等。蜂巢层级神经网络系统将数字化的各类情绪信号进行提取和分析,将各类情绪分类并映射到一些情绪状态中,比如开心、惊讶、悲伤、紧张等,对用户实时情绪跟踪;
信息提存是飞行陪伴机器人通过不断地训练和学习,逐渐形成的对用户认知的不断完善过程,他通过对用户语音语调、语言习惯、行为动作、生活习惯、以及其他个性化信息的不断学习,可以不断修正飞行陪伴机器人对用户的个性认知,为蜂巢系统决策提供更符合用户气质特征和心理需求的参考数据。
s402,接收指令,判断指令是自主动作还是指令动作;
飞行陪伴机器人的动作按照方式分类可以分为自主动作和指令动作。自主动作为机器人主控制单元初始程序设置的可以自主决策的行为。包括自主避障、自动充电和自动报警等。这些动作无需用户指令即可自我决策,主要目的是为了保障机器人和用户的自身安全和持续使用。指令动作为用户主动发出的语音、图像、动作等指令信号通过各种传感器和摄像头采集信息,传送到主控制单元经过分析判断和决策,做出符合用户意图的动作的过程。
作为本发明实施例的一个可选实施方式,接收指令可以包括:通过传感器接收多模态的输入信号,对输入信号进行模数转换,得到指令。由此,用户可以通过语音等多种交互方式对飞行陪伴机器人进行指令的下达,方便用户使用。
s403,如果是自主动作,根据蜂巢层级神经网络系统存储的预设应答模式控制飞行陪伴机器人对指令进行响应;
具体地,自主动作为机器人主控制单元初始程序设置的可以自主决策的行为,其可以是蜂巢层级神经网络系统存储的预设应答模式,由此在接收自主动作的指令后,直接根据存储的预设应答模式控制飞行陪伴机器人的响应。
作为本发明实施例的一个可选实施方式,方法还包括:如果是自主动作,且缺少辅助动作执行的参数,则请求补充指令中的参数,重新执行接收指令的操作。例如:飞行陪伴机器人接收系统电力不足需要寻找电源充电的指令,判断为自主动作并开始自行寻找电源准备充电,但是搜寻结果是没有找到充电电源,此时,蜂巢层级神经网络系统将要求用户增加充电电源位置参数或者暂不充电指令参数。由此,在缺少参数时,要求对参数进行补充,可以保证自主动作的顺利实现。
s404,如果是指令动作,对指令进行指令意图分析,将指令意图分析结果融合到中层蜂巢神经网络的加权系数中,并对指令进行字段分析,将字段分析结果输入底层蜂巢神经网络辅助信息采集,根据第三结果控制飞行陪伴机器人对指令进行响应;
其中,第三结果通过如下方式获得:
底层蜂巢神经网络根据指令结合字段分析结果以蜂巢单元为单位按照各自的信号采集路径和采集方式采集输入信息,组合成以底层蜂巢单元为单位的底层指令应答模块,将每个蜂巢单元采集的输入信号进行整合形成底层蜂巢单元信息总和值数据,将底层蜂巢单元信息总和值数据代入激励函数进行运算,并将第一结果输出到中层蜂巢神经网络;
中层蜂巢神经网络结合指令意图分析结果对第一结果中的每个底层蜂巢单元中的每一个信息数据增加不同的加权系数并进行整合形成中层蜂巢单元信息总和值数据,将中层蜂巢单元信息总和值数据代入激励函数进行运算,并将第二结果输出到高层蜂巢神经网络;
高层蜂巢神经网络将第二结果中的每个中层蜂巢单元中的数据根据预设分析方式进行分析,选取理想的蜂巢单元中的数据代入激励函数进行运算并输出第三结果。
具体地,首先对指令意图做初步分析,并将分析结果融合到中层蜂巢神经网络的加权系数中,之后对指令进行字段分析,并将分析结果输入底层蜂巢神经网络辅助信息采集,最后对指令进行蜂巢解析,包括底层蜂巢神经和中层蜂巢神经网络的处理,最后进入高层蜂巢神经网络进行蜂巢决策阶段进行信息比对和选取并将结果输出。
其中,指令意图分析,即模糊分析:系统分析用户的输入,预估用户的意图,识别输入中包含的实体,对中层蜂巢神经网络中的蜂巢单元壁各信息数据给予权重分配,以决定各部分数据在此指令中所占的比重。
指令字段分析:蜂巢层级神经网络系统通过指令意图分析明确包含的实体,字段分析对包含的实体进行分解和识别,结合上下文语境同时针对汉语一音多义的独特性,结合用户个性化条件,在同音候选中优选更可能为用户需求的结果。
作为本发明实施例的一个可选实施方式,第三结果通过如下公式计算:
oj=f(f(f(xai+xbi+yai+ybi+zai+zbi)+(xan+xbn+yan+ybn+zan+zbn)wij)
+xaj+xbj+yaj+ybj+zaj+zbj)
其中,xai、xbi、yai、ybi、zai、zbi表示底蜂巢层神经网络的各个输入,xan、xbn、yan、ybn、zan、zbn表示中层蜂巢神经网络的各个输入,wij为加权系数,xaj、xbj、yaj、ybj、zaj、zbj表示高层蜂巢神经网络的各个输入,f(·)为激励函数。
具体地,蜂巢层级神经网络系统通过三层蜂巢网络的加权和筛选,最终从海量的数据信息中选取出最符合用户意图的蜂巢单元信息组合,在蜂巢层级神经网络系统中,每一个蜂巢单元运算都是并行的,便于系统并行处理,从蜂巢层级神经网络系统结构特点和运行模式,可以反映出蜂巢单元是一个多输入单输出的信息处理单元,对信息的处理是非线性的,每一个蜂巢单元都具有阈值特性,依据上述特征,可以做出简单的数学模型,参见图5。
蜂巢单元按照信息源的不同,从六个方面获取输入信号,对应蜂巢六个单元壁,每个输入的大小分别用xai、xbi、yai、ybi、zai、zbi表示,他们同时输入蜂巢单元k,该单元作为蜂巢层级神经网络系统的底层处理单元,必须对全部输入信号进行提取和整理,以确定各类输入信号在k单元的综合效果,σ是蜂巢单元的阈值,蜂巢单元k是否产生输出信号取决于预设阈值电平,也就是当输入总和高于阈值时,蜂巢单元才会被激活释放脉冲。激励函数f(·)决定蜂巢单元受到输入信号提示高于阈值时,以何种方式输出信号。底层蜂巢单元将高于阈值的信号以一定的模式输出,组成中层蜂巢单元v,中层蜂巢单元输入信息大小分别用xan、xbn、yan、ybn、zan、zbn表示,该单元作为蜂巢层级神经网络系统的中层处理单元,需要对提取的全部数据特征进行加权,对每一个数据输入赋予加权系数wij,用以修正各类输入数据在指令要求下的权重,修正权重值的中层蜂巢单元v依据阈值电平决定是否继续输出信号给高层,并通过激励函数决定输出方式。蜂巢层级神经网络系统的高层处理单元o输入信息大小分别用xaj、xbj、yaj、ybj、zaj、zbj表示,该单元为蜂巢层级神经网络系统的决策、记忆和输出单元,对输入单元信息进行记忆并且提取训练样本中的信息进行比对,同时将相应的期望输出与中层蜂巢神经网络输出相比较,选取最为理想的蜂巢单元代入函数进行输出,一般输出结果不多于三个,输出用oj表示。
作为本发明实施例的一个可选实施方式,方法还包括:如果是指令动作,且根据第三结果不能对指令提出执行方案,则请求用户补充指令中的参数,重新执行接收指令的操作。由此可以保证在指令动作缺少参数的情况下,请求用户补充参数,以保证指令动作的顺利完成。
作为本发明实施例的一个可选实施方式,方法还包括:对指令以及第三结果进行存储。在对指令进行了正确响应后,可以存储指令与第三结果的对应关系,一旦出现了相同的指令,可以采用相同的响应方式进行响应,提高响应速度。
以下,提供一种具体的指令响应方式,但本发明并不局限于此。
例如:用户指令输入我明天请xx吃饭,请推荐饭店。
蜂巢层级神经网络系统对指令进行初步判断,判断是指令动作;
进入指令意图初步分析,得出结果“请xx吃饭”为用户主要意图;
相应的存储有xx个性信息的“信息提存”类信息和饭店类型信息的“应用市场”第三方软件信息将被赋予更高的权值,
蜂巢层级神经网络系统对指令字段进行分析得出结果“明天”“请xx”“推荐饭店”为关键字段,系统对关键字段进行理解和比对,并将结果输入底层蜂巢神经网络,辅助底层蜂巢神经网络进行信息采集;
底层蜂巢神经网络按照用户意图分类采集信息:
环境模块将采集明天所在地气象信息、道路交通信息、饭店停车位信息等;
大数据模块将采集当地饭店的口碑信息以及卫生、消防安全信息等;
云平台模块将采集云平台用户与指令字段信息相关的共享信息作为参考,采集本飞行陪伴机器人上传的与指令字段信息相关的信息;
应用市场模块将采集与选取饭店相关app信息(如美团、大众点评);
情绪分析模块将采集用户发布指令时情绪和表情动作信息并处相关分析处理;
信息提存模块将采集存储在系统内的与xx个性特征相关的信息。
底层蜂巢神经网络将所有信息排列组合,组成多个信息组合蜂巢单元,并将符合阈值电平蜂巢单元代入函数后以脉冲形式输出中层蜂巢神经网络;
中层蜂巢神经网络将底层蜂巢神经网络输入的蜂巢单元每一条信息单元壁结合指令意图分析结果加权,提高部分单元壁信息的权重值,使输出更加接近期望值,中层蜂巢网络将加权后的蜂巢单元代入函数后输出至高层蜂巢神经网络,也就是蜂巢决策阶段;
高层蜂巢神经网络对输入单元信息进行记忆并且提取训练样本中的信息进行比对,同时将相应的期望输出与中层蜂巢神经网络输出相比较,选取最为理想的蜂巢单元代入函数进行输出,最终得到最符合用户期望值的应答信息,高层蜂巢神经网络输出结果一般不多于三个选项。
用户对飞行陪伴机器人输出的应答方案满意,指令操作结束,如果不满意,增加参数取值后重新进行指令分析,直到用户满意,指令操作结束。
由此可见,蜂巢层级神经网络系统将辅助机器人系统做出决策的所有信息源整合成六类条件,与蜂巢单元的六个单元壁一一对应,每一个单元壁代表一种类型的条件,蜂巢层级神经网络系统依据指令要求按单元壁分类采集信息条件,蜂巢层级神经网络系统将采集的各类信息进行分析和分配权重,并最终做出决策判断。通过蜂巢层级神经网络系统可以最大限度的采集各类相关信息,大数据、云平台和应用市场为系统提供标准化、模块化的参数信息;环境和情绪分析为蜂巢层级神经网络系统提供更人性化、个性化的参数信息;信息提存为蜂巢层级神经网络系统提供更加智能化和深度学习后的一类参数信息,该类信息增加了蜂巢层级神经网络系统的智能化程度,使飞行陪伴机器人的思考方式更加接近于人类。蜂巢层级神经网络系统兼顾了人机智能交互的可控性和智能性,既保证了蜂巢层级神经网络系统可以按照预设的程序模式按图索骥,又赋予了蜂巢层级神经网络系统深度学习和思考的能力,结合场境因素,给予用户最符合其气质特征和心理需求的目标答案。
本飞行陪伴机器人的控制方法是基于蜂巢层级神经网络系统为基础建立的理论方法,与传统的神经网络和算法相比它们有明显的不同和优势:
(1)信息采集方式不同,蜂巢层级神经网络系统采用分类定向采集信息的方式采集辅助决策的各类型信息,该方式使蜂巢层级神经网络系统在信息采集阶段就已经将信息条件进行归类和整理,最大程度的保证了输入信息之间的互补性和冗余性问题,实现信息高度融合处理,适用于飞行陪伴机器人这样具有复杂的不确定性系统和多变量高度非线性系统的控制;
(2)蜂巢层级神经网络系统各层均是由各种条件类型的信息单元壁组成的蜂巢单元组构成,相较于普通神经网络,个体蜂巢单元信息构成更加丰富,理论上每一个蜂巢单元组合都是一个信息应答输出模块,由底层蜂巢神经网络向高层蜂巢神经网络传递的过程也是应答输出模块收敛的过程,而不是简单的神经元信息的传递;
(3)由于减少了加权次数,提高了学习速率加快了网络收敛,进而大大缩短训练时间;
(4)采用丰富的信息采集方式和有针对性的采集渠道,可以组成较普通神经网络更多地信息组合结构,提高了训练精度;
(5)由于采用蜂巢单元应答模块组合方式,使蜂巢网络具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力;
(6)蜂巢层级神经网络系统可以任意精度逼近任意的非线性函数,且具有全局逼近能力,从根本上解决了bp网络的局部最优问题。
图6示出了本发明实施例提供的飞行陪伴机器人控制装置的结构示意图,本发明实施例提供的飞行陪伴机器人控制装置应用于上述方法,以下仅对本发明实施例提供的飞行陪伴机器人控制装置的结构进行简单说明,其他未尽事宜,请参见上述方法的相关描述,在此不再赘述。参见图6,本发明实施例提供的飞行陪伴机器人控制装置,包括:
建立模块601,用于建立蜂巢层级神经网络系统,蜂巢层级神经网络系统至少包括底层蜂巢神经网络、中层蜂巢神经网络以及高层蜂巢神经网络,每层蜂巢神经网络包括多个蜂巢单元,每个蜂巢单元组成一个指令应答模块,包括六个单元壁,每个蜂巢单元根据互不相同的信息源通过六个单元壁获取输入信息,其中,六个单元壁对应六条信息源,每个单元壁对应的信息源互不相同,六条信息源分别为六个信息条件,六个信息条件包括:环境、大数据、云平台、应用市场、情绪分析和信息提存;
接收模块602,接收指令,判断指令是自主动作还是指令动作;
第一响应模块603,用于在指令是自主动作时,根据蜂巢层级神经网络系统存储的预设应答模式控制飞行陪伴机器人对指令进行响应;
第二响应模块604,用于在指令是指令动作时,对指令进行指令意图分析,将指令意图分析结果融合到中层蜂巢神经网络的加权系数中,并对指令进行字段分析,将字段分析结果输入底层蜂巢神经网络辅助信息采集;根据第三结果控制飞行陪伴机器人对指令进行响应;
其中,第三结果通过如下方式获得:底层蜂巢神经网络根据指令结合字段分析结果以蜂巢单元为单位按照各自的信号采集路径和采集方式采集输入信息,组合成以底层蜂巢单元为单位的底层指令应答模块,将每个蜂巢单元采集的输入信号进行整合形成底层蜂巢单元信息总和值数据,将底层蜂巢单元信息总和值数据代入激励函数进行运算,并将第一结果输出到中层蜂巢神经网络;中层蜂巢神经网络结合指令意图分析结果对第一结果中的每个底层蜂巢单元中的每一个信息数据增加不同的加权系数并进行整合形成中层蜂巢单元信息总和值数据,将中层蜂巢单元信息总和值数据代入激励函数进行运算,并将第二结果输出到高层蜂巢神经网络;高层蜂巢神经网络将第二结果中的每个中层蜂巢单元中的数据根据预设分析方式进行分析,选取理想的蜂巢单元中的数据代入激励函数进行运算并输出第三结果。
由此可见,蜂巢层级神经网络系统将辅助机器人系统做出决策的所有信息源整合成六类条件,与蜂巢单元的六个单元壁一一对应,每一个单元壁代表一种类型的条件,蜂巢层级神经网络系统依据指令要求按单元壁分类采集信息条件,蜂巢层级神经网络系统将采集的各类信息进行分析和分配权重,并最终做出决策判断。通过蜂巢层级神经网络系统可以最大限度的采集各类相关信息,大数据、云平台和应用市场为蜂巢层级神经网络系统提供标准化、模块化的参数信息;环境和情绪分析为蜂巢层级神经网络系统提供更人性化、个性化的参数信息;信息提存为蜂巢层级神经网络系统提供更加智能化和深度学习后的一类参数信息,该类信息增加了蜂巢层级神经网络系统的智能化程度,使飞行陪伴机器人的思考方式更加接近于人类。蜂巢层级神经网络系统兼顾了人机智能交互的可控性和智能性,既保证了蜂巢层级神经网络系统可以按照预设的程序模式按图索骥,又赋予了蜂巢层级神经网络系统深度学习和思考的能力,结合场境因素,给予用户最符合其气质特征和心理需求的目标答案。
作为本发明实施例的一个可选实施方式,第三结果通过如下公式计算:
oj=f(f(f(xai+xbi+yai+ybi+zai+zbi)+(xan+xbn+yan+ybn+zan+zbn)wij)
+xaj+xbj+yaj+ybj+zaj+zbj)
其中,xai、xbi、yai、ybi、yai、zbi表示底蜂巢层神经网络的各个输入,xan、xbn、yan、ybn、zan、zbn表示中层蜂巢神经网络的各个输入,wij为加权系数,xaj、xbj、yaj、ybj、zaj、zbj表示高层蜂巢神经网络的各个输入,f(·)为激励函数。
作为本发明实施例的一个可选实施方式,接收模块通过如下方式接收指令:通过传感器接收多模态的输入信号,对输入信号进行模数转换,得到指令。由此,用户可以通过语音等多种交互方式对飞行陪伴机器人进行指令的下达,方便用户使用。
作为本发明实施例的一个可选实施方式,第一响应模块603,还用于在指令是自主动作,且缺少辅助动作执行的参数时,请求补充指令中的参数,指示接收模块602重新执行接收指令的操作。例如:飞行陪伴机器人接收系统电力不足需要寻找电源充电的指令,判断为自主动作并开始自行寻找电源准备充电,但是搜寻结果是没有找到充电电源,此时,蜂巢层级神经网络系统将要求用户增加充电电源位置参数或者暂不充电指令参数。由此,在缺少参数时,要求对参数进行补充,可以保证自主动作的顺利实现。
作为本发明实施例的一个可选实施方式,第二响应模块604,还用于在指令是指令动作,且根据第三结果不能对指令提出执行方案时,请求用户补充指令中的参数,指示接收模块602重新执行接收指令的操作。由此可以保证在指令动作缺少参数的情况下,请求用户补充参数,以保证指令动作的顺利完成。
作为本发明实施例的一个可选实施方式,装置还包括:存储模块605;存储模块605,用于对指令以及第三结果进行存储。在对指令进行了正确响应后,可以存储指令与第三结果的对应关系,一旦出现了相同的指令,可以采用相同的响应方式进行响应,提高响应速度。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。