本发明涉及机器人定位导航领域,尤其涉及一种语义地图构建方法、装置及一种机器人。
背景技术:
现有的机器人导航地图主要以网格地图为主,网格地图只对机器人的运动行为产生约束,使得用户对其的理解及使用只能限于地图中两个坐标点之间的导航和路径规划。在对机器人下指令时,用户无法像与人沟通一样将目的地告知机器人,而需要告知机器人目的地在网格地图的哪个坐标上,机器人才能理解并执行用户的指令进行导航,使得用户与机器人之间的沟通效率低下。
技术实现要素:
本发明实施例提供了一种语义地图构建方法、装置及一种机器人,能够提升用户与机器人之间的沟通效率。
本发明实施例提供的一种语义地图构建方法,包括:
采集目标环境的三维空间图像;
根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
以所述特征标志点作为拓扑节点构建拓扑节点地图;
输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
可选地,所述语义地图还包括在所述同一坐标系下的区域语义地图;
在对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标之后,还包括:
根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
可选地,根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息具体包括:
根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
可选地,对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标包括:
对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
抽取所述三维空间图像中的各个整体面块;
根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
确定与所述各个建筑物结构对应的各个固定环境目标。
可选地,在采集目标环境的三维空间图像之前,还包括:
确定待构建语义地图的目标环境;
所述确定待构建语义地图的目标环境包括:
获取机器人当前所处位置的地图信息;
若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境;
或
获取输入的构建指令;
将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。
本发明实施例提供的一种语义地图构建装置,包括:
图像采集模块,用于采集目标环境的三维空间图像;
二维平面地图构建模块,用于根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
固定环境目标确定模块,用于对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
特征标志点获取模块,用于根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
拓扑节点地图构建模块,用于以所述特征标志点作为拓扑节点构建拓扑节点地图;
语义地图输出模块,用于输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
可选地,所述语义地图还包括在所述同一坐标系下的区域语义地图;
所述语义地图构建装置还包括:
区域语义信息确定模块,用于根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
区域语义地图构建模块,用于根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
可选地,所述区域语义信息确定模块具体包括:
区域划分单元,用于根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
区域分类单元,用于将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
可选地,所述固定环境目标确定模块包括:
平面检测单元,用于对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
平面抽取单元,用于抽取所述三维空间图像中的各个整体面块;
平面几何关系确定单元,用于根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
建筑物结构确定单元,用于根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
固定环境目标确定单元,用于确定与所述各个建筑物结构对应的各个固定环境目标。
本发明实施例提供的一种机器人,包括上述的语义地图构建装置。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,首先,采集目标环境的三维空间图像;然后,根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;接着,根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;以所述特征标志点作为拓扑节点构建拓扑节点地图;最后,输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。在本发明实施例中,基于构建的语义地图,用户可以直接像与人沟通一样将目的地告知机器人,机器人通过语义识别从拓扑节点地图上获取目的地对应语义信息的特征标志点,然后根据二维平面地图确定机器人的目的地位置并进行导航,大大提升了用户与机器人之间的沟通效率。
附图说明
图1为本发明实施例中一种语义地图构建方法一个实施例流程图;
图2为图1对应实施例中一种语义地图构建方法的步骤103的流程示意图;
图3为本发明实施例中一种语义地图构建方法的平面抽取效果图;
图4为本发明实施例中一种语义地图构建方法在一个应用场景下区域语义地图的效果示意图;
图5为本发明实施例中一种语义地图构建方法在一个应用场景下深度摄像头采集图像中点云簇的示意图;
图6为本发明实施例中一种语义地图构建装置一个实施例结构图。
具体实施方式
本发明实施例提供了一种语义地图构建方法、装置及一种机器人,用于解决对机器人下指令时,需要告知机器人目的地的具体坐标的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种语义地图构建方法一个实施例包括:
101、采集目标环境的三维空间图像;
本实施例中,首先,可以采集目标环境的三维空间图像。可以理解的是,可以通过深度摄像头或激光雷达进行图像信息的采集,如构建稠密点云的双目深度摄像头(微软Kinect的深度摄像头),或者可以构建稠密点云的带有摆动云台的激光雷达。
另外,进一步地,在采集目标环境的三维空间图像之前,还可以先确定待构建语义地图的目标环境。其中,确定目标环境可以在以下两种方式中选取。
方式一:获取机器人当前所处位置的地图信息,若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境。例如,把机器人放置在一个未知环境中时,通过机器人采集周围环境的地图信息(地理坐标、环境图像等),若判断得知采集的地图信息不在已构建的语义地图中,则表明当前的环境为陌生的环境,需要进行语义地图的更新或者重构。
方式二:获取输入的构建指令,然后将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。可以理解的是,用户还可以主动输入构建指令,要求主动对某个目标环境进行语义地图的构建。例如,在一个应用场景下,假设一机器人为构建语义地图的终端,该机器人开启跟随模式跟随用户手中的蓝牙跟随器。此时,用户手握蓝牙跟随器在一环境中移动,机器人沿着用户走过的路线行驶。当用户对准该环境下的某个位置按下“构建”按钮时,如对准路标按下按钮,则机器人接收到“将路标周围环境确定为目标环境,并对目标环境进行语义地图构建”的指令,然后机器人围绕该路标周围环境执行后续的语义地图构建步骤。
102、根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
在采集目标环境的三维空间图像之后,可以根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图。该二维平面地图主要用于做全局路径规划使用。具体地,可以采用深度摄像头,通过特征点匹配的方法构建稠密的环境三维点云数据,并对环境三维点云数据在平面顶视图上进行压缩提取,生成二维平面地图。
103、对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
在采集目标环境的三维空间图像之后,还可以对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标。
可以理解的是,在机器人的导航和路径规划中,环境中固定物体的位置是较为重要的参照物,例如墙壁、地面、天花板、门等物体,由于这些固定物体相对于可移动物体(桌椅、电器等)在长时间内基本不会发生位置的改变,因此这些固定物体可以作为固定环境目标应用到语义拓扑中去。
进一步地,如图2所示,上述步骤103可以具体包括:
201、对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
202、抽取所述三维空间图像中的各个整体面块;
203、根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
204、根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
205、确定与所述各个建筑物结构对应的各个固定环境目标。
对于上述步骤201和202,在对环境中的墙面、地面、门、天花的位置及其结构进行提取之前,可以先进行平面检测和处理。先从环境图像的点云中估计平面参数,然后对平面上的点进行分析,可以得到平面的外轮廓、内轮廓等轮廓特征。在得到轮廓特征之后,即可抽取所述三维空间图像中的整体面块,如图3的效果图所示。图3中,抽取的各个整体面块分别为墙壁301、天花板302、门303和地板304。
对于上述步骤203,对于非平面的点云,可以根据各个整体面块之间的空间点信息(如空间点之间距离)来构建相邻(或连通)关系,通过对连通图进行分割、聚簇而得到单个物体,计算物体边界框,并提取物体特征,从而确定各个整体面块之间的几何关系。
对于上述步骤204,可以理解的是,在得到各个整体面块(或平面特征)以及整体面块之间的几何关系之后,可以识别出这些整体面块组成的建筑物结构(如地面、墙、门、天花板等)。
对于上述步骤205,在确定所述三维空间图像中的各个建筑物结构之后,可以将这些建筑物结构确定为对应的固定环境目标。例如,若当前的建筑物结构为一个扁平的矩形结构,则可以将其确定为固定环境目标“门”。
104、根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
在得到所述二维平面地图以及所述各个固定环境目标之后,可以根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息。
可以理解的是,为了使得机器人更好地理解用户的意图,在用户进行自然语言表达时,机器人不仅要对用户的语言指令进行语义识别,还需要对语义中关键特征在语义地图上有所体现。例如,用户说“在前面三岔路口左拐”,此时,机器人需要对上述的“三岔路口”有准确的认知,也即需要在语义地图上进行“三岔路口”进行标志。因此,本方案可以根据二维地图的形状特征及上述的固定环境目标“门”的位置通过算法自动提取地图拐角点、地图多通道点(三岔路交点、两条路交点)、走廊、门、自然环境下的路标信息等作为特征标志点,并将这些特征标志点确定为拓扑节点。
另外,为了使得各个拓扑节点或特征标志点能与用户的自然语言关联起来,可以为各个特征标志点确定对应的语义信息,例如三岔路交点的特征标志点的语义信息设置为“三岔路口”。
105、以所述特征标志点作为拓扑节点构建拓扑节点地图;
在获取所述目标环境中的特征标志点之后,可以以所述特征标志点作为拓扑节点构建拓扑节点地图。所述拓扑节点地图为记录拓扑节点与拓扑节点之间关系的地图。
本实施例中,为了使拓扑节点地图的可用度更好,拓扑节点地图中的拓扑节点应当具有较强的辨识度,也即尽可能选取具有强位置特征的位置或物体作为特征标志点,例如路标、岔路口位置、门口位置等。
另外,在拓扑节点地图构建之后,还可以不断地对该拓扑节点地图进行增量更新。在对拓扑节点地图进行更新的过程中,在机器人经过地图拐角点和地图多通道点时,如图5所示,深度摄像头的图像会呈现出一组或多组成一定夹角的点云簇(2-3-4-5-6);当机器人经过一个狭长的走廊时,深度摄像头的图像呈现出一组180°夹角的点云簇;当机器人在建立三维空间地图时,当机器人通过红外相机识别到在自然环境下用反光材料标记的路标(门牌号)指示时,可以截取、识别并保存该路标指示,并将该路标指示的位置作为拓扑节点添加至拓扑节点地图中。更进一步地,在对地图进行更新过程中,还可以对更新环境做精细的三维重建处理,以便于地图扩展及路径规划使用。
106、输出所述目标环境的语义地图。
在得到所述二维平面地图和所述拓扑节点地图之后,可以输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。可以理解的是,在本实施例中,语义地图中的拓扑节点地图辅助机器人理解用户的自然语言,而二维平面地图则在机器人理解用户的意图之后,为机器人完成路线的规划。需要注意的是,两张地图需要构建在同一坐标系下,以完成两张地图之间的映射。
进一步地,本实施例中,语义地图还包括另一张地图,区域语义地图。该区域语义地图与所述二维平面地图、所述拓扑节点地图均在同一坐标系下。
该区域语义地图可以通过以下步骤构建:在上述步骤103之后,可以根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息,然后,根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。可以理解的是,对于目标环境中的不同区域,这些区域均具有相似或相近的环境特征。例如,若区域为“教室”,则该区域应当具有前后两个门,且两侧墙壁上具有一定数量的窗口;若区域为“图书馆”,则该区域应当具有大量的规则排列的书架、书桌。可见,不同区域,其内包含的固定环境目标和区域内的三维空间图像具有各自不同的特点,从而可以确定出各个区域具体的“类别”或语义。例如,如图4所示,若目标环境为办公大楼,则各个区域可能包括“办公室”、“餐厅”、“会议室”等。在确定出各个区域的语义信息之后,即可根据所述各个区域的语义信息构建区域语义地图。
更进一步地,根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息具体可以包括:
A、根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
B、将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
对于上述步骤B,该区域语义分类器可以由深度神经网络模型搭建,然后通过投入大量的训练样本对其进行训练,训练完成后,即可实现区域语义的分类。本实施例中,训练样本的输入为已知区域中的固定环境目标和三维空间图像,训练样本的输出为已知区域对应的语义。例如,可以将已知的区域“教室”作为训练样本,其中输入包括“前后两个门”、“两侧墙壁上具有一定数量的窗口”,输出为“教室”,将大量的“教室”样本投入该区域语义分类器中训练,训练完成后,该区域语义分类器即可对“教室”区域进行识别和分类。
需要说明的是,本实施例中,该语义地图可以采用动态增量地图构建方式来构建,无需在初始状态建好所有地图,也无需担心由于物品挪动造成的地图错乱。当用户已建好部分语义地图并需要增建地图时,需要保证两次建图部分有四个以上的重复拓扑节点,作为地图匹配的依据。并根据对重叠部分的四处拓扑节点位置的三维点云图做重匹配,以实现增量地图扩展的功能。
另外,在语义地图建好后,对其进行人工修正补漏,例如,对区域语义地图中的环境结构和前景语义部分进行人工干预修正,对拓扑节点地图中的多通道扑节点进行修补,可增加具有强特征标识点位置的节点,可增加自然环境下的路标作为关键拓扑节点(自然环境路标做反光需做反光贴膜处理),等等。
优选地,对于上述步骤101的“方式二”中描述的应用场景下,机器人在接收到指令后,可以围绕路标牌所在位置的环境做详细的三维建模工作,并将其特征记录到特征磁带字典中,为机器人定位提供参考。另外,还可以将路标牌位置作为一个三维语义节点添加到拓扑节点地图中。当用户用遥控器对准要添加的特征物体,按下“识别强特征物体”开关,遥控器发射的红外标识图案投影到特征物体上。此时,机器人识别到用户的命令后,找到被照射物体,并提取该被照射物体的轮廓,然后通过多角度移动建立目标物体及周围环境的三维图像,并将其特征记录到特征磁带字典中,为机器人定位提供参考并将此位置作为强特征标识节点加入拓扑节点地图中。在跟随模式下,用户发现走廊、多通道点等拓扑节点还未被机器人识别时,也可以通过遥控器命令机器人进行相应的拓扑节点添加。
本实施例中,首先,采集目标环境的三维空间图像;然后,根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;接着,根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;以所述特征标志点作为拓扑节点构建拓扑节点地图;最后,输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。在本实施例中,基于构建的语义地图,用户可以直接像与人沟通一样将目的地告知机器人,机器人通过语义识别从拓扑节点地图上获取目的地对应语义信息的特征标志点,然后根据二维平面地图确定机器人的目的地位置并进行导航,大大提升了用户与机器人之间的沟通效率,有助于机器人更高效、快速地完成任务。
另外,本发明的一种语义地图构建方法还实现了一种更可靠、稳定、有效的建图方式。
上面主要描述了一种语义地图构建方法,下面将对一种语义地图构建装置进行详细描述。
图6示出了本发明实施例中一种语义地图构建装置一个实施例结构图。
本实施例中,一种语义地图构建装置包括:
图像采集模块601,用于采集目标环境的三维空间图像;
二维平面地图构建模块602,用于根据所述三维空间图像构建所述目标环境在平面顶视图上的二维平面地图;
固定环境目标确定模块603,用于对所述三维空间图像进行分析处理,确定所述三维空间图像中的各个固定环境目标;
特征标志点获取模块604,用于根据所述二维平面地图的形状特征和所述各个固定环境目标按照预设节点规则获取所述目标环境中的特征标志点,并确定所述特征标志点的语义信息;
拓扑节点地图构建模块605,用于以所述特征标志点作为拓扑节点构建拓扑节点地图;
语义地图输出模块606,用于输出所述目标环境的语义地图,所述语义地图包括在同一坐标系下的所述二维平面地图和所述拓扑节点地图。
进一步地,所述语义地图还可以包括在所述同一坐标系下的区域语义地图;
所述语义地图构建装置还可以包括:
区域语义信息确定模块,用于根据所述各个固定环境目标和所述三维空间图像确定所述目标环境中各个区域的语义信息;
区域语义地图构建模块,用于根据所述各个区域的语义信息构建所述目标环境的所述区域语义地图。
进一步地,所述区域语义信息确定模块具体可以包括:
区域划分单元,用于根据所述二维平面地图的形状特征将所述目标环境划分为各个区域;
区域分类单元,用于将所述各个区域中的所述固定环境目标和三维空间图像投入预先训练好的区域语义分类器,得到所述区域语义分类器输出的与所述各个区域对应的语义信息。
进一步地,所述固定环境目标确定模块可以包括:
平面检测单元,用于对所述三维空间图像进行平面检测,得到所述三维空间图像中各个平面的轮廓特征;
平面抽取单元,用于抽取所述三维空间图像中的各个整体面块;
平面几何关系确定单元,用于根据所述三维空间图像中所述各个整体面块之间的空间点信息确定所述各个整体面块之间的几何关系;
建筑物结构确定单元,用于根据所述各个整体面块以及所述各个整体面块的几何关系确定所述三维空间图像中的各个建筑物结构;
固定环境目标确定单元,用于确定与所述各个建筑物结构对应的各个固定环境目标。
进一步地,所述语义地图构建装置还可以包括:
目标环境确定模块,用于确定待构建语义地图的目标环境;
所述目标环境确定模块可以包括:
地图信息获取单元,用于获取机器人当前所处位置的地图信息;
第一环境确定单元,用于若所述地图信息不在已构建的语义地图中,则将所述当前所处位置的环境确定为待构建语义地图的目标环境;
或
构建指令获取单元,用于获取输入的构建指令;
第二环境确定单元,用于将所述构建指令指示位置的环境确定为待构建语义地图的目标环境。
本发明实施例中还公开了一种机器人,其包括图6对应实施例中描述的任意一种语义地图构建装置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。