基于墙角族为主特征的语义地图构建方法

1.本发明属于室内移动机器人建图定位导航领域，具体涉及基于墙角族为主特征的语义地图构建方法。


背景技术：

2.室内工作环境中墙角天然存在，且位置固定，此中难点是如何充分利用区分每个墙角，使每个墙角都能独立给移动机器人提供定位参照。现有的研究中没有发现根据墙角间独特的内在联系来确定墙角的身份，虽然已经有相关研究将墙角引入到语义地图中，但是墙角间是孤立的，没有发掘墙角间的内在联系，没法使墙角具有明显的区分性。


技术实现要素：

3.本发明针对目前相关研究构建的语义地图没有以墙角族为主特征，并且也未在横向和纵向上深度挖掘墙角间的内在联系，导致无法使墙角具有唯一性、确定性。
4.针对这些问题，本发明提供了基于墙角族为主特征的语义地图构建方法，所述方法包括以下步骤：
5.进行室内墙角的凸、凹性区分；
6.进行室内墙角方向性判断，基于方向性判断结果获取墙角类别标签；
7.将获取到的墙角类别标签，结合室内墙角的凸、凹性区分，建立室内墙角的墙角族；
8.根据墙角族构建墙角语义图，根据墙角族中墙角与相邻墙角的相对位置及方位关系得到墙角族尺寸链，并将墙角族尺寸链存储在墙角族信息表中；根据非墙角语义物体构建非墙角物体语义图，根据非墙角语义物体与相邻非墙角语义物体的相对位置及方位关系得到非墙角语义物体尺寸链，并将非墙角语义物体尺寸链存储在非墙角语义物体信息表中；
9.遍历场景获得墙角族语义图、非墙角物体语义图和栅格地图，通过原点重合及位姿对齐得到以墙角族为主特征的语义地图。
10.作为优选，所述根据墙角族中墙角与相邻墙角的相对位置及方位关系得到墙角族尺寸链包括以下步骤：将识别到的墙角按顺序分配不同的编号，按照构建墙角的顺序，由前一个墙角指向后一个相邻墙角，组成墙角族尺寸链。
11.作为优选，在所述组成墙角族尺寸链中，墙角族尺寸链的起点存储了前一个墙角的类别、墙角编号、坐标和相对于地图原点的角度，尺寸链的终点存储了后一个相邻墙角的类别、墙角编号、坐标和相对于地图原点的角度，并且存储两个相邻墙角的距离信息、方向信息和相对角度信息。
12.作为优选，所述根据非墙角语义物体与相邻非墙角语义物体的相对位置及方位关系得到非墙角语义物体尺寸链包括：
13.将识别到的非墙角语义物体按顺序分配不同的编号，按照构建非墙角语义物体的
顺序，由前一个非墙角语义物体指向后一个相邻非墙角语义物体，组成非墙角语义物体尺寸链。
14.作为优选，所述遍历场景获得墙角族语义图、非墙角物体语义图和栅格地图，通过原点重合及位姿对齐得到以墙角族为主特征的语义地图，之前还包括：
15.确定相机坐标系和激光雷达坐标系之间的关系；
16.用激光雷达深度数据代替相机深度数据并将激光雷达坐标系转化到机器人坐标系下，最后将机器人坐标系转换到世界坐标系。
17.作为优选，所述遍历场景获得墙角族语义图、非墙角物体语义图和栅格地图，通过原点重合及位姿对齐得到以墙角族为主特征的语义地图包括以下步骤：
18.将点的坐标映射到栅格坐标系下；在遍历场景的过程中融合里程计信息、惯性测量单元信息、激光信息处理及识别、视觉信息处理及识别获得墙角族语义图、非墙角物体语义图和栅格地图；
19.将所述墙角族语义图、非墙角物体语义图和栅格地图用适合动态场景的贝叶斯估计增量式构建，通过原点重合及位姿对齐得到基于墙角族为主特征的语义地图。
20.作为优选，所述进行室内墙角凸凹性区分包括：判断两直线相交的墙角与观测点的距离和远离墙角位置与观测点的距离，若远离墙角位置与观测点的距离大于两直线相交的墙角与观测点的距离，则为凸墙角；若远离墙角位置与观测点的距离小于两直线相交的墙角与观测点的距离，则为凹墙角。
21.作为优选，所述进行室内墙角方向性判断，基于方向性判断结果获取墙角类别标签包括以下步骤：
22.在室内环境中，选定一面墙体作为参考，当机器人垂直所述墙体时，航向角设为0
°
，并把该面墙体的右边墙角设定为第一类墙角；
23.获取机器人航向角，根据墙面与航向角之间的夹角判断室内墙角方向性；
24.根据墙角方向按照逆时针顺序依次定为第二类墙角、第三类墙角和第四类墙角。
25.作为优选，所述将获取到的墙角类别标签，结合室内墙角的凸、凹性区分，建立室内墙角的墙角族包括：在激光雷达识别到墙角之后，对墙角凹凸类别进行区分，结合墙角相对于机器人的方位角对室内墙角的墙角族分类，其中，墙角族分类包括：第一类凸墙角、第二类凸墙角、第三类凸墙角、第四类凸墙角；第一类凹墙角、第二类凹墙角、第三类凹墙角、第四类凹墙角。
26.本发明具有如下优点：
27.本发明使用深度相机、惯性测量单元和激光雷达对墙角进行方向和凹凸性区分，最终得到丰富的墙角类别信息。研究墙角族中每个墙角的唯一性与确定性，横向和纵向挖掘墙角间的内在联系，构建基于墙角族为主特征的语义地图构建方法。在构建好的语义地图中，充分表达墙角与相邻墙角、非墙角语义物体与相邻非墙角语义物体之间的位置关系、墙角与邻近非墙角语义物体间的位置关系，让墙角族成为主特征，并根据这些位置关系得到墙角族尺寸链、非墙角语义物体尺寸链、墙角与邻近非墙角语义物体信息关系，从而确定墙角族中每个墙角与非墙角语义物体的唯一性与确定性。
附图说明
28.图1表示为本发明的基于墙角族为主特征的语义地图构建方法流程图；
29.图2表示为本发明的室内典型场景中墙角族示意图；
30.图3表示为本发明的室内典型场景中墙角族信息表；
31.图4表示为本发明的室内典型场景中非墙角语义物体尺寸链关系图；
32.图5表示为本发明的墙角类别与邻近非墙角语义物体信息关系图。
具体实施方式
33.为了便于本领域普通技术人员理解和实施发明，下面结合附图及实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
34.本发明的具体实施示例为基于墙角族为主特征的语义地图构建方法，如图1所示，所述方法包括以下步骤：
35.步骤1：进行室内墙角的凸、凹性区分；
36.步骤2：进行室内墙角方向性判断，基于方向性判断结果获取墙角类别标签；
37.步骤3：将获取到的墙角类别标签，结合室内墙角的凸、凹性区分，建立室内墙角的墙角族；
38.步骤4：根据墙角族中墙角与相邻墙角的相对位置及方位关系得到墙角族尺寸链，并将墙角族尺寸链存储在墙角族信息表中；根据非墙角语义物体构建非墙角物体语义图，根据非墙角语义物体与相邻非墙角语义物体的相对位置及方位关系得到非墙角语义物体尺寸链，并将非墙角语义物体尺寸链存储在非墙角语义物体信息表中；
39.步骤5：遍历场景获得墙角族语义图、非墙角物体语义图和栅格地图，通过原点重合及位姿对齐得到以墙角族为主特征的语义地图。
40.需要说明的是，本发明提出基于墙角族为主特征的语义地图构建方法在构建好的语义地图中，充分表达墙角与相邻墙角、非墙角语义物体与相邻非墙角语义物体之间的位置关系、墙角与邻近非墙角语义物体间的位置关系，让墙角族成为主特征，并根据这些位置关系得到墙角族尺寸链、非墙角语义物体尺寸链、墙角与邻近非墙角语义物体信息关系，从而确定墙角族中每个墙角与非墙角语义物体的唯一性与确定性。
41.具体实施时，本发明方法依托的硬件平台包含：主控机、机器人平台底盘、深度相机、惯性测量单元和激光雷达；所述主控机分别与机器人平台底盘、深度相机、激光雷达依次链接。其中，
42.主控机选用的是酷睿i9迷你主机；机器人平台底盘选用的是scout mini智能移动底盘；深度相机选用的是微软的kinectv2；惯性测量单元选用的是瑞芬科技型号为ah-100b；激光雷达传感器选用性能稳定的sick lms111激光雷达。
43.接下来对本发明的语义地图构建方法进行进一步的详细说明；
44.在一种实施方式中，步骤1：进行室内墙角的凸、凹性区分；所述室内墙角按照凸凹类别进行区分可分为凸墙角和凹墙角，本发明通过激光和视觉融合实现墙角的凸、凹性区分。
45.所述进行室内墙角凸凹性区分包括以下步骤：判断两直线相交的墙角与观测点的
距离和远离墙角位置与观测点的距离，若远离墙角位置与观测点的距离大于两直线相交的墙角与观测点的距离，则为凸墙角；若远离墙角位置与观测点的距离小于两直线相交的墙角与观测点的距离，则为凹墙角。
46.具体地，所述进行室内墙角凸凹性判断具体为：激光雷达识别到室内墙角之后，对墙角按照凸凹类别进行区分，一种是凸墙角，另一种是凹墙角。若两直线相交的墙角处距离机器人最近，越远离墙角位置的激光点距离机器人越来越远，则为凸墙角；若两直线相交的墙角处距离机器人最远，越远离墙角位置的激光点距离机器人越来越近，则为凹墙角。
47.在一种实施方式中，步骤2：进行室内墙角方向性判断，基于方向性判断结果获取墙角类别标签；
48.具体地，常规室内墙角一般有四个主要朝向，每一类墙角都有着独特的标签，因此对墙角进行方向性判断。所述对室内墙角方向性进行判断，获取墙角类别标签具体步骤包括，机器人通过惯性测量单元得到机器人航向角，机器人通过激光雷达击中墙面的激光点采用iepf算法进行直线拟合，得到墙面与惯性测量单元获取的航向角之间的夹角，在室内环境中，选定一面墙体作为参考，当机器人垂直该墙体时，航向角设为0
°
，并把该面墙体的右边墙角设定为第一类墙角，按照逆时针顺序依次定为第二类墙角、第三类墙角和第四类墙角。航向角按照顺时针方向增加，范围在0
°
到360
°
之间，机器人航向角用θ表示，相机深度图最大视角范围用α表示；
49.当每类墙角不存重叠航向角时，识别到的墙角为对应的墙角类别，在相机左右极限视角范围内，当α/2《θ《90
°‑
α/2时，相机视角范围所见为第一类墙角；当270
°
+α/2《θ《360
°‑
α/2时，相机视角范围所见为第二类墙角；当180
°
+α/2《θ《270
°‑
α/2时，相机视角范围所见为第三类墙角；当90
°
+α/2《θ《180
°‑
α/2时，相机视角范围所见为第四类墙角。
50.当存在重叠航向角时，判断墙角位于航向角的左侧还是右侧。若墙角位于航向角的左侧或者右侧时只有一种墙角类型，则该墙角为对应墙角类型。
51.如果墙角位于航向角的左侧或右侧时有两类墙角，则计算航向角与墙角的该侧墙面之间的夹角β，当β《α/2时对应一种墙角类型，当β》90
°‑
α/2时对应另一种墙角类型。在航向角设定的区间范围内，结合航向角与对应墙面之间的夹角β来确定具体的墙角类型。机器人在相机左右极限视角下，当360
°‑
α/2《θ《360
°
时，第一类墙角和第二类墙角均位于航向角右侧，此时计算航向角与墙角所在的右侧墙面之间的夹角β，如果β《α/2，相机视角范围所见为为第一类墙角，如果β》90
°‑
α/2，相机视角范围所见为第二类墙角；当0
°
《θ《α/2时，第一类墙角和第二类墙角均位于航向角左侧，此时计算航向角与墙角所在的左侧墙面之间的夹角β，如果β《α/2，相机视角范围所见为为第二类墙角，如果β》90
°‑
α/2，相机视角范围所见为第一类墙角。
52.具体来说，室内墙角在相机kinectv2视角范围内和惯性测量单元获取的航向角范围内进行判断，如果每类墙角都存在不重叠的航向角范围，则在不重叠的航向角范围内识别到的墙角是对应的墙角类别。
53.作为可选，机器人搭载惯性测量单元得到机器人朝向，根据识别到墙角对应的机器人朝向来进行墙角方向性判断。第一次使用时对惯性测量单元进行校正，在室内环境中，选定一面墙体作为参考，当机器人垂直该墙体时，机器人航向角设为0
°
，并把该面墙体的右边墙角设定为第一类墙角，按照逆时针顺序依次定为第二类墙角、第三类墙角和第四类墙
角。
54.在一种实施方式中，步骤3：将获取到的墙角类别标签，结合室内墙角的凸、凹性区分，建立室内墙角的墙角族。
55.具体地，机器人将步骤2中获取到的墙角类别标签，结合墙角间位置关系、墙角与其他非墙角语义物体间的关系实现每个墙角具有唯一性。在激光雷达识别到墙角之后，对墙角进行凹凸类别进行区分，一种是凹墙角，一种是凸墙角。由机器人检测到墙角时的方位角，大致分为4类，结合凸、凹墙角区分，分类如下：第一类凸墙角、第二类凸墙角、第三类凸墙角、第四类凸墙角；第一类凹墙角、第二类凹墙角、第三类凹墙角、第四类凹墙角，对于规则建筑物室内的墙角初步分为8类，称为墙角族。具体如图2所示为室内典型场景中墙角族示意图。
56.在一种实施方式中，步骤4：根据墙角族构建墙角语义图，根据墙角族中墙角与相邻墙角的相对位置及方位关系得到墙角族尺寸链，并将墙角族尺寸链存储在墙角族信息表中；根据非墙角语义物体构建非墙角物体语义图，根据非墙角语义物体与相邻非墙角语义物体的相对位置及方位关系得到非墙角语义物体尺寸链，并将非墙角语义物体尺寸链存储在非墙角语义物体信息表中；
57.具体地，在根据墙角族构建墙角语义图中，所述室内墙角族尺寸链、非墙角语义物体尺寸链、墙角与邻近非墙角语义物体信息关系，在构建语义图时，融合里程计、惯性测量单元、激光信息、视觉信息处理及识别获得墙角族语义图、非墙角物体语义图。在墙角族语义图中，存储着墙角类别、墙角族尺寸链；在非墙角物体语义图中，存储着非墙角语义物体类别、非墙角语义物体尺寸链。
58.室内典型场景中墙角族尺寸链关系如图3所示。在图3中，选取部分墙角7、10、34、47分析其相邻上游和相邻下游的墙角类型及墙角族尺寸链见表1。
59.表1室内典型场景中墙角族信息表
[0060][0061]
在墙角族语义图中，存储着墙角类别、墙角族尺寸链。在构建墙角族语义图时，通过先后顺序，将识别到的墙角按顺序分配不同的编号，并且将墙角的坐标存储在墙角族语义图中。墙角族尺寸链有起点和终点，按照构建墙角的顺序，其墙角族尺寸链的指向由前一个墙角指向后一个相邻墙角，在墙角族尺寸链中，尺寸链的起点存储了前一个墙角的类别、墙角编号、坐标和相对于地图原点的角度，尺寸链的终点存储了后一个相邻墙角的类别、墙角编号、坐标和相对于地图原点的角度，并且存储两个相邻墙角的距离信息、方向信息和相对角度信息。
[0062]
在构建好的墙角族语义图中，假设地图左上角为地图原点，x的方向为地图原点指向地图右方，y方向为地图原点指向地图下方，θ为墙角坐标与地图原点之间的连线与x轴方向的夹角。分别选取4条墙角族尺寸链来分别讲述，见图3。比如墙角族尺寸链d
57
，其前一个墙角编号为
⑤
，为第一类凹墙角，坐标为(x5,y5),相对于地图原点的角度为θ5，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
57
的起点。后一个相邻墙角编号为
⑦
，为第四类凹墙角，坐标为(x7,y7),则相对于地图原点的角度为θ7，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
57
的终点。墙角5与墙角7在x方向的距离为d
57x
＝x
7-x5，在y方向的的距离为d
57y
＝y
7-y5,则两个相邻墙角的相对角度为δθ
57
＝θ
7-θ5。将计算得到的和相对角度δθ
57
存储在墙角族尺寸链d
57
中。
[0063]
墙角族尺寸链d
910
，其前一个墙角的编号为
⑨
，为第四类凸墙角，坐标为(x9,y9),相对于地图原点的角度为θ9，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
910
的起点。后一个相邻墙角编号为
⑩
，为第一类凸墙角，坐标为(x
10
,y
10
),则相对于地图原点的角度为θ
10
，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
910
的终点。墙角9与墙角10在x方向的距离为d
910x
＝x
10-x9，在y方向的距离为d
910y
＝y
10-y9,则两个相邻墙角的相对角度为δθ
2125
＝θ
25-θ
21
。并将计算得到的和相对角度δθ
2125
存储在墙角族尺寸链d
910
中。
[0064]
墙角族尺寸链d
3234
，其前一个墙角的编号为为第二类凸墙角，坐标为(x
32
,y
32
),相对于地图原点的角度为θ
32
，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
3234
的起点。后一个相邻墙角编号为为第一类凹墙角，坐标为(x
34
,y
34
),则相对于地图原点的角度为θ
34
，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
3234
的终点。墙角32与墙角34在x方向的距离为d
3234x
＝x
34-x
32
，在y方向的距离为d
3234y
＝y
34-y
32
,则两个相邻墙角的相对角度为δθ
3234
＝θ
34-θ
32
。并将计算得到的和相对角度δθ
3234
存储在墙角族尺寸链d
3234
中。
[0065]
墙角族尺寸链d
4749
，其前一个墙角的编号为为第二类凹墙角，坐标为(x
47
,y
47
),相对于地图原点的角度为θ
47
，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
4749
的起点。后一个相邻墙角编号为为第一类凹墙角，坐标为(x
49
,y
49
),则相对于地图原点的角度为θ
49
，将该墙角的编号、墙角类别、墙角坐标和角度存储在墙角族尺寸链d
4749
的终点。墙角47与墙角49在x方向的距离为d
4749x
＝x
49-x
47
，在y方向的距离为d
4749y
＝y
49-y
47
,则两个相邻墙角的相对角度为δθ
4749
＝θ
49-θ
47
。并将计算得到的和相对角度δθ
4749
存储在墙角族尺寸链d
4749
中。最终将墙角的类别及其相对顺序的墙角族尺寸链放入墙角族信息表中。
[0066]
由环境中非墙角语义信息得到室内典型场景中非墙角语义物体间关系，室内非墙角语义物体尺寸链中非墙角语义物体间的关系，根据非墙角语义物体间的相对位置及方位关系得到非墙角语义物体尺寸链；非墙角语义物体信息表中记录非墙角语义物体类别及其相对顺序的非墙角语义物体尺寸链。
[0067]
室内典型场景中非墙角语义物体尺寸链关系如图4所示。在图4中，选取部分非墙角语义物体6、8、13分析其相邻上游和下游的非墙角语义物体类型及非墙角语义物体尺寸链见下表2。
[0068]
表2室内典型场景中非墙角语义物体信息表
[0069][0070]
在非墙角物体语义图中，存储着物体类别、非墙角语义物体尺寸链。在构建非墙角物体语义图时，通过先后顺序，将识别到的非墙角语义物体按顺序分配不同的编号，并且将非墙角语义物体的坐标存储在地图中。非墙角语义物体尺寸链有起点和终点，按照构建非墙角语义物体的顺序，非墙角语义物体尺寸链由前一个非墙角语义物体指向后一个相邻非墙角语义物体，在非墙角语义物体尺寸链中，非墙角语义物体尺寸链的起点存储了前一个非墙角语义物体的坐标、非墙角语义物体类别、非墙角语义物体编号和相对于地图原点的角度，非墙角语义物体尺寸链的终点存储了后一个相邻非墙角语义物体的坐标、非墙角语义物体类别、非墙角语义物体编号和相对于地图原点的角度，并且存储两个相邻非墙角语义物体的距离信息、方向信息和相对角度信息。
[0071]
在非墙角物体语义图中，选取一条非墙角语义物体尺寸链来讲述，见如图4所示。非墙角语义物体尺寸链w
68
，其前一个非墙角语义物体的编号为
⑥
，为椅子，坐标为(x6,y6),相对于地图原点的角度为θ6，将该非墙角语义物体的编号、类别、坐标和角度存储在非墙角语义物体尺寸链w
68
的起点。后一个相邻非墙角语义物体的编号为
⑧
，为柜子，坐标为(x8,y8),则相对于地图原点的角度为θ8，将该非墙角语义物体的编号、类别、坐标和角度存储在非墙角语义物体尺寸链w
68
的终点。非墙角语义物体6和相邻非墙角语义物体8在x方向的距离为d
68x
＝x
8-x6,，在y方向的距离为d
68y
＝y
8-y6,则两个语义物体的相对角度为δθ
68
＝θ
8-θ6。并将计算得到的和相对角度δθ
68
存储在非墙角语义物体尺寸链w
68
中。最终将非墙角语义物体的类别及其相对顺序的非墙角语义物体尺寸链放入非墙角语义物体信息表中。
[0072]
为了能够快速识别墙角类别，将墙角类别信息和周围语义信息进行存储。拟定在相机的深度图最大视角范围内并且其视距较准的范围内画圆，中心坐标位于圆内的物体都视为墙角附近的物体。
[0073]
墙角类别与邻近非墙角语义物体信息关系如图5所示，图中选取部分墙角点进行示意，在每个墙角点周围进行搜索，如果有非墙角物体在该墙角附近，则将墙角类别信息和物体类别信息和距离信息进行存储，用d1，d2，d3，d4，d5，d6，d7分别表示椅子、柜子、垃圾桶、沙发、柜子、床、空调的中心与墙角的距离。
[0074]
在一种实施方式中，步骤5：遍历场景获得墙角族语义图、非墙角物体语义图和栅格地图，通过原点重合及位姿对齐得到以墙角族为主特征的语义地图；
[0075]
具体地，所述激光雷达和深度相机获取到的周围环境墙角和非墙角语义物体的坐标都是相对于自身坐标系下的坐标，通过确定各个坐标系得转换关系，获得墙角与非墙角语义物体的世界坐标。
[0076]
作为优选，所述确定各个坐标系的转换关系，获得墙角与非墙角语义物体的世界坐标包括首先确定相机坐标系和激光雷达坐标系之间的关系，然后用激光雷达深度数据代替相机深度数据并将激光雷达坐标系转化到机器人坐标系下，进而将机器人坐标系转换到世界坐标系，最后将点的坐标映射到栅格坐标系下。在遍历场景的过程中融合里程计信息、
惯性测量单元信息、激光信息处理及识别、视觉信息处理及识别获得墙角族语义图、非墙角物体语义图和栅格地图，这三种地图用适合动态场景的贝叶斯估计增量式构建，通过原点重合及位姿对齐得到基于墙角族为主特征的语义地图。
[0077]
综上所述，本发明结合激光slam算法和深度学习方法创建环境栅格地图并提取环境语义，同时对语义点云进行假语义去除，通过坐标转换将语义信息与环境栅格地图进行融合，并采用基于贝叶斯估计的增量式方法对栅格中物体语义存在与否进行判定，得到基于墙角族为主特征的语义地图构建方法，并根据墙角与相邻墙角的相对位置及方位关系得到墙角族尺寸链；根据非墙角语义物体与相邻非墙角语义物体间的相对位置及方位关系得到非墙角语义物体尺寸链；根据墙角与邻近非墙角语义物体间的相对位置及方位关系得到墙角与邻近非墙角语义物体信息关系。
[0078]
本发明的保护范围并不限于上述的示例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围内，则本发明的意图也包含这些改动和变形在内。