一种跨楼层导航互动的方法和系统与流程

1.本技术涉及计算机视觉和导航领域，特别是涉及一种跨楼层导航互动的方法和系统。


背景技术：

2.随着导航向商场、展馆等复杂场景的普及，跨楼层导航成为导航中的必要环节。在跨楼层在导航中，由于gps定位误差在米级，不能感知到用户距离扶梯口距离、开始跨楼层和跨楼层成功等状态。因此，只能先导航到扶梯口，然后导航暂停，跨楼层后用户手动切换楼层重新导航，没有实现从头至尾的整体导航，中间过程出现中断且需要用户手动切换楼层重新开始导航。由此可见，相关的跨楼层导航方法中存在着导航过程不连续和智能化程度低等问题。
3.目前针对相关技术中跨楼层导航存在着导航过程不连续和智能化程度低的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种跨楼层导航互动的方法和系统，以至少解决相关技术中跨楼层导航存在着导航过程不连续和智能化程度低的问题。
5.第一方面，本技术实施例提供了一种跨楼层导航互动的方法，所述方法包括：
6.获取场景视觉图像生成点云地图，通过将所述点云地图映射到二维平面生成标注参考图，在所述标注参考图上载入标注内容，其中，所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层；
7.根据所述标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于所述跨楼层区域内；
8.在判断所述当前位置位于所述跨楼层区域内的情况下，进行所述跨楼层时间的计时，生成跨楼层信息进行提示；
9.在经过所述跨楼层时间后，生成重新定位信息进行提示，通过所述视觉定位和所述vio跟踪进行重新定位。
10.在其中一些实施例中，在获取场景视觉图像生成点云地图之后，所述方法还包括：
11.在所述点云地图中标注指引箭头的位置信息和方向信息；
12.通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离，
13.在判断所述距离在预设距离范围内的情况下，根据所述位置信息和所述方向信息，生成所述指引箭头进行提示。
14.在其中一些实施例中，在获取场景视觉图像生成点云地图之后，所述方法还包括：
15.通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离，
16.在判断所述距离在所述预设距离范围内的情况下，生成安全提醒信息进行提示。
17.在其中一些实施例中，在判断所述当前位置位于所述跨楼层区域内的情况下，生
成跨楼层信息进行提示包括：
18.在判断所述当前位置位于所述跨楼层区域内的情况下，生成跨楼层信息进行提示，停止进行所述视觉定位与所述vio跟踪。
19.在其中一些实施例中，在所述点云地图中标注指引箭头的位置信息和方向信息之后，所述方法还包括：
20.根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标；
21.根据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标；
22.通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离；
23.在判断所述距离在预设距离范围内的情况下，根据所述位置坐标和所述方向坐标，生成所述指引箭头进行提示。
24.第二方面，本技术实施例提供了一种跨楼层导航互动的系统，所述系统包括终端设备和服务器设备；
25.所述终端设备获取场景视觉图像生成点云地图，通过将所述点云地图映射到二维平面生成标注参考图，在所述标注参考图上载入标注内容，其中，所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层；
26.所述终端设备根据所述标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于所述跨楼层区域内；
27.所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下，进行所述跨楼层时间的计时，并生成跨楼层信息进行提示；
28.所述终端设备在经过所述跨楼层时间后，生成重新定位信息进行提示，通过所述视觉定位和所述vio跟踪进行重新定位。
29.在其中一些实施例中，所述终端设备在获取场景视觉图像生成点云地图之后；
30.所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息；
31.所述终端设备通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离，
32.所述终端设备在判断所述距离在预设距离范围内的情况下，根据所述位置信息和所述方向信息，生成所述指引箭头进行提示。
33.在其中一些实施例中，所述终端设备在获取场景视觉图像生成点云地图之后；
34.所述终端设备通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离，
35.所述终端设备在判断所述距离在所述预设距离范围内的情况下，生成安全提醒信息进行提示。
36.在其中一些实施例中，在判断所述当前位置位于所述跨楼层区域内的情况下，生成跨楼层信息进行提示包括：
37.所述终端设备在判断所述当前位置位于所述跨楼层区域内的情况下，生成跨楼层信息进行提示，停止进行所述视觉定位与所述vio跟踪。
38.在其中一些实施例中，所述终端设备在所述点云地图中标注指引箭头的位置信息和方向信息之后；
39.所述终端设备根据转换矩阵将所述点云地图中的坐标转换成三维空间坐标，并根
据所述三维空间坐标得到所述指引箭头的位置坐标和方向坐标；
40.所述终端设备通过所述视觉定位和所述vio跟踪来计算判断当前位置与扶梯口的距离；
41.所述终端设备在判断所述距离在预设距离范围内的情况下，根据所述位置坐标和所述方向坐标，生成所述指引箭头进行提示。
42.相比于相关技术，本技术实施例提供的一种跨楼层导航互动的方法和系统，通过获取场景视觉图像生成点云地图，将点云地图映射到二维平面生成标注参考图，在标注参考图上载入标注内容，其中，标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层，根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于跨楼层区域内；在判断当前位置位于跨楼层区域内的情况下，进行跨楼层时间的计时，并生成跨楼层信息进行提示；在经过跨楼层时间后，生成重新定位信息进行提示，解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题，实现了跨楼层导航过程的自动化，无需手动进行跨楼层状态的触发，通过三维空间的信息提示准确判断上下楼位置。
附图说明
43.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
44.图1是根据本技术实施例的跨楼层导航互动系统的结构框图；
45.图2是根据本技术实施例的跨楼层导航互动系统的跨楼层信息显示示意图；
46.图3是根据本技术实施例的跨楼层导航互动系统的重新定位信息显示示意图；
47.图4是根据本实施例的跨楼层导航互动系统的指引箭头流程示意图；
48.图5是根据本实施例的跨楼层导航互动系统的指引箭头显示示意图；
49.图6是根据本实施例的跨楼层导航互动系统的安全提醒信息流程示意图；
50.图7是根据本实施例的跨楼层导航互动系统的标注参考示意图；
51.图8是根据本实施例的跨楼层导航互动系统的安全提醒信息显示示意图；
52.图9是根据本技术实施例的跨楼层导航互动方法的步骤流程图；
53.图10是根据本技术具体实施例的跨楼层导航互动方法的流程示意图。
54.附图说明：10、终端设备；11、服务器设备。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
56.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应
当理解为本技术公开的内容不充分。
57.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
58.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
59.本技术实施例提供了一种跨楼层导航互动的系统，图1是根据本技术实施例的跨楼层导航互动系统的结构框图，如图1所示，该系统包括终端设备10和服务器设备11；
60.终端设备10获取场景视觉图像生成点云地图，通过将点云地图映射到二维平面，生成标注参考图，在所述标注参考图上载入标注内容，其中，所述标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层；
61.终端设备10根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于跨楼层区域内；
62.图2是根据本技术实施例的跨楼层导航互动系统的跨楼层信息显示示意图，如图2所示，终端设备10在判断当前位置位于跨楼层区域内的情况下，进行跨楼层时间的计时，并生成跨楼层信息(如“正在上楼，请注意脚下安全”)进行提示；
63.图3是根据本技术实施例的跨楼层导航互动系统的重新定位信息显示示意图，如图3所示，终端设备10在经过跨楼层时间后，生成重新定位信息(如“请缓慢移动手机”“请于2楼扶梯口重新定位”)进行提示，通过视觉定位和vio跟踪进行重新定位。
64.通过本技术实施例，终端设备10获取场景视觉图像生成点云地图，将点云地图映射到二维平面生成标注参考图，在标注参考图上载入标注内容，其中，标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层，根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于跨楼层区域内；在判断当前位置位于跨楼层区域内的情况下，进行跨楼层时间的计时，并生成跨楼层信息进行提示；在经过跨楼层时间后，生成重新定位信息进行提示，解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题，实现了跨楼层导航过程的自动化，无需手动进行跨楼层状态的触发，通过三维空间的信息提示准确判断上下楼位置。
65.在其中一些实施例中，图4是根据本实施例的跨楼层导航互动系统的指引箭头流程示意图，如图4所示，本实施例包括以下步骤：
66.步骤1，生成点云地图，并标注指引箭头信息。
67.终端设备在扶梯场景中获取场景视觉图像，通过slam(simultaneous localization and mapping，同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图)，在点云地图中选中两点(平行于扶梯，并且选取顺序按扶梯口到扶梯中)，以第一点坐标记录指引箭头位置、以四元数记录指引箭头方向信息。
68.步骤2，进行视觉定位和vio跟踪。
69.终端设备通过将相机连续图像与点云地图进行比对，获取用户位置，结合vio(visual
‑
inertial odometry，视觉惯性里程计)，融合相机和陀螺仪传感器进行朝向与距离计算，计算用户行走朝向和距离，通过路径规划算法实时计算用户位置到扶梯口距离；
70.步骤3，坐标转换。
71.终端设备根据转换矩阵将点云地图中的位置坐标，通过坐标系转换，生成内容制作软件坐标系中的坐标值。
72.步骤4，显示上下楼指引箭头。
73.图5是根据本实施例的跨楼层导航互动系统的指引箭头显示示意图，终端设备在判断距离在预设距离范围内的情况下，即终端设备通过路径规划算法实时计算用户位置到扶梯口距离，距离在预先设定距离范围内时，获取到位置坐标和方向信息后在内容中显示上下楼指引箭头进行提示，同时通过视觉定位与vio跟踪计算用户位置，当用户经过上下楼指引箭头时，指引箭头动效消失。
74.在其中一些实施例中，图6是根据本实施例的跨楼层导航互动系统的安全提醒信息流程示意图，如图6所示，本实施例包括以下步骤：
75.步骤1，生成点云地图。
76.终端设备在扶梯场景中获取场景视觉图像，通过slam(simultaneous localization and mapping，同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图)。
77.步骤2，将点云地图映射到二维平面。
78.图7是根据本实施例的跨楼层导航互动系统的标注参考示意图，如图7所示，终端设备将点云地图映射到二维平面中，生成标注参考图。将标注参考图与真实地图(如mapbox、openstreetmap等开源地图服务)对齐，从而进行导航要素的标注。在地图中标注出扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层等属性。
79.步骤3，进行视觉定位和vio跟踪。
80.终端设备根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于扶梯区域内。
81.步骤4，判断跨楼层状态并进行提示。
82.图8是根据本实施例的跨楼层导航互动系统的安全提醒信息显示示意图，如图8所示，终端设备沿导航路线移动，终端设备在判断距离在预设距离范围内的情况下，即终端设备通过路径规划算法实时计算用户位置到扶梯口距离，距离在预先设定距离范围内时，生成“前方扶梯，注意人流与脚下安全”的安全提醒信息进行提示。
83.在其中一些实施例中，在判断当前位置位于跨楼层区域内的情况下，生成跨楼层信息进行提示包括：
84.终端设备在判断当前位置位于跨楼层区域内的情况下，生成跨楼层信息进行提示，停止进行视觉定位与vio跟踪。
85.本技术实施例提供了一种跨楼层导航互动的方法，图9是根据本技术实施例的跨楼层导航互动方法的步骤流程图，如图9所示，该方法包括以下步骤：
86.s902，获取场景视觉图像生成点云地图，通过将点云地图映射到二维平面生成标注参考图，其中，标注参考图包含扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层；
87.s904，根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于跨楼层区域内；
88.s906，在判断当前位置位于跨楼层区域内的情况下，进行跨楼层时间的计时，并生成跨楼层信息进行提示；
89.s908，在经过跨楼层时间后，生成重新定位信息进行提示，通过视觉定位和vio跟踪进行重新定位。
90.通过本技术实施例中的步骤s902至s908，获取场景视觉图像生成点云地图，将点云地图映射到二维平面生成标注参考图，在标注参考图上载入标注内容，其中，标注内容包括扶梯区域、跨楼层区域、跨楼层时间、扶梯连接楼层，根据标注参考图，通过视觉定位和vio跟踪来计算判断当前位置是否位于跨楼层区域内；在判断当前位置位于跨楼层区域内的情况下，进行跨楼层时间的计时，并生成跨楼层信息进行提示；在经过跨楼层时间后，生成重新定位信息进行提示，解决了跨楼层导航存在着导航过程不连续和智能化程度低的问题，实现了跨楼层导航过程的自动化，无需手动进行跨楼层状态的触发，通过三维空间的信息提示准确判断上下楼位置
91.在其中一些实施例中，在获取场景视觉图像生成点云地图之后；
92.在点云地图中标注指引箭头的位置信息和方向信息；
93.通过视觉定位和vio跟踪来计算判断当前位置与扶梯口的距离，
94.在判断距离在预设距离范围内的情况下，根据位置信息和方向信息，生成指引箭头进行提示。
95.在其中一些实施例中，在获取场景视觉图像生成点云地图之后；
96.通过视觉定位和vio跟踪来计算判断当前位置与扶梯口的距离，
97.在判断距离在所述预设距离范围内的情况下，生成安全提醒信息进行提示。
98.在其中一些实施例中，在判断当前位置位于跨楼层区域内的情况下，生成跨楼层信息进行提示包括：
99.在判断当前位置位于跨楼层区域内的情况下，生成跨楼层信息进行提示，停止进行视觉定位与vio跟踪。
100.在其中一些实施例中，在点云地图中标注指引箭头的位置信息和方向信息之后；
101.根据转换矩阵将点云地图中的坐标转换成三维空间坐标；
102.根据三维空间坐标得到指引箭头的位置坐标和方向坐标；
103.通过视觉定位和vio跟踪来计算判断当前位置与扶梯口的距离；
104.在判断距离在预设距离范围内的情况下，根据位置坐标和方向坐标，生成指引箭
头进行提示。
105.本技术具体实施例提供了一种跨楼层导航互动的方法，图10是根据本技术具体实施例的跨楼层导航互动方法的流程示意图，如图10所示，该方法包括以下步骤：
106.步骤1，进行安全提醒信息提示(提示1)。
107.在扶梯场景中获取场景视觉图像，通过slam(simultaneous localization and mapping，同步定位与建图)方法建立点云地图(包含相机位姿信息和图像信息的场景地图)，在点云地图中选中两点(平行于扶梯，并且选取顺序按扶梯口到扶梯中)，以第一点坐标记录指引箭头位置、以四元数记录指引箭头方向信息；
108.将点云地图映射到二维平面中，生成标注参考图。将标注参考图与真实地图(如mapbox、openstreetmap等开源地图服务)对齐，从而进行导航要素的标注。在地图中标注出扶梯区域、跨楼层区域、跨楼层时间和扶梯连接楼层等属性；
109.通过视觉定位与vio跟踪，确定用户在场景中的所在位置，即利用相机中图像帧与点云地图进行比对，计算出用户在场景中的位置。加上vio计算出用户行走的导航路线；
110.沿导航路线移动，通过视觉定位和vio跟踪来计算判断当前位置与扶梯口的距离，在判断距离在所述预设距离范围内的情况下，即生成安全提醒信息进行提示。
111.步骤2，进行指引箭头显示。
112.通过将相机连续图像与点云地图进行比对，获取用户位置，结合vio(visual
‑
inertial odometry，视觉惯性里程计)，融合相机和陀螺仪传感器进行朝向与距离计算，计算用户行走朝向和距离，通过路径规划算法实时计算用户位置到扶梯口距离；
113.根据转换矩阵将点云地图中的位置坐标，通过坐标系转换，生成内容制作软件坐标系中的三维空间坐标；
114.在判断距离在预设距离范围内的情况下，即终端设备通过路径规划算法实时计算用户位置到扶梯口距离，距离在预先设定距离范围内时，获取到位置坐标和方向信息后在内容中显示上下楼指引箭头进行提示，同时通过视觉定位与vio跟踪计算用户位置，当用户经过上下楼指引箭头时，指引箭头动效消失。
115.步骤3，进行跨楼层信息显示(提示2)。
116.通过视觉定位与vio跟踪，确定用户在场景中的所在位置，即利用相机中图像帧与点云地图进行比对，计算出用户在场景中的位置。加上vio计算出用户行走的导航路线；
117.沿导航路线移动，在当前位置位于跨楼层区域内时，即生成跨楼层信息进行提示，并关闭视觉定位与vio跟踪，同时触发跨楼层时间的计时。
118.步骤4，进行重新定位信息提示(提示3)。
119.在上述跨楼层时间计时结束后，自动开始视觉定位服务和vio跟踪，生成重新定位信息进行提示提示在新楼层进行场景扫描，完成视觉定位，然后在新楼层自动进行剩余路径的导航。
120.优选地，在其中一些实施例中，可通过在跨楼层场景中加装物联网近场通信设备，用户在扶梯口等区域可获得物联网设备的指示，即可获取跨楼层状态，进而进行提示与自动切换楼层等互动。在跨楼层导航过程中实现了自动化，无需用户手动进行跨楼层状态的触发，整个导航过程更加便捷，三维空间中的跨楼层箭头引导能够帮助用户准确判断上下楼位置，跨楼层过程更加人性化。
121.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
122.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。