AR导览系统及AR导览方法与流程

ar导览系统及ar导览方法
技术领域
1.本发明涉及软件系统领域，尤其涉及一种在通过ar显示装置进行ar导览的系统和方法。
2.本技术是同一申请人的申请日为2021年1月22日、申请号为2021100892954、发明名称为“ar导览系统及ar导览方法”的中国发明专利申请的分案申请。


背景技术：

3.目前传统的导览方式是通过语音讲解设备向用户介绍其相关的场景(例如博物馆、展览馆)的内容，缺乏和用户的有效交互。基于ar设备的导览系统和方法也逐步普及，但是现有的基于ar设备的导览是cv算法识别目标物体后，再向用户播放一些ar内容。
4.在一些场景下，由于环境限制，ar设备可能无法识别目标物体，导致ar内容不能及时呈现，因此导致用户体验较差。且cv算法的识别需要对目标物体进行事先训练，导览方案的成本较高。


技术实现要素：

5.本发明的目的在于提供一种新的ar导览系统和ar导览方法，实现了通过移动终端控制ar显示装置显示ar内容，从而满足一些特定场景的导览需求。
6.根据本发明的一个方面，本发明的一个或多个实施方式公开了一种应用于载人装置销售的ar导览系统，包括，ar显示装置，由用户佩戴，所述ar显示装置被配置用来提供近眼显示功能；移动终端，由销售人员控制，所述移动终端和所述ar显示装置通信连接；所述移动终端被配置向所述ar显示装置发送控制指令，使得所述ar显示装置显示所述控制指令所对应的ar内容；其中所述控制指令包括：体验模式指令和推介模式指令，其中所述体验模式指令使得所述ar显示装置进入体验模式，并播放预设于ar显示装置中的ar内容；所述推介模式指令使得所述ar显示装置进入推介模式，且所述移动终端进入推介菜单页面；根据所述推介菜单页面的激活项的组合，所述移动终端向所述ar显示装置发送显示指令，使得所述ar显示装置显示和所述激活项的组合对应的ar内容。
7.根据本发明的另一个方面，本发明的一个或多个实施方式公开了一种应用于载人装置销售的ar导览方法，包括：ar显示装置被配置为与移动终端通信连接，并接收所述移动终端的控制指令，其中所述ar显示装置由用户佩戴，其中所述移动控制终端由销售人员控制；根据所述控制指令，所述ar显示装置显示与所述控制指令对应的ar内容；其中所述控制指令包括：体验模式指令，其中所述体验模式指令使得所述ar显示装置进入体验模式，并播放预设于ar显示装置中的ar内容；其中所述控制指令包括推介模式指令，所述推介模式指令使得所述ar显示装置进入推介模式，且所述移动终端进入推介菜单页面；根据推介菜单页面的激活项的组合，所述移动终端向所述ar显示装置发送显示指令，使得所述ar显示装置显示所和所述激活项的组合对应的ar内容。
8.通过本发明公开的一个或多个实施例，可以通过移动终端控制ar显示装置的显示
内容，从而无需通过cv算法等复杂算法对目标物体进行识别，技术实施成本低、用户体验高，且满足一些特定的导览场景的需求。
附图说明
9.图1示出了根据本发明一个或多个实施例的ar导览系统的示意图；
10.图2示出了根据本发明一个或多个实施例的ar导览系统的移动终端的一个ui界面的示意图；
11.图3示出了根据本发明的一个或多个实施例的ar导览系统的移动终端的一个ui界面的示意图；
12.图4示出了根据本发明的一个或多个实施例的ar导览方法的流程图。
具体实施方式
13.为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的ar导览系统及ar导览方法的具体实施方式、结构、特征及其功效，详细说明如后。
14.根据本发明的一个方面，如图1所示，示出了根据本发明的一个或多个实施例的ar导览系统的示意图，其中包括ar显示装置100和移动终端200，ar显示装置100和移动终端200通信连接。具体地，ar显示装置100能够将虚拟的信息叠加到真实世界，使佩戴者可以在看到真实世界画面的情况下，同时看到虚拟信息，实现两种信息的相互补充。在一个或多个实施例中，ar显示装置100包括ar/mr眼镜、ar/mr头环、ar/mr头盔等不同类型的头戴式设备，mr(mixed reality)和ar(augmented reality)的区别在于mr技术更加突出虚拟信息，而ar技术更加突出真实信息，两者的技术方案上并无本质区别，因此在本发明中，以ar统称包含ar、mr等现实扩增的技术。移动终端200为智能手机、平板电脑、笔记本电脑等移动终端设备，其具有人机交互界面、计算能力、存储能力和通信能力。移动终端200和ar显示装置100通过网线、usb数据线、wifi、蓝牙等有线或无线的方式连接。在一些变换的实施例中，移动终端200可以被非移动终端替代，例如可以用位于控制中心的台式机向ar显示装置100发送控制信号。
15.在一个或多个实施例中，移动终端200被配置为向ar显示装置100发送控制指令，使得ar显示装置100显示所述控制指令所对应的ar内容。控制指令包括体验模式指令和推介模式指令。具体地，移动终端200的控制指令的发送可以通过移动终端200上的ui界面的方式，由移动终端200的操作者进行选择。如图2所示，示出了移动终端的一个ui界面的示意图。在其中一个实施例中，移动终端200的界面上具有体验模式和推介模式两个可交互的按钮。当操作者选择体验模式后，则移动终端200向ar显示装置100发送体验模式的指令；当操作者选择推介模式后，则移动终端200向ar显示装置100发送推介模式的指令。在图2的右上角的圆圈内可以显示不同模式的预览效果图，供操作者预览。
16.在一个或多个实施例中，在接收到控制指令后，ar显示装置100检测用户的fov(field of view)是否位于预设的初始位置，若用户的fov位于预设的初始位置，则启动ar内容的播放，并通过imu传感器感测用户的姿态变化，并调整所述ar内容。具体地，由于ar显示装置100是一种近眼显示器，因此用户的fov方向也对应者ar显示装置100的显示屏幕的
fov方向，因此在进行虚实结合的场景叠加过程中，需要确保用户的fov位于适当的位置，避免虚实结合后的虚拟的信息和真实场景不匹配的情况。例如，在以汽车为例的载人设备的销售导览场景中，需要通过ar显示装置100向用户呈现的ar内容为汽车内部的功能键说明及实际效果演示，则初始位置设定为用户fov朝向汽车方向盘的中心，在确认用户fov位于该初始位置，启动ar内容，从而使得ar内容和真实的汽车功能键的布局相匹配。通过设置在ar显示装置100上的imu传感器检测用户的姿态变化(例如包含转头、低头、抬头等)，可以由此可以对正在播放的ar内容进行对应的操作，使得ar内容的显示和真实场景匹配。
17.当ar显示装置100接收到体验模式指令后，移动终端200后续并不介入ar显示装置100和用户的交互过程中，即进入体验模式后，ar显示装置100显示的内容和移动终端200的操作无关联，除非通过移动终端200的指令使得ar显示装置100退出体验模式。在其中一个实施例中，体验模式下的ar内容包括3d模型、视频、文本、音频等一种或多个媒体形式的组合。在一个具体的示例中，在以汽车为代表的载人器具的销售导览场景中，销售员可以通过让客户佩戴ar显示装置100，销售员则通过移动终端200发送体验模式指令，使得用户佩戴的ar显示装置100进入体验模式，在体验模式中，可以根据预先设定的内容，用户可以看到其关注的汽车产品的广告视频以及试驾体验视频，从而方便用户进一步决策是否需要进行后续的购买行为。
18.在另一些实施例中，ar显示装置100通过定位技术检测用户的位置，并根据用户的特定位置播放与所述特定位置对应的ar内容。在其中一个实施例中，ar导览系统被应用到以汽车为代表的载人装置的销售导览时，ar显示装置100通过定位技术检测用户是否位于主驾驶位、副驾驶位或后排，并根据用户的位置播放与主驾驶位、副驾驶位或后排位置对应的ar内容。例如，当用户位于主驾驶位的时候，ar内容为主驾驶位视角视频的ar内容、主驾驶位的操作介绍等匹配主驾驶位的ar内容；当用户位于后排时，ar内容为汽车后排的操作指南、后排的驾驶体验视频以及后排的安全性能介绍等匹配后排座位的ar内容。在一个或多个实施例中，可以使用的定位技术包括cv定位、wifi定位、蓝牙定位、nfc定位、rfid定位中的一个或多个。cv定位即通过位于ar显示装置的摄像头，通过cv算法识别用户fov(field of view)方向的场景的特征，确定用户当前的位置。wifi定位、蓝牙定位、nfc定位、rfid定位均是室内定位的方式，可以通过设置于室内的一个或多个发射点，通过ar显示装置100上的接收点收到的信号的强度，来判断当前的位置。
19.在一个或多个实施例中，ar显示装置100还与载人装置通信连接，并接收用户对载人装置的操作指令，ar显示装置100根据操作指令调整ar内容。在其中一个实施例中，以汽车为例，ar显示装置可以与汽车通过蓝牙、wifi、usb数据线等方式通信连接，此时，汽车可以接收用户的操作，并将用户的操作转换为操作指令，发送给ar显示装置100，从而控制ar内容的呈现方式。在一个示例中，若ar内容为模拟驾驶内容，ar显示装置100可以根据用户拨动方向盘的操作，而控制模拟驾驶中的汽车的转向；在另一个示例中，若ar内容为汽车功能展示，则可以根据用户对功能键的按压、旋转灯操作，而在ar内容中播放对应的功能介绍。由此，用户可以通过ar显示装置，在不需要进行真实试驾的情况下，完成车辆的使用体验，由此可以提高汽车销售的效率。
20.当ar显示装置100接收到推介模式指令后，推介模式指令使得所述ar显示装置100进入推介模式，且移动终端200进入推介菜单页面；根据推介菜单页面的激活项的组合，移
动终端200向ar显示装置100发送显示指令，使得ar显示装置100显示所和激活项的组合对应的ar内容。具体地，如图3所示，示出了根据本发明一个或多个实施例的ar导览系统的移动终端的一个ui界面的示意图。图3的场景为以汽车为代表的载人装置的销售导览，在图3中，移动终端200的操作者(即汽车销售人员)可以选择汽车的外观颜色、内饰主题、轮毂选择菜单中的选项，并使得这些菜单中的其中一项处于激活状态，在选择完毕后，可以通过点击“开始演示”按钮，将这些菜单的激活项的组合，形成一个显示指令，发送给ar显示装置100，从而使得ar显示装置100显示对应的车型，消费者即可以看到对应车型的ar内容。
21.在其中一些实施例中，ar内容可以存放在移动终端200或云服务器，并通过通信连接的方式随着控制指令或显示指令一起传输给ar显示装置100，但是在这种情况下，可以减少对ar显示装置的预先配置的工作，但是由于ar内容的数据量会比较大，在通信速度受限的情况下，可能会对ar内容的显示产生限制。在另一些实施例中，ar内容可以存放在ar显示装置100的本地，并通过移动终端的控制指令或显示指令进行调整，在这种情况下，需要事先在ar显示装置内存放ar内容，但是ar内容的显示不受通信连接的限制。
22.如图4所示，根据本发明的另一方面，示出了根据本发明的一个或多个实施例的ar导览方法的流程图，包括步骤：
23.s1、ar显示装置被配置为与移动终端通信连接，并接收所述移动终端的控制指令；
24.s2、根据所述控制指令，所述ar显示装置显示与所述控制指令对应的ar内容。
25.在步骤s1中，控制指令包括体验模式指令和推介模式指令。具体地，移动终端的控制指令的发送可以通过ui界面的方式，由移动终端的操作者进行选择。如图2所示，示出了移动终端的一个ui界面图，移动终端的界面上具有体验模式和推介模式两个可交互的按钮。当操作者选择体验模式后，则移动终端向ar显示装置发送体验模式的指令；当操作者选择推介模式后，则移动终端向ar显示装置发送推介模式的指令。在图2的右上角的圆圈内可以显示不同模式的预览效果图，供操作者观察。
26.在步骤s2中，在接收到控制指令后，ar显示装置检测用户的fov(field of view)是否位于预设的初始位置，若用户的fov位于预设的初始位置，则启动ar内容的播放，并通过imu传感器感测用户的姿态变化，并调整所述ar内容。具体地，由于ar显示装置是一种近眼显示器，因此用户的fov方向也对应者ar显示装置的显示屏幕的fov方向，因此在进行虚实结合的场景叠加过程中，需要确保用户的fov位于适当的位置，避免虚实结合后的虚拟的信息和真实场景不匹配的情况。例如，在以汽车为例的载人设备的销售导览场景中，需要通过ar显示装置向用户呈现的ar内容为汽车内部的案件说明及实际效果演示，则初始位置设定为用户fov朝向汽车方向盘的中心，在确认用户fov位于该初始位置，启动ar内容，从而使得ar内容和真实的汽车操作界面相匹配。通过设置在ar显示装置上的imu传感器检测用户的姿态变化(例如包含转头、低头、抬头等)，可以由此可以对正在播放的ar内容进行对应的操作，使得ar内容的显示和真实场景匹配。
27.步骤s1和s2中的进一步的实施方式和上文关于ar导览系统描述的一个或多个实施例一致或类似，且实现相同或类似的技术效果，在此不再赘述。
28.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰
为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。