虚拟现实的应用方法、装置、设备和计算机可读存储介质与流程

1.本发明涉及虚拟现实领域，具体涉及一种虚拟现实的应用方法、装置、设备和计算机可读存储介质。


背景技术：

2.当前，国内外vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)技术的研究快速发展，已应用于游戏、教育、医疗、旅游、销售等领域，在各个领域发挥重要作用，并影响着各行业的发展方向。
3.而在汽车驾驶这一应用场景中，驾驶员在高速公路上进行长途驾车时，因道路场景单一，易产生疲劳，注意力下降，从而影响行车安全。


技术实现要素：

4.本发明提供了一种虚拟现实的应用方法、装置、设备和计算机可读存储介质，旨在解决长期驾驶过程中驾驶员容易产生疲劳从而影响行车安全的技术问题。
5.为实现上述目的，本发明提供了一种虚拟现实的应用方法，该方法包括以下步骤：
6.若接收到虚拟现实驾驶模式切换指令，获取车辆所在环境的实际场景；
7.将所述实际场景转换为虚拟现实场景；
8.显示所述虚拟现实场景。
9.可选地，所述实际场景包括实际环境地图，获取车辆的位置信息；
10.根据所述位置信息和预存地图信息建立实际环境地图。
11.可选地，所述实际场景包括实际障碍物，识别车辆所在环境的障碍物；
12.优化所述障碍物的识别结果以得到实际障碍物。
13.可选地，根据预设转换规则将所述实际环境地图转换为虚拟现实地图，并将所述实际障碍物转换为虚拟现实障碍物。
14.可选地，获取所述车辆的正前方环境的图像信息；
15.将所述图像信息与实际环境地图进行比对，若所述图像信息与实际环境地图的相似度大于预设相似度阈值，则将所述驾驶模式切换至虚拟现实模式。
16.可选地，每间隔预设时长，将所述图像信息与实际环境地图进行比对；
17.若所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值，则退出所述虚拟现实模式。
18.可选地，对所述实际环境地图中所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值的区域进行标注。
19.可选地，为实现上述目的，本技术还提出一种虚拟现实装置，虚拟现实装置包括场景获取模块，场景转换模块和显示模块。所述场景获取模块用于若接收到虚拟现实驾驶模式切换指令，获取车辆所在环境的实际场景；所述场景转换模块用于将所述实际场景转换为虚拟现实场景；所述显示模块用于显示所述虚拟现实场景。
20.为实现上述目的，本技术还提出一种虚拟现实设备，虚拟现实设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的虚拟现实应用程序，所述虚拟现实应用程序被处理器执行时实现所述虚拟现实的应用方法。
21.为实现上述目的，本技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实应用程序，所述虚拟现实应用程序被处理器执行时实现所述虚拟现实的应用方法。
22.本发明技术方案中，若接收到虚拟现实驾驶模式切换指令，获取车辆所在环境的实际场景，所述实际场景包括实际环境地图和实际障碍物；将所述实际场景转换为虚拟现实场景；显示所述虚拟现实场景。而本领域的现有技术并没有设置虚拟现实驾驶模式这一驾驶模式，因此与现有技术相比，本发明能够将实际场景转换为虚拟现实场景并显示，从而通过场景转换提高驾驶的趣味性，避免由于驾驶员长期驾驶产生疲劳、注意力下降和精神不集中等情况，保障行车安全。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
24.图1为本发明一实施例的虚拟现实的应用方法的模块结构示意图；
25.图2为本发明一实施例的虚拟现实的应用方法的流程图；
26.图3为本发明一实施例的虚拟现实的应用方法的模块结构图。
具体实施方式
27.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
28.请参照图1，图1为本发明各个实施例中所提供的虚拟现实设备的硬件结构示意图。所述虚拟现实设备包括执行模块01、存储器02、处理器03、电池系统等部件。本领域技术人员可以理解，图1中所示出的设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述执行模块01连接，所述存储器02上存储有虚拟现实应用程序，所述虚拟现实应用程序同时被处理器03执行。
29.执行模块01，可获取车辆所在环境的实际场景；将实际场景转换为虚拟现实场景，同时反馈以上信息发送给所述处理器03。
30.存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据物联网终端的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
31.处理器03，是处理平台的控制中心，利用各种接口和线路连接整个物联网终端的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储
器02内的数据，执行物联网终端的各种功能和处理数据，从而对虚拟现实设备进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
32.本领域技术人员可以理解，图1中示出的虚拟现实设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
33.根据上述硬件结构，提出本发明方法各个实施例。
34.参照图2，在本发明虚拟现实的应用方法的第一实施例中，所述虚拟现实的应用方法包括：
35.步骤s100，若接收到虚拟现实驾驶模式切换指令，获取车辆所在环境的实际场景；
36.驾驶员在驾驶的过程中，尤其是当驾驶员在高速公路上进行长途驾驶时，需要长时间的高度集中精力，又因为道路场景单一，驾驶员容易产生疲劳、注意力下降或精神不集中等情况，从而诱发交通事故，影响行车安全。
37.为了解决上述问题，本技术通过将行车驾驶和vr(virtual reality,虚拟现实)/ar(augmented reality，增强现实)技术相结合。提出了一种虚拟现实驾驶模式，以及用于实现该虚拟现实驾驶模式的虚拟现实设备。虚拟现实设备至少包括部署在车辆端的头戴vr设备和信息收集系统，以及部署在云端的地图系统、安全系统和虚拟现实转换系统。其中，头戴vr设备用于当驾驶模式切换为虚拟现实模式时，为驾驶员显示虚拟现实场景。信息收集系统至少包括摄像头，gps定位系统和毫米波雷达，用于汽车定位以及收集车辆所在环境的图像信息和雷达信息。地图系统用于根据汽车的位置信息和预存的地图信息建立实际环境地图，并将实际环境地图转换为虚拟现实地图；安全系统则用于判定真实环境与地图系统中存储的地图信息是否一致，并根据判定结果采取相应的措施以防止因定位偏移或道路改变等原因造成交通安全事故，保障驾驶员的安全；虚拟现实转换系统则用于将虚拟现实地图投影至头戴vr设备中，并将识别的障碍物替换为虚拟现实的形象现实在虚拟现实地图中。
38.本实施例中，驾驶员可以通过安装在车辆上的模式切换按钮以生成虚拟现实驾驶模式切换指令，将驾驶模式切换至虚拟现实驾驶模式，或发出语音指示以生成虚拟现实驾驶模式切换指令，将驾驶模式切换至虚拟现实驾驶模式。在驾驶模式切换至虚拟现实驾驶模式之后，车辆上的信息收集系统开始工作，通过摄像头、雷达等设备收集车辆所在的实际环境信息，通过实际环境信息生成实际场景。其中，实际场景包括实际环境地图和实际障碍物。
39.步骤s200，将所述实际场景转换为虚拟现实场景；
40.本实施例中，虚拟现实转换系统部署在云端，与信息收集系统连接。在信息收集系统获取实际障碍物的实际障碍物信息之后，将实际障碍物信息传输至云端的虚拟现实转换系统。虚拟现实转换系统可根据预设转换规则和实际障碍物信息将实际障碍物转换为虚拟现实障碍物。此外，地图系统根据汽车的位置信息和预存的地图信息建立实际环境地图，并将实际环境地图转换为虚拟现实地图。至此，实际场景转换为虚拟现实场景就已经完成。其中，预设转换规则为本领域技术人员根据需求提前设置，还可根据具体情况随时调整。
41.步骤s300，显示所述虚拟现实场景。
42.本实施例中，车辆端的头戴vr设备与云端的虚拟现实转换系统相连接，云端的虚拟现实转换系统与地图系统相连接。在场景转换完成之后，云端上的虚拟现实转换系统将调取地图系统中的虚拟现实地图，并将虚拟现实地图通过头戴vr设备显示出来，因此只要驾驶员戴上改头戴vr设备，驾驶时看到的就是虚拟现实地图。此后，虚拟现实转换系统又会将转换后的虚拟现实障碍物设置在虚拟现实地图上，形成完整的虚拟现实场景。具体地，虚拟现实场景可以为太空风格的场景，动漫风格的场景等等。由于虚拟现实环境中场景丰富，且可以根据用户需求进行调整，因此可以有效减缓驾驶员在行车过程中产生的疲劳和困乏感，加强行车安全。
43.在一实施例中，所述获取车辆所在环境的实际场景的步骤包括：
44.获取车辆的位置信息；
45.根据所述位置信息和预存地图信息建立实际环境地图。
46.信息收集系统与地图系统连接，信息收集系统包括gps定位系统(global positioning system，全球定位系统)、至少一个毫米波雷达以及多个摄像头组成，其中摄像头可以对车辆环境进行360度全覆盖拍摄。本实施例中，实际场景包括实际环境地图，地图系统中预存有虚拟现实设备运维人员提前采集的预存地图信息，在接收到gps定位系统获取的车辆位置信息后，地图系统可以根据车辆的位置信息和预存地图信息建立实际环境地图。通过位置信息和预存地图信息可以快速的建立精准的实际环境地图，有力的支撑了虚拟现实模式的运行。
47.在一实施例中，所述获取车辆所在环境的实际场景的步骤还包括：
48.识别车辆所在环境的障碍物；
49.优化所述障碍物的识别结果以得到实际障碍物。
50.本实施例中，实际场景还包括实际障碍物，应用摄像头可以拍摄获得车辆周围环境的图像信息，应用毫米波雷达可以通过发射和接收无线电波来精准的测量本车辆与环境中周围车辆、障碍物之间的距离、角度和相对速度等雷达信息。信息收集系统在获取车辆周围环境的图像信息和雷达信息之后，将图像信息和雷达信息上传至云端的虚拟现实转换系统。
51.虚拟现实转换系统会接收信息收集系统发送的图像信息和雷达信息。具体地，虚拟现实转换系统在接收到摄像头拍摄的周围环境的图像信息后，对图像信息进行图像识别，识别出图像中的实际障碍物。其中，实际障碍物包括动态障碍物和静态障碍物；动态障碍物包括来往的车辆，静态障碍物则包括路上的路障、坑洞等。在识别出实际障碍物的障碍物信息之后，信息收集系统收集还会根据毫米波雷达发送的雷达信息，进一步测算出本车辆与周边各实际障碍物的相对方位、距离以及相对速度等，以优化实际障碍物的识别结果。通过多个摄像头和毫米波雷达，可以精确的确定实际障碍物的方位，速度以及与本车辆的距离，为实际场景转换为虚拟现实场景提供强有力的支撑。
52.在一实施例中，所述将所述实际场景转换为虚拟现实场景的步骤包括：
53.根据预设转换规则将所述实际环境地图转换为虚拟现实地图，并将所述实际障碍物转换为虚拟现实障碍物。
54.在本实施例中，在建立实际环境地图和识别实际障碍物之后，地图系统会根据预设转换规则将实际环境地图转换为虚拟现实地图。其中，虚拟现实地图的点位信息与实际
环境地图一对一匹配，虚拟现实地图中的道路方位和走向与实际环境地图完全一致，但虚拟现实地图中场景的背景风格可以切换为动漫背景风格、太空背景风格等趣味性的风格，具体的转换风格由本领域技术人员提前设置，由用户根据实际需求进行调节。在地图系统将实际环境地图转换为虚拟现实地图之后，虚拟现实转换系统还会将实际障碍物转换为虚拟现实障碍物。在一些实施例中，虚拟现实转换系统会根据预设转换规则将识别出来的周围车辆转换为同等大小的奔跑的动物或宇宙飞船等，将静态障碍物替换为一些静态的动漫形象。在转换之后，虚拟现实转换设备会将虚拟现实地图显示在驾驶员的头戴vr设备中，并将虚拟现实障碍物输入到头戴vr设备中，使其显示在虚拟现实地图中。其中，预设转换规则由本领域技术人员根据转换技术进行预先设置，可根据车辆所在具体的实际环境和障碍物种类进行调整。通过将实际环境地图转换为虚拟现实地图，将实际障碍物转换为虚拟现实障碍物，并将虚拟现实地图和虚拟现实障碍物显示给驾驶员，能够在驾驶的过程中切换驾驶员视觉场景，避免驾驶员疲劳驾驶。
55.在一实施例中，所述获取车辆所在环境的实际场景的步骤之前包括：
56.获取所述车辆的正前方环境的图像信息；
57.将所述图像信息与实际环境地图进行比对，若所述图像信息与实际环境地图的相似度大于预设相似度阈值，则将所述驾驶模式切换至虚拟现实模式。
58.在本实施例中，在车辆的行驶过程中，车辆上的gps定位系统周期性的上传车辆位置信息和车头朝向信息至安全系统，在一些实施例中，gps定位系统每隔0.5秒会上传一次车辆的位置信息和车头朝向信息。安全系统会根据相邻上传的两次车辆位置信息对gps定位系统上传的车头朝向信息进行修正，以得到更精确的车头朝向信息。在确定了车辆的位置信息和车头朝向信息之后，安全系统会从地图系统获取车辆位置正前方朝向的实际环境地图，并将实际环境地图与摄像头拍摄得到的车辆正前方环境的图像信息进行比对，只有当实际环境地图与车辆正前方环境的图像信息的相似度大于预设相似度阈值，才会将驾驶模式切换至虚拟现实模式，否则不会将驾驶模式切换至虚拟现实模式。具体地，将实际环境地图与摄像头拍摄得到的车辆正前方环境的图像信息进行比对的内容为比对车道线图像以及图像中地面最高处的景象，通过这种方式可以确保实际环境地图与实际地图相一致，保障驾驶员在虚拟现实模式下行车时的安全。
59.在一实施例中，所述显示所述虚拟现实场景的步骤之后包括：
60.每间隔预设时长，将所述图像信息与实际环境地图进行比对；
61.若所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值，则退出所述虚拟现实模式。
62.在本实施例中，在车辆的驾驶模式切换至虚拟现实模式之后，为了确保在虚拟现实模式下的行车安全，每间隔预设时长，安全系统都会再次比对车辆正前方摄像头拍摄的图像信息和实际环境地图，判断图像信息和实际环境地图的相似度是否大于预设相似度阈值；若图像信息和实际环境地图的相似度大于预设相似度阈值，则继续运行虚拟现实模式；若图像信息与实际环境地图的相似度小于或等于预设相似度阈值，则退出所述虚拟现实模式。通过持续监测图像信息和实际环境地图的相似度，可以在以虚拟现实模式的驾驶过程中持续保障行车安全。
63.在一实施例中，所述所述图像信息与实际环境地图的相似度小于或等于预设相似
度阈值的步骤之后包括：
64.对所述实际环境地图中所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值的区域进行标注。
65.在本实施例中，在实际环境地图中，虚拟现实系统会将实际环境地图划分为多个区域，每当监测到图像信息与实际环境地图的相似度小于或等于预设相似度阈值之后，会对实际环境地图中所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值的区域进行标注为异常区域，以提醒虚拟现实设备的开发人员此处的实际环境地图需要更新，并提醒其他使用虚拟现实模式驾驶的驾驶员到达异常区域之前提前退出虚拟现实模式，以保证行车安全。具体地，标注异常区域提醒更新之后，虚拟现实设备的运营维护人员会现场采集场景画面并更新实际环境地图。
66.在一实施例中，所述接收到虚拟现实驾驶模式切换指令的步骤之后还包括：
67.若检测到当前行驶路段不为高速公路，则拒绝将驾驶模式切换至虚拟现实模式。
68.在本实施例中，虚拟现实设备仅制作高速公路场景的实际环境地图，因此虚拟现实模式仅在高速公路上运行。具体地，由于在城市公路或乡村道路等场景行驶，车辆的行驶速度慢，车多人多，进入虚拟现实模式会消耗大量的运算量，且难以保证虚拟现实模式的精度，并且在城市公路或乡村道路上行驶，一般驾驶的时长不会很长；而高速公路上驾驶时长一般较长，场景单一且高速公路的环境较为固定，因此适合制作实际环境地图并运行虚拟现实模式。
69.如图3所示，本发明还提出一种虚拟现实装置，虚拟现实装置包括：
70.场景获取模块a10，用于若接收到虚拟现实驾驶模式切换指令，获取车辆所在环境的实际场景；
71.场景转换模块a20，用于将所述实际场景转换为虚拟现实场景；
72.显示模块a30，用于显示所述虚拟现实场景。
73.可选地，场景获取模块a10可用于：
74.获取车辆的位置信息；
75.根据所述位置信息和预存地图信息建立实际环境地图。
76.可选地，场景获取模块a10还可用于：
77.识别车辆所在环境的障碍物；
78.优化所述障碍物的识别结果以得到实际障碍物。
79.可选地，场景转换模块a20可用于：
80.根据预设转换规则将所述实际环境地图转换为虚拟现实地图，并将所述实际障碍物转换为虚拟现实障碍物。
81.可选地，场景获取模块a10还可用于：
82.获取所述车辆的正前方环境的图像信息；
83.将所述图像信息与实际环境地图进行比对，若所述图像信息与实际环境地图的相似度大于预设相似度阈值，则将所述驾驶模式切换至虚拟现实模式。
84.可选地，显示模块a30可用于：
85.每间隔预设时长，将所述图像信息与实际环境地图进行比对；
86.若所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值，则退出所
述虚拟现实模式。
87.可选地，显示模块a30还可用于：
88.对所述实际环境地图中所述图像信息与实际环境地图的相似度小于或等于预设相似度阈值的区域进行标注
89.本发明还提出一种虚拟现实设备，虚拟现实设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的虚拟现实应用程序，所述虚拟现实应用程序用于执行本发明各个实施例所述的方法。
90.本发明还提出一种计算机可读存储介质，其上存储有虚拟现实应用程序。所述计算机可读存储介质包括计算机可读存储介质，所述计算机可读存储介质可以是图1的中的存储器，也可以是如rom(read-only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的物联网终端设备(可以是手机，计算机，服务器，物联网终端，或者网络设备等)执行本发明各个实施例所述的方法。
91.在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
92.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
93.尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。