控制方法、控制装置、车辆、计算机设备和介质与流程

1.本技术涉及人车交互技术领域，特别涉及一种控制方法、控制装置、车辆、计算机设备和计算机可读存储介质。


背景技术：

2.驾驶员通常需要手动操作按钮或触摸屏控制或调节车窗、空调、后视镜、后备箱、雨刮器等车辆部件，这个过程不但操作繁琐，而且需要驾驶员较长时间改变视线，容易导致交通事故。例如需要下调副驾车窗时，驾驶员需要扭头确认车窗的状态，再扭头寻找车窗对应的按键，保持姿势操作后再扭头确认车窗是否下调到位，有时甚至需要反复操作，十分繁琐、不安全。


技术实现要素：

3.本技术的实施方式提供一种控制方法、控制装置、车辆、计算机设备和计算机可读存储介质。
4.本技术的实施方式的控制方法用于控制增强现实设备以与车辆交互。所述控制方法包括：根据所述增强现实设备的当前状态选定所述车辆的部件作为受控对象；根据所述受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面；获取用户针对所述第一虚拟画面的交互手势并生成所述受控对象的控制信号以与所述车辆交互。
5.本技术的实施方式的控制装置包括确定模块、生成模块和处理模块。所述确定模块用于根据所述增强现实设备的当前状态选定所述车辆的部件作为受控对象；所述生成模块用于根据所述受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面；所述处理模块用于获取用户针对所述第一虚拟画面的交互手势并生成所述受控对象的控制信号以与所述车辆交互。
6.本技术的实施方式的车辆包括上述实施方式的控制装置。
7.本技术的实施方式的计算机设备包括存储器及处理器。所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上所述的控制方法。
8.本技术的实施方式的非易失性计算机可读存储介质包含计算机可执行指令。当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上所述的控制方法。
9.本技术实施方式的控制方法、控制装置、车辆、计算机设备和计算机可读存储介质，通过增强现实设备与车辆实现车辆部件的控制，操作简单而且至少不需要驾驶员反复改变姿势或长期改变视线，保证安全驾驶。再有，这种互动更直观更自然，提高互动的乐趣。
10.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
11.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
12.图1是本技术某些实施方式的控制方法的流程示意图；
13.图2是本技术某些实施方式的车辆的示意图；
14.图3是本技术某些实施方式的控制装置的示意图；
15.图4是本技术某些实施方式的控制方法的流程示意图；
16.图5是本技术某些实施方式的部件与互动手势的对应关系示意图；
17.图6是本技术某些实施方式的控制方法的流程示意图；
18.图7是本技术某些实施方式的控制方法的场景示意图；
19.图8是本技术某些实施方式的控制方法的流程示意图；
20.图9和图10是本技术某些实施方式的控制方法的场景示意图；
21.图11是本技术某些实施方式的控制方法的流程示意图；
22.图12是本技术实施方式的计算机设备的示意图；和
23.图13是本技术实施方式的车辆和计算机可读存储介质的连接示意图。
具体实施方式
24.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
25.请一并参阅图1和图2，本技术实施方式的控制方法用于控制增强现实设备20以与车辆100交互，控制方法包括：
26.01：根据增强现实设备20的当前状态选定车辆100的部件作为受控对象；
27.02：根据受控对象的运行状态信息或操作辅助信息生成第一虚拟画面；
28.03：获取用户针对第一虚拟画面的交互手势并生成受控对象的控制信号以与车辆100交互。
29.请参阅图3，本技术实施方式的控制装置10包括确定模块12、生成模块14和处理模块16。本技术实施方式的控制方法可以由本技术实施方式的控制装置10实现，其中，步骤01可以由确定模块12实现，步骤02可以由生成模块14实现，步骤03可以由处理模块16实现，也即是说，确定模块12用于根据增强现实设备20的当前状态选定车辆100的部件作为受控对象。生成模块14用于根据受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面。处理模块16用于获取用户针对第一虚拟画面的交互手势并生成受控对象的控制信号以与车辆100交互。
30.请再次参阅图2，本技术实施方式的车辆100包括上述任一实施方式的控制装置10。
31.本技术实施方式的控制方法、控制装置10和车辆100，通过增强现实设备20与控制装置10实现对车辆100部件的控制，操作简单而且至少不需要驾驶员反复改变姿势或长期改变视线，保证安全驾驶。再有，这种互动更直观更自然，提高互动的乐趣。
32.具体地，增强现实设备20可以佩戴在用户的头部、眼部等。控制装置10用于控制增
强现实设备20以与车辆100交互。车辆100包括多个部件，多个部件包括但不仅限于车窗、空调、后视镜、后备箱、雨刮器和音响。
33.在一个实施例中，增强现实设备20可以佩戴在用户的眼部，增强现实设备20可以根据视线，选定用户关注的部件作为受控对象。再根据受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面。
34.具体地，可以根据受控对象的运行状态信息生成第一虚拟画面；也可以根据受控对象的操作辅助信息生成第一虚拟画面；还可以根据受控对象的运行状态信息和操作辅助信息生成第一虚拟画面。
35.值得一提的是，增强现实设备20可以对车辆100的多个部件进行辅助显示。辅助显示包括两种，其中一种是针对部件的运行状态是无法通过肉眼观察的情况而进行的辅助显示，例如空调运行时的出风状态是无法通过肉眼观察到的；另一种是针对直接使用交互手势不容易顺利调节的情况而进行的辅助显示，例如精准调节车窗的高低。因此可以提高获取运行状态信息，对不可见的部件运行状态进行可视化，形成第一虚拟画面；可以利用操作辅助信息形成第一虚拟画面，以帮助用户顺利的完成交互。
36.请参阅图4，在某些实施方式中，可以先判断部件的运行状态能否通过肉眼观察出来，也即是说，先判断部件是否有物理呈现。若有物理呈现则可以根据操作辅助信息形成第一虚拟画面后使用交互手势进行交互；若没有物理呈现则可以利用增强现实设备20来展示物理呈现，利用运行状态信息生成第一虚拟画面后，再使用交互手势进行交互，如此可以使得交互更直观更自然，提高互动的乐趣。
37.在某些实施方式中，判断部件若没有物理呈现，则可以利用增强现实设备20来展示物理呈现，利用运行状态信息生成第一预设虚拟画面，再利用操作辅助信息生成第二预设虚拟画面，最后结合第一预设虚拟画面和第二预设虚拟画面生成第一虚拟画面。
38.在一个实施例中，受控对象为车辆100的音响，可以根据音响的运行状态信息生成第一虚拟画面，如此对音响的运行状态进行可视化。音响的运行状态信息包括音量信息、音场信息等。可以根据音量信息、音场信息生成第一虚拟画面。第一虚拟画面可以是能够表现音响当前运行状态虚拟场景。
39.在又一个实施例中，受控对象为车辆100的后视镜。受控对象的操作辅助信息可以是预先设置的，第一虚拟画面可以是后视镜的调节辅助线，用户可以拖拽调节辅助线顺利实现交互。
40.用户的交互手势可以被增强现实设备20识别，用户的交互手势是针对第一虚拟画面的情况下可以生成控制信号以控制受控对象。具体地，用户的交互手势被增强现实设备20识别，可以通过算法翻译成相应的控制指令，再结合在当前场景下的被选中的受控对象，用户就可以直接用交互手势来操控相应的受控对象。如此，操作简单，互动更直观更自然，提高互动的乐趣。
41.请参阅图5，图5为某些实施方式中常用的车辆100的部件与互动手势的对应关系。如此，用户使用交互手势可以直接控制受控对象，降低交互的学习成本，提高交互效率。
42.请参阅图6，在某些实施方式中，增强现实设备20包括ar眼镜，惯性传感器和成像装置设置在ar眼镜上，步骤02包括：
43.011：根据惯性传感器输出的增强现实设备20的姿态信息和/或成像装置获取的包
括用户视线信息的图像确定目标对象；
44.012：在目标对象可以接受调节时确定目标对为受控对象；
45.013：控制增强现实设备20显示第二虚拟画面以突出显示受控对象。
46.在某些实施方式中，确定模块12包括第一确定子模块、第二确定子模块和第三确定子模块，其中步骤011可以由第一确定子模块实现，步骤012可以由第二确定子模块实现，步骤013可以由第三确定子模块实现，也即是说，第一确定子模块用于根据惯性传感器输出的增强现实设备20的姿态信息和/或成像装置获取的包括用户视线信息的图像确定目标对象。第二确定子模块用于在目标对象可以接受调节时确定目标对为受控对象。第三确定子模块用于控制增强现实设备20显示第二虚拟画面以突出显示受控对象。
47.具体地，增强现实设备20包括ar眼镜，用户可以将ar眼镜佩戴在自己的眼部。惯性传感器和成像装置设置在ar眼镜上。成像装置可以是设置在ar眼镜上的摄像头，摄像头可以获取包括用户视线信息的图像。惯性传感器可以输出增强现实设备20的姿态信息。在某些实施方式中，可以根据惯性传感器输出的增强现实设备20的姿态信息和获取的包括用户视线信息的图像确定目标对象；也可以根据成像装置获取的包括用户视线信息的图像确定目标对象；还可以根据惯性传感器输出的增强现实设备20的姿态信息确定目标对象，此处不作限定。
48.在一个实施例中，可以根据惯性传感器输出的增强现实设备20的姿态信息和获取的包括用户视线信息的图像确定目标对象。具体地，惯性传感器输出的增强现实设备20的姿态信息可以包括增强现实设备20的自身角度信息。可以先根据自身角度信息和包括用户视线信息的图像确认ar眼镜在车辆100车舱内的位置，然后再通过包括用户视线信息的图像进行物体识别和空间定位以确定目标对象。
49.值得一提的是，目标对象是指用户佩戴ar眼镜后，ar眼镜判断出用户视线内的车辆100的部件为目标对象。由于车辆100包括多种部件，其中有些部件是可以调节的，有些部件是不可以调节的。
50.在一个实施例中，目标对象可以是车辆100的车窗，可以通过增强现实设备20与控制装置10对车窗进行调节，如此可以认为车窗是可以接受调节的，可以将车窗作为受控对象。
51.在又一个实施例中，用户在车辆100行驶过程中，目标对象可以是车辆100的车门。为了保护行车安全，避免意外发生，在行驶途中不能通过增强现实设备20与控制装置10打开车辆100的车门。可以认为车辆100在行驶途中的车门不是受控对象。如此，在确认目标对象可以接受调节时确定目标对为受控对象，并显示第二虚拟画面以突出显示受控对象。
52.在某些实施方式中，第二虚拟画面可以是高亮受控对象、标记受控对象等，高亮受控对象、标记受控对象均可以突出显示受控对象。如此，ar眼镜会通过突出显示目前选中的部件来给用户一个反馈，告知用户目前选中的是哪个部件。
53.在某些实施方式中，ar眼镜还包括显示装置，显示装置可以用于显示第一虚拟画面和第二虚拟画面。在一个实施例中，显示装置可以是显示屏，第一虚拟画面和/或第二虚拟画面可以通过显示屏显示。在又一个实施例中，显示装置可以是投影组件，投影组件可以通过投影的方式将第一虚拟画面和/或第二虚拟画面投影在用户的眼球上，此处不作限定。
54.在某些实施方式中，显示装置可以是显示屏，第二虚拟画面可以是将整个受控对
象进行高亮以突出显示受控对象。例如：受控对象是空调，显示屏可以显示高亮的边框将空调在人眼的视觉上进行高亮处理。
55.如此可以通过视觉反馈的方式提供给用户确定感，还可以提高用户交互的安全感和交互效率。
56.请参阅图7，在某些实施方式中，显示装置可以是显示屏，第二虚拟画面可以是将整个受控对象进行标记以突出显示受控对象。例如：受控对象是车窗和后视镜，显示屏可以显示标记的车窗和标记的后视镜，标记可以是圆环标记，如此可以通过视觉反馈的方式提供给用户确定感，还可以提高用户交互的安全感和交互效率。在某些实施方式中，可以利用圆环变色的方式突出显示受控对象，例如，当前有多个受控对象，可以对多个受控对象标记绿色的圆环，再将绿色进行变色处理(如红色)，如此可以更加突出显示受控对象。
57.请一并参阅图8和图9，在某些实施方式中，受控对象包括空调部件，运行状态信息包括出风方向信息和风量大小信息，第一虚拟画面包括虚拟气流的线条，步骤03包括：
58.021：根据空调的出风方向信息确定虚拟气流的线条的角度信息；
59.022：根据空调的风量大小信息确定虚拟气流的线条的密集程度信息；
60.023：根据角度信息和密集程度信息生成虚拟气流的线条以作为第一虚拟画面。
61.在某些实施方式中，生成模块14包括第四确定子模块、第一生成子模块和第二生成子模块，其中步骤021可以由第四确定子模块实现，步骤022可以由第一生成子模块实现，步骤023可以由第二生成子模块实现，也即是说，第四确定子模块用于根据空调的出风方向信息确定虚拟气流的线条的角度信息。第一生成子模块用于根据空调的风量大小信息确定虚拟气流的线条的密集程度信息。第二生成子模块用于根据角度信息和密集程度信息生成虚拟气流的线条以作为第一虚拟画面。
62.具体地，获取空调的当前运行状态，结合空调的当前运行状态，利用ar眼镜在用户的视野之内渲染出虚拟气流的线条可以提升用户体验。空调的当前运行状态包括出风方向、风量大小等，可以根据空调的出风方向信息确定虚拟气流的线条的角度信息，根据空调的风量大小信息确定虚拟气流的线条的密集程度信息，结合角度信息和密集程度信息形成对应当前空调运行状态的虚拟气流的线条。用户可以使用交互手势去拖拽虚拟气流的线条。ar眼镜通过成像装置实时捕捉到用户的交互手势，并根据交互手势识别出交互手势操作调整的虚拟气流的线条的方向和角度以生成控制信号，然后将控制信号发送到车辆100。车辆100可以包括电气控制系统，电气控制系统可以根据控制信号空调的风向和风量，如此实现用户与车辆100的交互。
63.在某些实施方式中，运行状态信息还包括温度信息，可以根据空调的温度信息确定虚拟气流的线条的颜色信息，结合角度信息、密集程度信息和颜色信息以形成第一虚拟画面。在空调吹出的风为暖风时，可以认为温度较高，虚拟气流的线条可以呈红色；在空调吹出的风为冷风时，可以认为温度较低，虚拟气流的线条可以呈蓝色。
64.请参阅图10，在某些实施方式中，受控对象包括车窗，车窗包括边框，操作辅助信息包括虚拟辅助线，控制方法包括：
65.根据边框确定虚拟辅助线的显示位置并显示虚拟辅助线以作为第一虚拟画面。
66.在某些实施方式中，生成模块14包括第三生成子模块，其中上述步骤可以由第三生成子模块实现，也即是说，第三生成子模块用于根据边框确定虚拟辅助线的显示位置并
显示虚拟辅助线以作为第一虚拟画面。
67.具体地，操作辅助信息可以帮助用户顺利实现交互。受控对象包括车窗，用户与车窗进行交互时，ar眼镜可以根据车窗确定虚拟辅助线的显示位置。ar眼镜的显示屏上会显示虚拟辅助线，虚拟辅助线可以提示用户交互手势控制的位置。当用户将虚拟辅助线拉到某个位置上时，车辆100的电气控制系统默认会将车窗调整到那个位置。如此，虚拟辅助线可以辅助用户与车窗的交互，让用户直观地了解自己将车窗调整到了哪个位置。
68.请参阅图11，在某些实施方式中，控制方法还包括：
69.04：获取受控对象的当前工作状态以更新第一虚拟画面。
70.在某些实施方式中，控制装置10还包括更新模块，其中步骤04可以由更新模块实现，也即是说，更新模块用于获取受控对象的当前工作状态以更新第一虚拟画面。
71.如此，可以便于用户观察受控对象的当前工作状态，让用户更直观地看到现实中没有的第一虚拟画面。
72.具体地，用户可以使用交互手势改变受控对象的工作状态，在改变受控对象的工作状态后，更新模块可以根据受控对象的当前工作状态更新第一虚拟画面。在一个实施例中，受控对象可以是车辆100的空调，用户可以使用交互手势平行空调出风口拖拽，如此可以改变风向。在空调的风向改变时，可以根据空调的当前工作状态确定虚拟气流的线条的角度信息，根据虚拟气流的线条的角度信息更新虚拟气流画面，虚拟气流画面即为第一虚拟画面。
73.请一并参阅图1和图12，本技术公开一种计算机设备200，计算机设备包括存储器220及处理器240。存储器220中存储有计算机可读指令，计算机可读指令被处理器240执行时，处理器240执行本技术上述任意一种实施方式的控制方法。例如计算机可读指令用于执行以下控制方法：
74.01：根据增强现实设备20的当前状态选定车辆100的部件作为受控对象；
75.02：根据受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面；
76.03：获取用户针对第一虚拟画面的交互手势并生成受控对象的控制信号以与车辆100交互。
77.请一并参阅图1和图13，本技术公开一种包含计算机可执行指令的非易失性计算机可读存储介质300，当计算机可执行指令被一个或多个处理器240执行时，处理器240执行本技术上述任意一种实施方式的控制方法。例如车辆100可被处理器240执行以完成以下控制方法：
78.01：根据增强现实设备20的当前状态选定车辆100的部件作为受控对象；
79.02：根据受控对象的运行状态信息和/或操作辅助信息生成第一虚拟画面；
80.03：获取用户针对第一虚拟画面的交互手势并生成受控对象的控制信号以与车辆100交互。
81.如图1所示，本技术实施方式的控制方法可以由本技术实施方式的车辆100实现。需要指出的是，非易失性计算机可读存储介质300可以是内置在车辆100中的存储介质，也可以是能够插拔地插接在车辆100的存储介质。
82.在本技术的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
83.在本技术的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术的实施方式中的具体含义。
84.在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
85.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
86.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
87.应当理解，本技术的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
88.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
89.此外，在本技术的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
90.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
91.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。