边界生成方法、装置、头戴显示设备及可读存储介质与流程

1.本公开实施例涉及虚拟现实技术领域，更具体地，本公开实施例涉及一种边界生成方法、装置、头戴显示设备及可读存储介质。


背景技术：

2.目前，vr头戴式一体机可以支持6dof(degree of freedom，自由度)场景使用，即，用户可以戴着vr头戴一体机随意移动，以体验vr头戴一体机设备中的各种虚拟场景。但是，在用户使用vr头戴一体机的过程中，用户无法观察到周围的真实环境，在移动时可能与障碍物发生碰撞，这会给用户造成一定的安全隐患。例如，用户在家里使用vr头戴一体机时，可能会碰到墙壁，也可以会撞到餐桌、椅子、柜子等家具。
3.相关技术中，为了提高vr头戴一体机的使用安全性，用户可以设定安全区域，在用户使用vr头戴一体机过程中，当用户超出安全区域时，可以给用户发出提示，以避免用户与其他物体发生碰撞。但是，这种方式，设定的安全区域为二维的平面区域，识别的准确性较低。此外，设定的安全区域面积大小是一定的，不能适配用户的实际使用环境，用户体验不佳。


技术实现要素：

4.本公开实施例的目的在于提供一种用于头戴显示设备的边界生成方法，能够解决现有技术中设定的二维安全区域，识别准确性低，安全防护效果差的问题。
5.根据本公开实施例的第一方面，提供了一种边界生成方法，应用于头戴显示设备，所述头戴显示设备设置有第一摄像头，所述头戴显示设备与外部设置的第二摄像头通信连接，所述方法包括：
6.获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第二图像包括所述头戴显示设备的佩戴者；
7.根据所述第一图像和所述第二图像，生成并显示所述佩戴者所处空间的三维画面；
8.在接收到用户输入的边界划定指令的情况下，获取目标边界；
9.根据所述目标边界更新所述三维画面，得到更新后的三维画面。
10.可选地，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，所述方法还包括：
11.在更新后的三维画面中显示所述目标边界。
12.可选地，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，所述方法还包括：
13.在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离；
14.在所述第一距离小于或等于第一阈值的情况下，输出第一提示信息。
15.可选地，在所述在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离之后，所述方法还包括：
16.在所述第一距离小于或等于第二阈值的情况下，获取并显示所述第一摄像头采集的真实世界图像；
17.其中，所述第二阈值小于所述第一阈值。
18.可选地，所述在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离，包括：
19.在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第三图像，所述第三图像中包括所述佩戴者；
20.根据所述第三图像，生成佩戴者的轮廓信息；
21.根据所述佩戴者的轮廓信息和所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离。
22.可选地，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，所述方法还包括：
23.根据所述第一图像和所述第二图像，确定所述更新后的三维画面内是否包括第一对象，其中，所述第一对象为除所述佩戴者之外的其他对象；
24.在所述更新后的三维画面内包括第一对象的情况下，根据所述第一图像和所述第二图像，确定所述第一对象的轮廓信息和所述第一对象相对于所述佩戴者的位置信息；
25.根据所述第一对象相对于所述佩戴者的位置信息和所述第一对象的轮廓信息，在所述更新后的三维画面内添加所述第一对象的三维模型。
26.可选地，在所述根据所述第一对象相对于所述佩戴者的位置信息和所述第一对象的轮廓信息，在所述更新后的三维画面内添加所述第一对象的三维模型之后，所述方法还包括：
27.在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离；
28.在所述第二距离小于或等于第三阈值的情况下，输出第二提示信息。
29.可选地，在所述确定所述佩戴者与所述第一对象之间的第二距离之后，所述方法还包括：
30.在所述第二距离小于或等于第四阈值的情况下，获取并显示所述第一摄像头采集的真实世界的图像；
31.其中，所述第四阈值小于所述第三阈值。
32.可选地，所述在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离，包括：
33.在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第四图像，所述第四图像中包括所述佩戴者；
34.根据所述第四图像，生成佩戴者的轮廓信息；
35.根据所述佩戴者的轮廓信息和所述第一对象的三维模型，确定所述佩戴者与所述第一对象之间的第二距离。
36.可选地，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之
后，所述方法还包括：
37.在佩戴者使用所述头戴显示设备的过程中，根据所述第一摄像头采集的图像得到第一场景图像，并根据所述第二摄像头采集图像得到第二场景图像；
38.在所述头戴显示设备的显示屏的第一区域显示所述第一场景图像，并在所述显示屏的第二区域显示所述第二场景图像；
39.其中，所述第一场景图像为第一人称视角的场景图像，所述第二场景图像为第三人称视角的场景图像。
40.根据本公开实施例的第二方面，提供了一种边界生成装置，应用于头戴显示设备，所述头戴显示设备设置有第一摄像头，所述头戴显示设备与外部设置的第二摄像头通信连接，所述装置包括：
41.第一获取模块，用于获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第二图像包括所述头戴显示设备的佩戴者；
42.生成模块，用于根据所述第一图像和所述第二图像，生成所述佩戴者所处空间的三维画面；
43.显示模块，用于显示所述佩戴者所处空间的三维画面；
44.第二获取模块，用于在接收到用户输入的边界划定指令的情况下，获取目标边界；
45.更新模块，用于根据所述目标边界更新所述三维画面，得到更新后的三维画面。
46.根据本公开实施例的第三方面，提供了一种头戴显示设备，包括第一摄像头，所述头戴显示设备还包括：
47.存储器，用于存储可执行的计算机指令；
48.处理器，用于根据所述可执行的计算机指令的控制，执行如本公开实施例的第一方面所述的边界生成方法；
49.其中，所述处理器分别与所述第一摄像头和外部设置的第二摄像头通信连接，以获取所述第一摄像头和所述第二摄像头拍摄到的图像。
50.根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行如本公开实施例的第一方面所述的边界生成方法。
51.根据本公开实施例，在使用头戴显示设备时，获取第一摄像头采集的第一图像和外部设置的第二摄像头采集第二图像，根据第一图像和第二图像生成并显示佩戴者所处空间的三维画面，之后，在接收到用户输入的边界划定指令的情况下，获取目标边界，并根据目标边界更新三维画面，得到更新后的三维画面。这样，在用户设置目标边界时，可以根据头戴显示设备显示的佩戴者所处空间的三维画面进行设置，方便用户操作，并且，可以提高边界划定的准确性。进一步地，根据目标边界更新佩戴者所处空间的三维画面，以在佩戴者体验头戴显示设备的过程中，基于更新后的三维画面，为佩戴者提供安全提醒，准确性更高，可以提升头戴显示设备使用的安全性，从而解决现有技术中仅在底面划定二维的边界存在的防护效果较差的问题。
52.通过以下参照附图对本公开实施例的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
53.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
54.图1是可用于实现一个实施例的边界生成方法的控制系统的硬件配置示意图；
55.图2是根据一个实施例的边界生成方法的流程示意图；
56.图3是根据一个实施例的边界生成装置的原理框图；
57.图4是根据一个实施例的头戴显示设备的硬件结构示意图。
具体实施方式
58.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
59.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
60.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
61.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
62.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
63.《硬件配置》
64.图1是可用于实现一个实施例的边界生成方法的控制系统的硬件配置示意图。
65.如图1所示，控制系统100包括头戴显示设备1000，头戴显示设备1000包括第一摄像头。控制系统还包括第二摄像头2000，第二摄像头2000与头戴显示设备1000通信连接，第二摄像头2000可以设置在头戴显示设备1000的安全边界之外的区域。第二摄像头2000用于在佩戴者使用头戴显示设备的过程中拍摄包括佩戴者的图像。
66.在一个实施例中，如图1所示，头戴显示设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、音频装置1700和第一摄像头1800。处理器1100可以包括但不限于中央处理器cpu、微处理器mcu等。存储器1200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括各种总线接口，例如串行总线接口(包括usb接口)、并行总线接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、led显示屏、触摸显示屏等。输入装置1600例如包括触摸屏、键盘、手柄等。音频装置1700可以包括麦克风和扬声器，麦克风可以用于输入语音信息，扬声器可以用于输出语音信息。第一摄像头1800可以用于获取图像。
67.在一个实施例中，该输入装置还设置有指示灯。以输入装置为手柄为例，手柄上还设置有指示灯，例如，红外灯、led灯等。
68.该头戴显示设备1000例如可以是vr(虚拟现实，virtual reality)设备、ar(增强现实，augmented reality)设备及mr(混合现实，mixed reality)设备等，本公开实施例对此不作限定。
69.本实施例中，头戴显示设备1000的存储器1200用于存储指令，该指令用于控制处理器1100进行操作以实施或者支持实施根据任意实施例的边界生成方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
70.本领域技术人员应当理解，尽管在图1中示出了头戴显示设备1000的多个装置，但是，本说明书实施例的头戴显示设备1000可以仅涉及其中的部分装置，也可以还包含其他装置，在此不做限定。
71.图1所示的头戴显示设备1000仅是解释性的，并且决不是为了要限制本说明书、其应用或用途。
72.下面，参照附图描述根据本公开的各个实施例和例子。
73.《方法实施例》
74.图2示出了本公开的一个实施例的边界生成方法，该边界生成方法应用于头戴显示设备，该头戴显示设备设置有第一摄像头，该头戴显示设备与外部设置的第二摄像头通信连接。如图2所示，该实施例提供的边界生成方法可以包括以下步骤s2100～s2400。
75.步骤s2100，获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第二图像包括所述头戴显示设备的佩戴者。
76.在本实施例中，第一摄像头可以是头戴显示设备自带的摄像头。第一摄像头可以用于采集周围环境图像。第一摄像头可以设置一个，也可以设置多个。例如，头戴显示设备设置五个第一摄像头，其中，一个第一摄像头为主摄像头，四个第一摄像头为从摄像头。
77.第一图像可以是第一摄像头采集的图像。第一图像可以是第一摄像头拍摄头戴显示设备的佩戴者的周围场景得到的图像。第一图像是第一人称视角拍摄的图像，也就是说，第一图像是以头戴显示设备的佩戴者的视角拍摄的图像。
78.第二摄像头可以是外部设置的摄像头，第二摄像头与头戴显示设备通信连接。示例性地，第二摄像头与头戴显示设备可以通过无线网络连接，例如，wifi6。第二摄像头可以用于拍摄头戴显示设备的佩戴者。第二摄像头可以设置一个，也可以设置多个。第二摄像头设置在头戴显示设备的使安全用区域之外。一般第二摄像头到头戴显示设备的使安全用区域的中心的距离为一定值。例如，第二摄像头到头戴显示设备的使安全用区域的中心的距离为2米～10米。这样，在用户体验头戴显示设备时，可以避免用户碰到第二摄像头，保证头戴显示设备的正常运行，还可以提高用户使用头戴显示设备的安全性。
79.第二图像可以是第二摄像头采集的、包括头戴显示设备的佩戴者的图像。也就是说，第二图像可以是以第三人称视角拍摄的图像。根据第二摄像头拍摄的第二图像，可以确定头戴显示设备的佩戴者的位置和姿态，还可以确定头戴显示设备的佩戴者的轮廓信息。
80.在本实施例中，获取第一摄像头采集的第一图像，可以是获取第一摄像头采集的一张第一图像，或者是第一摄像头采集的多张第一图像。获取第二摄像头采集的第二图像，可以是获取第二摄像头采集的一张第二图像，或者是第二摄像头采集的多张第二图像。在具体实施时，在头戴显示设备开机后，用户佩戴头戴显示设备环顾四周，第一摄像头可以采
集多张第一图像，同时，第二摄像头对佩戴者进行连续拍摄，得到多张第二图像。
81.在步骤s2100之后，执行步骤s2200，根据所述第一图像和所述第二图像，生成并显示所述佩戴者所处空间的三维画面。
82.在本实施例中，佩戴者所处空间的三维画面可以是反映头戴显示设备的佩戴者所处的空间的画面。第一图像可以包括以不同角度拍摄佩戴者的外侧场景得到的图像。第二图像是通过外部设置的第二摄像头拍摄的图像，第二图像可以是以第三人称视角拍摄佩戴者所处的空间得到的图像。这样，结合多张第一图像和多张第二图像，可以构建佩戴者所处空间的三维画面，并在头戴显示设备的显示屏显示佩戴者所处空间的三维画面，以方便用户划定目标边界。
83.在步骤s2200之后，执行步骤s2300，在接收到用户输入的边界划定指令的情况下，获取目标边界。
84.在本实施例中，用户输入的边界划定指令可以是用户通过头戴显示设备的控制器(例如，手柄)输入的边界划定指令。目标边界可以是根据用户输入的边界划定指令生成的边界。目标边界可以在用户第一次使用头戴显示设备时根据实际情况进行划定。示例性地，目标边界可以是闭合图形，例如，菱形、长方形、圆形等。
85.在具体实施时，在头戴显示设备开机后，获取第一摄像头采集的多张第一图像和第二摄像头采集的多张第二图像，根据多张第一图像和多张第二图像，生成并显示佩戴者所处空间的三维画面。之后，用户可以根据pc端的指示进行目标边界的划定。具体地，可以确定目标边界的中心点，之后用户可以通过头戴显示设备的控制器(例如，手柄)划定目标边界。在本实施例中，用户在划定目标边界时，可以根据显示屏显示的佩戴者所处空间的三维画面进行划定，并且在三维画面中实时显示目标边界。
86.在步骤s2300之后，执行步骤s2400，根据所述目标边界更新所述三维画面，得到更新后的三维画面。
87.在具体实施时，在用户划定目标边界的过程中，获取通过第一摄像头实时采集的多张第五图像和通过第二摄像头实时采集的多张第六图像，并根据多张第五图像和多张第六图像，更新佩戴者所处空间的三维画面，得到更新后的三维画面。更新后的三维画面是以第一坐标系构建的，第一坐标系可以是以头戴显示设备为坐标原点建立的三维空间坐标系，更新后的三维画面的横截面为目标边界，更新后的三维画面包括围成目标边界的多个边界面。
88.根据本公开实施例，在使用头戴显示设备时，获取第一摄像头采集的第一图像和外部设置的第二摄像头采集第二图像，根据第一图像和第二图像生成并显示佩戴者所处空间的三维画面，之后，在接收到用户输入的边界划定指令的情况下，获取目标边界，并根据目标边界更新三维画面，得到更新后的三维画面。这样，在用户设置目标边界时，可以根据头戴显示设备显示的佩戴者所处空间的三维画面进行设置，方便用户操作，并且，可以提高边界划定的准确性。进一步地，根据目标边界更新佩戴者所处空间的三维画面，以在佩戴者体验头戴显示设备的过程中，基于更新后的三维画面，为佩戴者提供安全提醒，准确性更高，可以提升头戴显示设备使用的安全性，从而解决现有技术中仅在底面划定二维的边界存在的防护效果较差的问题。
89.在一个实施例中，在所述根据所述目标边界更新所述三维画面，得到更新后的三
维画面之后，该方法还可以包括：在更新后的三维画面中显示所述目标边界。
90.在本实施例中，在根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，可以判断头戴显示设备的佩戴者在更新后的三维画面中的位置，进一步可以判断佩戴者是否靠近目标边界，以在佩戴者靠近目标边界时，发出提醒，避免佩戴者与目标边界之外的物品发生碰撞，提高头戴显示设备使用的安全性。下面以具体的实施例进行说明。
91.在一个实施例中，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，该方法还可以包括：步骤s3100-步骤s3200。
92.步骤s3100，在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离。
93.示例性地，更新后的三维画面可以包括与目标边界对应的边界面。第一距离可以是佩戴者的轮廓与目标边界对应的边界面之间的距离。
94.在一个更具体的例子中，所述在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离的步骤，可以进一步包括：在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第三图像，所述第三图像中包括所述佩戴者；根据所述第三图像，生成佩戴者的轮廓信息；根据所述佩戴者的轮廓信息和所述更新后的三维画面，确定所述佩戴者与所述目标边界对应的边界面之间的第一距离。这里需要说明的是，可以获取第二摄像头采集的连续多张第三图像，根据多张第三图像，在第一坐标系中构建佩戴者的轮廓信息。其中，第一坐标系可以是以头戴显示设备为坐标原点建立的三维空间坐标系。
95.示例性地，第一距离也可以是佩戴者的手部与目标边界对应的边界面之间的距离。
96.在一个更具体的例子中，所述在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离的步骤，可以进一步包括：在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第三图像，所述第三图像中包括头戴显示设备的控制器的指示灯；根据所述第三图像，生成佩戴者的手部轮廓信息；根据所述佩戴者的手部轮廓信息和所述更新后的三维画面，确定所述佩戴者的手部与所述目标边界对应的边界面之间的第一距离。这里需要说明的是，可以获取第二摄像头采集的连续多张第三图像，根据多张第三图像，在第一坐标系中构建佩戴者的手部轮廓信息。其中，第一坐标系可以是以头戴显示设备为坐标原点建立的三维空间坐标系。
97.步骤s3200，在所述第一距离小于或等于第一阈值的情况下，输出第一提示信息。
98.在本实施例中，第一阈值用于反映佩戴者是否靠近头戴显示设备的目标边界。在佩戴者与目标边界之间的第一距离小于或等于第一阈值的情况下，佩戴者容易与目标边界之外的物体发生碰撞，认为佩戴者靠近目标边界。这里需要说明的是，第一阈值可以由本领域技术人员根据实际经验进行设置，本公开实施例对此不做具体限定。
99.第一提示信息可以用于提示佩戴者靠近目标边界。第一提示信息可以根据用户的实际需要预先设定。示例性地，第一提示信息可以是以预设方式显示更新后的三维画面中的目标边界。例如，以高亮方式显示目标边界。示例性地，第一提示信息可以是语音提示信息，也可以是振动提示信息。例如，第一提示信息为“您将超出前方边界，请注意”。
100.在一个实施例中，在所述在佩戴者使用所述头戴显示设备的过程中，根据所述更
新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离之后，该方法还可以包括：在所述第一距离小于或等于第二阈值的情况下，获取并显示所述第一摄像头采集的真实世界图像；其中，所述第二阈值小于所述第一阈值。
101.在本实施例中，第二阈值用于反映佩戴者是否将要越过头戴显示设备的目标边界。在佩戴者与目标边界之间的第一距离小于或等于第二阈值的情况下，认为佩戴者将要越过目标边界。这里需要说明的是，第二阈值小于第一阈值。第二阈值可以由本领域技术人员根据实际经验进行设置，本公开实施例对此不做具体限定。
102.在具体实施时，在佩戴者使用头戴显示设备的过程中，获取第二摄像头采集的多张第三图像，根据多张第三图像，生成佩戴者的轮廓信息，并根据佩戴者的轮廓信息和更新后的三维画面，确定佩戴者与目标边界之间的第一距离，在第一距离小于或等于第一阈值的情况下，输出第一提示信息，以提示佩戴者调整自身的位置。在第一距离小于或者等于第二阈值的情况下，打开头戴显示设备的第一摄像头，并显示第一摄像头采集的真实世界图像，以使佩戴者直接观察到真实环境，避免用户与目标边界对应的边界面附近的物品发生碰撞，提高使用的安全性。
103.在本实施例中，在佩戴者使用所述头戴显示设备的过程中，根据更新后的三维画面，实时获取佩戴者与目标边界之间的第一距离，以根据第一距离判断佩戴者是否靠近目标边界，可以提高识别的准确性，解决现有技术中仅在底面划定二维的边界存在的防护效果较差的问题。进一步地，在第一距离小于或等于第一阈值时，输出第一提示信息，这样，可以提醒佩戴者已靠近目标边界，避免佩戴者在体验过程中越过目标边界而发生磕碰，可以提高头戴显示设备使用的安全性。此外，在第一距离小于或等于第二阈值的情况下，获取并显示第一摄像头采集的真实世界的图像，这样，佩戴者可以直接观察到周围的真实场景，及时躲避周围物品，进一步提高头戴显示设备使用的安全性。
104.在一个实施例中，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，该方法还可以包括：步骤s4100-步骤s4300。
105.步骤s4100，根据所述第一图像和所述第二图像，确定所述更新后的三维画面内是否包括第一对象，其中，所述第一对象为除所述佩戴者之外的其他对象。
106.在本实施例中，第一对象可以是位于更新后的三维画面内或者位于更新后的三维画面的边界附近的其他物品。例如，餐桌、沙发、椅子等。
107.在本实施例中，确定更新后的三维画面内是否包括第一对象，可以是确定用户划定的目标边界内是否包括第一对象，也可以是确定用户划定的目标边界附近是否包括第一对象。具体地，第一图像可以包括多张用户佩戴头戴显示设备环顾四周拍摄得到的图像。第二图像可以是视频帧序列，也就是在用户佩戴头戴显示设备环顾四周的过程中连续获取的多张图像。基于此，根据第一摄像头采集的多张第一图像和第二摄像头采集的多张第二图像，可以确定更新后的三维画面内，也就是用户划定的目标边界内是否存在其他物品(第一对象)。
108.步骤s4200，在所述更新后的三维画面内包括第一对象的情况下，根据所述第一图像和所述第二图像，确定所述第一对象的轮廓信息和所述第一对象相对于所述佩戴者的位置信息。
109.在具体实施时，在头戴显示设备开机后，用户佩戴头戴显示设备环顾四周，第一摄
像头可以采集多张第一图像，同时，第二摄像头对佩戴者进行连续拍摄，得到多张第二图像。将多张第一图像和多张第二图像输入预设模型，识别更新后的三维画面内是否包括第一对象。在更新后的三维画面内包括第一对象的情况下，根据多张第一图像和多张第二图像，可以确定第一对象的轮廓信息。此外，头戴显示设备的控制器上设置有指示灯，例如，led灯、红外灯等，这样，根据多张第二图像，可以确定佩戴者相对于第二摄像头的位置信息，从而根据多张第二图像，可以确定第一对象相对于佩戴者的位置信息。例如，第一对象与佩戴者之间的距离。
110.步骤s4300，根据所述第一对象相对于所述佩戴者的位置信息和所述第一对象的轮廓信息，在所述更新后的三维画面内添加所述第一对象的三维模型。
111.在本实施例中，根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，还可以据第一摄像头采集的第一图像、第二摄像头采集的第二图像，确定更新后的三维画面内是否包括第一对象，在更新后的三维画面内包括第一对象的情况下，在更新后的三维画面内添加第一对象的三维模型，这样，可以避免目标边界内的物体对用户造成干扰，进一步提升头戴显示设备使用的安全性。
112.在本实施例中，在更新后的三维画面内添加第一对象的三维模型之后，可以判断头戴显示设备的佩戴者在更新后的三维画面中的位置，进一步可以判断佩戴者是否靠近第一对象，以在佩戴者靠近第一对象时，发出提醒，避免佩戴者与第一对象发生碰撞，提高头戴显示设备使用的安全性。下面以具体的实施例进行说明。
113.在一个实施例中，在所述根据所述第一对象相对于所述佩戴者的位置信息和所述第一对象的轮廓信息，在所述更新后的三维画面内添加所述第一对象的三维模型之后，该方法还可以包括：步骤s5100-步骤s5200。
114.步骤s5100，在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离。
115.示例性地，第二距离可以是佩戴者的轮廓与第一对象之间的距离。
116.在一个更具体的例子中，所述在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离的步骤，可以进一步包括：在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第四图像，所述第四图像中包括所述佩戴者；根据所述第四图像，生成佩戴者的轮廓信息；根据所述佩戴者的轮廓信息和所述第一对象的三维模型，确定所述佩戴者与所述第一对象之间的第二距离。这里需要说明的是，可以获取第二摄像头采集的连续多张第四图像，根据多张第四图像，在第一坐标系中构建佩戴者的轮廓信息。其中，第一坐标系可以是以头戴显示设备为坐标原点建立的三维空间坐标系。
117.示例性地，第二距离也可以是佩戴者的手部与第一对象之间的距离。
118.在一个更具体的例子中，所述在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离的步骤，可以进一步包括：在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第四图像，所述第四图像中包括头戴显示设备的控制器的指示灯；根据所述第四图像，生成佩戴者的手部轮廓信息；根据所述佩戴者的手部轮廓信息和所述第一对象的三维模型，确定所述佩戴者的手部与所述第一对象之间的第二距离。这里需要说明的是，可以获取第二摄像头采集的连续多张第四图像，根据多
张第四图像，在第一坐标系中构建佩戴者的手部轮廓信息。其中，第一坐标系可以是以头戴显示设备为坐标原点建立的三维空间坐标系。
119.步骤s5200，在所述第二距离小于或等于第三阈值的情况下，输出第二提示信息。
120.在本实施例中，第三阈值用于反映佩戴者是否靠近目标边界内的第一对象，也就是说，用于反映佩戴者距离目标边界中其他物品是否过近。在佩戴者与目标边界之间的第一距离小于或等于第三阈值的情况下，佩戴者容易与目标边界内第一对象发生碰撞，认为佩戴者距离第一对象过近，即佩戴者靠近第一对象。这里需要说明的是，第三阈值可以由本领域技术人员根据实际经验进行设置，本公开实施例对此不做具体限定。
121.第二提示信息可以用于提示佩戴者靠近第一对象。第二提示信息可以根据用户的实际需要预先设定。示例性地，第二提示信息可以是以预设方式显示更新后的三维画面中的第一对象的三维模型。例如，以高亮方式显示第一对象的三维模型。示例性地，第二提示信息可以是语音提示信息，也可以是振动提示信息。例如，第二提示信息为“前方有其他物品，请注意”。
122.在一个实施例中，在所述确定所述佩戴者与所述第一对象之间的第二距离之后，该方法还可以包括：在所述第二距离小于或等于第四阈值的情况下，获取并显示所述第一摄像头采集的真实世界的图像；其中，所述第四阈值小于所述第三阈值。
123.在本实施例中，第四阈值用于反映佩戴者是否将与目标边界内的第一对象发生碰撞。在佩戴者与目标边界内的第一对象之间的第二距离小于或等于第四阈值的情况下，认为佩戴者将要与目标边界内的第一对象发生碰撞。这里需要说明的是，第四阈值小于第三阈值。第四阈值可以由本领域技术人员根据实际经验进行设置，本公开实施例对此不做具体限定。
124.在具体实施时，在佩戴者使用头戴显示设备的过程中，获取第二摄像头采集的多张第四图像，根据多张第四图像，生成佩戴者的轮廓信息，并根据佩戴者的轮廓信息和第一对象的三维模型，确定佩戴者与第一对象之间的第二距离，在第二距离小于或等于第三阈值的情况下，输出第二提示信息，以提示佩戴者调整自身的位置。在第二距离小于或者等于第四阈值的情况下，打开头戴显示设备的第一摄像头，并显示第一摄像头采集的真实世界图像，以使佩戴者直接观察到真实环境，避免用户与目标边界内的第一对象发生碰撞，提高使用的安全性。
125.在本实施例中，在佩戴者使用所述头戴显示设备的过程中，实时获取佩戴者与目标边界内的第一对象之间的第二距离，以根据第二距离判断佩戴者是否靠近目标边界内的第一对象，可以提高识别的准确性。进一步地，在第二距离小于或等于第三阈值时，输出第二提示信息，这样，可以提醒佩戴者已靠近目标边界内的第一对象，避免佩戴者与第一对象发生磕碰，可以提高头戴显示设备使用的安全性。此外，在第二距离小于或等于第四阈值的情况下，获取并显示第一摄像头采集的真实世界的图像，这样，佩戴者可以直接观察到周围的真实场景，及时躲避第一对象，进一步提高头戴显示设备使用的安全性。
126.在一个实施例中，在所述根据所述目标边界更新所述三维画面，得到更新后的三维画面之后，该方法还可以包括：步骤s6100-步骤s6200。
127.步骤s6100，在佩戴者使用所述头戴显示设备的过程中，根据所述第一摄像头采集的图像得到第一场景图像，并根据所述第二摄像头采集图像得到第二场景图像。
128.在本实施例中，第一场景图像可以是以第一人称视角的场景图像。第一人称视角可以是头戴显示设备的佩戴者的观察视角。第一场景图像可以根据第一摄像头采集的图像处理得到。例如，根据佩戴者体验的游戏场景，对第一摄像头采集的图像进行处理，得到第一场景图像。
129.第二场景图像可以是以第三人称视角的场景图像。第三人称视角可以是第二摄像头观察头戴显示设备的佩戴者的视角。第二场景图像可以根据第二摄像头采集的图像处理得到。例如，根据佩戴者体验的游戏场景，对第二摄像头采集的图像进行处理，得到第二场景图像，其中，第二场景图像中包括佩戴者所扮演的游戏人物。
130.步骤s6200，在所述头戴显示设备的显示屏的第一区域显示所述第一场景图像，并在所述显示屏的第二区域显示所述第二场景图像；其中，所述第一场景图像为第一人称视角的场景图像，所述第二场景图像为第三人称视角的场景图像。
131.在本实施例中，第一区域和第二区域可以是头戴显示设备的显示屏不同显示区域。第一区域和第二区域可以是不重叠的两个区域，第一区域和第二区域也可以部分重叠。这里需要说明的是，第一区域和第二区域的区域大小可以相同，也可以不同，例如，用于显示第一人称视角(主视角)的第一区域较大，用于显示第三人称视角的第二区域较小。
132.在本实施例中，在佩戴者使用所述头戴显示设备的过程中，对第一摄像头采集的图像进行处理，得到并显示第一场景图像，以及对第二摄像头采集图像进行处理，得到并显示第二场景图像，其中，第一场景图像为第一人称视角的场景图像，第二场景图像为第三人称视角的场景图像。这样，本实施例可以为用户提供第一人称和第三人称两种视角的场景图像，可以增强用户的游戏体验。
133.《装置实施例》
134.本公开实施例提供了一种边界生成装置，应用于头戴显示设备，所述头戴显示设备设置有第一摄像头，所述头戴显示设备与外部设置的第二摄像头通信连接。如图3所示，该边界生成装置300可以包括第一获取模块310、生成模块320、显示模块330、第二获取模块340和更新模块350。
135.该第一获取模块310可以用于获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第二图像包括所述头戴显示设备的佩戴者；
136.该生成模块320可以用于根据所述第一图像和所述第二图像，生成所述佩戴者所处空间的三维画面；
137.该显示模块330可以用于显示所述佩戴者所处空间的三维画面；
138.该第二获取模块340可以用于在接收到用户输入的边界划定指令的情况下，获取目标边界；
139.该更新模块350可以用于根据所述目标边界更新所述三维画面，得到更新后的三维画面。
140.在一个实施例中，显示模块330，还用于在更新后的三维画面中显示所述目标边界。
141.在一个实施例中，所述装置还包括：
142.第一确定模块，用于在佩戴者使用所述头戴显示设备的过程中，根据所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离；
143.第一提示模块，用于在所述第一距离小于或等于第一阈值的情况下，输出第一提示信息。
144.在一个实施例中，所述装置还包括：
145.第三获取模块，用于在所述第一距离小于或等于第二阈值的情况下，获取所述第一摄像头采集的真实世界图像；
146.显示模块330，还用于显示所述第一摄像头采集的真实世界图像；
147.其中，所述第二阈值小于所述第一阈值。
148.在一个实施例中，第一确定模块，包括：
149.第一获取单元，用于在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第三图像，所述第三图像中包括所述佩戴者；
150.第一生成单元，用于根据所述第三图像，生成佩戴者的轮廓信息；
151.第一确定单元，用于根据所述佩戴者的轮廓信息和所述更新后的三维画面，确定所述佩戴者与所述目标边界之间的第一距离。
152.在一个实施例中，所述装置还包括：
153.第二确定模块，用于根据所述第一图像和所述第二图像，确定所述更新后的三维画面内是否包括第一对象，其中，所述第一对象为除所述佩戴者之外的其他对象；
154.第三确定模块，用于在所述更新后的三维画面内包括第一对象的情况下，根据所述第一图像和所述第二图像，确定所述第一对象的轮廓信息和所述第一对象相对于所述佩戴者的位置信息；
155.添加模块，用于根据所述第一对象相对于所述佩戴者的位置信息和所述第一对象的轮廓信息，在所述更新后的三维画面内添加所述第一对象的三维模型。
156.在一个实施例中，所述装置还包括：
157.第四确定模块，用于在佩戴者使用所述头戴显示设备的过程中，确定所述佩戴者与所述第一对象之间的第二距离；
158.第二提示模块，用于在所述第二距离小于或等于第三阈值的情况下，输出第二提示信息。
159.在一个实施例中，所述装置还包括：
160.第四获取模块，用于在所述第二距离小于或等于第四阈值的情况下，获取所述第一摄像头采集的真实世界的图像；
161.显示模块330，还用于显示所述第一摄像头采集的真实世界的图像；
162.其中，所述第四阈值小于所述第三阈值。
163.在一个实施例中，第四确定模块，包括：
164.第二获取单元，用于在佩戴者使用所述头戴显示设备的过程中，获取所述第二摄像头采集的第四图像，所述第四图像中包括所述佩戴者；
165.第二生成单元，用于根据所述第四图像，生成佩戴者的轮廓信息；
166.第二确定单元，用于根据所述佩戴者的轮廓信息和所述第一对象的三维模型，确定所述佩戴者与所述第一对象之间的第二距离。
167.在一个实施例中，所述装置还包括：
168.第五获取模块，用于在佩戴者使用所述头戴显示设备的过程中，根据所述第一摄
像头采集的图像得到第一场景图像，并根据所述第二摄像头采集图像得到第二场景图像；
169.显示模块330，还用于在所述头戴显示设备的显示屏的第一区域显示所述第一场景图像，并在所述显示屏的第二区域显示所述第二场景图像；
170.其中，所述第一场景图像为第一人称视角的场景图像，所述第二场景图像为第三人称视角的场景图像。
171.根据本公开实施例，在用户设置目标边界时，可以根据头戴显示设备显示的佩戴者所处空间的三维画面进行设置，方便用户操作，并且，可以提高边界划定的准确性。进一步地，根据目标边界更新佩戴者所处空间的三维画面，以在佩戴者体验头戴显示设备的过程中，基于更新后的三维画面，为佩戴者提供安全提醒，准确性更高，可以提升头戴显示设备使用的安全性，从而解决现有技术中仅在底面划定二维的边界存在的防护效果较差的问题。
172.《设备实施例》
173.图4是根据一个实施例的头戴显示设备的硬件结构示意图。如图4所示，该头戴显示设备400包括存储器410、处理器420和第一摄像头430。
174.该存储器410可以用于存储可执行的计算机指令。
175.该处理器420可以用于根据所述可执行的计算机指令的控制，执行根据本公开方法实施例所述的边界生成方法。
176.该处理器420分别与第一摄像头430和外部设置的第二摄像头通信连接，以获取第一摄像头和第二摄像头拍摄到的图像。
177.该头戴显示设备400可以是如图1所示的头戴显示设备1000，也可以是具备其他硬件结构的设备，在此不做限定。该头戴显示设备400例如可以是vr设备、ar设备及mr设备等，本公开实施例对此不作限定。
178.该头戴显示设备400还可以包括控制器。该控制器上设置有指示灯。例如，该控制器为手柄，手柄上设置led灯或者红外灯。
179.在另外的实施例中，该头戴显示设备400可以包括以上边界生成装置300。
180.在一个实施例中，以上边界生成装置300的各模块可以通过处理器420运行存储器410中存储的计算机指令实现。
181.根据本公开实施例，在用户设置目标边界时，可以根据头戴显示设备显示的佩戴者所处空间的三维画面进行设置，方便用户操作，并且，可以提高边界划定的准确性。进一步地，根据目标边界更新佩戴者所处空间的三维画面，以在佩戴者体验头戴显示设备的过程中，基于更新后的三维画面，为佩戴者提供安全提醒，准确性更高，可以提升头戴显示设备使用的安全性，从而解决现有技术中仅在底面划定二维的边界存在的防护效果较差的问题。
182.《计算机可读存储介质》
183.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行本公开实施例提供的边界生成方法。
184.本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。
185.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
186.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
187.用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开实施例的各个方面。
188.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
189.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
190.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它
设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
191.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
192.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。