利用虚拟场景进行真实社交的方法、系统及AR眼镜与流程

本发明属于虚拟现实，具体涉及利用虚拟场景进行真实社交的方法、系统及ar眼镜。

背景技术：

1、虚拟现实技术即vr包括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境而给人以环境沉浸感，当前，随着vr技术的发展，vr已经被应用到各个技术领域中。

2、专利号为“2017103756194”的专利公开了一种基于实时人体三维重建的vr社交系统及其方法，所公开的专利文件中，存在以下缺点：一是，在vr场景中进行三维重建的人体不是真实实况转播的真实人体的形象；二是，所述专利中并没有解决现实中人体位置的变化怎么与虚拟场景相匹配，存在现实中人体移动的方向和速度与虚拟场景中人体移动的方向和速度不一致的问题；三是，由于现实中人体位置变化与虚拟场景不匹配，导致无法通过虚拟场景与其他人准确建立联系，社交效率低。

技术实现思路

1、为解决上述技术问题，本发明提供利用虚拟场景进行真实社交的方法及系统。

2、具体方案如下：

3、利用虚拟场景进行真实社交的方法，包括云服务端和直播终端，所述方法包括如下步骤：

4、步骤一：云服务端根据直播终端数量获取参与社交虚拟场景的直播间的数量n，所述直播间为现实中的一个直播场景，n≥2；

5、步骤二：根据直播间的数量n建立n+1个相同的三维坐标系，其中，每个直播间建立1个三维坐标系，n个直播间构成1至n个三维坐标系，云服务端在虚拟场景建立第n+1个三维坐标系；

6、步骤三：设定所述n+1个三维坐标系，每个三维坐标系由x轴、y轴和z轴构成，且每个x轴、y轴和z轴的长度单位相同；

7、定义虚拟场景的地面为每个三维坐标系的x轴和y轴形成的平面，直播间的地面也为三维坐标系的x轴和y轴形成的平面，虚拟场景在第n+1三维坐标系中占据的空间范围表示为kn+1，每个直播间的三维坐标系内对应的空间范围表示为k1-kn 所述k1-kn内无障碍且k1-kn内的真实人外形能够进行三维直播；所述障碍指遮挡的程度无法完成直播，在直播过程可以过滤和弥补的障碍就属于无障碍；

8、步骤四：每个直播间至少存在一个被直播人定义为有人的直播间，定义有人的直播间数量为m个，n≥m≥2；在m个直播间内的每个直播间分别采集每个被直播人的人体位置位置信息和人体外形信息以及被直播人的声音信息和声音位置信息，并同时传输至云服务端，云服务端将每个直播间的每个被直播人的外形信息处理为三维人像信息；

9、步骤五：替换步骤四，每个直播间至少存在一个被直播人定义为有人的直播间，定义有人的直播间数量为m个，n≥m≥2；在m个直播间内的每个直播间分别采集每个被直播人的人体位置位置信息和人体外形信息以及被直播人的声音信息和声音位置信息并处理为三维人像信息并同时传输至云服务端；

10、步骤六：云服务端将每个直播间的每个被直播人的人体位置位置信息和三维人像信息信息以及被直播人的声音信息和声音位置信息均实时导入到虚拟场景中形成vr数据流，云服务端将所述vr数据流传送至各个直播终端；每个被直播人在对应直播间均佩戴直播终端的显示部件ar眼镜。此时虚拟场景中集合了所有被直播人佩戴ar眼镜的虚拟形象，每个直播间的被直播人的实体形象与虚拟形象重合，被直播人通过ar眼镜只能够看到其他被直播人的vr虚拟形象，当然云服务端将所述vr数据流传送至各个直播终端时；可以缺少该被直播人的虚拟形象，被直播人通过ar眼镜也只能够看到其他被直播人的虚拟形象。

11、三维人像信息的生成包括如下步骤，

12、s1）：在每个直播间内对于每个被直播人均设置至少三台摄像机，至少三台摄像机对直播间内的被直播人进行同步跟踪拍摄；同步跟踪拍摄为不同摄像机拍摄的每一帧的时间相同；

13、s2）：直播终端从同一直播间内不同摄像机拍摄的视频中逐帧进行不同角度的人体抠像，并合成人体立体影像；

14、s3）：直播终端将人体立体影像传送至云服务端，云服务端逐帧识别人体立体影像，记录人体立体影像中含有ar眼镜的视频帧，将相同时间帧的面部影像与人体立体影像融合，形成三维人像信息。

15、三维人像信息的生成包括如下步骤，、声音信息和声音位置信息

16、所述s1）：在每个直播间内对于每个被直播人均设置至少三台摄像机，至少三台摄像机对直播间内的被直播人进行同步跟踪拍摄；同步跟踪拍摄为不同摄像机拍摄的每一帧的时间相同；被直播人在直播间内佩戴ar眼镜，所述ar眼镜朝向人脸设置有摄像头，摄像头的时间帧与摄像机的时间帧同步，摄像头对被直播人的面部进行拍摄；主要是拍摄人的面部被ar眼镜遮挡的部位；

17、所述s2）：直播终端将多组摄像头拍摄的视频根据时间帧和编号依次融合，构成面部影像；同时，直播终端从同一直播间内不同摄像机拍摄的视频中逐帧进行不同角度的人体抠像，并合成不含ar眼镜的人体立体影像；

18、所述s3）：直播终端将面部影像和人体立体影像传送至云服务端，云服务端逐帧识别人体立体影像，记录人体立体影像中含有ar眼镜的视频帧，将相同时间帧的面部影像与人体立体影像融合，形成不含ar眼镜的三维人像信息。

19、被直播人在直播间内佩戴的是ar眼镜，ar眼镜朝向人脸设置摄像头，所述摄像头位于ar眼镜的镜片周边，每个摄像头均为同步拍摄，每个相邻摄像头之间摄影范围均产生重叠区域并且与摄像机也产生重叠区域，所述摄像头与摄像机为同步拍摄，所述直播终端从所述摄像头中逐帧进行面部信息的提取。

20、所述人体位置信息包括位置坐标和姿态，所述直播终端采集每个直播间内每个被直播人的位置坐标和姿态并将采集的位置坐标和姿态传送到云服务端，所述直播终端根据摄像机的拍摄帧的时间顺序对直播间内每个人的坐标和姿态同步实时采集；所述位置坐标通过定位设备采集，姿态数据由通过陀螺仪采集，所述定位设备和陀螺仪固定在被直播人胸部。

21、所述声音信息通过直播终端的录音设备采集，所述声音位置信息通过直播终端声源定位设备采集。

22、所述系统，包括云服务端和直播终端，所述云服务端设置有云服务处理器，所述直播终端设置有终端处理器，所述直播终端还包括有至少三组摄像机、ar眼镜、无线入耳式耳机、定位设备和陀螺仪，其中，所述云服务处理器与终端处理器通过tcp/ip通信连接，所述摄像机、vr头显、无线入耳式耳机、定位设备和陀螺仪均与终端处理器电连接，所述定位设备与陀螺仪固定一体设置，所述定位设备和陀螺仪固定在被直播人胸部。

23、一种ar眼镜，包括眼镜架，及设置在眼睛架上的vr显示装置，vr显示装置包括显示屏及显示屏内侧的凸透镜，凸透镜与显示屏结合在人眼中形成vr图像，所述显示屏为透光显示屏，透光显示屏外侧设置屈光度与凸透镜屈光度相配合的凹透镜，凹透镜用于抵消凸透镜对光线的折射，凹透镜位于凸透镜的焦点之内，凸透镜位于凹透镜的虚焦点之内。使得透光显示屏的透光部分形成现实的透明图像。

24、所述透光显示屏为透光单侧显示屏，透光单侧显示屏朝向内侧也就是朝向眼睛一侧显示vr图像。

25、所述透光单侧显示屏，包括阵列的发光区，阵列的发光区之间是阵列的透光区。其中发光区单侧发光。

26、所述每一个透光区为菲涅尔凹透镜的一部分，所有透光区组成的阵列构成一个菲涅尔凹透镜，菲涅尔凹透镜代替透光显示屏外侧设置屈光度与凸透镜屈光度相配合的凹透镜。此时能够减少眼镜重量并减小眼镜厚度。

27、所述凸透镜为菲涅尔凸透镜，所述凹透镜为菲涅尔凹透镜。

28、所述透光区的材料为感光变色透光材料，当透光区周边发光区的发光材料发光时，感光变色透光材料的颜色变深，透光度降低；透光区周边的发光材料不发光时，感光变色透光区的透光度高。

29、所述凸透镜与显示屏之间设置距离调节装置，用以调节凸透镜到显示屏之间的距离。

30、本发明公开了一种利用虚拟场景进行真实社交的方法及系统，通过建立统一坐标系，将不同地方的直播间设定的坐标系和虚拟场景中所建的坐标系定义为相同方向的三维坐标系，为在虚拟场景中实现真实社交提供统基础；而后将不同直播间的被直播人的外形信息和被直播人在直播间所对应的三维坐标位置信息进行提取，将提取的被直播人的外形信息处理为真实人的三维形象，根据每个人在直播间的三维坐标位置信息，将被直播人的三维形象置入虚拟场景中，被直播人在虚拟场景中的坐标与人在直播间的三维坐标位置相同；解决了现实中被直播人位置的变化与虚拟场景匹配一致的问题，使得现实中每个在直播间直播人的在地面的位置及移动的方向和速度与虚拟场景中该直播人在地面的位置及移动的方向和速度一致，在虚拟场景中地面移动就像在直播间地面移动一样，在虚拟场景中绕开虚拟物体时，在直播间里并没有改真实物体，当然虚拟场景中地面的阶梯必须在直播间对应真实存在，预防踩空；例如直播人甲在直播间直播的同时，通过vr设备看到虚拟场景中其他直播人的真实直播的虚拟形象，想和直播人乙交流，就可以在虚拟场景中向直播人打招呼，这个打招呼的过程被直播到虚拟场景中，直播人乙在虚拟场景中发现直播人甲向他打招呼，就回应直播人甲，直播人甲和直播人乙就相互迎上前去与对方的真实直播的虚拟形象进行交流，只要不是二者接触的交流都能够完成，例如对话，手势，表情等等，在有利于被直播人与虚拟场景中的其他人之间准确建立联系，提高社交效率。

31、此外，本发明在虚拟场景中所展示的为实况转播的真实人的形象，具有更好的沉浸感和交互性，体验效果好。