一种用于直播间在线渲染加工虚拟场景的方法及装置与流程

1.本发明属于云渲染仿真技术领域，特别是涉及一种用于直播间在线渲染加工虚拟场景的方法及装置。


背景技术：

2.随着支持虚拟场景的应用程序(比如虚拟现实应用程序、三维地图程序、军事仿真程序、第一人称射击游戏、虚拟直播间等)的流行，催生了在支持虚拟场景的应用程序内观看对虚拟场景的视频直播的需求。
3.在支持虚拟场景的应用程序对虚拟场景的视频直播，又称为客户端内直播，比如游戏客户端内直播。在相关技术中，游戏类应用程序内设置有直播界面，观众用户选择收看一场游戏的直播时，游戏类应用程序通过直播界面展示主播终端侧录制的直播画面。
4.相关技术中，通过应用程序内的直播界面只能看到主播选择的视角对应的直播画面，由于不同的用户对于虚拟场景中的关注点通常是不同的，因此直播画面无法满足不同观众的需求，直播场景单一，不能变化，从而导致直播画面的展示效果较差。


技术实现要素：

5.本发明的目的在于提供一种用于直播间在线渲染加工虚拟场景的方法及装置，通过导入预先设定的场景模型数据信息和建模软件，获取三维仿真场景模型，wrl文件进行三维场景的渲染，再结合直播画面进行最终的渲染效果展示，解决了现有的直播间场景单一、不能更换场景以及直播展示效果差的问题。
6.为解决上述技术问题，本发明是通过以下技术方案实现的：
7.本发明为一种用于直播间在线渲染加工虚拟场景的方法，包括如下步骤：
8.步骤s1：在虚拟仿真直播平台上根据预先设定的场景模型数据信息和建模软件，获取三维仿真场景模型；
9.步骤s2：通过wrl文件格式导入，生成相应的vrml原型；
10.步骤s3：对源模型文件进行轻量化转换；
11.步骤s4：通过简化算法精简模型；
12.步骤s5：对精简后的模型使用图形引擎进行三维图像渲染；
13.步骤s6：摄像头采集直播的间直播画面；
14.步骤s7：将三维图像图像渲染后的场景作为背景与直播画面进行融合；
15.步骤s8：对融合后的视频图像进行渲染和展示。
16.作为一种优选的技术方案，所述步骤s1中，三维仿真场景模型包括通过计算机辅助绘制的三维模型、通过扫描设备获取的三维模型、通过摄像设备摄像或摄像加后期编辑获取的三维模型、通过照相设备照相或照相加后期编辑合成获取的三维模型。
17.作为一种优选的技术方案，所述步骤s3中，轻量化转换源模型文件的步骤如下：
18.步骤s31：调用dgn direct组件提供的接口将源模型文件中的第一个构建的几何
信息导出成三角面片数据；
19.步骤s32：调用hoops exchange组件的api接口，创建一个模型片段，将构建的几何信息保存到片段中；
20.步骤s33：调用dgn direce组件的接口将构建的属性数据读取出来，让后调用hoops exchange模块的接口将属性数据保存到之前创建的片段中；
21.步骤s34：调用dgn direct组件提供的接口将源模型文件中的下一个构件的几何信息到处成三角面片并重复步骤s32和s33；
22.步骤s35：根据应用需求对片段进行分组。
23.作为一种优选的技术方案，所述步骤s4中，算法精简模型通过将参数化的实体模型面片化后，将网格数据分为：面上的点都在边界线上和面上的点不全在边界线上，对都在边界线上点直接进行简化；对不全在边界线上的点需要从边界线开始，对原始网格数据进行从左向右，自下而上逐层简化。
24.作为一种优选的技术方案，所述步骤s5中，图像引擎被部署在服务器上，模型的渲染和展示都在服务器上完成。
25.作为一种优选的技术方案，所述步骤s7中，对三维图像图像渲染后的场景作为背景与直播画面融合后，还需要对融合后的效果进行测试；所述测试采用仿真dcs系统，测试前需要先提前向仿真dcs系统中录入测试用例，并编译工程组态，并将编译的工程组态下载至仿真dcs系统，用于给待测场景提供测试用例。
26.本发明为一种用于直播间在线渲染加工虚拟场景的装置，包括文件传输模块、服务器渲染模块、摄像头、结果输出模块和交互模块；
27.所述文件传输模块，供用户将模型或图纸上传至服务器；所述文件传输模块依次通过格式转换模块、轻量化转换模块与服务器渲染模块连接；所述格式转换模块，用于将导入的wrl文件，转换生成相应的vrml原型；所述轻量化转换模块，用于对源模型文件进行轻量化转换，通过简化算法精简模型；
28.所述服务器渲染模块，用于对精简后的模型使用图形引擎进行三维图像渲染；
29.所述摄像头，用于实时采集直播间视频图像；所述摄像头通过人像提取模块与场景融合模块连接；所述人像提取模块，用于扣取出视频图像中的人体图像；
30.所述场景融合模块，用于将渲染后的三维场景与扣取出的人体图像进行融合；
31.所述结果输出模块，用于向显示模块输出最终直播间的场景渲染效果图；
32.所述交互模块，用于实现用于与直播间之间的信息交互。
33.作为一种优选的技术方案，所述显示模块显示内容包括三维模型、二维图纸、二维图片、文字、动画、视频、图形图。
34.作为一种优选的技术方案，所述交互模块包括菜单交互单元和图形操作交互单元，所述菜单交互单元，通过菜单或者按钮的方式发出指令，通过指令来决定交互内容；所述图形操作交互单元，在图形区域对模型的操作实现交互。
35.作为一种优选的技术方案，所述交互模块中交互方式包括选择、隐藏、切割、移动、旋转、缩放、播放、文本输入、文本编辑、文本删除、符号输入、符号编辑、符号删除、标记输入、标记编辑、标记删除、图形截取、图形绘制、图形编辑、图形删除、亮度调节、透明度调节、光影效果调节、投影方式调节、清晰度调节、渲染方式调节、模型颜色更换、布局调整、视图
切换、干涉检查交互操作控制。
36.本发明具有以下有益效果：
37.本发明通过导入预先设定的场景模型数据信息和建模软件，获取三维仿真场景模型，wrl文件进行三维场景的渲染，再结合直播画面进行最终的渲染效果展示，提高了直播间的展示效果，增加直播效果。
38.当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
39.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明的一种用于直播间在线渲染加工虚拟场景的方法步骤图；
41.图2为本发明的一种用于直播间在线渲染加工虚拟场景的装置结构示意图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
43.请参阅图1所示，本发明为一种用于直播间在线渲染加工虚拟场景的方法，包括如下步骤：
44.步骤s1：在虚拟仿真直播平台上根据预先设定的场景模型数据信息和建模软件，获取三维仿真场景模型；
45.步骤s2：通过wrl文件格式导入，生成相应的vrml原型；
46.步骤s3：对源模型文件进行轻量化转换；
47.步骤s4：通过简化算法精简模型，能够对模型进行精简，去除多余场景，方便对模型进行存储；
48.步骤s5：对精简后的模型使用图形引擎进行三维图像渲染，将渲染后的三维图像场景进行存储并设定标签存入到存储器中，方便下次对做场景变更或修该使用；
49.步骤s6：摄像头采集直播的间直播画面；
50.步骤s7：将三维图像图像渲染后的场景作为背景与直播画面进行融合；
51.步骤s8：对融合后的视频图像进行渲染和展示，融合后的场景，直播可以在任意场景下进行，如太空、动画、海洋等，提高了直播间的直播效果，增加主播间的趣味性。
52.步骤s1中，三维仿真场景模型包括通过计算机辅助绘制的三维模型、通过扫描设备获取的三维模型、通过摄像设备摄像或摄像加后期编辑获取的三维模型、通过照相设备照相或照相加后期编辑合成获取的三维模型。
53.步骤s3中，轻量化转换源模型文件的步骤如下：
54.步骤s31：调用dgn direct组件提供的接口将源模型文件中的第一个构建的几何
信息导出成三角面片数据；
55.步骤s32：调用hoops exchange组件的api接口，创建一个模型片段，将构建的几何信息保存到片段中；
56.步骤s33：调用dgn direce组件的接口将构建的属性数据读取出来，让后调用hoops exchange模块的接口将属性数据保存到之前创建的片段中；
57.步骤s34：调用dgn direct组件提供的接口将源模型文件中的下一个构件的几何信息到处成三角面片并重复步骤s32和s33；
58.步骤s35：根据应用需求对片段进行分组。
59.步骤s4中，算法精简模型通过将参数化的实体模型面片化后，将网格数据分为：面上的点都在边界线上和面上的点不全在边界线上，对都在边界线上点直接进行简化；对不全在边界线上的点需要从边界线开始，对原始网格数据进行从左向右，自下而上逐层简化。
60.步骤s5中，图像引擎被部署在服务器上，模型的渲染和展示都在服务器上完成。
61.步骤s7中，对三维图像图像渲染后的场景作为背景与直播画面融合后，还需要对融合后的效果进行测试；测试采用仿真dcs系统，测试前需要先提前向仿真dcs系统中录入测试用例，并编译工程组态，并将编译的工程组态下载至仿真dcs系统，用于给待测场景提供测试用例。
62.本发明为一种用于直播间在线渲染加工虚拟场景的装置，包括文件传输模块、服务器渲染模块、摄像头、结果输出模块和交互模块；
63.文件传输模块，供用户将模型或图纸上传至服务器；文件传输模块依次通过格式转换模块、轻量化转换模块与服务器渲染模块连接；格式转换模块，用于将导入的wrl文件，转换生成相应的vrml原型；轻量化转换模块，用于对源模型文件进行轻量化转换，通过简化算法精简模型；
64.服务器渲染模块，用于对精简后的模型使用图形引擎进行三维图像渲染；
65.摄像头，用于实时采集直播间视频图像；摄像头通过人像提取模块与场景融合模块连接；人像提取模块，用于扣取出视频图像中的人体图像；
66.场景融合模块，用于将渲染后的三维场景与扣取出的人体图像进行融合；
67.结果输出模块，用于向显示模块输出最终直播间的场景渲染效果图，显示模块显示内容包括三维模型、二维图纸、二维图片、文字、动画、视频、图形图；
68.交互模块，用于实现用于与直播间之间的信息交互，交互模块包括菜单交互单元和图形操作交互单元，菜单交互单元，通过菜单或者按钮的方式发出指令，通过指令来决定交互内容；图形操作交互单元，在图形区域对模型的操作实现交互；交互模块中交互方式包括选择、隐藏、切割、移动、旋转、缩放、播放、文本输入、文本编辑、文本删除、符号输入、符号编辑、符号删除、标记输入、标记编辑、标记删除、图形截取、图形绘制、图形编辑、图形删除、亮度调节、透明度调节、光影效果调节、投影方式调节、清晰度调节、渲染方式调节、模型颜色更换、布局调整、视图切换、干涉检查交互操作控制。
69.值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
70.另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤
是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
71.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。