虚拟现实中三维场景描述的调整方法及装置的制造方法
【专利摘要】本发明实施例提供一种虚拟现实中三维场景描述的调整方法及装置。该方法包括：在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述，与现有技术中在视频流播放的过程中实时计算各图像帧的亮度值据此进行三维场景描述的调整相比，由于视频流中各图像帧的亮度值预先已经计算出，在视频流播放的过程中无须实时计算各图像帧的亮度值据此进行三维场景描述，从而降低了系统的功耗，增强了播放的流畅性。
【专利说明】
虚拟现实中三维场景描述的调整方法及装置
技术领域
[0001]本发明属于图像处理领域，尤其涉及一种虚拟现实中三维场景描述的调整方法及
目.0
【背景技术】
[0002]虚拟现实技术(Virtual Reality，VR)，是一种利用计算机模拟出三维空间的虚拟世界，让使用者通过视觉、听觉等产生交互式的、沉浸式的体验感受，虚拟现实技术是计算机图形学、人机交互、传感技术等领域相交叉的一项综合技术。随着来计算机硬件、网络环境等的快速发展，使得虚拟现实技术迅速的发展并且出现了很多成熟的虚拟现实系统，它们在虚拟仿真、地理信息系统、用户社交、游戏娱乐等方面有着广泛的应用。
[0003]视觉系统是VR最重要的感知通道.同时，虚拟场景的可感知也是用户在虚拟环境中进行人机交互的先决条件，所以场景显示方式及其设备是VR系统中人机交互的基本组成部分。目前常用的场景显示方式为头盔式、桌面式、投影式、手持式和自由立体显示方式等。
[0004]无论是上述哪种类型的虚拟现实终端，在视频播放时通常利用视频内容本身的亮度信息来调整三维场景模型中的三维场景描述。现有技术中，首先获取要播放的视频流，并将播放该视频流，在该视频流播放的过程中，实时计算各图像帧的亮度值，根据该亮度值来调整三维场景模型中的三维场景描述。但是这种方式由于是在视频流播放的过程中实时来计算各图像帧的亮度值，导致系统的功耗较大，播放的流畅性较低。
【发明内容】
[0005]有鉴于此，本发明实施例提供一种虚拟现实中三维场景描述的调整方法及装置，用以克服现有技术中在视频流播放的过程中实时来计算各图像帧的亮度值导致的功耗较大，播放的流畅性较低等缺陷。
[0006]本发明实施例的技术方案如下:
[0007]本发明实施例提供一种虚拟现实中三维场景描述的调整方法，其包括:
[0008]在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；
[0009]在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0010]优选地，在本发明的任一实施例中，获取预先计算出的视频流中各图像帧的亮度值包括:从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。
[0011]优选地，在本发明的任一实施例中，获取预先计算出的视频流中各图像帧的亮度值包括:获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。
[0012]优选地，在本发明的任一实施例中，获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值包括:
[0013]获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值；
[0014]在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述包括:
[0015]根据预先计算出的视频流中各图像帧的平均亮度值，实时调整三维场景模型中的三维场景描述。
[0016]优选地，在本发明的任一实施例中，实时调整三维场景模型中的三维场景描述包括:实时调整三维场景模型中的亮度信息和/或颜色信息。
[0017]优选地，在本发明的任一实施例中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的场景描述特征包括:根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的三维场景描述。
[0018]优选地，在本发明的任一实施例中，根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的场景描述包括:根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。
[0019]本发明实施例提供一种虚拟现实中三维场景描述的调整装置，其包括:
[0020]亮度值获取单元，在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；
[0021]场景描述调整单元，在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0022]优选地，在本发明的任一实施例中，所述亮度值获取单元进一步用于从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。
[0023]优选地，在本发明的任一实施例中，所述亮度值获取单元进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。
[0024]优选地，在本发明的任一实施例中，所述亮度值获取单元进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值；
[0025]所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的平均亮度值，实时调整三维场景模型中的三维场景描述。
[0026]优选地，在本发明的任一实施例中，所述场景描述调整单元进一步用于实时调整三维场景模型中的亮度信息和/或颜色信息。
[0027]优选地，在本发明的任一实施例中，所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的三维场景描述。
[0028]优选地，在本发明的一实施例中，所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。
[0029]本发明实施例的技术优点如下:
[0030]本发明实施例中由于在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值;之后在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述，与现有技术中在视频流播放的过程中实时计算各图像帧的亮度值据此进行三维场景描述的调整相比，由于视频流中各图像帧的亮度值预先已经计算出，在视频播放的过程中无须实时计算各图像帧的亮度值据此进行三维场景描述，从而降低了系统的功耗，增强了播放的流畅性。
【附图说明】
[0031]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0032]图1为本发明实施例一虚拟现实中三维场景描述的调整方法流程示意图；
[0033]图2为本发明实施例二虚拟现实中三维场景描述的调整方法流程示意图；
[0034]图3为本发明实施例三虚拟现实中三维场景描述的调整方法流程示意图；
[0035]图4为本发明实施例四虚拟现实中三维场景描述的调整装置结构示意图；
[0036]图5为本发明实施例五虚拟现实中三维场景描述的调整装置结构示意图；
[0037]图6为本发明实施例六虚拟现实终端的结构示意图；
[0038]图7为本发明实施例七服务器的结构示意图。
【具体实施方式】
[0039]本发明实施例中由于在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值;之后在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述，与现有技术中在视频流播放的过程中实时计算各图像帧的亮度值据此进行三维场景描述的调整相比，由于视频流中各图像帧的亮度值预先已经计算出，在视频播放的过程中无须实时计算各图像帧的亮度值据此进行三维场景描述，从而降低了系统的功耗，增强了播放的流畅性。
[0040]当然，实施本发明的任一技术方案必不一定需要同时达到以上的所有优点。
[0041]为了使本领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明保护的范围。
[0042]下面结合本发明附图进一步说明本发明具体实现。
[0043]图1为本发明实施例一虚拟现实中三维场景描述的调整方法流程示意图；如图1所示，本实施例可以在虚拟现实终端侧执行，其包括:
[0044]SI O1、在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；
[0045]本实施例中，步骤SlOl中获取预先计算出的视频流中各图像帧的亮度值时可以从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值;具体的，可获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值，具体地，将每帧图像的图像RGB转换至灰度图，进行直方图统计，计算统计后的均值作为平均亮度值。比如根据图像的RGB空间矩阵来进行平均亮度值的计算。
[0046]需要说明的是，在获取预先计算出的视频流中各图像帧的平均亮度值中，可以获取基于图像帧中各图片的整体亮度值计算的平均亮度值，还可以基于图像帧中各图片的的局部亮度值计算的平均亮度值的，其中整体亮度值可以为基于图片上的所有像素值，局部亮度为基于图片上的部分像素值，详细不再赘述。
[0047]S102、在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0048]本实施例中，步骤S102中在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述时，可以具体包括:根据预先计算出的视频流中各图像帧的平均亮度值，实时调整三维场景模型中的三维场景描述，具体地，可以实时调整三维场景模型中的亮度信息和/或颜色信息。
[0049]本实施例中，步骤S102中根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的场景描述特征时，可以根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的三维场景描述。具体实施时，可以通过图形处理器GPU以及图形处理接口 OpenGL相互配合进行，比如利用OpenGL的帧缓存对象FB0(Frame Buffer Object，简称FB0)进行三维场景模型的渲染时根据获取的亮度值对其中的纹理信息进行调整。由于FBO具体包括顶点着色器和片段着色器，其中可以利用片段着色器对三维场景模型中的三维场景描述如颜色和亮度进行调整。
[0050]具体地，本实施例中，步骤S102中根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理时包括:根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。所述缩放处理比如，如果亮度值过大，则相应地缩小纹理特征，反之，则增加纹理特征。该缩放处理过程可以通过设置一缩放因子，该缩放因子与纹理特征的相乘实现缩放。但是，需要说明的是，也可以有其他的缩放方式，比如相加或者相减等。
[0051]图2为本发明实施例二虚拟现实中三维场景描述的调整方法流程示意图；如图2所示，本实施例可在虚拟现实终端侧执行，其详细可以包括:
[0052]S201、从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。
[0053]本实施例中，步骤S201中可以获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值。具体地，获取对每一图像帧中包括的图片的亮度值进行均值计算得到的各图像帧的亮度平均值。比如每一图像帧由5幅图片组成，每幅图片的亮度值分别为11、12、13、14、15，则该图像帧的亮度平均值为(11+12+13+14+15)/5。
[0054]S202、在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0055]本实施例中，如步骤S201所示，各图像帧的亮度值可以是基于图像帧中各图片整体像素点的平均亮度值，也可以是基于图像帧中各图片局部像素点的亮度值。
[0056]本实施中，步骤S202可参照上述图1实施例的步骤S102，详细不再赘述。
[0057]图3为本发明实施例三虚拟现实中三维场景描述的调整方法流程示意图；如图3所示，本实施例在服务器测执行，其包括:
[0058]S301、预先计算视频流中各图像帧的亮度值，将各图像帧的亮度值加载到对应的图像帧中；
[0059]本实施例中，步骤301中预先计算视频流中各图像帧的亮度值，将各图像帧的亮度值加载到对应的图像帧中时，可以预先计算视频流中各图像帧的平均亮度值，将各图像帧的平均亮度值加载到对应的图像帧中。如前所述，也可以是局部亮度值。
[0060]S302、根据加载了对应亮度值的图像帧形成携带有亮度值的所述视频流。
[0061]本实施例中，步骤301中预先计算视频流中各图像帧的亮度值时，可以预先计算各图像帧中包括的图片的亮度值如基于整体像素点的亮度值或者局部像素点的亮度值，根据计算出的各图像帧中包括的图片的亮度值，预先计算出视频流对应图像帧的亮度值如平均亮度值。
[0062]图4为本发明实施例四虚拟现实中三维场景描述的调整装置结构示意图；如图4所示，其包括:
[0063]亮度值获取单元401，在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；
[0064]场景描述调整单元402，在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0065]优选地，在本发明的任一实施例中，亮度值获取单元401进一步用于从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。
[0066]优选地，在本发明的任一实施例中，所述亮度值获取单元401进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。
[0067]优选地，在本发明的任一实施例中，所述亮度值获取单元401进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值。
[0068]优选地，在本发明的任一实施例中，所述场景描述调整单元进一步用于实时调整三维场景模型中的亮度信息和/或颜色信息。
[0069]优选地，在本发明的任一实施例中，所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。
[0070]图5为本发明实施例五虚拟现实中三维场景描述的调整装置结构示意图；如图5所示，其包括:
[0071]亮度预先计算单元501，用于预先计算视频流中各图像帧的亮度值，将各图像帧的亮度值加载到对应的图像帧中；
[0072]亮度值加载单元502，用于根据加载了对应亮度值的图像帧形成携带有亮度值的所述视频流。
[0073]本实施例中，亮度预先计算单元501进一步用于将各图像帧的亮度值加载到对应的图像帧中时，可以预先计算视频流中各图像帧的平均亮度值，将各图像帧的平均亮度值加载到对应的图像帧中。进一步地，本实施例中，亮度预先计算单元501进一步用于预先计算各图像帧中包括的图片的亮度值，根据计算出的各图像帧中包括的图片的亮度值，预先计算出视频流对应图像帧的亮度值。
[0074]图6为本发明实施例六虚拟现实终端的结构示意图；如图6所示，虚拟现实终端600包括硬件处理器601，所述硬件处理器601用于在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值；以及在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。
[0075]优选地，在本发明的任一实施例中，所述硬件处理器601进一步用于从所述视频流进行解码处理中获取预先计算出的视频流中各图像帧的亮度值。
[0076]优选地，在本发明的任一实施例中，所述硬件处理器601进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。
[0077]优选地，在本发明的任一实施例中，所述硬件处理器601进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值。
[0078]优选地，在本发明的任一实施例中，所述硬件处理器601进一步用于实时调整三维场景模型中的亮度信息和/或颜色信息。
[0079]优选地，在本发明的任一实施例中，所述硬件处理器601进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。
[0080]图7为本发明实施例七服务器的结构示意图；如图7所示，服务器包括硬件处理器701以及存储单元702，所述硬件处理器用于预先计算视频流中各图像帧的亮度值，将各图像帧的亮度值加载到对应的图像帧中；以及用于根据加载了对应亮度值的图像帧形成携带有亮度值的所述视频流。所述存储单元702用于存储加载了对应亮度值的图像帧形成携带有亮度值的所述视频流。
[0081]本实施例中，硬件处理器701进一步用于将各图像帧的亮度值加载到对应的图像帧中时，可以预先计算视频流中各图像帧的平均亮度值，将各图像帧的平均亮度值加载到对应的图像帧中。进一步地，本实施例中，硬件处理器701进一步用于预先计算各图像帧中包括的图片的亮度值，根据计算出的各图像帧中包括的图片的亮度值，预先计算出视频流对应图像帧的亮度值。
[0082]本领域的技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0083]本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0084]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0085]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0086]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种虚拟现实中三维场景描述的调整方法，其特征在于，包括: 在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值； 在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。2.根据权利要求1所述的方法，其特征在于，获取预先计算出的视频流中各图像帧的亮度值，包括: 从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。3.根据权利要求1所述的方法，其特征在于，获取预先计算出的视频流中各图像帧的亮度值，包括: 获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。4.根据权利要求3所述的方法，其特征在于，获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值，包括: 获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值； 在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述包括: 根据预先计算出的视频流中各图像帧的平均亮度值，实时调整三维场景模型中的三维场景描述。5.根据权利要求1所述的方法，其特征在于，实时调整三维场景模型中的三维场景描述包括:实时调整三维场景模型中的亮度信息和/或颜色信息。6.根据权利要求1-5任一项所述的方法，其特征在于，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的场景描述特征包括: 根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的三维场景描述。7.根据权利要求6所述的方法，其特征在于，根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的场景描述包括: 根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。8.一种虚拟现实中三维场景描述的调整装置，其特征在于，包括: 亮度值获取单元，在播放视频流之前，获取预先计算出的视频流中各图像帧的亮度值； 场景描述调整单元，在视频流的播放过程中，根据预先计算出的视频流中各图像帧的亮度值，实时调整三维场景模型中的三维场景描述。9.根据权利要求8所述的装置，其特征在于，所述亮度值获取单元进一步用于从所述视频流的解码处理结果中获取预先计算出的视频流中各图像帧的亮度值。10.根据权利要求8所述的装置，其特征在于，所述亮度值获取单元进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的亮度值。11.根据权利要求10所述的装置，其特征在于，所述亮度值获取单元进一步用于获取根据各图像帧中包括的图片的亮度值预先计算出的视频流中各图像帧的平均亮度值； 所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的平均亮度值，实时调整三维场景模型中的三维场景描述。12.根据权利要求8所述的装置，其特征在于，所述场景描述调整单元进一步用于实时调整三维场景模型中的亮度信息和/或颜色信息。13.根据权利要求8-12任一项所述的装置，其特征在于，所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行处理，以调整三维场景模型中的三维场景描述。14.根据权利要求13所述的装置，其特征在于，所述场景描述调整单元进一步用于根据预先计算出的视频流中各图像帧的亮度值对三维场景模型中的纹理特征进行缩放处理，以调整三维场景模型中的三维场景描述。
【文档编号】H04N21/485GK106028135SQ201610319910
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】仲亮亮
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司