一种具有人群偏向的虚拟现实场景评估方法、系统及介质与流程

本发明涉及信息技术领域，具体涉及一种具有人群偏向的虚拟现实场景评估方法、系统及介质。

背景技术：

随着虚拟现实技术应用的普及，在虚拟现实技术的完善和硬件的加强下，基于虚拟现实技术的广告设计和室内场景设计技术应运而生。但是现在虚拟现实产品的体验并不是很广泛，更重要的是虚拟现实产品缺少大量的软件市场。可以说，虚拟现实产品的前景很有吸引力，但体验市场较小。基于虚拟现实的广告设计和室内场景设计本身需要很专业的知识和丰富的从业经验，但是由于体验市场较小，难以有效的验证设计出来的方案的质量，需要投入很大的成本才能获得足够的信息反馈，这极大地制约了设计者经验的积累，而这个现状也很大程度上阻碍了这个行业的深入发展。

目前已经有技术可以对一张广告设计进行智能评估，主要是通过深度学习的方法，对输入的广告设计图片进行计算，预测出人类可能会重点关注的区域。设计者可以根据这个结果进行设计修正或者重新设计，以吸引更多的受众，实现利益的最大化。但这种技术目前还局限于二维的图片，并不能直接搬到虚拟现实场景设计的评估中来，而且也没法针对不同的受众做不同的预测，也就没法帮助设计者做出针对性的改动。

技术实现要素：

为了克服现有技术存在的缺点与不足，本发明提供一种具有人群偏向的虚拟现实场景评估方法、系统及介质，本发明主要是针对一个虚拟场景，该虚拟场景可以是广告或者室内设计等场景，对于不同人群在观看时候可能中点关注或者感兴趣的区域，并可视化呈现给设计者，设计者根据相应需求做出改动。

本发明采用如下技术方案：

一种具有人群偏向的虚拟现实场景评估方法，包括如下：

将一个完整可运行的虚拟现实场景，根据设定路径进行采样，得到一组三维空间坐标序列，定义为(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),…(xn,yn,zn)，该序列表示浏览的路径；

根据给定的场景和三维空间坐标序列，得到一组全景图序列，定义为；(x1,y1,z1,i1),(x2,y2,z2,i2),(x3,y3,z3,i3),…,(xn,yn,zn,in)，其中in表示第n个全景图；

将全景图序列依次进行具有人群偏向的显著性区域预测，得到带有不同用户特征的显著性预测结果，定义为(x1,y1,z1,pk1),(x2,y2,z2,pk2),(x3,y3,z3,pk3),…(xn,yn,zn,pkn)，其中pkn指第n个全景图在fk特征下的显著性图；

根据某个用户特征对应预测出来的显著性结果图序列，得到该用户特征下用户对场景感兴趣区域的预测结果。

所述根据给定的场景和三维空间坐标序列，得到一组全景图序列，具体为：

将场景内部的摄像头放置到某个空间坐标处，获得对应的一张虚拟现实场景全景图，以此类推，得到一组全景图序列。

所述将全景图序列依次进行具有特定人群偏向的显著性区域预测，得到带有不同用户特征的显著性预测结果，具体为：

将全景图送入卷积神经网络进行特征提取，得到一组对应的特征矩阵；送入针对不同用户特征的显著性预测分支，得到不同用户特征下的显著性预测结果。

本发明中显著性预测分支也是由训练好的卷积神经网络构成，训练的时候需要将数据根据用户特征进行划分，针对每个特征训练一个卷积神经网络分支。

所述根据某个用户特征对应预测出来的显著性结果图序列，得到该用户特征下用户对场景感兴趣区域的预测结果，具体为:

提取第一个预测结果，提取其中的三维空间坐标(x1,y1,z1)，将场景中的camera移动到该坐标上，并将显著性图pk1进行半透明化处理，之后将其像素投射到虚拟现实场景中的三维物体的表面；

提取下一个预测结果，获得其中的三维空间坐标(x2,y2,z2)，用同样的方式将显著性图pk2投射到虚拟现实场景中；

重复上一个步骤，将所有预测结果均投射到场景当中，这样，设计者在场景中观察到具有该特征fk的用户在预设路径进行浏览时可能关注的区域。

一种具有人群偏向的虚拟现实场景评估系统，包括：

虚拟现实场景生成模块，用于将预先给定的场景实时渲染到显示设备中；

路径自定义模块，用于在场景中自定义移动路径，即浏览的路径，模拟观众在观看场景时的先后顺序；

三维空间到全景图序列的映射模块，用来将场景和路径坐标进行结合，输出各个坐标下对应的全景图；

具有人群偏向的显著性区域预测模块，可以得到每张全景图在不同人群特征下的显著性结果；

显著性图序列到三维空间的映射模块，用来将每个坐标下的预测结果反向映射到场景当中；

虚拟场景显示模块，根据需要选择指定人群特征下的显著性预测结果，实时渲染到场景中进行效果预览。

一种存储介质，存储权利要求1-5任一项所述的虚拟现实场景评估方法。

本发明的有益效果：

(1)本发明提出一种基于具有人群偏向的显著性区域预测的虚拟现实场景评估的方法及系统，利用虚拟现实场景下的三维空间到全景图序列的映射与反向映射技术，解决了现有技术无法直接应用在虚拟现实场景中的问题；

(2)本发明可以对设计好的一个虚拟现实场景，给出针对某些特定特征的人群在观看该场景时可能重点关注或者感兴趣的区域，并可视化的呈现给设计者。这样设计者在作品设计初期就可以几乎零成本地获得不同人群对该作品的反馈信息，后续的改进也可以更有针对性。

附图说明

图1是本发明系统的结构示意图；

图2是本发明方法的流程图；

图3是本发明实施例中三维空间坐标序列示意图；

图4是本发明实施例中某个空间坐标下camera放置的示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

本发明提出的虚拟现实场景中具有特定人群偏向的显著性区域预测的方法及系统，用于对给定的虚拟现实场景给出针对某些特定特征的人群在观看该场景时可能重点关注或者感兴趣的区域，并可视化的呈现给设计者。

为了更好地对本发明的虚拟现实场景中具有特定人群偏向的显著性区域预测的方法及系统进行描述，结合附图说明。如图1所示，本发明提出一种基于具有人群偏向的显著性区域预测的虚拟现实场景评估系统，所述系统包括：虚拟现实场景生成模块、路径自定义模块、三维空间到全景图序列的映射模块、具有人群偏向的显著性区域预测模块、显著性图序列到三维空间的映射模块以及带有不同用户特征下显著性预测结果的虚拟场景显示模块。

所述虚拟现实场景生成模块，用于将预先设计好的场景实时渲染到显示设备当中；

本实施例中的场景是指在一个vr场景内。

所述路径自定义模块，用于在场景中自定义移动路径，模拟观众在观看场景时的先后顺序；

所述三维空间到全景图序列的映射模块，用来将场景和路径坐标进行结合，输出各个坐标下对应的全景图；

所述具有人群偏向的显著性区域预测模块，可以得到每张全景图在不同人群特征下的显著性结果；

所述显著性图序列到三维空间的映射模块，用来将每个坐标下的预测结果反向映射到场景当中；

所述带有不同用户特征下显著性预测结果的虚拟场景显示模块，可以根据需要选择指定人群特征下的显著性预测结果，实时渲染到场景中进行效果预览。

所述三维空间到全景图序列的映射模块，其数据输入是给定的虚拟现实场景和三维空间坐标序列。首先会将场景内部的camera放置到第一个空间坐标(x1,y1,z1)处，获取此时的虚拟现实场景全景图i1，然后将camera位置移动到第二个空间坐标(xn,yn,zn)处，同样的方式获得虚拟现实场景全景图i2，以此类推，可以得到一组全景图序列。

就是三维空间内在不同的地方进行采样全景图，可以得到一系列的全景图，构成一个序列。

所述显著性区域预测模块，输入的是一张全景图，然后送入卷积神经网络进行特征提取，得到一组对应的特征矩阵；再将这组特征矩阵，送入针对不同用户特征的显著性预测分支，得到不同用户特征下的显著性预测结果。

所述显著性预测分支由训练好的卷积神经网络(cnn)构成，训练的时候需要将数据根据用户特征进行划分，针对每个特征训练一个cnn分支，

本实施例中，用户特征是指用户的属性，如性别，年龄段等，训练显著性模型使用的数据，一般是通过观测素材加标注结果观测素材这里指的是图片，标注指的是用户在观看图片时记录的眼动数据。

所述的显著性图序列到三维空间的映射模块，其特征在于，模块的输入是一组显著性图序列，该序列包含了各个显著性图对应的三维空间坐标。可分以下步骤执行：

提取第一个预测结果，提取其中的三维空间坐标(x1,y1,z1)，将场景中的camera移动到该坐标上，并将显著性图pk1进行半透明化处理，之后将其像素投射到虚拟现实场景中的三维物体的表面；

提取下一个预测结果，获得其中的三维空间坐标(x2,y2,z2)，用同样的方式将显著性图pk2投射到虚拟现实场景中；

重复上一个步骤，可以将所有预测结果均投射到场景当中，这样，设计者就可以在场景中观察到具有该特征fk的用户在预设路径进行浏览时可能关注的区域。

如图2所示，本发明一种具有人群偏向的虚拟现实场景评估方法，在采用本方法之前，需要提供一个完整的可运行的虚拟现实场景，然后相应需要提供三维空间坐标序列，该序列表示用户在虚拟现实场景内可能经过的路径，或者设计者希望用户浏览的路径。该序列定义为(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),…(xn,yn,zn)。不失一般性地，假定在某个水平面上设置4个空间坐标，场景内有两个物体，定义为物体a和物体b，如图3所示。本实施例中显著性预测包括针对青少年用户及中老年用户的，情绪特征包括正向情绪特征及负向情绪特征。

根据给定的虚拟现实场景和三维空间坐标序列，首先会将场景内部的camera放置到第一个空间坐标(x1,y1,z1)处，获取此时的虚拟现实场景全景图i1，然后将camera位置移动到第二个空间坐标(x2,y2,z2)处，同样的方式获得虚拟现实场景全景图i2，以此类推，可以得到一组全景图序列，定义为；(x1,y1,z1,i1),(x2,y2,z2,i2),(x3,y3,z3,i3),…,(xn,yn,zn,in)，其中in表示第n个全景图。结合附图4解释，在第4个坐标点处放置场景的camera，可以得到当前位置下的全景图。

将全景图序列依次送入具有特定人群偏向的显著性区域预测模块进行计算，首先会对其送入卷积神经网络进行特征提取，得到一组对应的特征矩阵；再将这组特征矩阵，送入针对不同用户特征的显著性预测分支，得到不同用户特征下的显著性预测结果得到带有不同用户特征(定义为f1,f2,f3,…,fk)的显著性预测结果，定义为(x1,y1,z1,pk1),(x2,y2,z2,pk2),(x3,y3,z3,pk3),…(xn,yn,zn,pkn)，其中pkn指第n个全景图在fk特征下的显著性图。

将某个用户特征对应预测出来的显著性结果图序列送入显著性图序列到三维空间的映射模块进行计算，已知该序列包含了各个显著性图对应的三维空间坐标。

首先提取第一个预测结果，提取其中的三维空间坐标(x1,y1,z1)；将场景中的camera移动到该坐标上，并将显著性图pk1进行半透明化处理，之后将其像素投射到虚拟现实场景中的三维物体的表面。

接着提取第二个预测结果，获得其中的三维空间坐标(x2,y2,z2)，用同样的方式将显著性图pk2投射到虚拟现实场景中。

以此类推，可以将所有预测结果均投射到场景当中，这样，设计者就可以在场景中观察到具有该特征fk的用户在预设路径进行浏览时可能关注的区域。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。