图像处理方法、头戴式显示器以及可读存储介质与流程

文档序号:14881089发布日期:2018-07-07 09:46阅读:178来源:国知局

本发明涉及图像处理技术领域,更具体涉及图像处理方法、头戴式显示器以及可读存储介质。



背景技术:

目前,头戴式显示器(hmd,headmountdisplay)通过向眼睛发送光学信号,可以实现增强现实(ar)的效果。增强现实技术是将虚拟对象与真实环境紧密结合在一起,从而增强用户对真实环境的感观。

头戴式显示器可以应用于很多应用领域,例如,军事应用领域,古迹复原和数字化文化遗产保护应用领域,医疗应用领域,工业维修应用领域等,这些应用领域均需要用户感知的虚拟对象在真实环境中的深度是准确的。否则用户无法在上述应用领域中进行正确的操作。

因此,如何提高用户携带头戴式显示器时感知的虚拟对象的深度的准确性,是本领域技术人员需要研究的技术问题。



技术实现要素:

有鉴于此,本发明提供了一种图像处理方法、头戴式显示器以及可读存储介质。

一种图像处理方法,应用于头戴式显示器,该方法包括:

获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距;

基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

一种头戴式显示器,包括:

第一获取模块,用于获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距;

调整模块,用于基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

其中,所述第一获取模块,包括:

第一调整单元,用于基于用户的至少一个输入操作,调整虚拟对象和预设实体标识之间的位置关系,以使得所述位置关系满足预设要求;

第二调整单元,用于响应于所述至少一个输入操作,对原始渲染间距进行调整,以获得所述第一渲染间距。

一种头戴式显示器,包括:

存储器,用于存储程序;

处理器,用于执行所述程序,所述程序具体用于:

获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距;

基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一所述的图像处理方法的各个步骤。

上述技术方案具有如下有益效果:

本发明提供的图像处理方法,获取第一渲染间距,第一渲染间距对应于用户的真实瞳距;基于第一渲染间距,调整头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。本发明实施例巧妙的采用基于第一渲染间距调整两个物理显示器待渲染的渲染画面的显示位置这种等同于调整头戴式显示器的设备ipd的方式,无需在头戴式显示器中安装需要变更头戴式显示器的设备ipd的额外设备,例如,传感器、相机、显示器、3d摄像机等等,从而节约了成本,且由于无需安装额外设备,因此,缩小了头戴式显示器的体积。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为现有技术中头戴式显示器的一种实现原理的示意图;

图2a至2c为本发明实施例提供的设备ipd和渲染ipd与用户ipd之间的关系示意图;

图3为本发明实施例提供的图像处理方法的一种实现方式的流程图;

图4a至图4b所示,为本发明实施例提供的两个物理显示器渲染的渲染画面调整前后的差异示意图;

图5为本发明实施例提供的图像处理方法中获取第一渲染间距的一种实现方式的流程图;

图6a至6c为本发明实施例调整虚拟对象和预设实体标识之间的位置关系的示意图;

图7a至图7c为本发明实施例提供的待渲染的画面在可视区域中移动的示意图;

图8a至图8b为本发明实施例提供的增大渲染画面的尺寸后,渲染画面移动前后的示意图;

图9为本发明实施例提供的头戴式显示器的一种实现方式的结构图;

图10为本发明实施例提供的头戴式显示器的另一种实现方式的结构图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,为现有技术中头戴式显示器的一种实现原理的示意图。

目前头戴式显示器的种类有多种,例如,视频透视式头戴式显示器、光学透视式头戴式显示器等,本发明实施例采用视频透视式头戴式显示器的实现原理作为举例,对现有技术中存在的问题进行说明。

如图1所示,头戴式显示器10可以包括:摄像机11、头部跟踪器12、场景生成器13、视频合成器14、两个物理显示器15。

其中,摄像机11,用于采集现实世界中的图像;头部跟踪器12,用于对用户的头部进行定位;场景生成器13,用于基于头部跟踪器的定位生成相应虚拟场景的图像;视频合成器14,用于将虚拟场景的图像和现实世界中的图像进行合成;两个物理显示器15用于显示合成后的图像。

综上,用户可以通过两个物理显示器15观看到现实世界和虚拟场景融合在一起的图像。

用户在观测两个物理显示器15中显示的图像时,基于立体视觉可以知道器观测到的物体与周围物体间的距离、深度、凹凸;立体视觉是指用户的双眼同时注视某物体,双眼实现交叉于物体一点,叫注视点,从注视点反射回到视网膜上的光点是对应的,这两点信号转入大脑视中枢合成一个物体完整的像,不但使得人看清楚了这一物体,而且,该物体与周围物体间的距离、深度、凹凸等都能辨别出来,这样成的像是立体像,这种视觉就叫做立体视觉。

头戴式显示器具有两个物理显示器,两个物理显示器中心距离(即设备ipd)等同于用户ipd(本发明实施例中将用户的真实瞳距称为用户ipd),这两个物理显示器仿照人眼看到物体的方式,使得用户通过两个物理显示器分别呈现的渲染画面,感知物体的位置。但是通过头戴式显示器观看渲染画面,与用户直接用眼睛观看现实世界中的画面不同,因为,用户直接用眼睛观看现实世界只涉及用户的两眼之间的用户ipd;用户通过头戴式显示器的物理显示器观看到的图像,涉及到用户的ipd、两个物理显示器15之间的设备ipd,以及两个物理显示器15呈现的图像之间的渲染ipd(即为渲染间距)。

若头戴式显示器的设备ipd、渲染ipd与用户ipd不同,则会导致用户感知到观测的物体的位置与实际的位置不符。下面举例说明,头戴式显示器的设备ipd、渲染ipd与用户ipd不同带来的影响。

如图2a至2c所示,为本发明实施例提供的设备ipd和渲染ipd与用户ipd之间的关系示意图。

图2a所示,设备ipd、渲染ipd均与用户ipd相同,那么用户感知到的物体的距离与实际距离相同。

图2b所示,若设备ipd。渲染ipd大于用户ipd,那么用户感知到的虚拟对象的距离比实际距离近。

图2c所示,若设备ipd、渲染ipd大于用户ipd,那么用户感知到的虚拟对象的距离比实际距离远。

头戴式显示器采用了增强现实(ar)技术,头戴式显示器可以应用于很多应用场景,例如,设备维修应用场景、医疗保健应用场景等等,若用户感知的物体的位置与该物体的真实位置不符,会带来严重影响,例如,在设备维修领域中,用户头部携带头戴式显示器时,可以看到虚拟对象,例如,用户头部携带头戴式显示器修理车辆,用户可以观测到在现实世界存在的车辆中用虚拟对象指示出的待删除部件。若用户感知到的虚拟对象的距离与实际不符,则可能错摘除其他部件。

综上,在用户携带头戴式显示器时,需要调整设备ipd以及渲染ipd,使得设备ipd以及渲染ipd与用户ipd相同。下面本发明实施例对调整头戴式显示器的渲染ipd的过程进行说明。

如图3所示,为本发明实施例提供的图像处理方法的一种实现方式的流程图,该方法包括:

步骤s301:获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距。

在用户调节头戴式显示器的渲染间距(本发明实施例提及的渲染间距即为渲染ipd)之前,头戴式显示器具有原始渲染间距,例如,预设渲染间距或默认渲染间距。用户携带头戴式显示器后,头戴式显示器可以在原始渲染间距上进行调节,使得头戴式显示器的原始渲染间距变为第一渲染间距。

步骤s302:基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

在一可选实施例中,可以在未改变设备ipd的情况下,基于第一渲染间距调整两个物理显示器显示的渲染画面的显示位置,使得两个物理显示器分别显示的渲染画面中心距离和用户的真实瞳距(真实瞳距即为用户ipd)相对应。通过该方法相当于调整了设备ipd。

如图4a至图4b所示,为本发明实施例提供的两个物理显示器渲染的渲染画面调整前后的差异示意图。图4a至图4b是以用户的用户ipd大于设备ipd和渲染ipd为例的。

图4a所示为头戴式显示器在未调节渲染间距之前(即原始渲染间距),两个物理显示器15上分别显示有渲染图像,两个渲染图像之间的渲染间距与设备ipd相同。

图4b所示为头戴式显示器在渲染间距调节之后(即为第一渲染间距),两个物理显示器15上分别显示的渲染图像。可以看出,两个渲染图像相互远离了。

综上,本发明实施例不通过增加额外的硬件,例如,传感器、相机、显示器、3d摄像机等,调节头戴式显示器的设备ipd;而是采用调节两个物理显示器中显示的渲染画面的显示位置这种相当于调节设备ipd的方式,即节约了头戴式显示器的成本,又缩小了头戴式显示器的体积。

本发明提供的图像处理方法,获取第一渲染间距,第一渲染间距对应于用户的真实瞳距;基于第一渲染间距,调整头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。本发明实施例巧妙的采用基于第一渲染间距调整两个物理显示器待渲染的渲染画面的显示位置这种等同于调整头戴式显示器的设备ipd的方式,无需在头戴式显示器中安装需要变更头戴式显示器的设备ipd的额外设备,例如,传感器、相机、显示器、3d摄像机等等,从而节约了成本,且由于无需安装额外设备,因此,缩小了头戴式显示器的体积。

如图5所示,为本发明实施例提供的图像处理方法中获取第一渲染间距的一种实现方式的流程图,该方法包括:

步骤s501:基于用户的至少一个输入操作,调整虚拟对象和预设实体标识之间的位置关系,以使得所述位置关系满足预设要求。

在一可选实施例中,本发明实施例中的输入操作可以为:预设手势操作,和/或,鼠标点击操作,和/或,预设触按操作。

在一可选实施例中,可能需要多次输入操作,才能将头戴式显示器的原始渲染间距调整为第一渲染间距。因此,可以基于输入操作的输入时间顺序,依次对原始渲染间距进行调整。

步骤s502:响应于所述至少一个输入操作,对原始渲染间距进行调整,以获得所述第一渲染间距。

如图6a至6c所示,为本发明实施例调整虚拟对象和预设实体标识之间的位置关系的示意图。

用户携带头戴式显示器后,可以观测到预设实体标识61以及虚拟对象62;在一可选实施例中,若用户ipd与设备ipd和渲染ipd相同,则虚拟对象应该覆盖预设实体标识;若用户ipd与设备ipd和渲染ipd不相同,则虚拟对象未覆盖预设实体标识。

如图6a所示,为用户携带头戴式显示器后,首次观看到的虚拟对象62和预设实体标识61之间的位置关系。

由于虚拟对象62并未覆盖预设实体标识61,因此,需要输入操作,响应该输入操作,对原始渲染间距进行调整,调整后的结果如图6b所示。

如图6b所示,虚拟对象62和预设实体标识61的位置已经很接近了,但是虚拟对象62并未覆盖预设实体标识61,因此,还需要继续调整,再次输入操作,响应该输入操作,对如图6b对应的当前渲染间距进行调整,调整后的结果如图6c所示。

如图6c所示,虚拟对象62已经覆盖在预设实体标识61上,因此,将图6c对应的渲染间距称为第一渲染间距。

在一可选实施例中,头戴式显示器10中的两个物理显示器中均有用于向用户展示渲染画面的可视区域;在一可选实施例中,设备ipd即为两个物理显示器的可视区域的中心间距。本发明实施例中“基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置”的方法包括:

基于所述第一渲染间距,将两个待渲染的渲染画面分别在相应的可视区域中进行移动,以使得所述两个待渲染的渲染画面的中心位置和用户的真实瞳距相对应。

如图7a至图7c所示,为本发明实施例提供的待渲染的画面在可视区域中移动的示意图。

如图7a所示,为未调节两个物理显示器中待渲染的渲染画面的显示位置时,渲染画面正好位于可视区域中。

图7a至图7c中用虚线框框出的为可视区域71;图7a中两个可视区域的中心(图7a中用圆圈标识)之间的距离为设备ipd。两个渲染画面的中心距离为原始渲染间距,一般情况下,原始渲染间距与原始设备ipd相同。

渲染画面72和渲染画面73未调整之前的显示位置如图7a所示。

若用户ipd即真实瞳距大于设备ipd和渲染ipd,即第一渲染间距大于原始渲染间距,那么渲染画面72往右侧移动,相应的渲染画面73向左侧移动,即两个渲染画面之间的距离变大。

如图7b所示,为了示出两个渲染画面移动前后的差别,用网状填充的长方体示出移动前的渲染画面的位置;用斜线填充的长方体示出移动后的渲染画面的位置。移动后的渲染画面72和移动后的渲染画面73的中心间距为第一渲染间距。

若用户的ipd小于设备ipd和渲染ipd,即第一渲染间距小于原始渲染间距,那么渲染画面72往左侧移动,相应的渲染画面71向右侧移动,即两个渲染画面之间的距离变小。

如图7c所示,为了示出两个渲染画面移动前后的差别,用网状填充的长方体示出移动前的渲染画面的位置;用斜线填充的长方体示出移动后的渲染画面的位置。移动后的渲染画面72和移动后的渲染画面73的中心间距为第一渲染间距。

在一可选实施例中,在可视区域中显示的画面才能被用户观测到,超出可视区域之外的画面,用户无法观测到。由于渲染出的渲染画面的尺寸是一定的,由于渲染画面的局部画面已经移除可视区域,那么移除可视区域的局部画面,用户无法观测到;也就是说,可视区域中有局部区域(如图7b或图7c显示的用网状填充的长方体)不能显示渲染画面。本发明实施例中将可视区域中不能显示渲染画面的局部区域称为第一区域。

在一可选实施例中,上述任一图像处理方法实施例还可以包括:

确定所述两个待渲染的渲染画面分别在相应的可视区域中进行移动后,两个可视区域分别对应的不能显示渲染画面的第一区域;

按照预设显示式在两个可视区域分别对应的第一区域中进行显示。

在一可选实施例中,可以增大渲染画面的尺寸,如图8a至图8b所示,为本发明实施例提供的增大渲染画面的尺寸后,渲染画面移动前后的示意图;渲染画面的尺寸大于可视区域的尺寸,即使两个物理显示器的待渲染的渲染画面的显示位置发生变动,可视区域也不会出现由于渲染画面的显示位置发生变动而出现不能显示渲染画面的第一区域。在该实施例中,预设显示方式为分别在两个可视区域中显示相应的部分渲染画面。

在一可选实施例中,预设显示方式可以为:显示相应的显示世界的画面,或,显示预设画面。

在一可选实施例中,在可视区域中显示的渲染画面才能被用户观测到,超出可视区域之外的渲染画面,用户无法观测到。由于渲染出的渲染画面的尺寸是一定的,由于渲染画面的局部画面已经移除可视区域,那么移除可视区域的局部画面,用户无法观测到;也就是说,可视区域中能够显示渲染画面的局部画面,本发明实施例中,将可视区域中显示渲染画面的局部画面的区域称为实际输出显示区域,本发明实施例还可以包括:确定所述两个待渲染的渲染画面分别在相应的可视区域中进行移动后,两个可视区域分别对应的显示渲染画面的实际输出显示区域;基于两个待渲染的渲染画面分别在相应的可视区域中的实际输出显示区域,进行渲染操作。

如图9所示,为本发明实施例提供的头戴式显示器的一种实现方式的结构图,该头戴式显示器包括:

第一获取模块91,用于获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距;

调整模块92,用于基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

在一可选实施例中,第一获取模块,包括:

第一调整单元,用于基于用户的至少一个输入操作,调整虚拟对象和预设实体标识之间的位置关系,以使得所述位置关系满足预设要求;

第二调整单元,用于响应于所述至少一个输入操作,对原始渲染间距进行调整,以获得所述第一渲染间距。

在一可选实施例中,第二调整单元具体用于:

响应于所述至少一个输入操作中的每一个,基于时间顺序对原始渲染间距进行调整,以获得所述第一渲染间距。

在一可选实施例中,每一物理显示器包括用于向用户展示渲染画面的可视区域,调整模块,包括:

移动单元,用于基于所述第一渲染间距,将两个待渲染的渲染画面分别在相应的可视区域中进行移动,以使得所述两个待渲染的渲染画面的中心位置和用户的真实瞳距相对应。

在一可选实施例中,还包括:

第一确定模块,用于确定所述两个待渲染的渲染画面分别在相应的可视区域中进行移动后,两个可视区域分别对应的不能显示渲染画面的第一区域;

显示模块,用于按照预设显示式在两个可视区域分别对应的第一区域中进行显示。

在一可选实施例中,还包括:

第二确定模块,用于确定所述两个待渲染的渲染画面分别在相应的可视区域中进行移动后,两个可视区域分别对应的显示渲染画面的实际输出显示区域;

渲染模块,用于基于两个待渲染的渲染画面分别在相应的可视区域中的实际输出显示区域,进行渲染操作。

如图10所示,为本发明实施例提供的头戴式显示器的另一种实现方式的结构图,该头戴式显示器包括:

存储器1001,用于存储程序;

处理器1002,用于执行所述程序,所述程序具体用于:

获取第一渲染间距,其中所述第一渲染间距对应于用户的真实瞳距;

基于所述第一渲染间距,调整所述头戴式显示器的两个物理显示器分别待渲染的渲染画面的显示位置,以使得所述两个物理显示器分别渲染的渲染画面和用户的真实瞳距相对应。

处理器1002可能是一个中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。

可选的,第一电子设备还可以包括通信总线1003以及通信接口1004,其中,存储器1001、处理器1002、通信接口1004、通过通信总线1003完成相互间的通信;

可选的,通信接口1004可以为通信模块的接口,如gsm模块的接口。

本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一项所述的图像处理方法的各个步骤。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和设备,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1