一种基于裸眼3d显示的虚拟现实交互方法
【技术领域】
[0001] 本发明设及虚拟现实交互领域，尤其设及一种基于裸眼3D显示的虚拟现实交互 方法。
【背景技术】
[0002] 虚拟现实交互技术是一口新兴的综合信息技术，使用W计算机技术为核屯、的现代 高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备W自 然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的 感受和体验。它融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信 息技术。它通过计算机图形学构成=维数字模型，在视觉上给用户一种立体的虚拟环境。与 通常的CAD(计算机辅助设计）系统所产生的=维模型不同，它不是一个静态的世界，而是 一个互动的环境。
[0003] 实现虚拟现实交互技术的步骤为；首先，需要生成虚拟实体，虚拟实体主要是针对 用户的生理感觉而言；其次，用户通过人生理的自然技能同该个环境进行交互；最后，利用 传感器完成人和虚拟环境的交互。从系统上看，虚拟现实交互系统包括检测模块、反馈模 块、传感器模块、控制模块W及建模模块等。在该系统中，主要采用了动态环境建模技术、实 时=维图形生成技术、立体显示和传感器技术及系统集成技术。
[0004] 虚拟现实交互技术的应用领域十分广泛，主要集中在工程设计CAD、数据可视化、 飞行模拟、多媒体远程教育、临床外科、远程医疗、艺术创作和娱乐等方面。
[0005] 裸眼3D显示是无需佩戴任何辅助设备（如3D眼镜、头盎等）的情况下，通过光柱 透镜等先进光学技术与特殊算法定制的视频片源即可让观众获得前所未有的"高真实度" 视觉体验，是一种新型的图像显示技术。基于双目视觉原理的裸眼3D显示技术在教育、展 示、科学、影音及移动终端等领域具有重要的应用。
[0006] 目前，裸眼3D显示技术为了获得更好的立体效果，往往采用多幅视差图像进行合 成，观看者在不同观看位置只要看到其中的两幅图像就可W在大脑皮层中产生立体视觉， 且随着观看者的水平移动，可W看到物体的不同角度侧面，进而产生运动视差。
[0007] 现阶段裸眼3D显示内容主要W裸眼3D视频内容为主，然而裸眼3D视频内容受限 于制作周期长、制作成本高、无互动性等问题，无法良好的推动裸眼3D技术的发展。虚拟 现实交互技术虽然有良好的强烈的临场感、友好的交互性、多感知性、虚拟现实世界的自主 性，且虚拟现实交互的内容制作周期短、制作成本低等特点，但也面临着缺乏亮点，视觉冲 击力不足等问题，无法良好的推进虚拟现实交互技术的发展。
[000引假若能够实现一种基于裸眼3D显示的虚拟现实交互方法，便可W极大地扩展虚 拟现实交互技术和裸眼3D显示技术该两者的应用领域，且可W将已有的虚拟现实交互场 景经过些许修改便可实现裸眼3D显示，从而在很大程度上降低了裸眼3D显示的视频内容 制作成本，并且可W将虚拟现实丰富的交互功能移植到裸眼3D显示技术中来，并借助于虚 拟现实引擎强大的模型兼容能力丰富裸眼3D的显示内容及素材。
【发明内容】
[0009] 本发明的目的是克服现有技术中存在的不足，提供一种基于裸眼3D显示的虚拟 现实交互方法。该方法能够有效的解决裸眼3D视频内容制作周期长，制作成本高，无互动 性等问题，且同时解决虚拟现实交互视觉冲击力不足，缺乏亮点等问题，极大地扩展虚拟现 实交互技术和裸眼3D显示技术该两者的应用领域，显著推动两者的发展。
[0010] 人眼在观看自然物体时，两眼是从不同角度观看物体，从而在左右眼视网膜上行 形成稍有差异的像，然后经过大脑分析融合形成立体视觉。裸眼3D的显示过程就是模拟人 眼的立体视觉过程。
[0011] 虚拟现实交互技术就是使用W计算机技术为核屯、的现代高科技，生成逼真的视、 听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备W自然的方式与虚拟环境中 的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。虚拟现实的 交互能力主要依靠立体显示和传感器技术。
[0012] 如上所述，实现基于裸眼3D显示的虚拟现实交互方法包括如下步骤：
[0013] a.在虚拟现实开发引擎中建立虚拟现实交互场景；
[0014] b.在场景中建立多台虚拟相机，并按照一定的结构要求进行摆放；
[0015] C.在每个相机身上加擅染贴图，W便与相应的化ader相互作用；
[0016] d.计算出视点子像素映射矩阵，并编写相应的化ader，对每台相机擅染的贴图进 行采样处理，并得到合成图像；
[0017] e.在虚拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，W 及裸眼3D显示面板，将合成图像输出到裸眼3D显示面板上；
[001引f.将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像；
[0019] g.在PC端进行虚拟现实交互场景的交互操作；
[0020] h.在裸眼3D显示终端同步交互操作，实现裸眼3D显示终端交互操作的立体显示。
【附图说明】
[0021] 图1是本发明一种基于裸眼3D显示的虚拟现实交互方法的流程图。
[0022] 图2是本发明设及的虚拟现实交互场景中虚拟相机的具体实施图。
[0023] 图3是本发明设及的虚拟现实交互场景中裸眼3D显示部分。
【具体实施方式】
[0024] 下面结合附图和具体的实施方式对本发明作进一步详细的描述。
[0025] 图1是本发明一种基于裸眼3D显示的虚拟现实交互方法的流程图，步骤为：
[0026] a.建立虚拟现实交互场景。模型物体可W在虚拟现实引擎中自建，也可W从其他 模型制作软件中导入，交互逻辑根据自己需求进行编写与制作；
[0027] b.在虚拟现实开发引擎中摆放多台虚拟立体相机，实现立体视觉。在虚拟现实交 互场景中，可W通过合理布局多台虚拟立体相机，对同一个场景进行同步拍摄来获得多幅 视差图像W便给观看者左右眼提供稍有差异的视差图像，从而实现立体视觉；
[002引C.在每台相机的目标贴图中加入擅染贴图RenderTexture,擅染贴图是一种特殊 的纹理类型，能够在运行时实时产生w及更新。其使用方法是创建一个新的擅染纹理，并且 指定一个相机对其进行擅染，然后就可W像常规纹理一样进行使用；
[0029] d.计算视点映射矩阵。首先，确定2D显示屏上给定的RGB子像素应该取自哪个视 点的RGB分量，下式给出了多视点子像素映射矩阵的计算公式：
[0030]
【主权项】
1. 一种基于裸眼3D显示的虚拟现实交互方法，其特征包括： a. 在虚拟现实开发引擎中建立虚拟现实交互场景； b. 在场景中建立多台虚拟相机，并按照一定的结构要求进行摆放； c. 在每个相机身上加渲染贴图，以便与相应的Shader相互作用； d. 计算视点子像素映射矩阵，编写相应的Shader，对每台相机渲染的贴图进行采样处 理，并得到合成图像； e. 在虚拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，以及裸 眼3D显示面板，将合成图像输出到裸眼3D显示面板上； f. 将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像； g.在PC端进行虚拟现实交互场景的交互操作； h. 在裸眼3D显示终端同步交互操作，实现裸眼3D显示终端交互操作的立体显示。
2. 如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤a建立 虚拟现实交互场景，模型物体可以在虚拟现实引擎中自建，也可以从其他模型制作软件中 导入，交互逻辑根据自己需求进行编写与制作。
3. 如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤b按照 一定结构要求摆放多台虚拟相机，具体结构方式为平行会聚式。
4. 如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤e在虚 拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，以及裸眼3D显示面 板。
5. 如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤h实现 PC端交互与裸眼3D显示终端交互的同步进行，并在裸眼3D显示终端得到立体显示。
【专利摘要】本发明提出一种基于裸眼3D显示的虚拟现实交互方法。在虚拟现实交互场景中创建多台立体相机并进行排布。每台立体相机输出的渲染贴图与计算的视点子像素映射矩阵编写在GPU上运行的着色器Shader进行采样和融合处理，获得合成图像，然后输出到场景中新的显示面板，之后将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像。最后在PC端进行虚拟现实交互场景的交互操作，在裸眼3D显示终端完成交互操作的同步立体显示。本发明能够有效的解决裸眼3D视频内容制作周期长，制作成本高，无互动性等问题。
【IPC分类】H04N13-00
【公开号】CN104702936
【申请号】CN201510144851
【发明人】王子强
【申请人】王子强
【公开日】2015年6月10日
【申请日】2015年3月31日