一种基于运动捕捉的浸入式虚拟现实系统的制作方法

一种基于运动捕捉的浸入式虚拟现实系统的制作方法
【专利摘要】一种基于运动捕捉的浸入式虚拟现实系统，包括：运动捕捉装置、环境反馈装置及3D虚拟环境仿真器；运动捕捉装置包括：多个运动捕捉模块，每一运动捕捉模块包括：三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计及微处理器；微处理器对角速度信号进行积分，生成方位信息；中央处理器，接收微处理器输出的所述的地磁信号、加速度信号及方位信息，生成位移信息，并对方位信息及位移信息进行修正；3D虚拟环境仿真器，用于产生一个对应于用户的虚拟角色以及环绕该虚拟角色的3D虚拟环境，把对应的视频、音频、力及触觉控制信号分别通过的不同的信号接口发送给环境反馈装置；环境反馈装置用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。
【专利说明】—种基于运动捕捉的浸入式虚拟现实系统
【技术领域】
[0001]本发明是关于运动捕捉技术及虚拟现实技术，特别是关于一种基于运动捕捉的浸入式虚拟现实系统。
【背景技术】
[0002]运动捕捉技术可以以数字的方式记录对象的动作，当前的运动捕捉技术主要包括以下几种:
[0003]机械式运动捕捉:依靠机械装置来测量运动，该机械装置由多个关节和刚性连杆组成，在关节处装有角度传感器以测量关节角度变化，刚性连杆也可以换成长度可变的伸缩杆，并安装位移传感器以测量长度的变化。运动捕捉通过将待捕捉的物体与机械装置相连，运动物体带动机械装置运动，从而通过机械装置上的传感器记录下待测物体运动。机械式运动捕捉成本低、标定简单、精度较高并且容易实现实时数据捕捉而不受场地限制。但是机械式运动捕捉方式难以实现对于多自由度的关节运动捕捉，同时由于自身尺寸和重量，对待测物体的运动(特别是剧烈运动)造成比较严重的阻碍和干涉。
[0004]电磁式运动捕捉:一般由发射源、接收器和数据处理单元组成。发射场产生按一定时空分布的电磁场；接收器安装在待测物体的关键位置，接收器跟随待测物体而运动，并将接收到的信号通过有线方式传递给数据处理单元。这种运动捕捉方式不仅能够得到空间位置信息，还能得到方位信息，并且实时性好。但是这种运动捕捉方式对于环境要求严格，附近不能有金属物品，并且有线电缆对物体的运动限制比较大，而且采样频率较低。
[0005]声学式运动捕捉:与电磁式运动捕捉比较类似，由超声发射器、接收器和处理单元组成。它将多个发射器固定在待测物体的各个部位，发射器持续发出超声波，每个接收器通过计算声波从发射器到接收器的时间得出发射器与接收器之间的距离，3个构成三角形的接收器就可以确定发射器的空间位置。声学式运动捕捉成本较低，但是精度差并且要求发射器与接收器之间无遮挡。
[0006]光学式运动捕捉:通常包含10?20个相机，环绕待测物体排列，待测物体的运动范围处于相机的重叠区域。待测物体的关键部位贴上一些特质的反光点或者发光点作为视觉识别和处理的标志。系统标定后，相机连续拍摄物体的运动并把图像序列保存下来进行分析和处理，计算每一个标志点在某一瞬间的空间位置，并从而得到其准确的运动轨迹。光学式运动捕捉的优点是没有机械装置、有线电缆等的限制，允许物体的运动范围较大，并且采样频率较高，能够满足多数体育运动测量的需要，但是这种系统价格昂贵，系统的标定比较繁琐，只能捕捉相机重叠区域的物体运动，而且当运动比较复杂时，标志容易混淆和遮挡，从而产生错误的结果。
[0007]基于惯性传感器的运动捕捉:传统的机械式惯性传感器长期应用于飞机、船舶的导航，随着微机电系统(MEMS)技术的高速发展，微型惯性传感器的技术成熟，近年来，人们开始尝试基于微型惯性传感器的运动捕捉。基本方法是把惯性测量单元(IMU)连接到待测物体上并跟随待测物体一起运动。惯性测量单元通常包括微加速度计(测量加速度信号)以及微陀螺仪(测量角速度信号)，通过对加速度信号的二次积分以及陀螺仪信号的积分，可以得到待测物体的位置信息以及方位信息。由于MEMS技术的应用，IMU的尺寸和重量可以做的很小，从而对待测物体的运动影响很小，并且对于场地的要求低，允许的运动范围大，同时系统的成本比较低。该技术的缺点是传感器的积分容易产生漂移，并且传感器本身容易受到干扰，因而对系统设计的要求比较高。
[0008]虚拟现实技术:涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，它用计算机生成逼真的三维视、听、触觉、嗅觉等感觉，使人作为参与者通过适当装置，自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。该技术集成了计算机图形技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。浸入度是虚拟现实系统的一个重要特征，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上去是真的，动起来是真的，如同在现实世界中的感觉一样。交互性是虚拟现实系统的另一个重要特征，指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中虚拟的物体，这时手有握着东西的感觉，并可以感觉物体的重量，视野中被抓的物体也能立刻随着手的移动而移动。
[0009]美国专利US6839041揭示了一种虚拟现实浏览系统和方法。该方法在头部的各个旋转轴上都安装光学编码器来测量头部的旋转运动。根据测量到的头部方位生成与头部视角对应的图像并显示到头部安装的显示器上。由于显示的图像恰好对应于视角而且没有延时，从而给用户一种浸入指定的虚拟环境的感觉。该系统根据测量到的头部运动的速度、加速度信息计算头部将要达到的位置，从而可以提前生成相应视角对应的图像从而消除时延。该虚拟现实浏览系统也可以采用远程摄像机来创建图像。当采用远程摄像机创建图像时，根据光学编码器测量到的位置、速度、加速度等信息计算的头部方位，摄像机移动到与视角对应的位置。摄像机移动以及图像传递等的时延通过头部速度、加速度等信息进行提前计算补偿。
[0010]上述方案采用光学编码器对运动进行捕捉，光学编码器体积较大(比如一个部位3个轴的测量需要3个独立的传感器)，安装固定麻烦，因而不能对移动的人体进行全身运动捕捉；光学编码器还会对人体的运动造成影响和限制；因为只进行定点的头部姿态朝向捕捉，同时只能对旋转角度信息进行测量，该方案只能改变视角进行浏览，而没有办法把全身完全的代入虚拟环境中去，引入头部的平移位置变化，因而整个虚拟现实系统的浸入度以及交互性都不高。
[0011]美国专利US8217995揭示了结合球形摄相机以及运动捕捉的协作浸入式虚拟环境。该系统包括虚拟环境仿真器、光学式运动捕捉系统、球形摄像机、头部安装的显示器等。虚拟环境仿真器根据计算机辅助设计(CAD)数据，产生环绕用户的三维立体仿真画面。光学式运动捕捉系统在用户头部或者全身贴上标记，并在周围墙上或者三脚架上安装多个摄像机，根据捕捉到的用户头部倾斜以及转动，实时的对用户显示的画面进行变换(比如缩放、平移、倾斜等)。该系统允许多个用户同时进入同一个虚拟环境对该虚拟环境进行观察。该系统也能检测虚拟环境中用户的化身与环境的冲突，比如虚拟环境中人触碰到墙面,则改变该墙面的颜色等。通过球形摄像机，虚拟环境仿真器可以在仿真与实际远程拍摄画面之间进行切换。根据运动捕捉系统对头部角度的测量，也可以实现对实际远程拍摄画面进行缩放、平移等操作，从而造成远程出席的感觉。
[0012]上述方案采用光学式运动捕捉系统对运动进行捕捉，设备比较昂贵。如果采用墙面固定安装的摄像机，则会受到运动捕捉的场地限制；如果采用三脚架安装摄像机，则系统的标定会很繁琐，并且如果活动范围比较大时，可能需要多次移动三脚架以及需要多次进行标定；当运动比较复杂时，光学标志容易产生混淆或者遮挡，从而造成错误；因为没有采用专门的诸如触觉的交互性设备，该方案主要实现视觉上的感受，而不能给用户带来虚拟环境的多方位感受。例如在虚拟环境中感受到了触墙，该方案仅能在虚拟环境的画面上做出相应的显示而不能在触觉之类的感官上给以用户体验。
[0013]
【发明内容】

[0014]本发明提供一种基于运动捕捉的浸入式虚拟现实系统，以使真实世界的人与虚拟环境可以进行视觉、触觉、力、听觉等全方位的互动。
[0015]为了实现上述目的，本发明提供一种基于运动捕捉的浸入式虚拟现实系统，包括:运动捕捉装置、环境反馈装置及3D虚拟环境仿真器，所述的运动捕捉装置无线或有线连接所述3D虚拟环境仿真器的第一接口，所述的3D虚拟环境仿真器通过多个信号接口无线或有线连接所述的环境反馈装置；
[0016]所述的运动捕捉装置包括:
[0017]多个运动捕捉模块，分别绑定在身体的不同部位，每一所述的运动捕捉模块包括:三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计及微处理器，所述的三轴MEMS加速度传感器用于测量加速度信号，所述的三轴MEMS角速度传感器用于测量角速度信号，所述的三轴MEMS磁力计用于测量地磁信号；所述的微处理器与所述的三轴MEMS加速度传感器、三轴MEMS角速度传感器及三轴MEMS磁力计分别连接，用于对所述的角速度信号进行积分，根据所述的加速度信号及地磁信号对积分误差进行修正，生成方位信息，并将所述的地磁信号、加速度信号及方位信息输出；
[0018]中央处理器，通过数据传输总线连接所述的微处理器，接收所述微处理器输出的所述的地磁信号、加速度信号及方位信息，对所述的加速度信号进行二次积分，生成位移信息，并根据生物力学约束及与外界的接触约束，对所述的方位信息及位移信息进行修正；
[0019]所述的3D虚拟环境仿真器用于产生一个对应于用户的虚拟角色以及环绕该虚拟角色的3D虚拟环境，并把接收到的所述方位信息及位移信息映射到所述虚拟角色上，同时根据所述虚拟角色的视角以及所述虚拟角色与虚拟环境的相互作用，把对应的视频、音频、力及触觉控制信号分别通过的不同的信号接口发送给所述的环境反馈装置；
[0020]所述的环境反馈装置包括:多个不同的环境反馈器件，分别连接所述的3D虚拟环境仿真器，所述的多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。
[0021 ] 在一实施例中，所述的运动捕捉模块的个数为3个，3个所述运动捕捉模块分别绑定在头部、躯干及臀部，或者分别绑定在头部、双上臂之一及双前臂之一。
[0022]在一实施例中，所述的运动捕捉模块的个数为6个，6个所述运动捕捉模块分别绑定在头部、臀部、双大腿及双小腿，或者分别绑定在头部、躯干、臀部、双上臂之一、双前臂之一及双手之一。
[0023]在一实施例中，所述的运动捕捉模块的个数为9个，9个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双上臂、双前臂及双手。
[0024]在一实施例中，所述的运动捕捉模块的个数为11个，11个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂及双前臂。
[0025]在一实施例中，所述的运动捕捉模块的个数为15个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂及双手。
[0026]在一实施例中，所述的运动捕捉模块的个数为17个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手及双肩。
[0027]在一实施例中，所述的运动捕捉模块的个数为18至20个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手、双肩及I至3个手持式道具。
[0028]在一实施例中，所述的中央处理器为M⑶、DSP或FPGA。
[0029]在一实施例中，所述的环境反馈器件包括:用于将视频控制信号反馈到人眼的3D头盔或3D眼镜。
[0030]在一实施例中，其特征在于，所述的环境反馈器件包括:用于将力控制信号反馈到人体的力反馈手套、力反馈上衣、力反馈外骨骼或可控跑步机。
[0031]在一实施例中，所述的环境反馈器件包括:用于将音频控制信号反馈到人耳的音响。
[0032]在一实施例中，所述的环境反馈器件包括:用于将触觉控制信号反馈到人体的电刺激贴片。
[0033]在一实施例中，运动捕捉模块还包括:用于无线传输的射频芯片(例如2.4GHz芯片)，连接所述的中央处理器。
[0034]在一实施例中，运动捕捉模块还包括:电源及电压转换电路。
[0035]本发明的有益效果在于，本发明的运动捕捉系统中采用的运动捕捉模块体积小、重量轻，绑定到人身上时不影响人体的运动；采样速度高，可以对复杂、高速运动进行采集；运动捕捉模块的配置灵活，可以对局部(比如头部)、全身以及手持式器件的运动进行捕捉；运动捕捉不受场地限制，捕捉效果不受真实环境中物体的遮挡影响；运动捕捉系统成本相对较低。本发明因为能够实时的把现实世界的人体(包括其躯干，四肢，手持道具等)及其运动引入虚拟世界，并映射于相应的角色上，并且通过恰当的方式实时的把虚拟环境对角色的作用反馈到现实世界人的感知上，因而大大提高了虚拟现实的浸入感，同时增加了角色与虚拟环境的交互性，使人能够得到更加真切的体验。
【专利附图】

【附图说明】
[0036]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0037]图1为本发明实施例中基于运动捕捉的浸入式虚拟现实系统的结构示意图；
[0038]图2为本发明实施例中一个运动捕捉模块的结构示意图；
[0039]图3为本发明实施例中3D虚拟环境仿真器的虚拟环境示意图；
[0040]图4为本发明实施例中3D虚拟环境仿真器的语音识别系统结构示意图。
【具体实施方式】
[0041]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]如图1所示，本实施例提供一种基于运动捕捉的浸入式虚拟现实系统，该浸入式虚拟现实系统包括:运动捕捉装置101、环境反馈装置102及3D虚拟环境仿真器103。运动捕捉装置101以无线或有线方式连接3D虚拟环境仿真器103的接口 1，并且3D虚拟环境仿真器103通过多个信号接口(如图1所示的接口 2至接口 8，本发明的接口数量不以此为限)以无线或有线方式连接环境反馈装置102。
[0043]如图1所示，运动捕捉装置101包括:多个运动捕捉模块(如图所示的模块I至模块 18)。
[0044]具体实施时，运动捕捉模块的个数可以根据情况任意选择，在一实施例中，运动捕捉模块的个数为3个，3个所述运动捕捉模块分别绑定在头部、躯干及臀部，或者分别绑定在头部、双上臂(左上臂及右上臂)之一及双前臂(左前臂及右前臂)之一。
[0045]在一实施例中，运动捕捉模块的个数为6个，6个所述运动捕捉模块分别绑定在头部、臀部、双大腿(左大腿及右大腿)及双小腿(左小腿及右小腿)，或者分别绑定在头部、躯干、臀部、双上臂之一、双前臂之一及双手(左手及右手)之一。
[0046]在一实施例中，运动捕捉模块的个数为9个，9个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双上臂、双前臂及双手。
[0047]在一实施例中，运动捕捉模块的个数为11个，11个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚(左脚及右脚)、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂及双前臂。
[0048]在一实施例中，所述的运动捕捉模块的个数为15个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂及双手。
[0049]在一实施例中，运动捕捉模块的个数为17个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手及双肩。
[0050]在一实施例中，运动捕捉模块的个数为18至20个，其中，17个运动捕捉模块绑定于人体，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手及双肩；1至3个运动捕捉模块绑定于手持式道具。
[0051 ] 上述对运动捕捉模块的个数为3个、6个、9个、11个、15个、17个、18至20个的情
况进行的简单说明，仅为例举作用，本发明运动捕捉模块的个数及绑定位置不以此为限。
[0052]如图2所示，每一个运动捕捉模块201均包括:三轴MEMS加速度传感器、三轴MEMS角速度传感器(又叫陀螺仪传感器)、三轴MEMS磁力计(又叫电子罗盘传感器)及微处理器(MCU) 202。
[0053]三轴MEMS加速度传感器用于测量加速度信号，三轴MEMS角速度传感器用于测量角速度信号，三轴MEMS磁力计用于测量地磁信号。[0054]微处理器202与三轴MEMS加速度传感器、三轴MEMS角速度传感器及三轴MEMS磁力计分别连接。
[0055]微处理器202接收加速度信号、角速度信号及地磁信号,对角速度信号进行积分，
生成方位信息，积分公式为:θ./.= O0+其中，^及为空间方位，COt为角速度，
根据上述积分公式，就可以得到方位信息。然后根据加速度信号及地磁信号对积分误差进行修正，生成修正的方位信息，并将所述的地磁信号、加速度信号及方位信息修正的输出给中央处理器203。
[0056]中央处理器203通过数据传输总线I连接微处理器202，接收微处理器输出的地磁信号、加速度信号及修正的方位信息，对其中的加速度信号进行二次积分，生成位移信息，
二次积分公式为:& = Po+ ^v0Clt+ atdt2，其中，P表示位移，V为速度，a为加速度，T为终止时刻，O为初始时刻，t为中间时刻。
[0057]具体实施时，为了使上述得到的方位信息更准确，需要并根据生物力学约束及与外界的接触约束，对方位信息及位移信息进行修正。生物力学约束修正公式为:P=Pa+K(Pe-Pa),其中，Pa为根据加速度二次积分计算的某骨骼的位移，P0为根据骨骼相连的关系、各骨骼的空间方位以及基点的空间位置计算的同一骨骼的位移，K为采用卡曼滤波或者其他方法计算的比例因子，其大小取决于Pa与1%的误差的相对大小，此处仅列举了骨骼相连的生物力学约束位移修正，其他的生物力学约束如各个关节的允许自由度、允许的骨骼之间相对运动范围等不再赘述。与外界的接触约束的修正公式为:P' =P+(P0-Pc),其中，P'为修正后的身体某部位的位移，P为计算的修正前身体某部位的位移，P。为计算的修正前人体104处于接触点的身体部位的位移，P0为接触点外界的位移。例如当判定人体单脚站立触地时，则拿触地处地面的位移减去触地的脚底的计算的位移，把这个位移差叠加到身体所有部位的计算的位移上去，就得到修正后的全身的位移。这个修正位移的方法同样适用于全身速度的修正以及其他类型的接触修正。中央处理器203为微处理器(MCU、DSP或FPGA等硬件设备)，本发明不以此为限。
[0058]一般地，人体的生物约束包括各骨节相连约束、各关节的运动范围约束(如各关节允许的转动自由度、允许的相对位移等)等。人体与外界的约束包括地面、墙面、台阶等已知的环境与人体的接触约束等。
[0059]3D虚拟环境仿真器103实质上是一个安装了仿真软件的计算机，从实物上来看，它就是一个计算机主机，其核心关键就是安装于其中的仿真软件。3D虚拟环境仿真器103产生一个3D虚拟环境，该虚拟环境包括一个虚拟场景，如原野、建筑物内等，一个与用户对应的角色以及一系列的虚拟对象如物品、动物等。如图3所示，当仿真软件运行后，它会产生一个3D虚拟环境，这个环境包括一个虚拟场景，如原野、建筑物内等，一个与用户对应的虚拟角色以及一系列的虚拟对象如物品、动物等。三者之间可以如真实世界一样进行相互作用并符合一定的真实世界的物理规律(如牛顿定律、万有引力等)。[0060]3D虚拟环境仿真器103用于产生一个对应于用户的虚拟角色以及环绕该虚拟角色的3D虚拟环境，并把接收到的所述方位信息及位移信息映射到所述虚拟角色上，从而使虚拟角色同步产生现实中人体相同的动作。同时3D虚拟环境仿真器103可以根据虚拟角色的视角以及虚拟角色与虚拟环境的相互作用情况，把对应的视频、音频、力及触觉控制信号分别通过的不同的信号接口发送给环境反馈装置102。
[0061]3D虚拟环境仿真器103通过与运动捕捉装置101的接口 1，把捕捉到的现实世界人体的动作、运动、肢体、视角等完整的信息代入虚拟世界，当现实世界人体产生运动时，虚拟世界的角色同步地产生相应的动作。3D虚拟环境仿真器103根据虚拟世界人体与外界的相互作用，通过与环境反馈装置102的接口提供相应的控制信号给环境反馈装置102，从而提供现实世界中人体在虚拟世界中的感知。例如，当人体位置和视角发生改变时，3D虚拟环境仿真器103把位置和视角改变后的虚拟世界中的角色所应该看到的图像，通过3D头盔/眼镜、裸眼3D系统或其它3D显示设备显示出来；当虚拟世界中的角色与虚拟环境产生相互作用力时，3D虚拟环境仿真器103产生相应的控制信号通过接口控制相应的力反馈器件或者电刺激贴片等致动器件使现实世界中的人体产生相应的力的感知。3D虚拟环境仿真器103还可以包括语音识别系统。如图4所示，语音识别系统包括语音训练和语音识别。在语音训练的时候通过大量的语音数据以一定的训练算法建立声学模型；在语音识别的时候把输入的语音进行特征提取，然后与之前建立的声学模型进行匹配识别，最后得出识别结果。从而使现实世界的人可以通过麦克风、音响系统与虚拟世界或者进入同一个虚拟世界的人进行语音交流。环境反馈装置102把虚拟世界中人体的感知反馈到现实世界中人体的感知上，这些感知包括图像、声音、人与环境的相互作用力等。环境反馈装置102包括:多个不同的环境反馈器件，分别连接所述的3D虚拟环境仿真器，所述的多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。
[0062]环境反馈器件主要包括:3D头盔或3D眼镜、力反馈手套、力反馈上衣、力反馈外骨骼、可控跑步机、电刺激贴片、音效系统(音响)等。力反馈上衣、力反馈手套、力反馈外骨骼都是力反馈设备，原理相似，都是通过一定的驱动器产生一定的作用力施加到人体的某些部位。电刺激贴片是电极贴片，把贴片贴到皮肤上，然后在两个贴片之间施加电压，则会对两个贴片之间的神经或者肌肉产生刺激作用。这些环境反馈器件都是现有设备，本发明不再详述。
[0063]虚拟世界中的图像信息通过3D头盔/眼镜或者裸眼3D显示的方式反馈到现实世界人体的感知中。虚拟世界中的声音信息通过音效系统反馈到现实世界人体的感知中，虚拟世界中人与环境的相互作用通过力反馈上衣、力反馈手套、电刺激贴片、力反馈外骨骼或者可控跑步机等外设反馈到现实世界人体的感知中。举个简单的例子:比如人在虚拟环境中去抓一个物体，3D虚拟环境仿真器103会根据人在虚拟环境中接触物体的部位以及物体本身的特性产生一个控制信号发送到力反馈手套上控制手套相应部位的驱动器产生力作用到人手的相应部位,使人产生真的抓住了那个物体的感觉。
[0064]如图2所示，运动捕捉模块还包括:用于无线传输的射频芯片(例如2.4GHz芯片)，通过数据传输总线2连接中央处理器203，中央处理器203通过2.4GHz芯片可以实现与3D虚拟环境仿真器103无线连接，还可以实现与各个运动捕捉模块之间的无线连接。
[0065]进一步地，运动捕捉模块还包括:电源及电压转换电路，如图2所示，电源及电压转换电路包括电池及电源芯片等。
[0066]下面结合具体的例子详细说明本发明的浸入式虚拟现实系统。
[0067]假设本实施例中用户角色只跟外界对象进行远程魔法的交战，不会有近身肉搏。用户全身绑定17个运动捕捉模块201，绑定位置包括头部、胸椎、臀部、肩部(*2)、上臂(*2)、下臂(*2)、手(*2)、大腿(*2)、小腿(*2)、脚(*2)。每个运动模块包括三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计等。通过对角速度的积分，可以得到运动捕捉模块201的方位信息，同时通过对地磁以及重力加速度的测量，可以得到模块相对于重力方向以及地磁方向的方位，以此方位信息对模块角速度积分的方位进行校准从而消除角速度的积分误差。各个运动捕捉模块把加速度、角速度、空间姿态等信息以无线的方式发送给中央处理器203。中央处理器203对加速度信号进行二次积分得到各部位的位移信息，并根据生物力学约束以及与外界的接触约束判定对位移以及方位的积分误差进行修正。以平面地面接触判定为例，当身体的某个部位是最低点，并且位移与地面的竖直方向位移接近，并且该部位的速度、加速度接近于0，则判定该部位与地面接触。除了身体上绑定的运动捕捉模块，用户的手持式游戏道具(如魔法棒)上也可以安装运动捕捉模块。捕捉测量装置101除了对人体的运动进行了测量，还对手持式道具的位置和空间姿态进行了测量。
[0068]环境反馈装置包括3D眼镜、音响系统、用户身体上贴的多个电刺激贴片以及可控跑步机等。穿戴式3D眼镜显示3D虚拟环境；音响系统反馈虚拟环境中的各种声音；电刺激贴片反馈虚拟环境对角色的各种刺激；可控跑步机可以在用户奔跑、行走或者跳跃的时候把人的实际活动范围限制住。
[0069]如同电脑上运行一个游戏进入游戏环境一样，当安装了虚拟环境仿真软件的计算机开启并且仿真软件运行时，3D虚拟环境仿真器103会产生一个环绕用户角色的一个3D虚拟环境，3D虚拟环境中存在一些现实世界中没有的东西，比如会使用魔法攻击的魔兽怪物等。角色也可以用手或者一定的道具(如魔法棒)释放魔法(其主要是通过仿真软件生成的一些视觉特效实现，生成的触发条件可以是手做出特定的动作或者嘴巴念出特定的咒语)。虚拟环境中的怪物可能会对用户的角色进行攻击，角色也可以主动对虚拟世界的怪物或者其他玩家的角色进行攻击。面对怪物或者其他玩家角色的攻击，用户可以进行躲闪或者同样释放魔法进行抵挡。当现实世界中做出躲闪动作或者奔跑时，利用运动捕捉装置，虚拟世界中角色也会同步的做出相应的动作。根据现实世界中用户的运动情况，可控跑步机会相应的做出运动从而保证现实世界中人的运动范围被限制住，而虚拟世界中用户的角色的运动范围则不受限制。若用户的角色被虚拟世界中怪物或者其他玩家的角色击中，则3D虚拟环境仿真器103会在身体对应部位的电刺激贴片上产生与攻击强度对应的刺激信号，使用户产生真的被击中的感觉。
[0070]根据上述例子，下面从另外一个角度说明本发明的实现过程:
[0071]在说明实现过程前先说明一下本发明的基于运动捕捉的浸入式虚拟现实游戏与普通3D角色扮演类游戏的相同点与不同点。
[0072]相同点:两者都是用户操控虚拟角色在一个虚拟3D环境中进行一定的活动与体验。不同点:一个是操控上浸入式3D虚拟现实游戏依靠用户的动作以及语言来对角色进行操控，就如同现实世界人体对自身的操控一样，而普通3D角色扮演类游戏用鼠标键盘对角色进行操控。另一个不同的是，普通3D角色扮演类游戏只能看到显示器上的一个平面的图像，而且只能看到自己扮演的角色与游戏环境中的相互作用，却不能用其他的感官去体验游戏中角色与周围环境的互动，在采用了本发明技术的浸入式3D虚拟现实游戏则能根据角色视角的变化提供相应的3D虚拟环境图像，使用户在视觉上如同置身于虚拟环境中，同时通过环境反馈器件，用户能够通过身体的其他部位/感官体验到虚拟环境与角色的相互作用，如同身体真实的处于虚拟环境中一样。
[0073]下面是采用本发明的实现过程，即基于运动捕捉的3D虚拟现实游戏实现过程:
[0074]首先，进行3D虚拟环境仿真软件的设计开发。包括类似于普通3D角色扮演类游戏开发设计的场景设计、角色设计、游戏对象设计(如怪物、NPC等)、游戏道具设计、游戏技能设计、游戏特效设计等；它还包括不同于普通3D游戏的运动参数与角色运动的映射设计、语音识别系统、根据环境与角色相互作用产生的环境反馈控制信号以及信息等。具体实施时，用户扮演的角色是去体验一个3D虚拟魔法世界，角色与环境的互动主要是魔法。3D虚拟环境仿真软件设计好了就相当于游戏软件开发好了。
[0075]然后，运动捕捉系统与环境反馈系统的配置。类似于拿到一个游戏软件后，用户需要去配置一台电脑，包括鼠标、键盘、显示器等交互设备。具体实施时，因为是全身进入3D虚拟环境中，并且会手持魔法棒，所以运动捕捉装置配置了 17个模块的全身运动捕捉系统以及I个绑定到游戏道具的运动捕捉模块。因本实施例中角色只会跟虚拟环境的对象进行魔法对战而不会近身肉搏，所以环境反馈系统除了 3D眼镜、音响系统，只是采用了电刺激贴片，用来模拟角色身体受到魔法攻击时的感受。另外，因为3D虚拟世界的场景很大，而真实世界的场地则受到限制，额外采用了一个可控跑步机来把真实世界人体的活动范围限制住。
[0076]最后，体验基于运动捕捉的浸入式3D虚拟现实游戏。这类似于软件硬件都准备好后真正开始玩游戏。用户穿戴好全身的运动捕捉模块，把自己的身体参数输入中央处理器中，并按照要求做几个指定动作对模块的绑定误差进行校准(上述操作仅在第一次使用时需要进行)，然后把3个系统之间的接线接好，开启电源，启动3D虚拟环境仿真器就可以“真实地”体验浸入式3D虚拟现实世界了。
[0077]本发明的有益效果在于，本发明的运动捕捉系统中采用的运动捕捉模块体积小、重量轻，绑定到人身上时不影响人体的运动；采样速度高，可以对复杂、高速运动进行采集；运动捕捉模块的配置灵活，可以对局部(比如头部)、全身以及手持式器件的运动进行捕捉；运动捕捉不受场地限制，捕捉效果不受真实环境中物体的遮挡影响；运动捕捉系统成本相对较低。本发明因为能够实时地把现实世界的人体(包括其躯干，四肢，手持道具等)及其运动引入虚拟世界，并映射于相应的角色上，并且通过恰当的方式实时地把虚拟环境对角色的作用反馈到现实世界人的感知上，因而大大提高了虚拟现实的浸入感，同时增加了角色与虚拟环境的交互性，使人能够得到更加真切的体验。
[0078]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0079]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0081]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种基于运动捕捉的浸入式虚拟现实系统，其特征在于，所述的系统包括:运动捕捉装置、环境反馈装置及3D虚拟环境仿真器，所述的运动捕捉装置无线或有线连接所述3D虚拟环境仿真器的第一接口，所述的3D虚拟环境仿真器通过多个信号接口无线或有线连接所述的环境反馈装置； 所述的运动捕捉装置包括: 多个运动捕捉模块，分别绑定在身体的不同部位，每一所述的运动捕捉模块包括:三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计及微处理器，所述的三轴MEMS加速度传感器用于测量加速度信号，所述的三轴MEMS角速度传感器用于测量角速度信号，所述的三轴MEMS磁力计用于测量地磁信号；所述的微处理器与所述的三轴MEMS加速度传感器、三轴MEMS角速度传感器及三轴MEMS磁力计分别连接，用于对所述的角速度信号进行积分，根据所述的加速度信号及地磁信号对积分误差进行修正，生成方位信息，并将所述的地磁信号、加速度信号及方位信息输出； 中央处理器，通过数据传输总线连接所述的微处理器，接收所述微处理器输出的所述的地磁信号、加速度信号及方位信息，对所述的加速度信号进行二次积分，生成位移信息，并根据生物力学约束及与外界的接触约束，对所述的方位信息及位移信息进行修正； 所述的3D虚拟环境仿真器用于产生一个对应于用户的虚拟角色以及环绕该虚拟角色的3D虚拟环境，并把接收到的所述方位信息及位移信息映射到所述虚拟角色上，同时根据所述虚拟角色的视角以及所述虚拟角色与虚拟环境的相互作用，把对应的视频、音频、力及触觉控制信号分别通过的不同的信号接口发送给所述的环境反馈装置； 所述的环境反馈装置包括:多个不同的环境反馈器件，分别连接所述的3D虚拟环境仿真器，所述的多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。
2.根据权利要求1所述 的系统，其特征在于，所述的运动捕捉模块的个数为3个，3个所述运动捕捉模块分别绑定在头部、躯干及臀部，或者分别绑定在头部、双上臂之一及双前臂之一。
3.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为6个，6个所述运动捕捉模块分别绑定在头部、臀部、双大腿及双小腿，或者分别绑定在头部、躯干、臀部、双上臂之一、双前臂之一及双手之一。
4.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为9个，9个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双上臂、双前臂及双手。
5.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为11个，11个所述运动捕捉模块分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂之一及双前臂之一，或者分别绑定在头部、躯干、臀部、双大腿、双小腿、双上臂及双前臂。
6.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为15个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂及双手。
7.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为17个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手及双肩。
8.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为18至20个，分别绑定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手、双肩及I至3个手持式道具。
9.根据权利要求1所述的系统，其特征在于，所述的中央处理器为MCU、DSP或FPGA。
10.根据权利要求1所述的系统，其特征在于，所述的环境反馈器件包括:用于将视频控制信号反馈到人眼的3D头盔或3D眼镜。
11.根据权利要求1所述的系统，其特征在于，所述的环境反馈器件包括:用于将力控制信号反馈到人体的力反馈手套、力反馈上衣、力反馈外骨骼、可控跑步机及电刺激贴片。
12.根据权利要求1所述的系统，其特征在于，所述的环境反馈器件包括:用于将音频控制信号反馈到人耳的音响。
13.根据权利要求1所述的系统，其特征在于，运动捕捉模块还包括:用于无线传输的射频芯片，连接所述的中央处理器。
14.根据权利要求1所述的系统，其特征在于，运动捕捉模块还包括:电源及电压转换电路。`
【文档编号】G06F3/01GK103488291SQ201310407443
【公开日】2014年1月1日 申请日期:2013年9月9日 优先权日:2013年9月9日
【发明者】刘昊扬, 戴若犁, 李龙威, 陈金舟 申请人:北京诺亦腾科技有限公司