一种3d车载终端人机交互系统及交互方法
【专利摘要】本发明公开了一种3D车载终端人机交互系统，其特征在于，包括：3D车载终端；虚拟界面生成及控制模块；3D图像传感器；实时肤色模型模块；手势几何模型模块；跟踪模型模块；识别模块。以上模块结合虚拟界面信息，得出用户操控意图并发出相应控制命令。一种3D车载终端人机交互方法包括以下步骤：(1)所述3D图像传感器置于用户前方；(2)所述3D图像传感器置于3D车载终端顶部位置；(3)通过虚拟界面的建立、三维手势模型数据库的建立、用户手势的识别实现系统的交互。
【专利说明】
一种3D车载终端人机交互系统及交互方法
技术领域
[0001]本发明涉及车载信息服务领域，具体涉及一种3D车载终端人机交互系统及交互方法。
【背景技术】
[0002]随着国内汽车的发展、汽车功能的增加，迫切需要提供更加丰富的业务。由于车载终端的诞生，使得车载终端业务比普通终端更具影响力和市场潜力，车载终端也将成为未来新兴的传播媒体，以及成为车载终端传播的新渠道，既可以充分利用内容资源，也扩大了用户范围，并且能够实现广播网络的移动化。
[0003]手势交互是理想的人机交互方式之一，而手势识别技术是手势交互的重要技术手段。手势识别技术一般包括肤色分割、手势区域提取、手势特征提取、手势特征分类这四部分。在传统的手势识别技术中这几个技术模块实现各有差异，但总体存在改进空间。
[0004]传统手势识别技术一般采用将RGB颜色转换到Ycbcr或HSV颜色空间，然后通过限定阈值得到肤色分割模块。这样的肤色分割处理方法通常会因为环境光照的影响，效果变的不稳定。而且不能处理好环境中类肤色区域的干扰，对使用环境要求比较高。
[0005]在手势特征分类这部分，传统手势识别方法中一般着重于单张图像的静态手势识另IJ，忽视了视频数据的连续性，没能充分利用数据以进一步提高识别的可靠性。
[0006]考虑到上述问题，本发明的目的在于提供一种3D车载终端人机交互系统及交互方法，通过将3D车载终端与手势识别技术相结合，引入具有获取物体3维信息的3D图像传感器，改变传统人机交互方式，提高人机交互时的互动性，用简单易识别的手势完成对车载终端的各种复杂功能的操控。
【发明内容】
[0007]为了达到上述目的，本发明采用如下技术方案:
[0008]一种3D车载终端人机交互系统，其特征在于，包括:3D车载终端;虚拟界面生成及控制模块，用于控制3D车载终端投影虚拟界面;3D图像传感器，用于获取物体深度或三维视觉信息;实时肤色模型模块:用于从图像中提取肤色块;手势几何模型模块:用于从肤色图像中提取手势特征，定义静态手势指令;跟踪模型模块:用于对手势图像做跟踪;识别模块:用于手势指令识别。
[0009]在所述实时肤色模型模块中包括:初始肤色获取模块:利用严格肤色阈值限制和动态帧差来获取初始肤色数据块;肤色模型计算模块:利用已有的肤色数据库计算基于亮度索引的多高斯肤色模型，并且在手势识别过程中根据当前所获得肤色图像实时更新模型参数;肤色判断模块:根据计算好的肤色模型，对像素点进行肤色判断，当概率大于设定阈值时给予肤色判断，以上模块结合虚拟界面信息，得出用户操控意图并发出相应控制命令。
[0010]所述3D图像传感器置于用户前方；
[0011]所述3D图像传感器置于3D车载终端顶部位置；
[0012]一种3D车载终端人机交互方法，其特征在于，通过以下步骤实现交互:
[0013]3D车载终端开机后，3D图像传感器首先获取用户位置信息，将其传送给虚拟界面生成及控制模块;该模块根据用户位置信息计算虚拟界面成像最佳位置及角度，控制3D车载终端在用户面前投影出虚拟界面；
[0014]三维手势模型数据库由一组记录组成，每条记录包括手势识别序列和三维手势模型序列；
[0015]当虚拟界面在用户前面成像后，用户对虚拟界面进行操作，3D图像传感器不断捕捉用户的手指位置和移动信息，并将捕获的信息反馈给用户手势识别模块和三维手势模型数据库；用户手势识别模块对3D图像传感器获取的用户手势信息进行分析、处理和识别；
[0016]通过手势识别，3D图像传感器得到用户正在执行的动作信息，并通过对用户正在执行的动作信息与虚拟界面、以及三维手势模型数据库内容的结合，分析得到用户想要进行的操作意图，并对虚拟界面生成及控制模块或3D车载终端发出控制命令，从而执行相应的操作。
[0017]本发明通过3D图像传感器获取用户的位置与距离，利用3D车载终端能够在指定角度及距离呈现虚拟画面的能力，在之前获取的用户位置处由虚拟界面生成及控制模块控制3D车载终端呈现的虚拟界面，以虚拟界面为依托，用户通过简单易识别的手势或动作与智能车载终端进行互动。
【主权项】
1.一种3D车载终端人机交互系统，其特征在于，包括:3D车载终端；虚拟界面生成及控制模块，用于控制3D车载终端投影虚拟界面;3D图像传感器，用于获取物体深度或三维视觉信息;实时肤色模型模块:用于从图像中提取肤色块;手势几何模型模块:用于从肤色图像中提取手势特征，定义静态手势指令;跟踪模型模块:用于对手势图像做跟踪;识别模块:用于手势指令识别;在所述实时肤色模型模块中包括:初始肤色获取模块:利用严格肤色阈值限制和动态帧差来获取初始肤色数据块;肤色模型计算模块:利用已有的肤色数据库计算基于亮度索引的多高斯肤色模型，并且在手势识别过程中根据当前所获得肤色图像实时更新模型参数;肤色判断模块:根据计算好的肤色模型，对像素点进行肤色判断，当概率大于设定阈值时给予肤色判断，以上模块结合虚拟界面信息，得出用户操控意图并发出相应控制命令。2.根据权利要求1所述的一种3D车载终端人机交互系统，其特征在于，所述3D图像传感器置于用户前方。3.根据权利要求1所述的一种3D车载终端人机交互系统，其特征在于，所述3D图像传感器置于3D车载终端顶部位置。4.一种3D车载终端人机交互方法，其特征在于，通过以下步骤实现交互: 3D车载终端开机后，3D图像传感器首先获取用户位置信息，将其传送给虚拟界面生成及控制模块;该模块根据用户位置信息计算虚拟界面成像最佳位置及角度，控制3D车载终端在用户面前投影出虚拟界面； 三维手势模型数据库由一组记录组成，每条记录包括手势识别序列和三维手势模型序列； 当虚拟界面在用户前面成像后，用户对虚拟界面进行操作，3D图像传感器不断捕捉用户的手指位置和移动信息，并将捕获的信息反馈给用户手势识别模块和三维手势模型数据库；用户手势识别模块对3D图像传感器获取的用户手势信息进行分析、处理和识别； 通过手势识别，3D图像传感器得到用户正在执行的动作信息，并通过对用户正在执行的动作信息与虚拟界面、以及三维手势模型数据库内容的结合，分析得到用户想要进行的操作意图，并对虚拟界面生成及控制模块或3D车载终端发出控制命令，从而执行相应的操作。
【文档编号】G06F3/01GK106020433SQ201510893360
【公开日】2016年10月12日
【申请日】2015年12月9日
【发明人】张树坤
【申请人】展视网（北京）科技有限公司