一种面向用户心理模型表达的三维手势交互方法
【技术领域】
[0001] 本发明涉及一种面向用户心理模型表达的三维手势交互方法。
【背景技术】
[0002] 自然人机交互是利用人的日常技能进行的，强调无需特别训练或不需要训练。在 基于人脸、头部、手臂、人手、人眼以及整个人体的输入方式中，由于在通信和操作中的灵巧 性，人手是最有效、用途最多的输入工具。手势是一种自然、直观、易于学习的人机交互手 段，以人手直接作为计算机的输入方式，人机间的通讯将不再需要中间媒体，用户可以简单 地定义一种适当的手势来对周围的机器进行控制；手势是人与人之间的一种非口头交流形 式，它包括从用手指示方向和移动物体的简单动作到能够表达感情以及允许彼此交流的复 杂手势。考虑到人们拥有做手势的大量经验知识，如果人们能够把这些技能从日常的经验 中转换过来并用在人机交互方面，就可以期盼直观的、操作简便的、功能强大的人机接口。 手势交互运用手势来表达交互意图，其中包含了大量的信息和符合人的心理模型。与传统 的交互方式相比，手势交互可以使用户摆脱鼠标和键盘束缚。目前，手势交互正向着自然、 直接、舒适和智能化的趋势发展。运动风格是个人习惯、生活背景和主观情绪等综合因素 的表现形式，是运动的高层属性。由于用户间的差异性，会出现不同的运动风格。Urtasun 等人将速度看作是运动的风格，特定的个体进行参数化的位移活动，并使用主成分分析 (Principal component analysis, PCA)系数合成多种风格的行走运动，包括跑步、跳跃和 行走动作等。Amaya等人认为运动风格表现在速度和步幅上，提出一种情感动画模型，这 种方法可以计算特定的情感变换，并将变换后的情感模型应用到中性动作上，是动作具有 特定的情感表现形式，对其进行参数化并修改，以得到不同风格化的运动序列。Rose等人 提出了一种利用基本动作的进行插值合成方法。基本动作来自运动捕捉或通过传统的动 画制作工具生成，将描述行为动作的副词看作风格信息，并使用径向基函数（radial basis function，RBF)实现种风格间的平滑切换。参数化插值方法对所需的数据规模要求较高， 所需的动作样本数据个数随控制参数的维数增长而急剧增长。Xia等人将风格看作用户自 定义参数所张成的连续空间，并构建了一个层次化模型来刻画同样内容、同样风格的运动 之间的细微差异。蓝荣祎和孙怀江提出一种基于重构式独立成分分析（Reconstructive independent component analysis, RICA)的运动风格分析方法，该方法能够有效地分析出 行走、跳跃和踢腿等运动中代表风格的独立成分，并根据用户对风格的编辑，实时地生成 自然、平滑的运动。De Lasa等人从物理学角度建立了人体运动风格模型，将风格定义为质 心、角动量等物理参数，通过调整这些物理参数并优化相应的目标函数生成风格不同的运 动.吴小毛等人通过将运动风格传输问题表达为对运动统计量的概率分布的传输问题，提 出了一个实时、方便的人体运动风格传输算法。算法运行速度快，占用内存少，非常适合于 实时的场合。本文的运动风格主要表现在为运动速度、运动轨迹和运动方向的不同。对人 手运动风格的研究主要借助人体运动自动生成特定的手势动作。Majkowska等人为了减少 的运动数据样本规模，提出了运动拼接技术（Motion Splicing or Composition),将人体 划分为不同的身体部位，如上半身和下半身，躯干和手臂等，不同身体部位的动作姿态基于 不同的运动数据生成。JSrg等人通过查找人体和手指运动数据库，自动在人体动作上添加 手指动作，生成交谈、讨论和指挥等类型的手势。这种通过人体大范围运动自动合成手势运 动的方法，没有考虑实际人手运动速度。Oshita等人提出一种从人体运动生成手势动作的 方法，假定人体运动可以估计人手状态。利用支持向量机（SVM)从四种可能的关键手势中 选择一种。训练模型由一系列包含人手状态关键帧的人体运动组成，输出连续的手部动作。 Wheatland等人通过少量标记捕捉手势动作从视频中生成反应人手运动风格的手势动画， 利用主成分分析方法从手势库中生成复杂的手势动作。马万里等人对运动数据进行主旋转 分析，提取运动内容和风格，动态构建风格图，根据风格图生成风格可控的运动。Huang等人 建立运动图模型，图中每个结点代表上肢运动关键帧，每条边代表一段运动序列，通过识别 关键帧，遍历图结点，进行上肢运动速度控制，这种方法，可以控制人体上肢运动速度，但存 在一定延时。
[0003] 在三维交互过程中不同用户的手势具有不同的运动风格，无论是不同的操作者做 同一种运动还是同一个操作者重复一种运动，都存在差异性。目前有关手势风格的关注并 藉此表达用户心理模型（Mental Model)的研究尚不多见。利用手势动画库实现基于手势 输入的三维自然交互界面，是实现快速、鲁棒人机交互的重要途径之一。从手势库中检索出 的手势动画，可能仅仅意味着它与用户的实际手势语义具有一致性，但它与用户手势的运 动方向、运动速度等运动风格可能很有差异，怎样获取施加于动画手势的数学变换，使得变 换后的手势动画与用户的运动风格一致，并实时显示，顺利完成人机交互任务，是要解决的 核心问题。
【发明内容】
[0004] 为解决以上技术上的不足，本发明提供了一种降低用户的认知负荷，改善用户的 交互体验的面向用户心理模型表达的三维手势交互方法。
[0005] 本发明是通过以下措施实现的：
[0006] 本发明的一种面向用户心理模型表达的三维手势交互方法，包括以下步骤：
[0007] 步骤1，在计算机中建立三维虚拟手势模型，并构建虚拟场景，在虚拟场景中搭建 人机交互平台，实验者利用摄像头、数据手套和位置跟踪仪进行包含人手初次平移、抓取物 体、再次平移、释放物体四个阶段的人机交互实验；
[0008] 步骤2,统计步骤1中人机交互实验中关于手势姿态、平移速度、平移视角、运动轨 迹以及抓取和释放物体的实验数据，分阶段建立人手的抓取和释放物体模型、平移速度模 型、人手运动轨迹模型和观察视角模型；
[0009] 步骤3,将步骤2分析出的人手抓取和释放物体模型、平移速度模型、人手运动轨 迹模型和观察视角模型应用到三维虚拟手势模型中，通过三维虚拟手势模型表达人手运动 风格。
[0010] 在步骤2中，人手在抓取和释放物体阶段，人手的关节角度变化量与对应的人手 面积变化量之间的关系近似高斯曲线和抛物线，利用高斯曲线和二次多项式进行拟合，人 手抓取和释放物体模型的表达式：
[0013] 其中，apbpCpmpnpkpPpqjPI r ;是第i个自由度拟合系数，x是人手面积变化 量，Y1是第i个自由度变化量。
[0014] 在步骤2中，人手初次平移和再次平移阶段，手势平移速度t是横向速度和纵向 速度的叠加，其中手势质心速度V h表示横向速度，手势包围盒速度V ￥表示纵向速度；
[0015] 手势包围盒速度Vv表示为：
[0017] 其中，VdP Vh*别表示为手势包围盒水平速度和手势包围盒垂直速度；
[0018] 手势平移速度模型表示为：
[0020] 其中，Vh和别表示为手势质心速度和包围盒速度。
[0021] 在步骤2中，手势平移的过程中，选用Berizer曲线对用户的平移轨迹进行曲线拟 合，采用三次Berizer曲线生成光滑轨迹曲线，从始点到终点的人手轨迹模型表示为：
[0022] P(t) = (l-t)3P〇+3t (1-0^+3^(1-^?^?
[0023] 其中，P。是轨迹的始点，P 3是轨迹的终点，P JP P 2是介于P。和P 3之间的控制点。
[0024] 上述在三维手势交互过程中，平移视角确定时，假设视点到目标物体的距离不变， 并且视点沿球面运动，若物体的中心位置〇(x〇, y〇, z0)，则视点A(x，y，z)的观察视角模型 表示为：
[0025]
[0026] 其中r、Θ和φ是球面的参数方程系数(〇魂泣π，〇3φ3π)。
[0027] 本发明的有益效果是：本发明将基于行为模型的手势风格算法运用到自然交互界 面的设计中，表达用户的心理模型，降低用户的认知负荷，改善用户的交互体验。而且采用 本发明的方法，在人机交互界面中手势表达简单、自然，符合人类交流的习惯，体现了一种 自然的和常见的表达方式。
【具体实施方式】
[0028] 为体现用户的不同运动风格，本发明从速度、轨迹和视角三个方面提出一种基于 单目视觉的人手运动风格表达算法。首先，建立交互实验平台，利用摄像头、数据手套和位 置跟踪仪，建立手势行为模型；其次，根据行为模型，分阶段建立人手运动的速度、轨迹和视 角模型。最后，通过手势图像和运动模型，获得人手运动风格，使三维虚拟手势运动风格与 实际人手运动风格保持一致，并实时显示，从而顺利完成和谐、自然、方便的人机交互任务。
[0029]
[0030] 首先在计算机中建立三维虚拟手势模型，并构建虚拟场景，在虚拟场景中搭建人 机交互平台，实验者利用摄像头、数据手套和位置跟踪仪进行包含人手初次平移、抓取物 体、再次平移、释放物体四个阶段的人机交互实验。
[0031] 为了获取手势图像与关节角度数据，建立基于数据手套、位置跟踪仪和普通USB 摄像头的虚拟平台。手势交互过程是由一个一个的基本操作完成的，这些基本操作包括 "抓"、"放"、"平移"等。把这些基本操作的一般数学表达称为手势行为模型。在交互过程 中，屏幕上出现与操作者手势亦步亦趋的三维手势动画模型，该3D手势动画模型的显示方 式就是手势风格问题。
[0032] 根据人手在运动过程中不同的运动形式，将行为模型分为四个阶段，其中第一阶 段是初次平移阶段，人手由初始位置移动到物体位置；第二阶段是抓取物体阶段，人手抓取 物体；第三阶段是再次平移阶段，人手抓取物体后，由物体位置移动到目标位置；第四阶 段是释放物体阶段，人手在目标位置将物体放下。在平移阶段，手掌平移运动，手指关节角 度几乎不变。在抓取和释放阶段，手指关节角度发生变化，手掌几乎不动。在每个阶段，人 手的表达风格不同。在平移阶段，主要表达轨迹、视角和平移速度风格，在抓取阶段，主要表 达人手抓取物体的速度风格，在释放阶段，主要表达人手释放物体的速度风格。
[0033] -、建立手势平移速度模型。人手初次平移和再次平移阶段，手势平移速度t是 横向速