一种面向智能电视的隐式交互方法

一种面向智能电视的隐式交互方法
【专利摘要】本发明提供了一种面向智能电视的隐式交互方法，属于智能电器领域。所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。
【专利说明】
一种面向智能电视的隐式交互方法
技术领域
[0001] 本发明属于智能电器领域，具体涉及一种面向智能电视的隐式交互方法。
【背景技术】
[0002] 伴随人机交互技术的发展，基于视觉的手势交互在人机交互领域的重要性愈发突 出。与传统的WMP交互方式相比，基于视觉的手势交互摆脱了鼠标、键盘对用户的束缚，并 且能为用户提供更大的交互空间、更加逼真的交互体验。基于视觉的手势交互现已被广泛 应用在虚拟装配、虚拟增强现实、体感游戏、机器人控制、智能电视交互等领域。在智能电视 手势交互系统中，基于视觉的手势交互帮助用户摆脱了对遥控器的束缚，并以远距离操作 的方式为用户操作智能电视提供了一种自然的交互方式。智能电视交互场景中，由于功能 繁多、复杂，需要大量的简单手势命令以及简单手势命令的组合才能完成操作。大量的手势 命令增加了用户的记忆负担，给用户带来了极大的认知负荷；同时，基于视觉的手势交互中 存在的识别率、midas touch、复杂手势动作命令问题，限制了用户操作的准确性，同样给用 户造成了极大的操作负荷。
[0003] 针对基于视觉的手势交互中存在的问题，武汇岳（请参考：武汇岳，张凤军，刘玉 进，等.基于视觉的手势界面关键技术研究[J].计算机学报，2009，32(10): 2030-2041)从认 知心理学角度，将手势交互过程分为选择性处理、分配性处理、集中处理3个阶段，结合人类 知觉信息加工中的注意力模型提出了一个基于非接触式的视觉手势状态转移模型;通过模 仿人类视觉系统对目标对象的识别处理机制，使系统具备能够选择性处理关键性信息的能 力，有效避免了Midas Touch问题。梁卓锐(请参考:梁卓锐，徐向民.面向视觉手势交互的映 射关系自适应调整[J].华南理工大学学报：自然科学版，2014,42(8) :52-57)提出了一种基 于用户操作特点的映射关系自适应调整方法，基于Borg's CR-10尺度心理感知实验测试用 户手部移动的感知;该方法根据交互过程中的手部移动情况，在每次连续交互操作结束后 对映射方程进行调整，使用户在自身物理限制的操作范围内完成全屏幕的操作覆盖，并通 过降低用户手部移动的几率来提高用户体验。王西颖(请参考:王西颖，张习文，戴国忠.一 种面向实时交互的变形手势跟踪方法[J].软件学报，2007,18(10):2423-2433)提出一种新 颖的变形手势实时跟踪方法，利用一组2D手势模型替代高炜度的3D手势模型，通过对图像 中手指和指尖定位，将Κ-means聚类算法与粒子滤波相结合，实现对变形手势的快速、准确 的连续跟踪，满足了实时性的要求。但是该方法对手势图像的分割质量要求较高，影响了手 势交互的鲁棒性。Wei-Po Lee(请参考Lee W P，Che K，Huang J Y.A smart TV system with body-gesture control, tag-based rating and context-aware recommendation [J] .Knowledge-Based Systems ,2014,56(3): 167-178)利用kinect体感摄影机实现了自然 手势控制智能电视的交互方式，创建一种基于社交标记和用户所处的情境上下文信息的推 荐系统，为用户推荐最适合用户个性化需求的服务内容。这种方法融入了用户使用智能电 视的情境上下文信息内容推荐服务，在一定程度上减轻了用户的认知和操作负担，但是没 有考虑用户本身的体态行为上下文信息对减轻用户交互的影响。Vatavu(请参考:Vatavu R D.User-defined gestures for free-hand TV control[C]//Proceedings of the IOth European conference on Interactive tv and video.ACM,2012:45-48)提出的用户自定 义手势控制电视的交互系统中，通过研究用户完成电视基本操作任务时的用户手势动作偏 好，观察用户行为，建立用户手势和电视功能之间的最佳映射关系，获得完成某一电视操作 任务的最佳手势操作方式，但用户依然需要记忆大量的手势动作实现电视操作，用户的认 知负担较大。田丰（请参考：田丰，邓昌智，周明骏，等.Post-WIMP界面隐式交互特征研究 [J].计算机科学与探索，2007(2))提出了 Post-WMP的隐式交互方法，利用识别技术、上下 文感知技术、用户修正技术来支持Post-W頂P的隐式交互;该方法使用户无需关注交互任务 的执行方式和过程，只需关注任务本身，使人们以更加自然的方式来完成交互任务。徐光祐 (请参考:徐光祐，陶霖密，史元春，等.普适计算模式下的人机交互[J].计算机学报，2007， 30(7) :1041-1053)对普适计算环境下的人机交互进行深入分析，提出了以用户和环境为主 要影响因素的隐式交互模式。他将物理空间中的人机交互分为基于物理空间接口的人机交 互和基于觉察上下文计算的隐式交互;隐式交互中计算系统利用上下文知识对用户的操作 进行解释和理解，并把它作为对计算系统的附加输入，从而完成交互任务。觉察上下文信息 的提取与感知推理是实现隐式交互的基础，叶喜勇（请参考:叶喜勇，陶霖密，王国健.基于 动作理解的隐式交互[C]//第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】 .2011)在老年看护人机交互应用中提出了一种动态上下文模型及ADL-DBN推理模型，实现 基于动作理解的隐式交互方式;这种交互方式帮助计算机不分散人的注意力情况下理解人 的意图，完成交互任务。王国建(请参考:王国建，陶霖密.支持隐式人机交互的分布式视觉 系统[J].中国图象图形学报，2010,15(8) :1133-1138)提出了一种支持隐式人机交互的分 布式视觉系统，并将其应用在小型会议场景中。在基于视觉的手势交互中，由于上下文知识 的模糊性，导致对人体动作的解释就存在多义性(请参考:徐光祐.人机交互中的体态语言 理解[M].电子工业出版社，2014)。传统的基于规则的知识表示和推理，不能有效反映交互 上下文信息的模糊性。关志伟(请参考:关志伟.面向用户意图的智能人机交互[D].中国科 学院软件研究所，2000)首次将FCM(请参考：Kosko ,Bart .Fuzzy cognitive maps[J] ? International Journal of Man-Machine Studies,1986,24(1) :65-75)应用于人机交互 的模糊知识表示和推理，有效地实现了自然人机交互的高层认知过程。但由于FCM不能提供 丰富且动态的推理机制，不能表示交互概念间因果关系测度的不确定性(请参考:马楠，杨 炳儒，鲍视，等·模糊认知图研究进展[J] ·计算机科学，2011，38(10): 23-28) Japageorgiou E(请参考：Papageorgiou E,Stylios C,Groumpos P.Fuzzy Cognitive Map Learning Based on Nonlinear Hebbian Rule[M]//AI 2003: Advances in Artificial Intelligence· Springer Berlin Heidelberg,2003:256-268)提出了一种通过大量计算过 程实现推理的动态模糊认知模型，增强了概念节点的动态性。
[0004] 综上所述，目前基于视觉的智能电视手势交互中主要存在的问题是用户认知负荷 和操作负荷较重。

【发明内容】

[0005] 本发明的目的在于解决上述现有技术中存在的难题，提供一种面向智能电视的隐 式交互方法，有效提高智能电视用户的交互体验，降低用户的操作负荷和认知负荷。
[0006] 本发明是通过以下技术方案实现的：
[0007] 一种面向智能电视的隐式交互方法，包括:实时获取用户体态行为信息，检测用户 位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式 交互信息;将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基 于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息； 将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信 息融合的隐式交互行为模型，完成交互任务。
[0008] 所述用户位置是指用户相对智能电视上摄像头的水平距离、角度，检测用户位置 具体如下：
[0009]通过Kinect获取人体主要关节点的三维坐标数据，根据人体头部节点和人体重心 坐标信息，确定人体相对智能电视的位置。
[0010]所述检测与识别用户手势动作包括用户手部静态行为的识别和用户手部动态行 为的识别，具体如下：
[0011] 基于Kinect实现手势部位的检测与分割，通过OpenNI SDK获取人手质心坐标，在 人手坐标领域内的三维空间提取出手的部位，再使用肤色模型分割方法对获取的人手部位 进行处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，得到最终的 人手图像；
[0012]采用HCDF-H算法进行用户手部静态行为的识别；
[0013]用户手部动态行为的识别。
[0014] 所述采用HCDF-H算法进行用户手部静态行为的识别具体如下:首先标准化手势图 像为32*32尺寸，并计算手势重心点到手势最远点作为主方向向量，沿主方向将手势图像分 为8个子区域，求出子区域像素点数量，生成手势坐标点分布特征向量，再使用类-Hausdorff距离与手势模板库中每种手势的对比，得出最终识别结果。
[0015] 所述用户手部动态行为的识别包括：
[0016] Step 1.输入手势图像帧，空间人手三维质心坐标，初始化动态手势类型特征向量 DGT ；
[0017] Step2.根据手势质心坐标，以每连续T帧图像计算一次连续T帧图像的静态手势运 动距离d，并以连续T帧图像更新一次d;
[0018] Step3.若d〈D，开始识别触发动态手势的静态手势Gesture_start，D为阈值；
[0019] Step4.若Gesture_start识别成功，获取此时的静态手势质心点坐标S手势并转入 Step5；
[0020] Step5.进行动态手势质心轨迹提取，并将轨迹质心点三维坐标存储在data数组 中；
[0021] Step6.再次判断连续T帧手势运动距离d，若d〈D则识别结束静态手势Gesture end;计算data数组长度length;
[0022] Step7.若Gesture_end识别成功，获取此时的静态手势质心坐标E;
[0023] Step8.若length>20,根据触发动态手势的静态手势质心点S、结束动态手势的静 态手势质心点E的坐标值，判断动态手势运动方向，否则，再次判断d，若d>D执行step9，否则 返回step8;
[0024] Step9.判断动态手势类型，求出对应手势ID，并修改对应动态手势ID的key值为I， 表示动态手势ID识别成功，输出动态手势类别ID和与ID对应的key值；
[0025] SteplO .DGT 恢复初始化。。
[0026] 所述建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层 次的隐含交互信息是这样实现的：
[0027]将交互概念节点分为四类：用户行为交互概念节点、设备环境上下文状态信息交 互概念节点、交互情景事件节点、激发操作语义的交互概念节点集合；
[0028]交互概念节点集合C表示多层次动态上下文推理模型的节点集合，C= (U，S，E，A)， 其中U为用户行为交互概念节点集合，S为设备环境上下文状态信息交互概念节点集合，E为 交互情景事件节点集合，A为激发操作语义的交互概念节点集合；
[0029] 集合U、S是已知状态参量，E、A是未知参量;初始状态时，根据当前时刻检测到的初 始状态值决定U、S中各个节点的概念值，若检测到事件发生，则与之对应的交互概念节点值 设置为1，否则为〇;E、A中各个概念节点值初始化为0;当多层次动态上下文推理模型收敛到 一个稳定状态时，获得稳定状态下各交互概念节点的值，基于多层次动态上下文推理模型 的上下文推理计算过程如下式：
[0030] (5)
[0031] (6)
[0032] 其中，是交互概念Ci在t+Ι时刻的状态值;4是交互概念Cj在t时刻的值，Wij是C i 和Cj的权重，表示相关节点间的因果联系强度，根据交互节点之间边的权值得到CDL-DFCM 的邻接矩阵W，W={Wn，W12, 一WnnKf表示阈值函数，其作用是将交互概念的值映射到[0，1] 区间，将W反复作用于该矢量，C达到稳定的收敛状态，即4 ，
[0033]
.(7)
[0034] (7)式中，Hf表示Wij第t+Ι次迭代的权值，λ表示学习率因子，λ = 〇.1，
[0035]
(β)
[0036] 表示交互概念节点Cx的值在第t+1次迭代的变化量，4表示节点Cx在第t次的 迭代值；
[0037]交互概念集合C映射到感知空间上的交互意图集合I ,I = (I1J2^-In)13对C上任意 交互意图Ιχ，其隶属函数Px(C1)，i = l，2, ···，!!，其中C1表示交互概念空间C中的第i个交互概 念节点，yx(Ci)在区间[0，1]中取值，y x(Ci)的值反映 Ci隶属于Ix的隶属程度，值为0表示Ci不 属于交互意图lx，Ix表不如下：
(9)
[0038]
[0039] 在感知空间的交互意图集合I中，交互意图之间在时空上存在互斥关系;根据公式 (10)计算用户意图描述因子Fix:
[0040] (10)。
[0041] 所述建立显隐信息融合的隐式交互行为模型，完成交互任务包括：
[0042] SI.实时检测智能电视功能状态上下文、用户显式行为信息；
[0043] S2.获得动态上下文数据，根据多层次动态上下文模型，进行数据融合与特征提 取，并检测低层上下文事件的状态；
[0044] S3.检测与识别T时刻动态手势的类型，根据动态手势类型识别算法，获得T时刻用 户的动态手势类型ID和key值；
[0045] S4.初始化交互概念集合C。，根据低层上下文事件的状态，设置交互概念集合C中 U、S中各交互概念节点的初始值，检测到的状态事件对应的交互概念节点值置为1，否则为 0;集合E，A中各交互概念节点初始值设置为0;
[0046] S5.根据邻接矩阵W和公式(5)获得交互概念集合C在收敛状态下的交互概念节点 值；
[0047] S6.根据公式(9)与（10)计算交互意图集合中交互意图Ix(x=l，2, ···，!〇的交互意 图描述因子FIx的状态值;与意图描述因子集合FI中对应交互意图的交互因子比较，若FIx = FIecinvelrgenee，则激活交互意图Ix对应的交互情景事件和交互操作，否则返回SI;
[0048] S7.将T时刻激活的交互情景事件对应的功能菜单显示在智能电视界面最顶层，且 计算机执行用户交互意图对应的交互操作；
[0049] S8.检测T+1时刻用户行为，若检测到用户手势动作，根据DGRA算法获得T+1时刻的 用户动态手势类型ID和key值，然后执行S9;否则，智能电视保持当前的功能状态，并循环执 行S8;
[0050] S9.计算T+1时刻向量DGDM，计算交互任务特征向量TI，若TI = TIx，x=l，2,…，6， 则计算机根据交互任务TIx完成对应的功能操作。
[0051 ]所述S9中的计算Τ+1时刻向量DGDM是利用公式（12)计算得到的：
[0052] DGDM= (ID,posture ,key) (12)
[0053] 公式（12)中，ID表示动态手势唯一标识，posture表示动态手势代表的语义，key代 表动态手势的识别标志。
[0054]所述S9中的计算交互任务特征向量TI是这样实现的：
[0055]在T+1时刻，将具有特定语义的交互动作与此刻的系统界面交互信息相结合，以 显、隐信息融合的交互映射范式实现用户的特定交互任务，特定交互场景下交互任务TI构 成交互任务集合1'15,5=(1'1 1，112，~，1'111)，用公式(11)交互任务特征向量1'1
[0056] TIi=(DGDM，E，A)i = l，2，."，n (11)
[0057] 公式（11)中第一个特征向量DGDM表示动态手势行为信息，第二个向量E表示通过 识别出的交互情景事件，第三个向量A表示感知到的用户操作意图。
[0058]与现有技术相比，本发明的有益效果是：
[0059] (1)本发明方法依据用户的行为特征，建立了基于视觉的智能电视单手势交互原 型系统；
[0060] (2)提出了多层次上下文模型和⑶L-DFCM推理模型，实现了对交互情景事件的识 别和用户意图感知；
[0061] (3)提出了显隐信息融合的隐式交互行为模型并提出相关算法，有效提高了智能 电视用户的交互体验，降低了用户的操作负荷和认知负荷。
【附图说明】
[0062]图1手势动作统计表
[0063]图2不同类型静态手势图像
[0064]图3动态手势模型分解图
[0065] 图4手势运动方向
[0066]图5基于智能电视手势交互的上下文模型
[0067]图6基于智能电视手势交互的动态上下文⑶L-DFCM模型
[0068]图7初始化权值矩阵Winitial
[0069]图8显隐信息融合的隐式交互行为模型
[0070]图9操作准确率比较图
[0071 ]图10各项功能操作对应的手势移动距离
[0072]图η动态手势类型识别率
[0073] 图12平均操作时间图。
【具体实施方式】
[0074]下面结合附图对本发明作进一步详细描述：
[0075] 本发明从认知心理学角度出发，通过捕捉用户交互意图，结合隐式交互理论提出 了一种基于DFCM的多层次动态上下文推理模型和显隐信息融合的隐式交互行为模型。首 先，实时获取用户体态行为信息，检测用户位置，并检测与识别用户手势动作；同时检测智 能电视功能状态，获得低层次的显式交互信息。其次，将处理后的用户体态行为信息与智能 电视实时的功能状态信息相结合，建立动态上下文模型;使用基于数据的权值迭代学习的 微分Hebbian动态模糊认知图DFCM(请参考:张燕丽.基于模糊认知图的动态系统的建模与 控制[D].大连理工大学，2012)的多层次动态上下文推理模型获得高层次的隐含交互信息。 最后将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，利用显 隐信息融合的隐式交互行为模型，完成交互任务。。
[0076]智能电视人机交互中，手势动作作为一种非精确交互输入，用户交互目的的实现 完全依赖于手势动作的模式识别率。这增加了用户操作和认知负荷。这种情况下，动态上下 文对用户手势动作的理解起着重要作用。本发明通过对基于视觉的智能电视手势交互场景 分析，首先建立了基于用户行为和智能电视状态的多层次上下文模型，实现上下文的数据 融合与特征提取;其次，设计并实现了动态上下文CDL-DFCM推理模型和显隐信息融合的隐 式交互模型，识别交互情景事件并感知用户意图；最后，提出了上下文显隐信息融合的隐式 交互算法。实验结果表明，与现有相关算法比较，本发明在操作准确率、时间开销和手势移 动距离等方面得到了明显改善，并有效提升了用户体验。
[0077] 智能电视交互系统中，用户根据操作任务来完成相应的交互操作。因此，用户的交 互需求是建立基于视觉的智能电视手势交互系统原型的基础。本发明按照先对基于视觉的 远距离手势交互中的用户日常习惯性动作进行统计分析，再通过分析其中的认知信息，建 立用户行为模型和原型系统的思路设计了以下实验。
[0078] 实验 1
[0079] 首先，在安装有智能电视的实验室中，模拟用户收看电视场景；建立一个基于 Kinect的智能电视远程单手势交互模型，但该模型并不能实现与用户的真正交互操作，操 作有效距离为1-3.5米。其次，邀请不同专业的50名在校大学生参与本次实验，每位实验参 与者具有操作智能电视或智能手机的操作经验，记录每名实验人员根据电视功能布局和本 能反应做出的最自然、最轻松手势动作，并使用单手操作。最后，统计用户的习惯性动作，进 行认知行为分析，对每种电视功能操作使用最多的习惯性动作建立行为模型。实验1提供基 于视觉的手势交互中最受欢迎的10类手势动作(请参考:刘雪君.面向互动电视的手势交互 系统研究与实现[D].复旦大学，2013)和智能电视功能界面供实验参与者参考。统计结果表 明在不考虑用户操作目的的情况下，得到次数高于50%的4种手势动作，如图1所示。
[0080] 实验 2
[0081] 在实验1的基础上，本发明设计了实验2。首先，设计了关于基于视觉的智能电视手 势交互操作的网络调查问卷。其次，根据调查问卷的数据分析结果，开发了基于视觉的智能 电视手势交互原型系统。本次问卷共回收157份，年龄在15-25岁之间的占总问卷人数的 75. 16%，25-60岁占24.85 %。性别比例基本均等，对实验不会产生影响。调查人员中 81.53%的人没有使用过基于视觉的手势交互智能电视。在手势交互智能电视操作目的的 调查中，52.87%的人认为主要完成频道、音量、电视关闭操作，45.86%的人只用来玩手势 交互游戏。56.45%的人对遥控器调节音量、频道的方式感到不满意。
[0082]基于实验1和实验2,本发明设计了基于视觉的智能电视单手势交互原型系统， IHCI-smartTVJHCI-smartTV包括智能电视频道调节、音量调节、主页功能切换、手势操作 开关、基于手势控制的游戏五个功能模块，设计表1中的8种手势动作完成与智能电视的交 互任务。本发明主要对IHCI-smartTV中频道调节、音量调节、手势操作开关功能的手势交互 进行研究。手势操作开关功能是指手势操作开关打开后能利用手势动作控制智能电视进行 除手势操作开关以外的其它操作，目的是避免基于视觉的手势交互中存在的midas touch 问题。
[0084] 表1
[0085] 隐式交互行为模型：
[0086]人体显式行为上下文信息的检测与识别：
[0087]用户显式行为信息是指与智能电视交互的唯一用户的人体行为信息，包括用户位 置检测、用户手部静态与动态行为的检测与识别。用户位置检测是指用户相对智能电视上 摄像头的水平距离、角度。基于视觉的手势检测与识别可分为以下两种:一种是由连续手部 动作组成的动态手势(gesture)，如手的挥动;二是静态的手部姿态(posture)。本发明中手 势动作上下文是指手部动作的运动与几何信息，如手部的静态姿势、运动速度、运动轨迹信 息等。
[0088] 人体动作行为的研究需要能够准确及时的采集人体动、静状态下数据信息，为此 本发明搭建基于Kinect的实验平台，并配置OpenNI SDK。通过Kinect可以获取人体15个主 要关节点的三维坐标数据，根据人体头部节点和人体重心坐标信息，可以确定人体相对智 能电视的位置。基于Kinect实现手势部位的检测与分割，是通过OpenNI SDK获取人手质心 坐标，在人手坐标领域内的三维空间提取出手的部位，再使用肤色模型分割方法对获取的 人手部位进行处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，可 得最终比较理想的人手图像。
[0089] 考虑到动态手势与静态手势在实际应用中结合使用的情况，以及基于视觉的手势 交互中存在的midas touch问题，本发明将静态手势的识别与动态手势的检测与识别相结 合，建立基于静态手势姿态识别与动作手势运动检测的动态手势类型识别模型（dynamic gesture detect model, DGDM)。该模型的形式化描述：DGDM =〈ID，posture，Ges ture_ start ,Gesture_end，orientation，key，data，length〉。ID是动态手势的唯一标识符； posture标识手势动作的显式语义信息，如："握拳、挥手"；Gesture_start为触发动态手势 的预定义静态手势;Gesture_end为结束动态手势的预定义静态手势;orientation描述手 势在三维空间中的相对运动方向；d为标志位，当被检测到时，置为1，否则为0;data为存储 归一化手势质心运动轨迹坐标的浮点型数组。length表示动态手势的从开始到结束的图像 帧数，用来描述动态手势的持续时间。在有意识操作状态下，用户动态手势持续时间存在一 定的规律性，可通过统计学实验获得。
[0090] 静态手势姿态采用HCDF-H算法(请参考:杨学文，冯志全，黄忠柱，何娜娜.结合手 势主方向和类-Hausdorff距离的手势识别[J].计算机辅助设计与图形学学报，2016,01: 75-81)进行识别。首先标准化手势图像为32*32尺寸，并计算手势重心点到手势最远点作为 主方向向量，沿主方向将手势图像分为8个子区域，求出子区域像素点数量，生成手势坐标 点分布特征向量，再使用类-Hausdorff距离与手势模板库中每种手势的对比，得出最终识 别结果。该方法能够避免手势旋转、平移、缩放的影响，具有较高的效率和识别准确率。在基 于视觉的智能电视手势交互中，将电视交互系统中的有效静态手势分为三种类型，五指打 开为1、握拳为2、食指和中指打开为3,如图2所示。基于静态手势的动态手势分解图3所示。
[0091] 在智能电视手势交互实验中，发现每个动态手势开始前用户都会有意识的调整静 态手势。在调整静态手势的时间段内（调整静态手势的时间段是指用户从随机静态手势调 整到具有具体语义的理想静态手势的时间差），静态手势的质心位移保持相对静止。实验对 50名用户的动态手势运动进行分析，统计用户做不同类型动态手势时在调整静态手势时间 段内静态手势每两帧手势质心的移动距离。以每连续T帧手势图像作为一个静态调整时间 段，连续T帧内静态手势运动距离满足条件阈值D。以D和T作为状态转移条件，若连续T帧内 手势移动距离d〈D，则进入静态手势识别阶段。运动方向（orientation)是区分不同动态手 势的关键信息，如果将触发动态手势的静态手势质心点S为坐标原点建立坐标系，其与结束 动态手势的静态手势质心点E方向判断关系如图4所示。
[0092 ] Or i entat ion可用公式（1)中Ori描述;首先，在XOY面上根据S和E计算向量涵与X轴 夹角的正切值，根据正切值的绝对值判断出手势上下方向运动还是左右方向运动；上下方 向根据两坐标点Y轴坐标差值的正负判断具体方向，左右方向根据两坐标点X轴坐标差值判 断具体方向。Z轴方向，手势水平位移阈值绝对值为 Zq。其计算公式为：
(1) (2) 1
[0096] 根据DGDM，我们可以判断出动态手势类型（dynamic gesture type，DGT)，并用特 征向量DGT描述一种动态手势，不同的动态手势可根据不同的语义、开始手势、结束手势、方 向以及持续时间来描述。
[0097] DGT=(ID,posture,Gesture_start,Gesture_end,orientation,length) (4)
[0098] 根据以上信息，动态手势类型识别的算法（Dynamic gesture recognition a lgori thm，DGRA)步骤如下：
[0099] 输入:手势图像帧，空间人手三维质心坐标。
[0100] 输出：动态手势类别ID和与ID对应的key值。
[0101] Stepl
[0102] Step2.根据手势质心坐标，以每连续T帧图像计算一次连续T帧图像的静态手势运 动距离d，并以连续T帧图像更新一次d。
[0101] Step3.若d〈D，开始识别触发动态手势的静态手势Gesture_start。
[0104] Step4.若Gesture_start识别成功，获取此时的静态手势质心点坐标S手势并转入 Step5〇
[0105] Step5.进行动态手势质心轨迹提取，并将轨迹质心点三维坐标存储在data数组 中。
[0106] Step6.再次判断连续T帧手势运动距离d，若d〈D则识别结束静态手势Gesture end;计算data数组长度length。
[ΟΙ O7] Step7 ·若Gesture_end识别成功，获取此时的静态手势质心坐标E。
[0108] Step8.若length>20，根据S、E坐标值，带入公式（1)判断动态手势运动方向。否则， 再次判断d，若d>D执行step9,否则返回step8。
[0109] Step9.根据公式(4)判断动态手势类型，求出对应手势ID，并修改对应动态手势ID 的key值为1，表示动态手势ID识别成功。
[0110] SteplO .DGT 恢复初始化。
[0111] 基于⑶L-DFCM模型的高层隐含信息感知与推理：
[0112]在人机交互系统中，用户交互行为的隐含信息往往隐藏在交互场景的上下文中。 智能电视交互系统中主要考虑三种形式的上下文信息，分别是智能电视状态上下文，人与 智能电视关联的上下文及与用户行为相关的上下文。
[0113] (1)与智能电视状态有关的上下文，可根据上下文层次关系分为低层设备功能状 态，"如：电视节目播放状态、主页切换功能状态、待机状态"和通过推理获得的高层交互情 景事件与用户意图，如："电视正处在手势功能激活状态"，"电视正处在频道调节状态"、"电 视正处在音量调节状态"。这类信息关系到对人体的理解，是解决用户行为多义性的重要依 据。
[0114] (2)与用户有关的上下文包括人体重心的相对位置与手部动作行为信息。
[0115] (3)用户与智能电视的关联上下文，被定义为用户位置事件，与智能电视的开关状 态关联，如：电视工作状态下，"用户在电视有效操作范围内"。这类信息是联系用户行为上 下文与设备状态上下文的纽带。
[0116] 对基于视觉的智能电视手势交互场景上下文，建立多层次上下文模型。如图5所 不。
[0117]在隐式交互理论中，上下文是系统底层数据与高层用户意图理解的语义鸿沟。为 了识别交互情景事件与主动理解用户的动作，本发明对用户行为和智能电视状态进行分 析，根据上下文模型提出了一种基于DFCM的多层次动态上下文推理模型（OTL-DFCM) tXDL-DFCM能够实现对用户操作意图的感知，并以在线检测方式实时对上下文数据进行处理。在 CDL-DFCM模型中，交互概念节点分为四类:智能电视状态交互概念节点，描述与智能电视功 能状态有关的上下文；用户行为交互概念节点，描述用户手势交互动作；交互情景概念节 点，描述具体交互任务的交互情景事件;操作语义的概念节点，描述用户的操作意图，与交 互情景事件相关联。
[0118]针对基于视觉的智能电视手势交互系统的基本操作需求，本发明对IHCI-smartTV 原型系统中频道调节、音量调节、手势操作开关功能的手势交互进行分析研究，具体包括音 量增大、减小操作，频道上一个、下一个调节操作，手势操作开关功能。设置手势操作开关功 能的目的是实现与其他交互通道的平滑融合，防止产生相互干扰。交互概念节点集合C表示 ⑶L-DFCM的节点集合，C= (U，S，E，A)。其中U为用户行为交互概念节点集合，S为设备环境上 下文状态信息交互概念节点集合，E为交互情景事件节点集合，A为激发操作语义的交互概 念节点集合。
[0119]在本发明研究的IHCI-smartTV人机交互系统中，概念节点列表如下：
[0120] (1)交互概念节点列表：
[0121] {
[0122] //用户动作行为交互概念节点集合U
[0123] 1、向前推手（wave forward-Ul);
[0124] 2、向上挥手（wave up-U2)；
[0125] 3、向下挥手（wave down-U3)；
[0126] 4、向左挥手（wave to the left-U4)；
[0127] 5、向右挥手（wave to the right-U5)；
[0128] 6、握拳(Fist-U6);
[0129] 7、用户位置(U7)
[0130] //智能电视状态信息交互概念节点集合S
[0131] 1、智能电视节目播放状态（the playing state of smart TV-SI);
[0132] 2、手势操作功能状态（the opening state of body gesture operating function-S2)；
[0133] //交互情景事件节点E
[0134] I、频道功能操作交互(El);
[0135] 2、音量功能操作交互(E2);
[0136] 3、手势控制操作交互(E3);
[0137] //激发操作语义的交互概念节点集合A
[0138] 1、弹出频道操作菜单界面，并持续进行调到上一个频道的操作(Al);
[0139] 2、弹出频道操作菜单界面，并持续进行调到下一个频道的操作(A2);
[0140] 3、弹出音量操作菜单界面，并在原音量值基础上按一定幅度持续减小音量，直至 收到音量减小结束命令或静音状态(A3);
[0141] 4、弹出音量操作菜单界面，并在原音量值基础上按一定幅度持续增大音量，直至 收到音量增大结束命令或最大音量状态(A4);
[0142] 5、打开手势操作功能(A5);
[0143] 6、关闭手势操作功能(A6);
[0144] }
[0145] (2)交互概念节点关联关系列表：
[0146] {
[0147] S1-U1:电视节目播放状态下，用户执行Ul动作的可能性增加
[0148] S1-U2:电视节目播放状态下，用户执行U2动作的可能性增加
[0149] S1-U3:电视节目播放状态下，用户执行U3动作的可能性增加
[0150] S1-U4:电视节目播放状态下，用户执行U4动作的可能性增加
[0151] S1-U5:电视节目播放状态下，用户执行U5动作的可能性增加
[0152] S1-U6:电视节目播放状态下，用户执行U6动作的可能性增加
[0153] S2-U1:手势操作功能打开状态下，用户执行Ul动作的可能性增加
[0154] S2-U2:手势操作功能打开状态下，用户执行U2动作的可能性增加
[0155] S2-U3:手势操作功能打开状态下，用户执行U3动作的可能性增加
[0156] S2-U4:手势操作功能打开状态下，用户执行U4动作的可能性增加
[0157] S2-U5:手势操作功能打开状态下，用户执行U5动作的可能性增加
[0158] S2-U6:手势操作功能打开状态下，用户执行U6动作的可能性增加
[0159] U1-E3:水平向前推手导致弹出手势交互开关交互菜单的可能性增加
[0160] U6-E3:握拳动作导致弹出手势交互开关交互菜单的可能性增加
[0161] U2-E1:向上挥手导致弹出频道菜单的可能性增加
[0162] U3-E1:向下挥手导致弹出频道菜单的可能性增加
[0163] U4-E2:向左挥手导致弹出音量菜单的可能性增加
[0164] U5-E2:向右挥手导致弹出音量菜单的可能性增加
[0165] U7-U1:用户进入手势有效操作区域后，执行Ul的可能性增加
[0166] U7-U2:用户进入手势有效操作区域后，执行U2的可能性增加
[0167] U7-U3:用户进入手势有效操作区域后，执行U3的可能性增加
[0168] U7-U4:用户进入手势有效操作区域后，执行U4的可能性增加
[0169] U7-U5:用户进入手势有效操作区域后，执行U5的可能性增加
[0170] U7-U6:用户进入手势有效操作区域后，执行U6的可能性增加
[0171] E1-A1:频道操作功能激活后，持续调节至上一个频道的可能性增加
[0172] E1-A2:频道操作功能激活后，持续调节至下一个频道的可能性增加
[0173] E2-A3:音量操作功能激活后，持续调节音量减小的可能性增加
[0174] E2-A4:音量操作功能激活后，持续调节音量增大的可能性增加
[0175] E3-A5:弹出手势操作开关菜单后，关闭手势操作功能的可能性增加
[0176] E3-A6:弹出手势操作开关菜单后，打开手势操作功能的可能性增加
[0177] A5-S2:手势动作打开导致手势操作开关状态改变
[0178] }
[0179] 根据上述分析，建立⑶L-DFCM模型，如图6所示。
[0180] 在⑶L-DFCM模型中，集合U、S是已知状态参量，E、A是未知参量。初始状态时，根据 当前时刻检测到的初始状态值决定u、s中各个节点的概念值，若检测到事件发生，则与之对 应的交互概念节点值设置为1，否则为0 ;E、A中各个概念节点值初始化为0。当CDL-DFCM收敛 到一个稳定状态时，可获得稳定状态下各交互概念节点的值。基于CDL-DFCM的上下文推理 计算过程如(5)式：
[0181] (5)
[0182](6)
[0183] 其中，4+1是交互概念Ci在t+1时刻的状态值;4是交互概念Cj在t时刻的值。通过因 果分析与专家经验分析智能电视手势交互中交互概念节点之间的关联关系，W lj是CjPCj的 权重，表示相关节点间的因果联系强度，根据交互节点之间边的权值可得到CDL-DFCM的邻 接矩阵W，W= {Wn，W12，…Wnn}，图7为根据因果分析与专家经验获得的初始邻接矩阵Winitia1。 f表示阈值函数，其作用是将交互概念的值映射到[0，1]区间。将W反复作用于该矢量，C达到 稳定的收敛状态，即4=44 G
[0184]
(7)
[0185] (7)式中，表示Wij第t+Ι次迭代的权值，λ表示学习率因子，λ = 〇·1。
[0186]
(8)
[0187] 表示交互概念节点Cx的值在第t+Ι次迭代的变化量，^表示节点Cx在第t次的 迭代值。
[0188] 交互概念集合C映射到感知空间上的交互意图集合I ,I = (I1J2^-In)13对C上任意 交互意图Ιχ，其隶属函数Px(C 1)，i = l，2, ···，!!，其中C1表示交互概念空间C中的第i个交互概 念节点。yx(Ci)在区间[0，1]中取值，y x(Ci)的值反映 Ci隶属于Ix的隶属程度，值为0表示Ci不 属于交互意图Ixc3Ix表不如下：
[0189] jc=l, 2,…，n .(9).
[0190] 在感知空间的交互意图集合I中，交互意图之间在时空上存在互斥关系，即每一时 刻只可能存在一种可能性最大的交互意图发生。根据公式(9)中各节点的隶属程度与收敛 状态下交互概念节点状态值，计算用户意图描述因子，根据公式（10)计算用户意图描述因 子 FIx:
[0191] I=It 2.,. η (1Θ)
[0192] 显隐信息融合的隐式交互行为模型：
[0193] 在交互式智能电视交互系统中，电视屏幕是用户的直接关注对象，传统的显式交 互方式中用户根据电视界面信息、状态按照既定的交互规则发出操作命令，用户操作命令 与电视操作之间存在亦步亦趋的关系，这导致用户的操作负担很重，达到理想操作效果的 平均时间较长。由于用户需要记住的操作动作较多，这也加重了用户认知负荷。本发明提出 在显式交互模式基础上融合隐式交互模式的显隐信息融合隐式交互行为模型(EI-IBM)，如 图8所示。以IHCI-smartTV原型系统构建的显隐信息融合的隐式交互行为模型中，用户与智 能电视系统是交互主体。隐式交互是一种不可见的交互，这种不可见性是交互双方的一种 间接连接关系，交互信息具有不确定性和模糊性。当用户透明地使用智能电视时，用户精力 更多集中在交互任务本身。隐式交互模式通过对多种上下文信息融合、分析，消除多种上下 文信息之间的歧义，实现对用户意图的理解，并以主动反馈方式向用户提供交互服务。
[0194] 显隐信息融合的隐式交互模型是对智能电视交互的一种模式创新，改变了以往单 纯依靠用户直接命令的显式交互模式。该模式的实现包括以下过程：
[0195] (1)基于低层上下文的感知与推理。依据T时刻用户行为上下文、智能电视状态上 下文以及二者的关联上下文，通过⑶L-DFCM模型，获得T时刻上下文的隐含交互信息。
[0196] (2)识别交互情景事件与捕捉用户意图，并将隐含交互信息可视化。首先，根据上 下文线索识别出T时刻的交互情景事件，感知用户在T时刻的交互意图；然后，智能电视以隐 式输出的方式主动提供与T时刻用户意图相关的系统交互服务。系统交互服务包括与用户 意图相关的提示信息和智能电视主动调整用户当前的功能状态，并以图形、动画、文字、颜 色等形式实现隐含信息的可视化，在此过程中无需用户的主动干预。例如："主动弹出音量 调节菜单"、"主动弹出频道调节菜单"、"节目音量以一定幅度持续增大状态"。
[0197] (3)可视化隐含信息指导下的主动显式交互输入。在可视化隐含信息的引导下，用 户根据T+1时刻的系统服务界面信息，以具有特定语义的交互动作主动向电视系统发出交 互命令。
[0198] (4)交互任务的实现。在T+1时刻，将具有特定语义的交互动作与此刻的系统界面 交互信息相结合，以显、隐信息融合的交互映射范式实现用户的特定交互任务。特定交互场 景下交互任务(task of interaction，TI)构成交互任务集合TIS，S = (TIi，Tl2,…，TIn)。将 目标交互任务用一个特征向量TI描述。
[0199] TIi=(DGDM,E,A)i = l,2,---,n (11)
[0200] (11)公式中第一个特征向量DGDM表示动态手势行为信息，第二个向量E表示通过 识别出的交互情景事件，第三个向量A表示感知到的用户操作意图。
[0201] DGDM= (ID,posture ,key) (12)
[0202] (12)式中，ID表示动态手势唯一标识，posture表示动态手势代表的语义，key代表 动态手势的识别标志。
[0203] 本发明研究中，IHCI-smartTV系统存在6种用户交互意图，使用公式(9)、（10)可计 算出在CDL-DFCM模型收敛状态下用户意图描述因子FIecmvelrgenee的值，如表2所示，CDL-DFCM 模型收敛状态下用户意图各节点状态值如表3所示。

[0208] 表3
[0209] 基于智能电视手势交互上下文的显隐信息融合隐式交互算法：
[0210]从用户自身和智能电视出发，本发明通过对交互上下文的分析，利用⑶L-DFCM模 型获得了隐含的交互线索，并且通过显隐信息融合的隐式交互行为模型实现了用户与智能 电视的智能、和谐、自然的交互。在此基础上，本发明提出了基于智能电视手势交互的动态 上下文显隐信息融合的隐式交互算法(Explicit and Implicit Interaction algorithm, EIIA)〇
[0211]算法核心思路是:首先，根据用户行为信息模型获取用户相关行为信息，根据行为 特征向量识别用户显式行为信息；同时检测智能电视功能状态，完成低层上下文信息的提 取。然后，根据CDL-DFCM模型处理低层动态上下文，获取高层隐含交互信息实现交互情景事 件的识别与感知用户操作意图，并将隐含交互信息可视化。最后，用户根据可视化隐含信息 的引导做出合理的显式交互动作，完成具体交互任务。显隐信息融合的隐式交互算法描述 如下：
[0212] Stepl.实时检测智能电视功能状态上下文、用户显式行为信息。
[0213] Step2.获得动态上下文数据，根据多层次动态上下文模型，进行数据融合与特征 提取，并检测低层上下文事件的状态。
[0214] Step3.检测与识别T时刻动态手势的类型，根据动态手势类型识别(DGRA)算法，获 得T时刻用户的动态手势类型ID和key值。
[0215] Step4.初始化交互概念集合C。根据低层上下文事件的状态，设置交互概念集合C 中U、S中各交互概念节点的初始值，检测到的状态事件对应的交互概念节点值置为1，否则 为0;集合E，A中各交互概念节点初始值设置为0。
[0216] St ep5 ·根据邻接矩阵W和公式(5)获得交互概念集合C在收敛状态（即4 )下的 交互概念节点值。
[0217] Step6.根据公式(9)与（10)计算交互意图集合中交互意图Ix(x=l，2，···，n)的交 互意图描述因子FIx的状态值;与意图描述因子集合FI中对应交互意图的交互因子比较，若 FIx = FI_胃(如表2)则激活交互意图^对应的交互情景事件和交互操作，否则返回 Stepl0
[0218] Step7.隐含信息的可视化。将T时刻激活的交互情景事件对应的功能菜单显式在 智能电视界面最顶层，且计算机执行用户交互意图对应的交互操作。
[0219] Step8.检测T+1时刻用户行为，若检测到用户手势动作，根据DGRA算法获得T+1时 刻的用户动态手势类型ID和key值，执行step9;否则，智能电视保持当前的功能状态，并循 环执行step8。
[0220] Step9.根据公式（12)计算T+1时刻向量DGDM，结合公式（11)计算交互任务特征向 量TI，若TI = TIxU= 1，2，…，6)(如表2)，则计算机根据交互任务TIx完成对应的功能操作。
[0221]实验结果与分析：
[0222]本发明以ICHI-smartTV为实验平台，设计了新的智能电视交互模式。本发明选择 智能电视人机交互中的频道、音量、手势操作开关三类功能进行实验，具体操作包括:频道 上一个、频道下一个、音量增大、音量减小、手势操作打开、手势操作关闭。本发明将未考虑 上下文的动态手势识别方法(HCDF-H应用在ICHI-smartTV原型系统中作为对比实验。
[0223]实验结果如下：
[0224] 本发明选择10位实验人员，每位实验人员根据表1的手势-任务映射模型完成频 道、音量、手势操作开关三类功能。实验要求实验人员站立并位于智能电视前2.5米处以单 手完成手势动作。操作过程以音量调节为例，当用户想要增大音量，发出音量增大的相关手 势动作，智能电视感知用户意图后弹出音量菜单，接着便以一定的幅度持续增大音量，当用 户对当前的音量感到满意时，发出停止音量命令，此时音量增大任务结束。在每次实验中每 位实验人员完成：（1)频道1到10的遍历增大调节，再完成从频道10到1的减小调节；（2)从音 量30到60的遍历增大、减小调节；（3)-次手势操作打开和关闭功能。上一个频道是指频道 从1调至频道10。每位实验人员各做5次实验。功能操作的平均准确率如图9所示。根据实验 人员手势轨迹的图像帧数的平均值来度量交互过程中完成每项操作手势的平均移动距离， 每种电视功能操作的手势移动距离如图8所示。图9为DGRA算法的动态手势平均识别率。在 智能电视响应时间一致的情况下，统计两种算法实现相同功能操作所需要的平均时间，其 中系统响应时间为2.38s，如图10所示。
[0225] 实验分析如下：
[0226] 实验环境：一台PC机，Intel (R)Xeon(R)CPU，2 · 67GHz，8G内存；视觉输入设备为： Kinect传感器。
[0227] 实验结果分析：
[0228] 由图9可知，与HCDF-H算法相比，本发明算法EIIA有更高的操作准确率。由图10可 以看出，基于EIIA算法的智能电视手势交互中用户以更小的手势移动距离就可以完成操作 任务，与HCDF-H算法相比完成相同的交互任务用户手势移动的距离减少约60%。本发明实 验中，基于EIIA算法的频道增大或减小操作中，用户只需一个开始频道调节命令和结束频 道调节命令两个手势动作就可以完成试验中9个频道的遍历调节。而基于HCDF-H算法则需 要9次手势动作才能完成相同的频道操作。同理，音量调节也是如此。由图12可知，基于EIIA 算法的智能电视手势交互在频道操作、音量操作这种经常性操作的功能大大减少了用户的 操作时间，而对于手势动作打开、关闭这些不频繁使用的功能则并没有时间上的优势。图11 是从认知心理学角度，根据智能电视交互场景建立的用户手势操作的识别率，识别率均超 过91%，同时这些手势动作是用户习惯性的手势动作，具有较低的认知负荷和操作负荷，满 足了智能电视的交互需求。
[0229] 实验算法分析：
[0230] EIIA算法在动态手势识别算法DGRA算法基础上结合智能电视交互上下文提出了 新的交互模式。首先，根据认知心理学建立智能电视交互用户习惯性手势动作行为模型;其 次，分析交互中用户的行为信息和智能电视状态信息上下文，利用CDL-DFCM模型感知用户 的操作意图；最后，通过显隐信息融合的隐式交互模式完成交互任务。EIIA算法大大缩短了 用户的操作时间和手势移动距离，从而降低了用户的操作负荷。而习惯性的手势动作也帮 助用户降低了智能电视手势交互中的认知负荷，从而提高了用户体验。
[0231]上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本 发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本 发明上述【具体实施方式】所描述的方法，因此前面描述的方式只是优选的，而并不具有限制 性的意义。
【主权项】
1. 一种面向智能电视的隐式交互方法，其特征在于:所述方法包括:实时获取用户体态 行为信息，检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信 息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状 态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高 层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的 手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。2. 根据权利要求1所述的面向智能电视的隐式交互方法，其特征在于:所述用户位置是 指用户相对智能电视上摄像头的水平距离、角度，检测用户位置具体如下： 通过Kinect获取人体主要关节点的=维坐标数据，根据人体头部节点和人体重屯、坐标 信息，确定人体相对智能电视的位置。3. 根据权利要求2所述的面向智能电视的隐式交互方法，其特征在于:所述检测与识别 用户手势动作包括用户手部静态行为的识别和用户手部动态行为的识别，具体如下： 基于Kinect实现手势部位的检测与分割，通过化enNI SDK获取人手质屯、坐标，在人手 坐标领域内的=维空间提取出手的部位，再使用肤色模型分割方法对获取的人手部位进行 处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，得到最终的人手 图像； 采用HCDF-H算法进行用户手部静态行为的识别； 用户手部动态行为的识别。4. 根据权利要求3所述的面向智能电视的隐式交互方法，其特征在于:所述采用HCDF-H 算法进行用户手部静态行为的识别具体如下:首先标准化手势图像为32*32尺寸，并计算手 势重屯、点到手势最远点作为主方向向量，沿主方向将手势图像分为8个子区域，求出子区域 像素点数量，生成手势坐标点分布特征向量，再使用类-化USdod^g离与手势模板库中每 种手势的对比，得出最终识别结果。5. 根据权利要求4所述的面向智能电视的隐式交互方法，其特征在于:所述用户手部动 态行为的识别包括： Stepl.输入手势图像帖，空间人手S维质屯、坐标，初始化动态手势类型特征向量DGT; Step2.根据手势质屯、坐标，W每连续T帖图像计算一次连续T帖图像的静态手势运动距 离d，并W连续T帖图像更新一次d; Step3.若d<D，开始识别触发动态手势的静态手势Gesture_start，D为阔值； Step4 .若Gesture_sta;rt识别成功，获取此时的静态手势质屯、点坐标S手势并转入 StepS； steps.进行动态手势质屯、轨迹提取，并将轨迹质屯、点S维坐标存储在data数组中； Step6.再次判断连续T帖手势运动距离d，若d<D则识别结束静态手势Gesture_end;计 算da1:a数组长度1 ength; Step7.若Gesture_end识别成功，获取此时的静态手势质屯、坐标E; steps.若1日11旨*11〉20，根据触发动态手势的静态手势质屯、点5、结束动态手势的静态手 势质屯、点E的坐标值，判断动态手势运动方向，否则，再次判断d，若d〉D执行step9,否则返回 step8； Step9.判断动态手势类型，求出对应手势ID,并修改对应动态手势ID的k巧值为1，表示 动态手势ID识别成功，输出动态手势类别ID和与ID对应的key值； SteplO. DGT恢复初始化。6.根据权利要求5所述的面向智能电视的隐式交互方法，其特征在于:所述建立基于用 户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息是运样 实现的： 将交互概念节点分为四类：用户行为交互概念节点、设备环境上下文状态信息交互概 念节点、交互情景事件节点、激发操作语义的交互概念节点集合； 交互概念节点集合C表示多层次动态上下文推理模型的节点集合，C=化，S，E，A)，其中 U为用户行为交互概念节点集合，S为设备环境上下文状态信息交互概念节点集合，E为交互 情景事件节点集合，A为激发操作语义的交互概念节点集合； 集合U、S是已知状态参量，E、A是未知参量;初始状态时，根据当前时刻检测到的初始状 态值决定U、S中各个节点的概念值，若检测到事件发生，则与之对应的交互概念节点值设置 为1，否则为〇;E、A中各个概念节点值初始化为0;当多层次动态上下文推理模型收敛到一个 稳定状态时，获得稳定状态下各交互概念节点的值，基于多层次动态上下文推理模型的上 下文推理计算过程如下式：(5) (技) 其中，聲"是父互町刻的;IX忿但；寺是交互概念Cj在t时刻的值，Wij是Ci和Cj 的权重，表示相关节点间的因果联系强度，根据交互节点之间边的权值得到CDkDFCM的邻 接矩阵W，W= {Wll，Wl2，…Wnn}，f表示阔值函数，其作用是将交互概念的值映射到[0，1 ]区间， 将W反复作用于该矢量，C达到稳定的收敛状态，即冷=-单1，(7) 均权值，入表示学习率因子，入=0.1， (8) Agri表示交互概念节点Cx的值在第t+1次迭代的变化量，4表示节点Cx在第t次的迭代 值； 交互概念集合別央射到感知空间上的交互意图集合I，I = (Ii，12，…山。对C上任意交互 意图Ix,其隶属函数fc(Ci)，i = l，2,…，n，其中Cl表示交互概念空间C中的第i个交互概念节 点，山(Cl)在区间[0，1]中取值，iix(Ci)的值反映Cl隶属于Ix的隶属程度，值为0表示Cl不属于 交互意图Ix, Ix表示如下：饼 (10)。 在感知空间的交互意图集合I中，交互意图之间在时空上存在互斥关系;根据公式（10) 计算用户育図巧巧革FT-.7. 根据权利要求6所述的面向智能电视的隐式交互方法，其特征在于:所述建立显隐信 息融合的隐式交互行为模型，完成交互任务包括：51. 实时检测智能电视功能状态上下文、用户显式行为信息；52. 获得动态上下文数据，根据多层次动态上下文模型，进行数据融合与特征提取，并 检测低层上下文事件的状态；53. 检测与识别T时刻动态手势的类型，根据动态手势类型识别算法，获得T时刻用户的 动态手势类型ID和k巧值；54. 初始化交互概念集合C。，根据低层上下文事件的状态，设置交互概念集合C中U、S中 各交互概念节点的初始值，检测到的状态事件对应的交互概念节点值置为1，否则为0;集合 E，A中各交互概念节点初始值设置为0;55. 根据邻接矩阵W和公式巧)获得交互概念集合C在收敛状态下的交互概念节点值；56. 根据公式(9)与（10)计算交互意图集合中交互意图IxU = I，2,…，n)的交互意图描 述因子FIx的状态值；与意图描述因子集合FI中对应交互意图的交互因子比较，若FIx = Fr°nvetgenee，则激活交互意图Ix对应的交互情景事件和交互操作，否则返回SI;57. 将T时刻激活的交互情景事件对应的功能菜单显示在智能电视界面最顶层，且计算 机执行用户交互意图对应的交互操作；58. 检测T+1时刻用户行为，若检测到用户手势动作，根据DGRA算法获得T+1时刻的用户 动态手势类型ID和key值，然后执行S9;否则，智能电视保持当前的功能状态，并循环执行 S8；59. 计算T+1时刻向量DGDM，计算交互任务特征向量TI，若TI = TIx，X = 1，2，…，6，则计算 机根据交互任务TIx完成对应的功能操作。8. 根据权利要求7所述的面向智能电视的隐式交互方法，其特征在于:所述S9中的计算 T+1时刻向量DGDM是利用公式(12)计算得到的： DGDM= (ID,posture ,key) (12) 公式（12)中，ID表示动态手势唯一标识，pos化re表示动态手势代表的语义，key代表动 态手势的识别标志。9. 根据权利要求8所述的面向智能电视的隐式交互方法，其特征在于:所述S9中的计算 交互任务特征向量TI是运样实现的： 在T+1时刻，将具有特定语义的交互动作与此刻的系统界面交互信息相结合，W显、隐 信息融合的交互映射范式实现用户的特定交互任务，特定交互场景下交互任务TI构成交互 任务集合1'15,8=(1'11，1'12，-，，1'1。），用公式(11)交互任务特征向量1'1 TIi=化 GDM，E，A)i = l，2，...，n (11) 公式（11)中第一个特征向量DGDM表示动态手势行为信息，第二个向量E表示通过识别 出的交互情景事件，第=个向量A表示感知到的用户操作意图。
【文档编号】H04N21/422GK105915987SQ201610237422
【公开日】2016年8月31日
【申请日】2016年4月15日
【发明人】冯志全, 徐治鹏
【申请人】济南大学