一种基于智能电视平台的手势识别交互系统及交互方法
【专利摘要】本发明提供了一种基于智能电视平台的手势识别交互系统及交互方法，包括投影仪、背投幕板和2D摄像头，投影仪接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
【专利说明】—种基于智能电视平台的手势识别交互系统及交互方法【技术领域】
[0001]本发明涉及一种基于智能电视平台的手势识别交互系统及交互方法，特别是涉及在智能电视与智能投影仪、智能机顶盒与智能投影仪之间，实现交互的系统及方法。
【背景技术】
[0002]随着电视终端智能化、网络化的发展，智能电视可获取的内容得到了极大的丰富:网页浏览、收发邮件、游戏娱乐、远程医疗、信息咨询等，功能非常的多元化，这些新功能要求用户与智能设备的交互越来越多，智能设备的操控随之变得更加频繁和复杂。为改善用户的交互体验，发展出了许多新型的交互方式:如语音交互、手势识别、动作识别以及智能外设(多屏互动)等，另外PC上的交互设备一鼠标也成为一种常见的解决办法。
[0003]基于摄像头的手势识别与动作识别交互技术，主要3D摄像头，以人体或手掌作为识别对象，进行动作行为捕捉，精度普遍不高，同时用户都是隔空比划，与显示设备相隔较远，降低了用户的沉浸感。
【发明内容】
[0004]本发明要解决的技术问题是提供一种识别精度更高、能提升用户沉浸感的基于智能电视平台的手势识别交互系统及交互方法。
[0005]本发明采用的技术方案如下:一种基于智能电视平台的手势识别交互系统，其特征在于:包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图 像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
[0006]作为对其进一步的改进，所述背投幕板为硬质背投幕板。
[0007]作为对其进一步的改进，所述投影仪为LED投影仪。
[0008]作为对其进一步的改进，所述2D摄像头为RGB摄像头。
[0009]作为对其进一步的改进，所述2D摄像头与投影仪为一体的。
[0010]基于上述系统的交互方法，具体方法为:智能投影仪接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到硬质背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
[0011]作为对其进一步的改进，智能投影仪实现手势操控识别的方法为:投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
[0012]作为对其进一步的改进，所述投影仪与主显示设备之间通过无线直连的方式进行信息交互。
[0013]作为对其进一步的改进，以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
[0014]作为对其进一步的改进，所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景。
[0015]与现有技术相比，本发明的有益效果是:能让用户直观自然的与智能设备实现沉浸式交互，基于与智能电视平台间设备的互联互通，有效提高交互效率，提高用户与智能设备交互的沉浸感，提升识别精度，提升用户体验。
【专利附图】
【附图说明】
[0016]图1为本发明方案中实施操控识别的示意图。
[0017]图2为本发明方案中深度识别的示意图。
[0018]图3为本发明方案中智能投影仪与主显示设备的交互示意图。
【具体实施方式】
[0019]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0020]本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0021]如图1所示，一种基于智能电视平台的手势识别交互系统，包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
[0022]所述背投幕板为硬质背投幕板。硬质背投幕板成本低廉，无需电源，可随意触摸拍打，亦可随意放置，与投影能方便的组合成触控系统，实现沉浸式交互。
[0023]所述投影仪为LED投影仪。LED投影具备体积小巧，功耗低，寿命长的特点，可以根据用户喜好随意放置，同时，投影图像大小与投影距离是成固定比例的，通过比较摄像头不同时间点采集到的图像中手的大小即可获得深度信息，提升识别精度。
[0024]所述2D摄像头为普通的RGB摄像头，米用对焦徂围控制的镜头。RGB摄像头价格便宜有利于大规模应用。
[0025]所述2D摄像头与投影仪为一体的。
[0026]基于上述系统的交互方法，具体方法为:智能投影仪接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到硬质背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
[0027]智能投影仪实现手势操控识别的方法为:投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，从幕板的B面到A面是可透光的，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
[0028]如图3所示，所述投影仪与主显示设备(智能电视、智能机顶盒等)之间通过无线直连的方式(W1-Fi Direct)进行信息交互。鉴于此交互方式，用户可以根据喜好随意摆放，自由的选择触控系统的摆放位置，提高用户体验，如摆放于厨房收看主显示器的厨房类节目。
[0029]以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
[0030]如图2所示，由于摄像头是普通的2D摄像头，正常采集仅能捕捉到用户在平面方向的手势动作，即水平(X)和垂直(Y)方向；投影仪所投射的画面大小和投影距离是成正比的，即:投射比例=投影距离d/画面宽度W，当投影距离d确定时，投影画面的大小也就确定了 ；以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化，即可获得深度信息(Z)。
[0031]所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景，减小手势识别后端图像处理的运算量，同时提高识别精度，可以做到手指动作识别。
【权利要求】
1.一种基于智能电视平台的手势识别交互系统，其特征在于:包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
2.根据权利要求1所述的交互系统，其特征在于:所述背投幕板为硬质背投幕板。
3.根据权利要求1所述的交互系统，其特征在于:所述投影仪为LED投影仪。
4.根据权利要求1所述的交互系统，其特征在于:所述2D摄像头为RGB摄像头。
5.根据权利要求1所述的交互系统，其特征在于:所述2D摄像头与投影仪为一体的。
6.基于权I所述交互系统的交互方法，具体方法为:智能投影仪接收来自主显示设备的操作U1、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
7.根据权利要求6所述的交互方法，智能投影仪实现手势操控识别的方法为:投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
8.根据权利要求7所述的交互方法，所述投影仪与主显示设备之间通过无线直连的方式进行信息交互。
9.根据权利要求7所述的交互方法，以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
10.根据权利要求7所述的交互方法，所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景。
【文档编号】G06F3/0487GK103581727SQ201310486326
【公开日】2014年2月12日 申请日期:2013年10月17日 优先权日:2013年10月17日
【发明者】陈冠霖, 曹俭, 潘贡, 刘贤洪 申请人:四川长虹电器股份有限公司