显示设备及显示设备的控制方法与流程

文档序号:28422571发布日期:2022-01-11 22:58阅读:62来源:国知局
1.本技术涉及显示
技术领域
:,尤其涉及一种显示设备及显示设备的控制方法。
背景技术
::2.随着人工智能的发展,用户与电视等显示设备之间的交互方式也逐渐多样化,除了传统的遥控器交互和语音交互,部分电视等显示设备也开始支持手势交互。3.显示设备通过配置摄像头,通过摄像头拍摄图像以及进行手势识别,并基于识别结果进行响应。然而,相关技术中,显示设备的手势识别准确率不高,经常出现手势误识别而做出错误响应的情况,用户体验不佳。技术实现要素:4.本技术提供了一种显示设备及显示设备的控制方法,可以改善或者至少部分改善相关技术中存在的显示设备手势识别准确率不高,因手势误识别而做出错误响应,影响用户体验的问题。5.第一方面,本技术实施例提供了一种显示设备,包括:6.显示器;7.摄像头;8.以及控制器,被配置为:9.获取所述摄像头采集的目标图像;10.响应于检测到所述目标图像中的手势信息和肢体信息,根据所述手势信息进行手势识别,并根据所述肢体信息判别手势识别结果是否包含预设的控制手势;11.响应于所述手势识别结果包含所述控制手势,执行与所述手势识别结果对应的控制操作。12.第二方面,本技术实施例提供了一种显示设备的控制方法,包括:13.获取摄像头采集的目标图像;14.响应于检测到所述目标图像中的手势信息和肢体信息,根据所述手势信息进行手势识别,并根据所述肢体信息判别手势识别结果是否包含预设的控制手势;15.响应于所述手势识别结果包含所述控制手势,执行与所述手势识别结果对应的控制操作。16.第三方面,本技术实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本技术实施例提供的显示设备的控制方法。17.由以上技术方案可知,本技术实施例提供的显示设备及显示设备的控制方法,能够获取摄像头采集的目标图像,并响应于检测到目标图像中的手势信息和肢体信息,根据手势信息进行手势识别,并根据肢体信息判别手势识别结果是否包含预设的控制手势;此外,响应于手势识别结果包含控制手势,执行与手势识别结果对应的控制操作。本技术实施例提供的上述方式,通过结合手势信息和肢体信息共同判别手势识别结果是否包含控制手势,能够降低相关技术中仅对手势识别所产生的误识别概率,可有效提升显示设备的手势识别准确率,改善相关技术中显示设备因手势误识别而做出错误响应,影响用户体验的问题。18.应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。附图说明19.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。20.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。21.图1为本技术根据一些示例性实施例示出的显示设备与控制装置之间操作场景的示意图;22.图2为本技术根据一些示例性实施例示出的控制装置100的硬件配置框图;23.图3为本技术根据一些示例性实施例示出的显示设备200的硬件配置框图;24.图4为本技术根据一些示例性实施例示出的显示设备200中软件配置图;25.图5为本技术根据一些示例性实施例示出的显示设备200中应用程序的图标控件界面显示图;26.图6为本技术根据一些示例性实施例示出的一种显示设备的控制方法的流程图;27.图7为本技术根据示例性实施例示出的控制手势的示意图;28.图8为本技术根据示例性实施例示出的一种人体关键点的标识示意图;29.图9为本技术根据示例性实施例示出的一种坐标系示意图;30.图10为本技术根据示例性实施例示出的一种显示设备的控制方法的流程图;31.图11为本技术根据示例性实施例示出的一种手势识别提示的界面示意图;32.图12为本技术根据示例性实施例示出的一种手势识别完成的界面示意图;33.图13为本技术根据示例性实施例示出的一种手势识别提示的界面示意图;34.图14为本技术根据示例性实施例示出的一种手势识别完成的界面示意图;35.图15为本技术根据示例性实施例示出的一种显示设备的控制方法的流程图;36.图16为本技术根据示例性实施例示出的一种显示设备的控制方法的流程图。具体实施方式37.为使本技术的目的和实施方式更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。38.需要说明的是,本技术中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本技术的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。39.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。40.术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。41.本技术实施方式提供的显示设备可以具有多种实施形式,例如,可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronicbulletinboard)、电子桌面(electronictable)等。图1和图2为本技术的显示设备的一种具体实施方式。42.图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过智能设备300或控制装置100操作显示设备200。43.在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。44.在一些实施例中,也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。45.在一些实施例中,显示设备可以不使用上述的智能设备或控制设备接收指令,而是通过触摸或者手势等接收用户的控制。46.在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。47.在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。48.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。49.如图3,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。50.在一些实施例中控制器包括处理器,视频处理器,音频处理器,图形处理器,ram,rom,用于输入/输出的第一接口至第n接口。51.显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面。52.显示器260可为液晶显示器、oled显示器、以及投影显示器,还可以为一种投影装置和投影屏幕。53.通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。54.用户接口,可用于接收控制装置100(如:红外遥控器等)的控制信号。55.检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。56.外部装置接口240可以包括但不限于如下:高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。57.调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及epg数据信号。58.在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。59.控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示ui对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。60.在一些实施例中控制器包括中央处理器(centralprocessingunit,cpu),视频处理器,音频处理器,图形处理器(graphicsprocessingunit,gpu),ramrandomaccessmemory,ram),rom(read-onlymemory,rom),用于输入/输出的第一接口至第n接口,通信总线(bus)等中的至少一种。61.用户可在显示器260上显示的图形用户界面(gui)输入用户命令,则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。[0062]“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface,gui),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。[0063]参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(applications)层(简称“应用层”),应用程序框架(applicationframework)层(简称“框架层”),安卓运行时(androidruntime)和系统库层(简称“系统运行库层”),以及内核层。[0064]在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。[0065]在一些实施例中,框架层为应用程序提供应用编程接口(applicationprogramminginterface,api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口,可在执行中访问系统中的资源和取得系统的服务。[0066]如图4所示,本技术实施例中应用程序框架层包括管理器(managers),内容提供者(contentprovider)等,其中管理器包括以下模块中的至少一个:活动管理器(activitymanager)用与和系统中正在运行的所有活动进行交互;位置管理器(locationmanager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(packagemanager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(notificationmanager)用于控制通知消息的显示和清除;窗口管理器(windowmanager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。[0067]在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。[0068]在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。[0069]在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。[0070]在一些实施例中,显示设备启动后可以直接进入预置的视频点播程序的界面,视频点播程序的界面可以如图5中所示,至少包括导航栏510和位于导航栏510下方的内容显示区,内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示,也可以在导航栏中的应用控件被选中后进行进一步显示。[0071]在一些实施例中,显示设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是hdmi接口,直播电视接口等中的至少一种,用户选择不同的信号源后,显示器可以显示从不同信号源获得的内容。[0072]在一些实施例中,在利用显示设备实现智能电视功能或视频播放功能时,显示设备中可播放不同的电视节目或不同的视频文件、音频文件等。在使用显示设备的过程中,用户可对显示设备进行控制,例如,播放视频、暂停视频、静音、更换显示内容等。[0073]目前用户对显示设备进行控制的主流方式为遥控器控制,随着人工智能的发展,部分显示设备开始支持用户采用手势进行控制,此类显示设备可以外置摄像头或者内置自带摄像头,通过摄像头拍摄图像以及进行手势识别,并基于识别结果进行响应。相关技术中的显示设备主要采用手势识别技术对拍摄到的图像进行手势识别,然而非常容易出现误识别的情况,诸如,预设某控制指令(以暂停播放指令进行示例性说明)对应的手势为“五指并拢”,具体而言,期望用户举起五指并拢的单手,即确认用户发出暂停播放指令,此时暂停播放节目。然而,现有的显示设备仅是通过手势识别技术检测到图像中包含有五指并拢的手势,即认为用户发起了暂停播放指令,从而直接将当前节目暂停播放。但实际上,用户可能仅是不经意做出了五指并拢的动作,诸如,用户当时仅是用五指并拢的单手捂胸口,或者用户的手只是五指并拢自然下垂,并非旨在暂停显示设备播放的节目,但由于显示设备误识别手势而错误响应,给用户带来不良感受。应当理解的是,以上仅为便于理解的示例性说明,不应当被视为限制。[0074]为改善以上问题,本技术实施例提供了显示设备及显示设备的控制方法,可以有效提升显示设备的手势识别准确率,降低误识别概率,能够有效缓解因手势误识别而做出错误响应,影响用户体验的问题。[0075]另外,本技术实施例中使用的术语“手势”,是指用户通过一种手型的变化或者手部运动等动作,用于表达预期想法、动作、目的和/或结果的用户行为。[0076]图6示出了根据一些实施例的显示设备的控制方法的流程图,该方法可由显示设备的控制器执行,显示设备包括显示器、摄像头(内置或外置均可)以及控制器,控制器被配置为主要执行如下步骤s602~步骤s608:[0077]步骤s602,获取摄像头采集的目标图像。[0078]在一些实施例中,在手势控制功能开启后,以第一指定频率从摄像头采集的视频帧中获取目标图像。诸如,设定第一指定频率为每n帧/次。n值可以根据需求而灵活设置,示例性n=10,也即为摄像头每采集10帧便从中获取一帧图像作为目标图像。[0079]步骤s604,响应于检测到目标图像中的手势信息和肢体信息,根据手势信息进行手势识别,并根据肢体信息判别手势识别结果是否包含预设的控制手势。[0080]在一些实施例中,可以采用手势检测算法检测目标图像中的手势信息,以及采用肢体检测算法检测目标图像中的肢体信息。在一些具体的实施示例中,手势信息包括多个手势关键点的位置信息,肢体信息包括多个肢体关键点的位置信息。[0081]在一些实施例中,在检测到目标图像中包含有手势信息和肢体信息之后,可以采用手势识别算法根据手势信息进行手势识别,得到手势识别结果,示例性地,该手势识别结果包括识别出的具体手势类型(或者手势类型对应的标识),并结合肢体信息可进一步判别识别出的手势类型是否为控制手势。[0082]步骤s606,响应于手势识别结果包含控制手势,执行与手势识别结果对应的控制操作。[0083]在一些实施例中,可以预先设置控制手势,该控制手势可由显示设备的厂家设置,也可以由用户自定义设置。为便于理解,可参见图7所示的控制手势的示意图,简单示意出了若干种预设的控制手势类型,以上仅为示例性说明,不应当被视为限制。在实际应用中,可以灵活设置各种控制手势,以及设置控制手势与控制操作的对应关系,诸如,可以预先建立手势索引,该手势索引中包含控制手势与控制操作,该控制操作即可视为与手势识别结果对应的控制操作,也可理解为针对控制手势的响应方式,诸如包括但不限于静音控制、切换节目控制、拍照控制等,在此不进行限制。[0084]本技术实施例提供的上述方式,通过结合手势信息和肢体信息共同判别手势识别结果是否包含控制手势,能够降低相关技术中仅对手势识别所产生的误识别概率,可有效提升显示设备的手势识别准确率,改善相关技术中显示设备因手势误识别而做出错误响应,影响用户体验的问题。[0085]本技术实施例还提供了手势识别结果不包含控制手势的应对方式,如图6所示,控制器被进一步配置为执行如下步骤s608:响应于手势识别结果不包含控制手势,执行以下操作中的一种或多种:保持当前运行状态、发起手势识别失败的提示信息或者获取摄像头采集的新的目标图像。[0086]在一些实施方式中,用户仅是预先设置通过部分(或者全部)手势取代部分(或者全部)遥控器功能,诸如设置通过“ok”手势取代遥控器的确认按键,通过设置“摆手”手势取代遥控器的节目切换按键等,用户设置显示设备一直保持手势识别功能,在识别到控制手势时直接执行响应操作,未识别到控制手势时则继续运行,保持运行参数不变。此时如果手势识别结果不包含控制手势,说明手势识别结果中的手势为用户不经意做出的其它手势,用户当前并非旨在通过手势控制显示设备,因此显示设备此时无需进行响应,可以继续保持当前运行状态(诸如继续播放当前节目),而不变更当前的任何运行参数。[0087]在一些实施方式中,用户调用了手势控制应用,该手势控制应用诸如是拍照应用等需要手势才可执行后续操作的应用,如果手势识别结果不包含控制手势,说明此时用户可能做出了不规范的手势,显示设备未正确识别出用户所做出的控制手势,因此可以专门发起手势识别失败的提示信息。在发起提示信息的基础上,还可以继续保持当前运行状态,诸如,继续播放当前的节目。[0088]在一些实施方式中,在当前的目标图像中不包含控制手势时,控制器则再次获取新的目标图像(也即返回至上述步骤s602,并针对新的目标图像继续执行上述步骤s604~步骤s608。[0089]在一些实施例中,在根据肢体信息判别手势识别结果是否包含预设的控制手势的步骤中,控制器被进一步配置为执行如下步骤a和步骤b:[0090]步骤a,响应于手势识别结果包含指定手势,基于肢体信息获取指定手势对应的手臂方向。[0091]指定手势可由显示设备的厂家设置,也可以由用户自定义设置。具体实施示例中,指定手势包含控制手势,控制手势的要求限制比指定手势的要求限制更为严格,诸如,以指定手势包含“五指并拢”手势类型为例,在指定手势中不限定手势朝向,也即,只要识别出目标图像中包含有五指并拢的手势,无论五指是何种朝向,都认为该目标图像的手势识别结果包含指定手势;然而,控制手势不仅限制了手势类型,还限制了手势方向,只有在五指朝上的“五指并拢”手势,才认为其属于控制手势。发明人在研究中发现,在相关技术中,只要检测到包含指定手势,立即执行相应的控制操作,而忽略了手势方向或肢体方向,因此误识别概率较高,将用户不经意的手势动作误认为是用户通过手势发起的控制指令而错误响应。相比之下,本技术实施例首先检测指定手势,然后在此基础上进一步获取指定手势对应的手臂方向,结合手臂方向可有效辨别该指定手势是否为控制手势,从而有效降低误识别概率。[0092]在一些具体的实施示例中,肢体信息包含多个手臂关键点的位置信息;手势信息包含多个手部关键点的位置信息。为便于理解,可简要参见图8所示的一种人体关键点的标识示意图,应当注意的是,图8中只是示例性标注了人体的部分关键点,并未完全标注所有关键点,且由于手部较小,为了避免标注杂乱而不便于理解,图8中也未标注手部关键点。[0093]基于此,步骤a可参照如下步骤a1~步骤a3实现:[0094]步骤a1,从手势信息中提取指定手势相应的指定手部关键点的位置信息。指定手部关键点是手势信息中所包含的多个手部关键点中的一个或多个。示例性地,指定手部关键点可以为图8中的4点和7点,或者是与4点/7点相近的点。[0095]步骤a2,根据指定手部关键点的位置信息,从肢体信息中提取与指定手部关键点对应的手臂关键点的位置信息。[0096]可以理解的是,目标图像中可能会检测到不止一个手部或者肢体,因此在本技术实施例中,主要是获取目标图像中的指定手势对应的肢体,诸如,指定手势为左手,其对应的肢体则为左臂。通过提取指定手势相应的指定手部关键点的位置信息,基于此可进一步提取与其相对应的手臂关键点的位置信息。[0097]在一种具体的实施示例中,可以将与指定手部关键点相距预设距离范围内的手臂关键点作为与指定手部关键点对应的手臂关键点。示例性地,假设指定手部关键点为手型的最左侧的关键点以及最右侧的关键点,假设最左侧的关键点的横坐标为handinfo.left,最右侧的关键点的横坐标为handinfo.right,而手臂关键点选用最靠近手部的关键点,诸如图8中的4点,4点的横坐标为skelenton4_x。示例性地,如果:[0098]skelenton4_x》=(handinfo.left–offset),并且,[0099]skelenton4_x<=(handinfo.right+offset),其中,offset为设置的容错值。[0100]倘若满足上述关系式,则4点所在的手臂即为与指定手势相应的手臂,在肢体信息中记录的该手臂上的关键点的位置信息即为与指定手部关键点对应的手臂关键点的位置信息。[0101]步骤a3,基于提取出的手臂关键点的位置信息,确定指定手势对应的手臂方向。[0102]与指定手部关键点对应的手臂关键点通常为多个,诸如,图8中的右臂关键点2点-3点-4点,或者,左臂关键点5点-6点-7点。位置信息可基于预先建立的坐标系,采用坐标系坐标的方式实现。示例性的,参见图9所示的一种坐标系示意图,左上角的原点坐标为(0,0),x轴朝右,y轴朝下;可以基于该坐标系确定各个关键点的坐标,从而确定手部及肢体的位置,诸如,手腕点4的坐标为(100,100),则表示手腕的坐标位置为(100,100),手肘点3坐标为(120,150),则表示手肘的坐标位置为(120,150),当然,如果检测得到的关键点的值为(-1,-1)或者未正常检测到关键点的坐标值,则表示未检测到关键点。当然,以上仅为示例,在实际应用中可以根据需求而灵活设置坐标系,诸如设置坐标系的y轴朝上。[0103]在提取出手臂关键点的位置坐标后,即可基于位置坐标确定指定手势对应的手臂方向,示例性地,根据手臂上多个关键点之间的相对位置关系确定手臂方向,诸如图8中的右臂关键点3位于右臂关键点4的上方,则表示右臂下垂,而如果右臂关键点3位于右臂关键点4的下方,则表示右臂上举。具体实现时,需要基于坐标系对应的关键点坐标进行比对,比对方式与坐标系设置方向有关。以图9的坐标系为例,记录右臂关键点3的坐标为(skelenton3_x,skelenton3_y),右臂关键点4的坐标为(skelenton4_x,skelenton4_y),左臂关键点6的坐标为(skelenton6_x,skelenton6_y),左臂关键点7的坐标为(skelenton7_x,skelenton7_y),如果skelenton3_y》skelenton4_y,则表示左臂向上抬起,如果skelenton6_y》skelenton7_y,则表示右臂向上抬起。以上仅为基于图9坐标系形式做出的示例,实际应用中,可以根据建立的坐标系方向来确定相应的比对方式,诸如,坐标系y轴朝上时,如果skelenton3_y》skelenton4_y,则表示左臂向下垂。[0104]进一步,还可以根据手臂关键点的具体位置坐标来判别手臂的具体倾斜角度,在此不再赘述。[0105]步骤b,响应于手臂方向与指定手势属于预设组合,确定手势识别结果包含预设的控制手势。也可理解为,确定指定手势即为预先设置的控制手势。[0106]在实际应用中,可以预先设置手臂方向与指定手势的组合形式,诸如,设置每个指定手势对应的手臂方向,只有在检测到的手臂方向与预先设置的该指定手势对应的手臂方向一致时,才确认从目标图像中检测到的手势为控制手势。[0107]在一些实施例中,可预先设置多个控制手势,并设置每个控制手势对应的控制操作,以及对应的手臂方向。控制手势和与其对应的手臂方向形成前述预设组合,如果通过检测确认目标图像中包含的指定手势与相应的手臂方向属于预设组合,则说明手势识别结果包含预设的控制手势。[0108]通过上述方式,结合肢体方向与手势类型共同分析,可以充分提升控制手势的识别准确率,可以较好缓解了相关技术中仅针对手势类型进行识别而导致错误响应。[0109]在前述基础上,为了能够进一步提示手势识别准确率,降低误识别概率,图10示出了根据一些实施例的显示设备的控制方法的流程图,该方法可由显示设备的控制器执行,显示设备包括显示器、摄像头(内置或外置均可)以及控制器,控制器被配置为主要执行如下步骤s1002~步骤s1010:[0110]步骤s1002,在手势控制功能开启后,获取摄像头采集的目标图像。[0111]步骤s1004,响应于检测到目标图像中的手势信息和肢体信息,根据手势信息进行手势识别,并根据肢体信息判别手势识别结果是否包含预设的控制手势。[0112]步骤s1006,响应于手势识别结果包含控制手势,获取手势识别结果的置信度。[0113]在一些实施例中,采用手势识别算法进行手势识别时,会框选出识别出的手势,并给出置信度参考值,可以直接将手势识别的置信度参考值作为手势识别结果的置信度。[0114]在另一些实施例中,可以设置该控制手势的保持时长,基于该保持时长确定手势识别结果的置信度,其中,保持时长与置信度呈正比。诸如,保持时长时间越长,说明置信度越高,用户当前采用控制手势的可能性越大,而保持时长越短,置信度越低,用户只是不经意做出手势的可能性越大。在此基础上,示例性地,可以继续通过摄像头获取多帧图像,通过对后续多帧图像中的手势进行检测来判别该控制手势的持续时长。[0115]步骤s1008,响应于手势识别结果的置信度大于或等于预设的置信阈值,执行与手势识别结果对应的控制操作。[0116]步骤s1010,响应于手势识别结果不包含控制手势,或者,响应于手势识别结果的置信度小于置信阈值,执行以下操作中的一种或多种:保持当前运行状态、发起手势识别失败的提示信息或者获取摄像头采集的新的目标图像。[0117]通过本技术实施例提供的上述方式,通过结合手势信息、肢体信息共同判别手势识别结果是否包含控制手势,还可以进一步根据手势识别结果都置信度来判别是否执行相应的控制操作,从而进一步降低相关技术中仅对手势识别所产生的误识别概率,可有效提升显示设备的手势识别准确率,改善相关技术中显示设备因手势误识别而做出错误响应,影响用户体验的问题。[0118]在一些实施例中,显示设备的控制器被配置为在手势控制功能开启后,以第一指定频率从摄像头采集的视频帧中获取目标图像。在此基础上,在获取手势识别结果的置信度的步骤中,控制器被进一步配置为执行如下步骤a~步骤d:[0119]步骤a,响应于目标图像是确认手势识别结果属于控制手势的首帧图像,在获取目标图像之后的指定时长内,以第二指定频率从摄像头采集的视频帧中获取多帧待检测图像;其中,第二指定频率大于第一指定频率。该指定时长可以灵活设置(通常不会太长),诸如仅设置500ms。[0120]显示设备的控制器被配置为在手势控制功能开启后,以第一指定频率从摄像头采集的视频帧中获取目标图像,诸如,以10帧/次的频率从摄像头采集的视频帧中获取目标图像,也即,摄像头每采集10帧图像,控制器则从中获取一帧图像作为待检测的目标图像,并对该目标图像进行手势检测与识别、肢体检测与识别操作,可以理解的是,有的目标图像中并未检测到手势,有的目标图像中检测到的手势并非控制手势,当控制器首次从目标图像中检测到控制手势时,该目标图像即为手势识别结果属于控制手势的首帧图像,此时显示设备的控制器变更为以第二指定频率从摄像头采集的视频帧中获取待检测图像,诸如,以1帧/次的频率从摄像头采集的视频帧中获取待检测图像。[0121]步骤b,获取多帧待检测图像中包含控制手势的有效图像帧数;以及获取多帧待检测图像的总图像帧数。[0122]步骤c,计算有效图像帧数和总图像帧数的比值,基于比值得到手势识别结果的置信度。在一些具体的实施示例中,可以直接将该比值作为手势识别结果都置信度。该比值越大,说明该控制手势的持续时间越长,用户当前确实摆出该控制手势的可能性越大。[0123]在获取到手势识别结果的置信度之后,即可比较手势识别结果的置信度与预设的置信阈值,从而有针对性地进行响应。[0124]在一种具体的实施示例中,响应于置信度大于或等于置信阈值,执行与手势识别结果对应的控制操作。在一种具体的实施示例中,响应于置信度小于置信阈值,以第一指定频率从摄像头采集的视频帧中获取新的目标图像。也即,在确定当前情况下不包含控制手势时,再次调整手势检测帧率,以较低频率进行手势检测,从而降低cpu损耗。[0125]通过这种方式,可有效保证手势识别的准确性以及触发手势的时效性。另外,上述方式可自动调节手势检测帧率,在未检测到控制手势时,控制器进行图像检测的频率低于检测到控制手势后的图像检测频率,相比于相关技术中仅以固定高频检测帧率进行手势检测而言,本技术实施例提供的上述方式可以有效降低cpu损耗。具体的,通过调整手势检测帧率,可以在检测到手势时以较高的检测帧率进行检测以保证手势检测的准确度,同时在未检测到手势时,降低手势检测帧率,以降低cpu的使用率,从而有效降低cpu损耗。[0126]在一些实施例中,控制器被进一步配置为:在根据手势信息进行手势识别,并根据肢体信息判别手势识别结果是否包含预设的控制手势的过程中,在显示器上显示标识信息;标识信息用于指示正在进行手势识别。为便于理解,以下给出两个不同场景下的实施示例。[0127]在一些具体的实施示例中,用户专门开启了需要手势控制的应用,诸如“魔镜”等拍照应用,此时,可参见图11所示的一种手势识别提示的界面示意图,示意出显示设备会特意通过完整的提示界面表示当前处于手势识别中,此时界面除了提示信息之外没有其它内容。在识别完成之后,还可参见如图12所示的一种手势识别完成的界面示意图。[0128]在一些具体的实施示例中,用户设置显示设备一直保持手势识别功能,在识别到控制手势时直接执行响应操作,未识别到控制手势时则继续运行,保持运行参数不变。因此,显示设备在正常运行时(诸如正常播放节目时)可一直保持手势检测状态,在此情况下,可参见图13所示的一种手势识别提示的界面示意图,仅是在界面左上角显示手势识别中,从而避免打扰用户。在识别成功之后,可参见如图14所示的一种手势识别完成的界面示意图,假设以检测到的控制手势对应的控制操作为切换节目类型为例,如图14所示,已成功将节目类型从“教育”类型切换至“影视”类型,并显示操作成功提示。[0129]应当注意的是,上述仅为示例性说明,不应当被视为限制。在实际应用中,可以根据需求而灵活设置提示方式。[0130]进一步,基于前述显示设备的控制方法,为便于理解,以两个不同场景下的控制手势为例,本技术实施例提供了两种应用示例。[0131]应用示例一:[0132]在一些实施方式中,显示设备自带全局手势功能,用户可以在设置中开启该功能,该功能支持用户通过预设的控制手势执行相应的控制操作。在一具体的实施示例中,可参见图15所示的一种显示设备的控制方法的流程图,该显示设备包括显示器、摄像头(内置或外置均可)以及控制器,控制器被配置为主要执行如下步骤s1502~步骤s1516:[0133]步骤s1502,启动全局手势功能。示例性地,可注册向上举起的五指手势作为启动全局手势功能的依据。[0134]步骤s1504,启动手势检测及识别算法。[0135]步骤s1506,判断是否为五指手势。如果是,执行步骤s1508;如果否,返回执行步骤s1504。[0136]步骤s1508,启动肢体检测及识别算法。[0137]步骤s1510,判断五指手势对应的肢体是否朝上。如果是,执行步骤s1512;如果否,返回执行步骤s1504。[0138]步骤s1512,计算五指手势的置信度。[0139]步骤s1514,判断置信度是否大于预设的置信阈值。如果是,执行步骤s1516,如果否,返回执行步骤s1504。[0140]步骤s1516,通过显示界面发起提示信息。示例性地,确认全局手势功能已成功开启,可以给出500ms的缓冲界面,提示用户此时正在识别,识别完成后,可模拟遥控器的相应功能按键(诸如ok按键)来控制显示设备,还可以通过显示界面提示用户识别完成。具体可参见前述图11和图12。[0141]在上述全局手势应用场景中,可以执行诸如媒体/幻灯片播放或其它操作,只需提前设置好控制手势与显示设备的响应方式的对应关系即可,在此不进行限制。[0142]应用示例二:[0143]在一些实施方式中,显示设备自带手势控制拍照功能,该功能可由诸如名叫“魔镜”的拍照应用实现,将手势拍照作为一种触发拍照方式而应用于配置有摄像头的显示设备中。用户可以在设置中开启该功能,该功能支持用户通过预设的控制手势启动拍照操作。在一具体的实施示例中,可参见图16所示的一种显示设备的控制方法的流程图,该显示设备包括显示器、摄像头(内置或外置均可)以及控制器,控制器被配置为主要执行如下步骤s1602~步骤s1616:[0144]步骤s1602,启动手势拍照功能,并注册朝上举起的v字手势为拍照触发手势。[0145]步骤s1604,按照10帧/次的频率从摄像头采集的视频帧中获取图像,并启动手势检测及识别算法得到图像的手势识别结果。[0146]步骤s1606,判断手势识别结果是否包含v字手势;如果是,执行步骤s1608,如果否,执行步骤s1604;[0147]步骤s1608,调整为1帧/次的频率从摄像头采集的视频帧中获取图像,并启动定时器。示例性地,该定时器设置为定时500ms。[0148]步骤s1610,记录在定时器计时期间检测到的包含有v字手势的有效帧数,以及从摄像头获取的总帧数。由于调快了手势检测帧率,因此可以快速进行手势置信度判别并反馈结果。[0149]步骤s1612,根据有效帧数与总帧数的比值确定手势识别结果的置信度。[0150]步骤s1614,判断置信度是否大于预设置信阈值。如果是,执行步骤s1616,如果否,执行步骤s1604;[0151]步骤s1616,启动拍照操作,同时返回执行步骤s1604,也即,恢复为10帧/次的频率从摄像头采集的视频帧中获取图像进行手势检测及识别。[0152]应当注意的是,以上两个示例仅为在图6所示的显示设备的控制方法的基础上应用的简单场景的示意性说明,不应当被视为限制,在实际应用中,可以包含更多或更少的步骤,每个步骤也可有所差异,在此不进行限制。[0153]由以上技术方案可知,本技术实施例提供的显示设备及显示设备的控制方法,通过结合手势信息和肢体信息共同判别手势识别结果是否包含控制手势,能够降低相关技术中仅对手势识别所产生的误识别概率,可有效提升显示设备的手势识别准确率,改善相关技术中显示设备因手势误识别而做出错误响应,影响用户体验的问题。[0154]进一步,通过引入手势识别结果的置信度,在置信度高于预设置信阈值的情况下才执行手势识别结果对应的控制操作,可以进一步提升手势识别准确率,降低误识别和错误响应的概率。[0155]进一步,通过调整手势检测帧率,可以在检测到手势时以较高的检测帧率进行检测以保证手势检测的准确度,同时在未检测到手势时,降低手势检测帧率,以降低cpu的使用率,从而有效降低cpu损耗。[0156]除了上述方法和设备以外,本技术的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被控制器运行时使得所述控制器执行本技术实施例所提供的显示设备的控制方法。[0157]所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、c++等,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。[0158]此外,本技术的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被控制器运行时使得所述控制器执行本技术实施例所提供的显示设备的控制方法。[0159]所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0160]最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。[0161]为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1