智能电视人机交互方法、智能电视及计算机可读存储介质与流程

文档序号:29497718发布日期:2022-04-06 16:06阅读:128来源:国知局
智能电视人机交互方法、智能电视及计算机可读存储介质与流程

1.本发明涉及智能电视领域,尤其涉及发明一种智能电视人机交互方法、智能电视及计算机可读存储介质。


背景技术:

2.随着经济的发展,电视已作为家庭必备家具走进千家万户,成为家中必不可少的用品。在日常使用电视的时候我们可以发现,对于频道切换、节目播放、开关机控制等都是基于用户手动操作电视遥控器进行的,一旦出现电视遥控器不在身边的情况,用户还需起身找寻电视遥控器,非常浪费用户的时间和精力。
3.因此,在现有技术中至少存在以下问题:由于需要通过电视遥控器才能对电视进行操作,一旦电视遥控器不在用户身边,用户对于电视的操作会变得非常困难,减低用户对于电视的使用感,也没有体现电视的智能化和人性化,缺乏一种能在无需电视遥控器的情况下,依旧能对电视进行操作的方法。


技术实现要素:

4.本发明的主要目的在于提供一种智能电视人机交互方法、智能电视及计算机可读存储介质,旨在解决如何实现在无需电视遥控器的情况下,依旧能对电视进行操作的技术问题。
5.为实现上述目的,本发明提供一种智能电视人机交互方法,所述智能电视人机交互方法包括以下步骤:
6.在检测到智能电视多模态交互模式开启后,基于智能电视关联的摄像头采集智能电视观影方向上当前用户的生物特征信息和交互特征信息;
7.判断所述当前生物特征信息是否有效;
8.若所述当前生物特征信息有效,则将所述交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应。
9.可选地,所述在检测到智能电视多模态交互模式开启后的步骤之前,还包括:
10.基于智能电视关联的摄像头对样本用户的基准生物特征信息和基准交互特征信息进行采集;
11.根据所述基准生物特征信息和基准交互特征信息,获取第一关键点阵数据;
12.将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型。
13.可选地,所述将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型的步骤包括:
14.将所述第一关键点阵数据作为样本用户信息数据输入至预设深度卷积神经网络中进行训练,以构建训练模型;
15.将待测试用户信息输入至训练模型,得到所述待测试用户信息的参考值;
16.判断所述参考值是否达到预设基准值;
17.若所述参考值达到预设基准值,则构建所述多模态交互模型;
18.若所述参考值未达到预设基准值,则获取第二关键点阵数据;
19.基于所述第二关键点阵数据对所述训练模型进行训练,返回执行所述将待测试用户信息输入至训练模型的步骤。
20.可选地,所述判断所述当前生物特征信息是否有效的步骤之后,还包括:
21.若所述当前生物特征信息无效,则智能电视的内部处理器对采集的无效的生物特征信息和对应的交互特征信息进行删除。
22.可选地,所述若所述当前生物特征信息有效的步骤之后,还包括:
23.基于所述当前生物特征信息,获取当前用户与智能电视的显示界面之间的距离;
24.基于所述距离,控制智能电视自动调整所述显示界面的观看模式。
25.可选地,所述若所述当前生物特征信息有效的步骤之后,还包括:
26.判断所述当前生物特征信息是否包含预设的儿童生物特征;
27.若所述当前生物特征信息包含所述儿童生物特征,则控制智能电视自动开启儿童观看模式;
28.若所述当前生物特征信息不包含所述儿童生物特征,则保持智能电视的观看模式不变。
29.可选地,所述将交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应的步骤包括:
30.将所述交互特征信息输入至所述多模态交互模型中,以获得初始手部关键点阵;
31.根据所述初始手部关键点阵,查找与所述初始手部关键点阵匹配的目标手部关键点阵;
32.基于所述目标手部关键点阵,控制智能电视输出与所述目标手部关键点阵对应的功能响应。
33.可选地,所述实现所述当前用户与智能电视的人机交互的步骤之后,还包括:
34.获取所述摄像头处于无识别状态的持续时长,其中,所述无识别状态为所述摄像头未识别到所述生物特征信息的状态;
35.在所述持续时长达到预设休眠时长时,控制所述智能电视进入休眠状态。
36.此外,为实现上述目的,本发明还提供一种智能电视,所述智能电视包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被处理器执行时实现上述智能电视内容推送方法的步骤。
37.此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有智能电视人机交互程序,所述智能电视人机交互程序被处理器执行时实现上述智能电视人机交互方法的步骤。
38.本发明通过开启智能电视端的多模态交互模式,实现了用户在无需电视遥控器的情况下,依旧能对智能电视起到相应功能的调整,通过将智能电视的模式分为普通模式和多模态交互模式,为用户提供了充分的模式选择,满足个别用户喜好基于电视遥控器对智能电视进行操作的需求,通过摄像头识别用户的生物特征信息和交互特征信息,实现了当前用户信息的采集,通过将采集到的有效的生物特征信息对应的交互特征信息输入至多模
态交互模型中输出对应的功能响应,实现了模板式功能的快速响应和智能电视对应功能的响应,提升了用户的使用感和智能电视的智能化,使得用户对智能电视的操控更加便利。
附图说明
39.图1是本发明实施例方案涉及的硬件运行环境的智能电视结构示意图;
40.图2为本发明智能电视人机交互方法一实施例的流程示意图;
41.图3为图2中步骤s10的细化流程示意图;
42.图4为图2中步骤s30的细化流程示意图;
43.图5为图2中步骤s30的细化流程示意图;
44.图6为智能电视基于采集到的交互特征信息进行对应的功能响应的场景示意图;
45.图7为样本用户的基准生物特征信息关键点阵数据的点阵示意图;
46.图8为样本用户的基准交互特征信息关键点阵数据的点阵示意图。
47.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
48.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
49.本发明实施例的主要解决方案是:智能电视电视通过深度学习完成用户的生物特征信息的多模态交互模型的构建之后,可通过与智能电视关联的摄像头识别有效的生物特征信息和交互特征信息,实现当前用户与智能电视的人机交互。
50.由于现有技术中,对于频道切换、显示界面的亮度等的调整,都是需要基于用户手动操作电视遥控器进行的,一旦出现电视遥控器不在身边的情况,对于电视功能的调整将会变得非常麻烦,会减低用户对于电视的使用感,影响用户的观看体验。
51.本发明提供一种解决方案,用户只需在电视端开启多模态交互模式,就能在无需电视遥控器的情况下实现智能电视对应的功能响应,根据用户的生物特征信息和交互特征信息自动实现对应的电视功能响应,提升了用户的使用感,进而提升了用户的观看体验度,体现了智能电视电视的智能化和便捷性。
52.如图1所示,图1是本发明实施例方案涉及的硬件运行环境的智能电视结构示意图。
53.本发明实施例智能电视内容推送方法应用载体为智能电视,如图1所示,该智能电视可以包括:处理器1001,例如cpu,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
54.可选地,智能电视还可以包括摄像头、rf(radio frequency,射频)电路,传感器、音频电路、wifi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。
作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,智能电视还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
55.本领域技术人员可以理解,图1中示出的智能电视结构并不构成对智能电视结构的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
56.如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及智能电视人机交互程序。
57.在图1所示的智能电视中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的智能电视人机交互程序,并执行以下操作:
58.在检测到智能电视多模态交互模式开启后,基于智能电视关联的摄像头采集智能电视观影方向上当前用户的生物特征信息和交互特征信息;
59.判断所述当前生物特征信息是否有效;
60.若所述当前生物特征信息有效,则将所述交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应。
61.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
62.所述在检测到智能电视多模态交互模式开启后的步骤之前,基于智能电视关联的摄像头对样本用户的基准生物特征信息和基准交互特征信息进行采集;
63.根据所述基准生物特征信息和基准交互特征信息,获取第一关键点阵数据;
64.将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型。
65.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
66.所述将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型的步骤,将所述第一关键点阵数据作为样本用户信息数据输入至预设深度卷积神经网络中进行训练,以构建训练模型;
67.将待测试用户信息输入至训练模型,得到所述待测试用户信息的参考值;
68.判断所述参考值是否达到预设基准值;
69.若所述参考值达到预设基准值,则构建所述多模态交互模型;
70.若所述参考值未达到预设基准值,则获取第二关键点阵数据;
71.基于所述第二关键点阵数据对所述训练模型进行训练,返回执行所述将待测试用户信息输入至训练模型的步骤。
72.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
73.所述判断所述当前生物特征信息是否有效的步骤之后,若所述当前生物特征信息无效,则智能电视的内部处理器对采集的无效的生物特征信息和对应的交互特征信息进行删除。
74.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
75.所述若所述当前生物特征信息有效的步骤之后,基于所述当前生物特征信息,获取当前用户与智能电视的显示界面之间的距离;
76.基于所述距离,控制智能电视自动调整所述显示界面的观看模式。
77.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
78.所述若所述当前生物特征信息有效的步骤之后,判断所述当前生物特征信息是否包含预设的儿童生物特征;
79.若所述当前生物特征信息包含所述儿童生物特征,则控制智能电视自动开启儿童观看模式;
80.若所述当前生物特征信息不包含所述儿童生物特征,则保持智能电视的观看模式不变。
81.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
82.所述将交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应的步骤,将所述交互特征信息输入至所述多模态交互模型中,以获得初始手部关键点阵;
83.根据所述初始手部关键点阵,查找与所述初始手部关键点阵匹配的目标手部关键点阵的搜索;
84.基于所述目标手部关键点阵,控制智能电视输出与所述目标手部关键点阵对应的功能响应。
85.进一步地,处理器1001可以调用存储器1005中存储的智能电视人机交互程序,还执行以下操作:
86.所述实现所述当前用户与智能电视的人机交互的步骤之后,获取所述摄像头处于无识别状态的持续时长,其中,所述无识别状态为所述摄像头未识别到所述生物特征信息的状态;
87.在所述持续时长达到预设休眠时长时,控制所述智能电视进入休眠状态。
88.参照图2,本发明一实施例提供一种智能电视人机交互方法,所述智能电视人机交互方法包括:
89.步骤s10,在检测到智能电视多模态交互模式开启后,基于智能电视关联的摄像头采集智能电视观影方向上当前用户的生物特征信息和交互特征信息;
90.智能电视的模式分为普通模式和多模态交互模式,只有在用户将电视的模式切换为多模态交互模式后,与智能电视关联的摄像头才具有对可视范围内的用户进行生物特征信息和交互特征信息的采集,并上传至智能电视的内部处理器的作用。
91.其中关联的摄像头除了可以是智能电视本身自带的摄像头,还可以是外置的摄像头或者其他终端的摄像头等,本技术不做限定。
92.为辅助理解本技术的技术方案,以下对相关名词进行解释:
93.智能电视的普通模式是指现有技术中,需要通过手动操作电视遥控器才能对电视
进行操作的模式。
94.智能电视的多模态交互模式是指本发明中的智能电视识别当前用户,实现对智能电视功能的自动调整的模式,实现了在无需电视遥控器的情况下,电视功能依旧能够正常进行操作的效果,体现了电视的智能化和人性化。
95.生物特征信息是指人体固有的生理特征,例如面相或行为特征等,本技术中主要是采集当前用户的生物特征信息中的面相特征信息。
96.交互特征信息在本技术中是指摄像头获取当前用户发出的手部信息,并基于手部信息实现对应的智能电视功能的响应,例如,当前用户发出食指朝下的手部信息,摄像头采集到该交互特征信息,将该交互特征信息输入至多模态交互模型中,输出手部关键点阵后,基于手部关键点阵实现对应功能的响应。
97.多模态交互模型是在智能电视的多模态交互模式开启后才会启动的,将采集的有效的交互特征信息输入至多模态交互模型中,能自动输出控制智能电视的功能响应,无需经过多余的计算,达到快速的功能响应的效果。
98.步骤s20,判断所述当前生物特征信息是否有效;
99.智能电视端需对摄像头上传的当前生物特征信息进行识别判断是否为有效的当前生物特征信息,基于有效的当前生物特征信息才能满足用户的实际需求。例如摄像头识别到用户a的侧脸,且该侧脸是移动一段距离后离开了摄像头的可视范围的,说明用户a此时没有观看电视的需求,对于没有观看电视需求的用户的当前生物特征信息,智能电视将其归总到无效的当前生物特征信息中,且智能电视不基于无效的当前生物特征信息对智能电视功能进行调整,避免智能电视资源的浪费,实现真正的基于用户的需求对智能电视的功能进行自动调整的效果。
100.可选地,步骤s20中判断所述当前生物特征信息是否有效的步骤之后,还包括:
101.步骤s21,若所述当前生物特征信息无效,则智能电视的内部处理器对采集的无效的生物特征信息和对应的交互特征信息进行删除。
102.当判断当前生物特征信息无效时,说明智能电视不需要基于该当前生物特征信息进行对应的功能响应,因此需要该当前生物特征信息和其对应的交互特征信息进行删除,避免影响到其他生物特性信息和交互特征信息的功能的响应,导致智能电视的对应的功能响应受到影响,进而降低用户的使用感和智能电视功能响应的准确度。
103.步骤s30,参考图6,若所述当前生物特征信息有效,则将所述交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应。
104.若智能电视的内部处理器判断出当前生物特征信息为有效的生物特性信息,则将生物特征信息对应的交互特性信息输入多模态交互模型中,使其输出交互特征信息中的手部关键点阵,基于手部关键点阵找到对应的功能响应,实现当前用户与智能电视的人机交互。
105.例如图6中,摄像头采集到用户发出的食指朝下的交互特征信息,在将该交互特征信息数据输入多模态交互模型中后,得到对显示界面的内容进行切换的功能响应。
106.可选地,步骤s30中实现所述当前用户与智能电视的人机交互的步骤之后,还包括:
107.步骤s31,获取所述摄像头处于无识别状态的的持续时长,其中,所述无识别状态
为所述摄像头未识别到所述生物特征信息的状态;
108.步骤s32,在所述持续时长达到预设休眠时长时,控制所述智能电视进入休眠状态。
109.预设休眠时长是在智能电视后台由用户进行设置,可为任意的整体数值,若用户未进行设置,则自动设置为默认整体数值。
110.摄像头在处于无识别状态,即识别不到用户的生物特征信息,代表摄像头的可视范围内没有出现任何用户的生物特征信息时,开启记录摄像头处于无识别状态的持续时长,当记录的持续时长达到预设休眠时长时,默认此时用户不再需要观看电视,为了避免电视资源的浪费,会控制智能电视自动进入休眠状态。
111.在本实施例中,通过与智能电视关联的摄像头采集并识别当前用户的生物特征信息,实现了在无需电视遥控器的情况下,智能电视功能依旧能够正常进行操作的效果,通过识别判断用户信息是否为有效的生物特征信息,避免了无效的生物特征信息对智能电视的功能响应造成的错误的输出,通过将采集到的有效的生物特征信息对应的交互特征信息输入至多模态交互模型中输出对应的功能响应,实现了模板式功能的快速响应,和对智能电视功能操作的便捷度,提升了用户的使用感,避免了操作电视遥控器这一累赘的步骤,体现了智能电视的智能化。
112.进一步的,参照图3,本发明一实施例提供一种智能电视人机交互方法,基于上述步骤s10所示的实施例,所述在检测到智能电视多模态交互模式开启后的步骤之前,还包括:
113.步骤s11,基于智能电视关联的摄像头对样本用户的基准生物特征信息和基准交互特征信息进行采集;
114.样本用户是指用于构建多模态交互模型的样本用户信息,基于不同的样本用户的基准生物特征信息和基准交互特征信息进行多模态交互模型的训练,能使构建的多模态交互模型更加准确。
115.其中,基准生物特征信息基准交互特征信息是指前期用于训练和构建多模态交互模型的信息数据。
116.智能电视关联的摄像头对样本用户的基准生物特征信息和基准交互特征信息进行采集,将采集后的基准生物特征信息和基准交互特征信息上传至智能电视的ai(artificial intelligence,人工智能)端。
117.ai端是指对样本用户进行深度学习的模块。
118.步骤s12,参照图7-8,根据所述基准生物特征信息和基准交互特征信息,获取第一关键点阵数据;
119.在本发明中,智能电视的ai端在接收到基准生物特征信息和基准交互特征信息后,根据基准生物特征信息和基准交互特征信息进行第一关键点阵数据的获取的过程为,对基准生物特征信息和基准交互特征信息进行相关算法的完善,得出260个基准生物特征信息关键点阵数据和22个基准交互特征信息关键点阵数据,基于260个基准生物特征信息关键点阵数据和22个基准交互特征信息关键点阵数据进行不同用户和各种实际情况的推算,得出最终的第一关键点阵数据,使其更加符合用户在实际使用需求,避免了在多模态模式投入使用时,不同用户在使用电视的多模态交互模式前还需进行用户信息的采集的情
况。
120.例如图7所示的得到的样本用户的基准生物特征信息关键点阵数据为260个,图8所述的样本用户的基准交互特征信息关键点阵数据为21个,基于不同样本用户获得第一关键点阵数据不同。
121.步骤s13,将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型。
122.基于最终的第一关键点阵数据以及推算的结果进行训练和构建多模态交互模型,便于后期在识别到有效的当前用户后直接输入多模态交互模型中实现智能电视功能的自动调整,免去了其他繁琐的步骤,加快了电视功能的反应速度。
123.可选地,步骤s13中将所述第一关键点阵数据作为样本用户信息数据,以训练和构建多模态交互模型的步骤包括:
124.步骤s14,将所述第一关键点阵数据作为样本用户信息数据输入至预设深度卷积神经网络中进行训练,以构建训练模型;
125.深度卷积神经网络是指将数据量庞大的用户信息不断降维,使其能够被训练以构建智能电视中的多模态交互模式中的多模态交互模型。
126.训练模型是用第一关键点阵数据进行训练后得到的,可看作多模态交互模型的初始多模态交互模型,用于验证基于第一关键点阵数据深度学习后得到的初始多模态交互模型是否精准。
127.步骤s15,将待测试用户信息输入至训练模型,得到所述待测试用户信息的参考值;
128.待测试用户信息是区别于样本用户信息数据,用于测试训练模型是否训练完整的用户信息。
129.参考值是指将待测试用户信息输入至训练模型后,输出的于数值,用于判断训练模型是否训练完整。
130.步骤s16,判断所述参考值是否达到预设基准值;
131.预设基准值是判断训练模型训练完整的最低数值。
132.步骤s17,若所述参考值达到预设基准值,则构建所述多模态交互模型;
133.例如,预设基准值为90,此时将待测试用户信息a-c输入至训练模型,得到的参考值为91,以超过预设基准值,说明此时的训练模型训练完整,可以用于构建多模态交互模型。
134.步骤s18,若所述参考值未达到预设基准值,则获取第二关键点阵数据;
135.步骤s19,基于新所述第二关键点阵数据对所述训练模型进行训练,返回执行所述将待测试用户信息输入至训练模型的步骤。
136.例如,预设基准值为90,此时将待测试用户信息a-c输入至训练模型,得到的参考值为89,为达到预设基准值,说明此时的训练模型训练还不够完整,重新返回步骤cs14,而此时第二关键点阵数据可以是另一批样本用户信息数据,也可以是原样本中未使用到的用户信息数据,具体视实际情况而定,本技术不做限定。
137.直至最后输出的参考值达到预设基准值才基于训练模型构建多模态交互模型。避免出厂的多模态交互模式的智能电视存在用户识别错误的缺陷。
138.在本实施例中,通过在智能电视的ai端进行样本用户信息数据的深度学习,实现了多模态交互模型的构建,多模态交互模型的构建是智能电视的多模态交互模式实现的基础,基于多模态交互模型,便于多模态交互模式的电视在投入使用的时候能够免去其他繁琐的步骤,节省用户的时间和精力。
139.进一步的,参照图4,本发明一实施例提供一种智能电视人机交互方法,基于上述步骤s30所示的实施例,所述若所述当前生物特征信息有效的步骤之后,还包括:
140.步骤s32,基于所述当前生物特征信息,获取当前用户与智能电视的显示界面之间的距离;
141.步骤s33,基于所述距离,控制智能电视自动调整所述显示界面的观看模式。
142.基于摄像头采集的当前生物特征信息,自动计算当前用户与显示界面的距离,基于不同的距离和当前观看环境的亮度,对显示界面光亮度和白平衡等进行调整,使用户在智能电视端进行观看的时候,显示界面始终处于最贴合用户观看舒适度的状态,提高用户的观看体验度。
143.观看模式是指显示界面的光亮度、白平衡和暗部场景平衡等显示界面的数值。
144.需要注意的是,若采集到多名当前生物特征信息,则取多名当前生物特征信息输出的平均距离数据。
145.可选地,步骤s33中若所述当前生物特征信息有效的步骤之后,还包括:
146.步骤s34,判断所述当前生物特征信息是否包含预设的儿童生物特征;
147.步骤s35,若所述当前生物特征信息包含所述儿童生物特征,则控制智能电视自动开启儿童观看模式;
148.基于采集的当前生物特征信息可知当前生物特征关键点阵数据的组合结果是否为预设的儿童生物特征,例如结果用数值判断,当前生物特征关键点阵数据为45,而预设的儿童生物特征关键点阵数据为0-60,45处于预设的儿童生物特征关键点阵数据的范围内,因此当前生物特征信息包含预设的儿童生物特征。
149.在确定当前生物特性信息包含预设的儿童生物特征后,智能电视会自动开启儿童观看模式,实现了当儿童监管人不在家时,儿童观看电视是处于一个安全的观看模式下的。
150.儿童观看模式是指用户通过后台设置的儿童观看模式的可观看时长、对电视节目进行绿色过滤后的儿童可观看的节目清单等。
151.需要注意的是,若此时在识别出儿童生物特征的同时还存在非儿童生物特征的时候,控制智能电视的显示界面弹出是否开启儿童观看模式的提示语,方便用户基于实际情况进行选择。
152.步骤s36,若所述当前生物特征信息不包含所述儿童生物特征,则保持智能电视的观看模式不变。
153.在本实施例中,通过自动计算当前用户与显示界面的距离,自动调整显示界面的亮度、分辨率等观看模式,提供了最适合当前用户观看的模式,提高了用户眼睛观看电视的舒适感,通过判断当前生物特征信息是否包含儿童生物特征,实现在用户无感的状态开启儿童观看模式,避免了当儿童监管人不在家的情况下,儿童通过电视接触到不利于成长环境的内容。
154.进一步地,参照图5,本发明一实施例提供一种智能电视人机交互方法,基于上述
步骤s30所示的实施例,所述将交互特征信息输入所述多模态交互模式的多模态交互模型中,控制智能电视输出对应的功能响应的步骤包括:
155.步骤s37,将所述交互特征信息输入至所述多模态交互模型中,以获得初始手部关键点阵;
156.在确定当前生物特征信息为有效的当前生物特征信息后,将与当前生物特征信息对应的交互特征信息输入多模态交互模型中,能够得到输出的初始手部关键点阵。
157.初始手部关键点阵是指用户发出的对显示界面所展示的内容进行操作的手部信息的数据的提取,基于初始手部关键点阵,智能电视能够分辨出用户发出的具体指令是什么。
158.步骤s38,根据所述初始手部关键点阵,查找与所述初始手部关键点阵匹配的目标手部关键点阵;
159.在得到初始手部关键点阵后,在手部数据库中查找与初始手部关键点阵匹配的目标手部关键点阵。
160.手部数据库是在步骤s12的相关算法中建立的,通过22个基准交互特征信息关键点阵数据的推算,将各个手部关键点阵所代表的功能响应存储至手部数据库中,便于后期的遍历和直接提取。
161.匹配的目标手部关键点阵的定义是指初始手部关键点阵与目标手部关键点阵的相似度达到90,才认定多模态交互模型输出的初始手部关键点阵是存在于手部数据库中,是用户发出的操作需求,使智能电视的操作更加精准。
162.步骤s39,基于所述目标手部关键点阵,控制智能电视输出与所述目标手部关键点阵对应的功能响应。
163.基于目标手部关键点阵,实现对应的智能电视功能的响应,达到无需电视遥控器就能实现频道切换、节目播放暂停等电视功能的操作。
164.若识别到多名用户的目标手部关键点阵,则基于目标手部关键点阵发出的先后顺序进行智能电视功能的响应。
165.需要注意的是,判定用户发出的交互特性信息为目标手部关键点阵的前提条件是,存在于交互特征信息对应的生物特征信息。
166.在本实施例中,通过输出的手部关键点阵,并判断该手部关键点阵是否存在于手部数据库中,提高智能电视的功能响应的精准度。
167.此外,本发明实施例还提出一种智能电视,所述智能电视包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被处理器执行时实现上述智能电视内容推送方法的步骤。
168.此外,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有智能电视人机交互程序,所述基于智能电视人机交互程序被处理器执行时实现上述智能电视人机交互方法的步骤。
169.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该
要素的过程、方法、物品或者系统中还存在另外的相同要素。
170.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
171.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
172.以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1