一种内容显示方法、显示设备及服务器与流程

文档序号:29561393发布日期:2022-04-09 00:57阅读:73来源:国知局
一种内容显示方法、显示设备及服务器与流程

1.本技术涉及显示设备技术领域,尤其涉及一种内容显示方法、显示设备及服务器。


背景技术:

2.近年来,随着人们对电视节目内容丰富程度要求越来越高,智能电视在为用户提供节目内容播放画面的同时,还提供可从播放画面中识别目标内容的功能,例如识别人物或者物品。
3.目前的智能电视在识别目标内容后,通常是以在目标内容上叠加显示焦点框,或者叠加显示其他颜色标识,或者将目标内容的图像放大的方式来提示用户。
4.然而,用户在观看节目时,离智能电视大都较远,并且大部分的目标内容在屏幕上展示区域较小。目标内容图像被放大之后,也可能由于图像分辨率较低,造成放大后的图像模糊不清。这就导致目标内容即使按照上述方式来提示用户,仍然可能会出现目标内容不易被观察到或者模糊不清不易被辨认的情况,造成用户观看体验较差。


技术实现要素:

5.本技术提供了一种内容显示方法、显示设备及服务器,用于解决大部分的目标内容在屏幕上展示区域较小,导致目标内容图像被放大,仍然可能会出现目标内容不易被观察到或者模糊不清不易被辨认的情况,造成用户体验较差的问题。
6.第一方面,本实施例提供一种显示设备,包括,
7.通信器,用于与服务器进行数据通信;
8.显示器,用于显示用户界面,以及在所述用户界面中用以指示项目被选择的选择器;
9.控制器,用于执行:
10.接收用于指示对第一用户界面进行截图识别的控制指令;
11.响应于截图识别的控制指令,在所述显示器上呈现第二用户界面,其中,所述第二用户界面中包括所述第一用户界面的截图图像,所述截图图像中包括至少一个目标对象;
12.接收所述选择器选择所述目标对象的指示,在所述选择器选择的所述目标对象的显示尺寸小于预设尺寸阈值时,从服务器接收所述目标对象对应的推荐图像,以及在所述第二用户界面的上层图层显示所述推荐图像,其中,所述推荐图像的显示尺寸大于所述目标对象的显示尺寸,在所述目标对象和所述推荐图像的显示尺寸相同时,所述推荐图像的图像分辨率大于所述目标对象的图像分辨率;
13.在所述选择器选择的所述目标对象的显示尺寸大于或等于所述预设尺寸阈值时,不从所述服务器获取所述目标对象对应的推荐图像。
14.第二方面,本实施例提供一种服务器,用于执行:
15.从显示设备接收截图图像,识别所述截图图像中的至少一个目标对象,以及将识别的所述目标对象的识别物信息反馈至所述显示设备,其中,所述截图图像为所述显示设
备响应于,用于指示对第一用户界面进行截图识别的控制指令,在显示器上呈现的第二用户界面中包括的图像;
16.在选择器选择的所述目标对象的显示尺寸小于预设尺寸阈值时,将所述目标对象对应的推荐图像反馈至所述显示设备,以使在所述第二用户界面的上层图层显示所述推荐图像,其中,所述推荐图像的显示尺寸大于所述目标对象的显示尺寸,在所述目标对象和所述推荐图像的显示尺寸相同时,所述推荐图像的图像分辨率大于所述目标对象的图像分辨率,所述选择器为在用户界面中用以指示项目被选择的控件;
17.在所述选择器选择的所述目标对象的显示尺寸大于或等于所述预设尺寸阈值时,不将所述目标对象对应的推荐图像反馈至所述显示设备。
18.第三方面,本实施例提供一种内容显示方法,所述显示设备的显示器上显示用户界面,以及在所述用户界面中用以指示项目被选择的选择器,方法包括:
19.接收用于指示对第一用户界面进行截图识别的控制指令;
20.响应于截图识别的控制指令,在所述显示器上呈现第二用户界面,其中,所述第二用户界面中包括所述第一用户界面的截图图像,所述截图图像中包括至少一个目标对象;
21.接收所述选择器选择所述目标对象的指示,在所述选择器选择的所述目标对象的显示尺寸小于预设尺寸阈值时,从服务器接收所述目标对象对应的推荐图像,以及在所述第二用户界面的上层图层显示所述推荐图像,其中,所述推荐图像的显示尺寸大于所述目标对象的显示尺寸,在所述目标对象和所述推荐图像的显示尺寸相同时,所述推荐图像的图像分辨率大于所述目标对象的图像分辨率;
22.在所述选择器选择的所述目标对象的显示尺寸大于或等于所述预设尺寸阈值时,不从所述服务器获取所述目标对象对应的推荐图像。
23.第四方面,本实施例提供一种内容显示方法,所述方法应用于服务器,方法包括:
24.从显示设备接收截图图像,识别所述截图图像中的至少一个目标对象,以及将识别的所述目标对象的识别物信息反馈至所述显示设备,其中,所述截图图像为所述显示设备响应于,用于指示对第一用户界面进行截图识别的控制指令,在显示器上呈现的第二用户界面中包括的图像;
25.在选择器选择的所述目标对象的显示尺寸小于预设尺寸阈值时,将所述目标对象对应的推荐图像反馈至所述显示设备,以使在所述第二用户界面的上层图层显示所述推荐图像,其中,所述推荐图像的显示尺寸大于所述目标对象的显示尺寸,在所述目标对象和所述推荐图像的显示尺寸相同时,所述推荐图像的图像分辨率大于所述目标对象的图像分辨率,所述选择器为在用户界面中用以指示项目被选择的控件;
26.在所述选择器选择的所述目标对象的显示尺寸大于或等于所述预设尺寸阈值时,不将所述目标对象对应的推荐图像反馈至所述显示设备。
27.本实施例提供的显示设备的控制器,响应于用于指示对第一用户界面进行截图识别的控制指令,在显示器上呈现第二用户界面,其中第二用户界面中包括第一用户界面的截图图像,截图图像中包括至少一个目标对象。如果选择器选择的目标对象的显示尺寸小于预设尺寸阈值,从服务器接收目标对象对应的推荐图像,并在第二用户界面的上层图层显示推荐图像。推荐图像的显示尺寸大于目标对象的显示尺寸。如果选择器选择的目标对象的显示尺寸大于预设尺寸阈值,不从服务器获取目标对象对应的推荐图像。本实施例中
如果目标对象的显示尺寸小于预设尺寸阈值,则展示推荐图像。而在显示尺寸相同时,推荐图像分辨率大于目标对象图像,因而能避免目标对象被放大,也不易被观察或者模糊不清不易被辨认的情况发生,从而提升用户体验。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
29.图1示出了根据一些实施例的显示设备的使用场景;
30.图2示出了根据一些实施例的控制装置100的硬件配置框图;
31.图3示出了根据一些实施例的显示设备200的硬件配置框图;
32.图4示出了根据一些实施例的显示设备200中软件配置图;
33.图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图;
34.图6示出了根据一些实施例中显示设备200中的用户界面示意图;
35.图7示出了根据一些实施例中操作装置100的操作界面示意图;
36.图8示出了根据一些实施例中又一种显示设备200中的用户界面示意图;
37.图9示出了根据一些实施例的又一种显示设备200中的用户界面示意图;
38.图10示出了根据一些实施例的又一种显示设备200中的用户界面示意图;
39.图11示出了根据一些实施例的又一种显示设备200中的用户界面示意图;
40.图12示出了根据一些实施例的一种内容显示方法信令图;
41.图13示出了根据一些实施例的显示设备200中的用户界面图层分布示意图;
42.图14示出了根据一些实施例的目标对象在显示设备用户界面上的位置信息示意图。
具体实施方式
43.为使本技术的目的和实施方式更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。
44.需要说明的是,本技术中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本技术的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
45.本技术中说明书和权利要求书及上述附图中的术语

第一



第二



第三

等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
46.术语

包括



具有

以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
47.术语

模块

是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或
硬件或/和软件代码的组合,能够执行与该元件相关的功能。
48.图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
49.在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
50.在一些实施例中,智能设备300可以包括移动终端300a、平板电脑、计算机、笔记本电脑,ar/vr设备等中的任意一种。
51.在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
52.在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
53.在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
54.在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
55.在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
56.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
57.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
58.在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
59.在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,ram,rom,用于输入/输出的第一接口至第n接口。
60.在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
61.在一些实施例中,显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
62.在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以
及从多个无线或有线广播电视信号中解调出音视频信号,如以及epg数据信号。
63.在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
64.在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
65.在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
66.在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
67.在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示ui对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
68.在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
69.在一些实施例中控制器包括中央处理器(central processing unit,cpu),视频处理器,音频处理器,图形处理器(graphics processing unit,gpu),ram random access memory,ram),rom(read-only memory,rom),用于输入/输出的第一接口至第n接口,通信总线(bus)等中的至少一种。
70.cpu处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。cpu处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
71.在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
72.在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
73.在一些实施例中,用户可在显示器260上显示的图形用户界面(gui)输入用户命令,则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者,用户可通过输入特
定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
74.在一些实施例中,

用户界面

,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,gui),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
75.在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
76.参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(applications)层(简称

应用层

),应用程序框架(application framework)层(简称

框架层

),安卓运行时(android runtime)和系统库层(简称

系统运行库层

),以及内核层。
77.在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
78.框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口,可在执行中访问系统中的资源和取得系统的服务。
79.如图4所示,本技术实施例中应用程序框架层包括管理器(managers),内容提供者(content provider)等,其中管理器包括以下模块中的至少一个:活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互;位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(notification manager)用于控制通知消息的显示和清除;窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
80.在一些实施例中,显示设备启动后可以直接进入预置的视频点播程序的界面,视频点播程序的界面可以如图5中所示,至少包括导航栏510和位于导航栏510下方的内容显示区,内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示,也可以在导航栏中的应用控件被选中后进行进一步显示。
81.在一些实施例中,显示设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是hdmi接口,直播电视接口等中的至少一种,用户选择不同的信号源后,显示器可以显示从不同信号源获得的内容。
82.目前智能电视在播放节目画面的同时,还提供可从播放画面中识别目标内容的功能。在识别目标内容后,通常是以在目标内容上叠加显示焦点框,或者叠加显示其他颜色标识,或者将目标内容的图像放大的方式来提示用户。
83.然而,用户在观看节目时,离智能电视大都较远,并且大部分的目标内容在屏幕上展示区域较小。目标内容图像被放大之后,也可能由于图像像素低,造成放大后的图像模糊不清。这就导致目标内容即使按照上述方式来提示用户,仍然可能会出现目标内容不易被观察到或者模糊不清不易被辨认的情况,造成用户观看体验较差。
84.图6中示例性示出了显示设备200中的用户界面示意图。图6的显示设备向显示器提供第一用户界面601,第一用户界面可以是图像也可以是视频。例如,图6示出的第一用户界面为一个综艺节目的片段。
85.在图6中,在显示设备正在播放综艺节目的片段时,用户意图获取第一用户界面中的人物信息或者物品信息。如图7示出的遥控器100的按键界面示意图,遥控器上具有控制对显示器显示的第一用户界面进行截图识别的预设按键,例如小聚键。
86.在一些实施例中,用户按压遥控器上预设按键,显示设备响应于该预设按键对应的截图识别指令,对第一用户界面进行截图,得到截图图像。同时将截图图像发送至服务器,服务器识别截图图像中的人物或物品,并将识别的人物或物品信息反馈至显示设备。显示设备接收到反馈的人物或物品信息展示在用户界面中。
87.如图8所示,在用户界面上悬浮展示功能选择栏602。其中,功能选择栏602包括多个功能控件,包括

相似物品

功能控件,用于查看从第一用户界面中识别的物品。功能栏602还包括从第一用户界面中识别的人物,例如

张三



李四

。功能选择栏602还包括局部识别控件和扫码分享控件,用户可利用扫码分享控件将该第一用户界面分享至其他终端设备。
88.图8所示的用户界面上还包括指示任一功能控件被选择的选择器603,可通过响应于用户输入的移动选择器603的控制指令,控制选择器603在各个功能控件或者其他界面对象上移动。功能控件被选择器603选中后,被选中的功能控件可以放大显示,或者加深颜色显示,以使与其他未被选择器603选中的功能控件区别开。
89.在图8中,选择器603所在的功能控件为

局部识别

功能控件。当用户操作控制装置指示选择器选择

局部识别

功能控件时,例如用户按压控制装置上的确认键,响应于该确认指令,显示设备进入局部识别功能模式。此时从图8所示的用户界面跳转至图9所示的第二用户界面。
90.在一些实施例中,在图6中,用户按压遥控器上预设按键,显示设备响应于该预设按键对应的截图识别指令,可以直接从图6所示的第一用户界面跳转至图9所示的第二用户界面。具体的,在图6中,用户按压遥控器上预设按键,显示设备响应于该预设按键对应的截图识别指令,对第一用户界面进行截图,得到截图图像。显示设备将截图图像发送至服务器,服务器识别截图图像中的人物之后,将识别的人物的识别信息反馈至显示设备。显示设备根据接收的反馈信息,直接展示图9所示的第二用户界面。
91.图9所示第二用户界面包括图6中第一用户界面的截图图像。需要说明的是,在本技术实施例中,截图图像为全屏显示。
92.在一些实施例中,在截图图像中识别出至少一个目标对象时,同时在目标对象上显示用于标识目标对象的识别框。例如,在图9中,识别出截图图像中5个人物头像6011~6015,在5个人物头像6011~6015处分别显示识别框6021~6025,这里识别框示例性的为矩形边框。
93.具体的,服务器接收截图图像后,利用图像识别算法,识别截图图像601中至少一个人物头像,识别出各人物头像后,计算各人物头像在截图图像中的坐标信息,并将各人物头像的坐标信息反馈至显示设备。显示设备根据各人物头像的坐标信息,在第二用户界面的上层图层绘制各人物头像的识别框。例如可以是在绘制识别框过程中,使得识别框的中心坐标与人物头像的中心坐标重合。
94.在一些实施例中,用户需要查看某个目标对象的推荐信息时,可以在目标对象的识别框被选中的情况下,通过操作控制装置上的确认按键,显示设备可以响应于该按键对应的控制指令,激活被选中的目标对象,以及在显示器上显示该目标对象关联的推荐信息。
95.例如,用户需要查看图9中人物头像6012的关联推荐信息,则通过操作控制装置上的方向键,将选择器603移动至人物头像6012或者人物头像6012对应的识别框,选中人物头像6012后,操作控制装置上的确认按键,显示设备响应于该按键的控制指令,激活被选中的人物头像6012,以及在显示器上显示人物头像6012关联的推荐信息。关联的推荐信息包括但不限于百科、相关视频、新闻八卦等。
96.在一些实施例中,被选择器603选中的目标对象的识别框的显示尺寸大于其他目标对象的识别框的显示尺寸,或者,被选中的目标对象的识别框的颜色与其他目标对象的识别框的颜色不同。
97.例如,在图9中,选择器603选中人物头像6011,则被选择器603选中的人物的识别框的尺寸大于其他未被选择器603选中的人物的识别框,从而提示用户当前被选择器603选中为任务头像6011。也可以是选择器603选中目标对象的识别框的颜色与其他目标对象的识别框的颜色不同。例如被选中目标对象的识别框的颜色为蓝色,其他目标对象的识别框的颜色为灰色。也可以同时在被选中目标对象的识别框的一侧显示目标对象的名称等信息,而其他目标对象的识别框的周围不显示任何信息。例如,在图9中,被选中人物头像6011的识别框的一侧显示人物名称

张三


98.在图9中,当用户操作控制装置指示选择器603在目标对象之间移动时,例如,当用户按压控制装置上的右键,响应于该控制指令,控制选择器603从人物头像6011移动至人物头像6012。如图10所示,人物头像6011的识别框的大小更改为与其他未被选中人物头像的识别框的大小相同,或者颜色从蓝色更改为灰色。而被选中的人物头像6012的识别框的大小更改为比其他未被选中任务头像的识别框大小尺寸更大,或者颜色从灰色更改为蓝色。
99.在一些实施例中,服务器识别的目标对象的识别信息还包括目标对象在截图图像中的坐标信息,坐标信息具体的又包括x轴坐标信息和y轴坐标信息。当用户操作控制装置指示选择器603在目标对象之间移动时,选择器603的移动方向的确定过程,具体可以为:
100.当用户按压控制装置上的右键,首先选择器603移动的水平方向为向右,即移动后的选择器603选择的目标对象的x轴坐标大于,移动前的选择器603选择的目标对象的x轴坐标。如果在右的目标对象有多个,进一步根据就近原则选择最终被选择的目标对象。即选择在右的所有目标对象中,与移动前的选择器603选择的目标对象,直线距离最近的目标对象。确定最终被选择的目标对象之后,根据移动前的选择器603选择的目标对象和移动后的选择器603选择的目标对象之间的位置关系,确定选择器603的移动方向。
101.在一些实施例中,目标对象都具有像素轮廓,可以根据各目标对象的像素轮廓确定像素矩形边框,其中,像素矩形边框的四条边均连接目标对象的像素轮廓,且目标对象的
像素轮廓不超过像素矩形边框的范围。
102.进一步,目标对象的识别框的位置可以根据像素矩形边框的位置确定,目标对象的识别框的尺寸可以根据像素矩形边框的尺寸确定。具体的,可以将像素矩形边框的中心点确定为识别框的中心点,另外将像素矩形边框的长和宽适当的增大。这样可以根据目标对象的实际大小确定识别框的大小,使得标识识别框后的画面更协调。
103.在一些实施例中,如果目标对象的显示尺寸小于预设尺寸阈值,则表示目标对象显示尺寸过小,不利于用户观察目标对象。如果直接将目标对象放大显示,又由于放大后的目标对象分辨率较低,放大后的目标对象模糊不清,仍然不利于用户观察。需要说明的是,本技术实施例不考虑,目标对象被放大后,分辨率足够大,而导致不会出现模糊不清的情况。
104.此时,显示设备向服务器发送图像请求,以从服务器获取目标对象对应的推荐图像,并在用户界面的上层图层显示放大后的推荐图像。如图11所示,目标对象

王五

在截图图像上显示尺寸小于预设尺寸阈值,直接放大目标对象

王五

,放大后的目标对象

王五

模糊不清,仍然不利于用户观察。则从服务器获取与目标对象

王五

对应的推荐图像,并在用户界面上层图层显示对应的推荐图像。
105.需要说明的是,在目标对象和推荐图像显示尺寸相同的条件下,推荐图像的图像分辨率大于目标对象的图像分辨率。也就是说在显示尺寸相同的条件下,推荐图像的清晰度要高于目标对象的清晰度。并且本技术中推荐图像的显示尺寸大于目标对象的显示尺寸。实现方式可以是,在第二用户界面上设置显示控件,该显示控件的显示尺寸大于目标对象的显示尺寸。从服务器获取推荐图像后,在该显示控件中填充获取的推荐图像。这样推荐图像的显示尺寸即大于目标对象的显示尺寸,由于推荐图像的图像分辨率大于目标对象的图像分辨率,显示的推荐图像不会出现模糊不清的情况。
106.显示控件的显示尺寸大小可以等于预设尺寸阈值的,也可以大于预设尺寸阈值。如果显示控件的显示尺寸小于推荐图像的显示尺寸,则会出现推荐图像在显示控件中显示不全的情况。此时,可以将推荐图像缩小之后,再进行填充显示。如果显示控件的显示尺寸大于推荐图像的显示尺寸,则会出现推荐图像在显示控件中显示过小的情况。此时,可以将推荐图像放大之后,再进行填充显示。
107.还需要说明的是,预设尺寸阈值可以是经过试验测定,人眼在正常观看距离内,可以清晰看清目标对象时,目标对象的最小显示尺寸。例如,将预设尺寸阈值设置为显示器屏幕短边长度的四分之一。
108.本技术实施例中目标对象和最后显示的推荐图像均为人物头像。如果从服务器获取的推荐图像不是人物头像,例如为人物全身照。则可以进一步对人物全身照进行头像识别,识别出人物头像之后,对推荐图像进行裁剪,得到为人物头像的推荐图像之后,再下发至显示设备进行填充显示。
109.在一些实施例中,确定目标对象的显示尺寸的具体步骤为:
110.根据目标对象的像素轮廓确定像素矩形边框,根据像素矩形边框的尺寸确定目标对象的显示尺寸。其中,目标对象的像素轮廓是在截图图像中该目标对象所占的像素范围。例如,目标对象为人物头像时,人物头像的像素轮廓即头像所占的像素范围。人物头像一般为椭圆形,根据椭圆形的形状可以确定一像素矩形边框。该像素矩形边框的四条边与椭圆
形的人物头像的像素轮廓均连接,且人物头像的像素轮廓不超过像素矩形边框的范围。确定的像素矩形边框的尺寸即为目标对象的显示尺寸。计算像素矩形边框的尺寸相较于直接计算不规则的人物头像的尺寸更简单,因而能够减少计算量。
111.在一些实施例中,确定目标对象的显示尺寸与预设尺寸阈值的大小关系的具体步骤为:
112.如果设置的预设尺寸阈值为面积值,则计算目标对象的像素矩形边框的面积值,将像素矩形边框的面积与预设尺寸阈值进行比较。如果像素矩形边框的面积大于预设尺寸阈值,则目标对象的显示尺寸大于预设尺寸阈值。如果像素矩形边框的面积小于或等于预设尺寸阈值,则目标对象的显示尺寸小于或等于预设尺寸阈值,则目标对象的显示尺寸在预设尺寸阈值范围内。
113.如果设置的预设尺寸阈值为长度值,则将目标对象的像素矩形边框的高度值和/或宽度值分别与预设尺寸阈值进行比较。如果像素矩形边框的高度值和/或宽度值大于预设尺寸阈值,则目标对象的显示尺寸大于预设尺寸阈值。如果像素矩形边框的高度值和宽度值中至少有一项小于预设尺寸阈值,则目标对象的显示尺寸小于预设尺寸阈值,则目标对象的显示尺寸在预设尺寸阈值范围内。
114.需要说明的是,服务器识别截图图像中的至少一个目标对象之后,目标对象的识别信息反馈至显示设备。因此,目标对象的显示尺寸大小的判断,可以是由服务器执行,也可以是由显示设备执行。如果由服务器判断目标对象的显示尺寸与预设尺寸阈值的大小关系,服务器根据判断结果直接确定是否发送推荐图像至显示设备。如果由显示设备判断目标对象的显示尺寸与预设尺寸阈值的大小关系,需要将判断结果发送至服务器,服务器再根据判断结果确定是否发送推荐图像至显示设备。
115.在一些实施例中,服务器向显示设备反馈的目标对象的识别信息至少包括,目标对象的名称。用户通过控制装置移动选择器603之后,显示设备将被选择的目标对象的名称反馈至服务器。服务器接收到显示设备发送的目标对象的名称,根据该名称查找对应的推荐图像,以及将对应的推荐图像反馈至显示设备。
116.需要说明的是,目标对象的名称和推荐图像的名称可以是相同的。例如,目标对象的名称为张三,对应的服务器中存储有名称为张三的推荐图像。因而,服务器直接根据名称,向显示设备反馈名称为张三的推荐图像。
117.目标对象的名称和推荐图像的名称也可以不相同,只是相对应。例如,目标对象的名称为张三,服务器中存储的对应的推荐图像的名称为张三演唱的歌曲的名称。服务器可以根据名称张三,查找到张三演唱的歌曲的名称,进而查找到对应的推荐图像。
118.在一些实施例中,如果目标对象的显示尺寸大于预设尺寸阈值,则不从服务器获取对应的推荐图像,另外也不放大目标对象,在当前用户界面上保持显示目标对象。
119.示例性的,在图10的播放画面中识别出5个人物头像6011~6015,其中人物头像6011、6012以及6015在画面中显示的区域较大,人物头像6013和6014在画面中显示的区域较小。在图10中选择器603选择人物头像6012,可以确定人物头像6012的显示尺寸与预设尺寸阈值的大小关系。此时,人物头像6012在显示器上显示的区域大小满足人眼的观看要求,即人物头像6012的显示尺寸大于预设尺寸阈值,则仅显示人物头像6012。
120.在图10中,当用户操作控制装置的向右按键,响应于该按键的控制指令,选择器
603从人物头像6012移动至人物头像6013。如图11所示,由于人物头像6013(显示人名王五)的显示尺寸小于预设尺寸阈值,即人物头像6013在显示器上显示的区域大小不能满足人眼的观看要求。则根据当前选择器60选择的目标对象的名称

王五

,查找服务器中与

王五

对应的推荐图像。
121.需要说明的是,在服务器中所有的推荐图像都事先设置有名称标签。如果有多张具有

王五

名称标签的推荐图像,则可以随机向显示设备反馈其中一张推荐图像。
122.在一些实施例中,服务器可以包括内容识别子服务器和媒资服务器。显示设备将截图图像发送至内容识别子服务器,内容识别子服务器利用图像识别算法,识别截图图像中的目标对象。之后内容识别子服务器将目标对象的识别信息反馈至显示设备。如果选择器选择的目标对象的显示尺寸小于预设尺寸阈值,显示设备将选择器选择的目标对象的识别信息发送至媒资服务器。媒资服务器根据识别信息,查找与识别信息匹配的推荐图像,并将推荐图像反馈至显示设备,以使在当前用户界面的上层图层显示该推荐图像。
123.本技术实施例提供一种内容显示方法,如图12所示的内容显示方法的信令图,所述方法包括以下步骤:
124.步骤一、在显示器上显示第一用户界面。例如,显示器上可以播放图6所示的综艺节目。
125.步骤二、接收从用户输入接口输入的用于指示对第一用户界面进行截图识别的控制指令。例如,用户按压控制装置上的预设按键(小聚键),接收小聚键对应的截图识别控制指令。
126.步骤三、响应于截图识别的控制指令,在显示器上呈现第二用户界面,第二用户界面中包括第一用户界面的截图图像,截图图像中包括至少一个目标对象,还包括用以指示在用户界面中项目被选择的选择器。
127.具体的,可以是将截图图像发送至服务器,以使服务器识别截图图像中的至少一个目标对象,同时服务器将识别的目标对象的识别信息反馈至显示设备。例如,在第一用户界面601的截图图像上,识别出5个人物头像6011~6015。识别出人物头像的同时,在5个人物头像6011~6015处分别显示识别框6021~6025,这里识别框示例性的为矩形边框。
128.结合图12所示的方法、图13所示的界面图层分布示意图以及图14所示的目标对象的位置信息示意图,对识别目标对象的的具体实现过程进行阐述:
129.需要说明的是,图13所示的界面构成分为2个部分,图层b(第一用户界面)为最底层view,该图层上绘制的内容为第一用户界面的截图图像。图层t为上层view,其位于图层b之上,该图层上绘制的内容为目标对象的识别框、选择器、目标对象的关联信息以及目标对象的推荐图像。
130.首先,响应于截图识别的控制指令,对第一用户界面进行截图得到截图图像,在图层b上绘制第一用户界面的截图图像。具体的,将获取的截图图像通过setbackgroud()方式设置为图层b view的背景内容。
131.之后将截图图像发送至图像识别服务器,并根据图像识别服务器反馈的截图图像中目标对象的内容信息,在图层m上绘制各目标对象对应的内容信息。其中,目标对象对应的内容信息至少包括:目标对象的类型(人物、动物、植物等类型)、目标对象的位置信息、目标对象的名称、目标对象的关联信息(如人物出演过的电视剧)。
132.当从图像识别服务器返回目标对象的内容信息时,图层t viewgroup通过setvisibility()方式置为可见状态。同时根据获取的到目标对象的位置信息,将目标对象的轮廓以矩形边框圈描出来。
133.目标对象的位置信息可以在根据目标对象的像素轮廓,确定像素矩形边框后获得。具体的,如图14所示,根据目标对象的像素轮廓确定像素矩形边框,该像素矩形边框的四条边均连接目标对象的像素轮廓,并且目标对象的像素轮廓不超过像素矩形边框的范围。目标对象的位置信息为:像素矩形边框的左上角的x轴坐标信息x0、像素矩形边框的左上角的y轴坐标信息y0。目标对象的像素矩形边框在截图图像中的宽度(即x轴上的长度)w0,目标对象的像素矩形边框在截图图像中的高度(即y轴上的长度)h0。
134.目标对象的识别框的绘制过程为:通过遍历获取到每个目标对象的位置信息,为每个目标对象创建一个imageview控件,以目标对象的位置信息来控制所创建的imageview控件的位置和大小。然后将创建的imageview控件绘制到图层t所表示的viewgroup控件上。从而可以根据图像识别服务器反馈的目标对象的位置信息,在显示器的图层t上绘制各目标对象的识别框。
135.步骤四、接收选择器选择目标对象的指示,如果选择器选择的目标对象的显示尺寸小于预设尺寸阈值,从服务器接收目标对象对应的推荐图像,以及在第二用户界面的上层图层显示推荐图像。其中,推荐图像的显示尺寸大于目标对象的显示尺寸,目标对象和推荐图像显示尺寸相同时,推荐图像的分辨率大于目标对象的分辨率。服务器根据选择器的坐标信息,确定选择器选择的目标对象的坐标信息,进而确定目标对象的名称,根据目标对象的名称查找对应的推荐图像。
136.步骤五、如果选择器选择的目标对象的显示尺寸大于或等于预设尺寸阈值,不从服务器接收目标对象对应的推荐图像。
137.例如,识别的人物头像为刘德华,则目标对象的名称为刘德华,在媒资库中可通过搜索刘德华得到刘德华对应的推荐图像。这里,媒资库存储的图片多为清晰度(分辨率)较高的图片,至少相较于从截图图像上抠图得到的目标对象的图像的清晰度要高。
138.确定目标对象的显示尺寸和预设尺寸阈值的具体过程为:计算w0、h0与设置的预设尺寸阈值β之间的大小关系。如果w0*h0小于预设尺寸阈值β时,则当前目标对象的显示尺寸较小,用户在正常观看距离内不易观察。可以将目标对象的显示尺寸放大,即将目标对象从截图图像上抠图后直接放大。由于从截图图像上抠图的目标对象的像素是固定的,直接放大后容易发生不清晰的情况。将目标对象从截图图像上抠图后直接放大之后,仍然会存在用户在正常观看距离内不易观察的情况。
139.因此,如果w0*h0小于预设尺寸阈值β时,另外创建一个imageview控件,用从后台服务器获取的目标对象对应的推荐图像填充imageview控件。具体的,另外创建的imageview控件的尺寸为w1*h1,即该imageview控件的标示框的宽度为w1,高度为y1。其中,w1大于w0,h1大于h0。此时该imageview控件的标志框资源作为imageview控件的backgroud(通过setbackground()方式实现)。从后台服务器获取的目标对象对应的推荐图像作为imageview控件的content(通过setimagedrawable()方式实现)。创建的imageview控件的尺寸可以等于预设尺寸阈值,也可以大于预设尺寸阈值。
140.在一些实施例中,如果目标对象的顶端到屏幕顶端的距离大于imageview控件的
显示尺寸中的高度值时,表示目标对象的上方有足够的空间,以使将该imageview控件放置在目标对象的上方。则在目标对象的上方显示imageview控件。
141.如果目标对象的顶端到屏幕顶端的距离小于imageview控件的显示尺寸中的高度值时,表示目标对象的上方没有足够的空间,以使将该imageview控件放置在目标对象的上方。则在目标对象的下方显示imageview控件。
142.本技术各个实施例之间相同或相似的内容可相互参照,相关实施例不再赘述。
143.最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
144.为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1