一种显示设备和图像识别结果的展示方法与流程

本申请实施例涉及显示技术。更具体地讲，涉及一种显示设备和图像识别结果的展示方法。

背景技术：

电视作为日常生活中常见的家电，可以将影音、娱乐和游戏等功能集于一体。例如，电视可以对图像的内容进行识别等等。在对图像进行内容识别时，识别的准确率、成功率受很多因素限制。

相关技术中，在进行内容识别时，无法保证识别准确率达到100％，即无法完全保证识别出的结果与所识别对象的真实身份相符合。例如，所识别图像中的待识别对象的尺寸、清晰度以及角度等等，都会对识别结果产生影响。如果待识别对象的尺寸较小、清晰度较低或者角度较偏，不够正面，都可能会导致识别出的结果与所识别对象的真实身份不符合。此时的识别结果会对用户产生误导，造成用户对所识别对象的认知错误。

技术实现要素：

本申请提供了一种显示设备和图像识别结果的展示方法，以解决相关技术中，对图像进行内容识别时，内容识别结果可能会对用户产生误导，造成用户对所识别对象的认知错误的问题。

一方面，本申请提供一种显示设备，所述显示设备包括：显示器与控制器，所述控制器与所述显示器通信连接，所述控制器被配置为用以执行如下步骤：接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：如果所述置信度不大于预设阈值，则控制所述显示器采用提示性显示效果显示所述识别结果。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：如果所述置信度大于预设阈值，则控制所述显示器采用非提示性显示效果显示所述识别结果。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：如果所述置信度不大于预设阈值，则控制所述显示器显示所述识别结果及预设提示性信息。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：如果所述置信度大于预设阈值，则控制所述显示器显示所述识别结果且不显示所述预设提示性信息。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：控制所述显示器使用与所述置信度所在的置信度区间所对应的显示方式，显示所述识别结果。

在一些实现方式中，所述响应信息中还包括所述识别结果的置信度。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果的步骤前，所述控制器还被配置为：生成或获取所述识别结果的置信度。

在一些实现方式中，在生成或获取所述识别结果的置信度的步骤中，所述控制器还被配置为：基于所述截图图像的分辨率，生成所述识别结果的置信度、

在一些实现方式中，在生成或获取所述识别结果的置信度的步骤中，所述控制器还被配置为：基于所述目标对象所在区域在所述截图图像中位置或面积占比，生成所述识别结果的置信度。

在一些实现方式中，所述识别结果中包含所述目标对象的名称信息及所述目标对象的定位信息，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：在基于所述定位信息确定的名称信息显示位置，显示所述识别结果。

另一方面，本申请还提供一种图像识别结果的展示方法，该展示方法可以应用于显示设备，所述显示设备可以包括显示器与控制器，所述控制器被配置为执行以下程序步骤：接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中：如果所述置信度不大于预设阈值，则控制所述显示器采用提示性显示效果显示所述识别结果；或者，如果所述置信度大于预设阈值，则控制所述显示器采用非提示性显示效果显示所述识别结果。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，如果所述置信度不大于预设阈值，则控制所述显示器显示所述识别结果及预设提示性信息；或者，如果所述置信度大于预设阈值，则控制所述显示器显示所述识别结果且不显示所述预设提示性信息。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中：控制所述显示器使用与所述置信度所在的置信度区间所对应的显示方式，显示所述识别结果。

在一些实现方式中，述响应信息中还包括所述识别结果的置信度。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果的步骤前，还包括：生成或获取所述识别结果的置信度。

在一些实现方式中，在生成或获取所述识别结果的置信度的步骤中，包括：基于所述截图图像的分辨率，生成所述识别结果的置信度；或者，基于所述目标对象所在区域在所述截图图像中位置或面积占比，生成所述识别结果的置信度。

在一些实现方式中，所述识别结果中包含所述目标对象的名称信息及所述目标对象的定位信息，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围。

在一些实现方式中，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，包括：在基于所述定位信息确定的名称信息显示位置，显示所述识别结果。

本申请提供了一种显示设备和图像识别结果的展示方法，可以控制显示器显示识别出的与识别出的对象相应的提示信息，从而可以通过提示信息提示用户可能存在识别错误的风险，避免对用户产生误导。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；

图6示出了一些实施例的网络架构图；

图7a至图7d为本申请一个实施例中对象识别框的显示效果示意图；

图8a至图8d为本申请另一个实施例中对象识别框的显示效果示意图；

图9为本申请图像识别结果一个实施例的流程示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。

在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。

在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(centralprocessingunit，cpu)，视频处理器，音频处理器，图形处理器(graphicsprocessingunit，gpu)，ramrandomaccessmemory，ram)，rom(read-onlymemory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。

cpu处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(applicationframework)层(简称“框架层”)，安卓运行时(androidruntime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(managers)，内容提供者(contentprovider)等，其中管理器包括以下模块中的至少一个：活动管理器(activitymanager)用与和系统中正在运行的所有活动进行交互；位置管理器(locationmanager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(packagemanager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notificationmanager)用于控制通知消息的显示和清除；窗口管理器(windowmanager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是hdmi接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。

为清楚说明本申请的实施例，下面结合图6对本申请实施例提供的一种网络架构进行描述。

参见图6，图6为本申请实施例提供的一种网络架构示意图。图6中，智能设备用于接收输入的信息以及输出对该信息的处理结果；语音识别服务设备为部署有语音识别服务的电子设备，语义服务设备为部署有语义服务的电子设备，业务服务设备为部署有业务服务的电子设备。这里的电子设备可包括服务器、计算机等，这里的语音识别服务、语义服务(也可称为语义引擎)和业务服务为可部署在电子设备上的web服务，其中，语音识别服务用于将音频识别为文本，语义服务用于对文本进行语义解析，业务服务用于提供具体的服务如墨迹天气的天气查询服务、qq音乐的音乐查询服务等。在一个实施例中，图6所示架构中可存在部署有不同业务服务的多个业务服务设备。如无特殊说明，业务服务设备即为本申请实施例中的各类服务器。

下面对基于图6所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例，上述过程可包括如下三个阶段：

1、语音识别阶段

智能设备可在接收到通过语音输入的查询语句后，将该查询语句的音频上传至语音识别服务设备，以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。

在一个实施例中，将查询语句的音频上传至语音识别服务设备前，智能设备可对查询语句的音频进行去噪处理，这里的去噪处理可包括去除回声和环境噪声等步骤。

2、语义理解阶段

智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备，以由语义服务设备通过语义服务对该文本进行语义解析，得到文本的业务领域、意图等。

3、响应阶段

语义服务设备根据对查询语句的文本的语义解析结果，向相应的业务服务设备下发查询指令以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出，例如无线、红外等形式将查询结果输出至显示设备。作为一个实施例，语义服务设备还可将对查询语句的语义解析结果发送至智能设备，以由智能设备输出该语义解析结果中的反馈语句。语义服务设备也可将对查询语句的语义解析结果发送至显示设备，以由智能设备输出该语义解析结果中的反馈语句。

需要说明的是，图6所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，在此不做赘述。

本申请实施例中的显示设备200能够实现用户可以根据自身需要选择目标显示界面中的任意区域进行内容识别，识别效果较好，显示设备200中的控制器250与显示器275通信连接，并被配置为执行图像内容识别的过程。

本申请实施例中的显示设备200能够可以控制显示器在对象识别框的附近显示识别出的对象的名称信息或文字提示信息，即可以通过文字提示信息提示用户可能存在识别错误的风险，避免对用户产生误导。显示设备200中的控制器250与显示器275通信连接，并被配置为执行图像识别结果的展示的过程。下面结合附图来介绍本申请实施例提供的图像识别结果的展示的过程。如果无特殊说明，以下实施例中显示设备所执行的步骤均可以理解为由所述控制器250执行或者由所述控制器250或所述控制器250与所述显示设备200的其他组成部分配合执行.

本申请示例性示出了一种显示设备，该显示设备可以具有截图识别功能，能够接收用户发送的截图指令。截图指令可以由用户直接向显示设备发送，也可以由用户通过手机、遥控器等设备向显示设备发送。例如，用户可以通过操作遥控器的指定截图按键，向显示设备发送截图指令。或者，用户可以通过语音的方式向显示设备输出截图指令。例如，用户可以语音输出“这个人是谁？”、“这件衣服从哪里买？”、“画面中有什么/谁？”，此时显示设备会接收到截图指令。显示设备接收到截图指令之后会唤起内容识别功能。

显示设备响应于接收到的截图指令，可以对当前显示界面进行截图操作，获得截图图像。所述截图图像可以包含当前显示界面所显示的全部内容，也可以仅包含当前显示界面所显示的部分内容，例如可以仅包含当前显示界面中部分界面元素或部分区域所显示的内容。所述截图图像可以是静态图片、动态图片、视频等。

在获得截图图像后，显示设备可以将截图图像上传至内容识别服务器，由内容识别服务器进行内容识别。内容识别服务器则可以对截图图像进行识别，并生成识别结果，然后将响应信息发送给显示设备。

所述内容识别服务器可以包括一个也可以包括多个，不同内容服务器的类型和相同也可以不同，通常情况下，不同内容识别服务器可以拥有对不同目标对象进行识别，例如，不同内容识别服务器可以分别用于人脸识别、动物识别、植物识别。显示设备可以同时将截图图像发送给多个内容识别服务器，例如，可以先将截图图像发送给第一内容识别服务器，如果在预定时长内未收到该第一内容识别服务器的响应信息，或者第一内容识别服务器的反馈的响应信息中为包括可用给的识别结果，那么可以基于用户的操作或自动再将所述截图图像发送给第二内容识别服务器。本申请不对截图图像的发送方式或发送过程进行限定。

所述反馈信息中可以包含所述目标对象的识别结果。所述目标对象可以为一个也可以为多个；相应的，所述识别结果也可以为一个或多个，其中，每一个识别结果可以对应一个目标对象，每一个目标对象则可以对应多个识别结果。不同的内容识别服务器所识别的目标对象可以有所不同，同一个内容谁别服务器可以用于识别截图图像中的一类或几类目标对象。根据所述内容识别服务器的不同，所述目标对象的类别可以包括人脸、人像、物品、动物、植物、建筑、文字、图形，当从所述截图图像中识别出的所述目标对象为多个时，不同目标对象的类型可以相同也可以不同。

根据所述目标对象的不同，所述识别结果也相应有所不同，所述识别结果是指用于描述从所述目标对象的信息，通常情况下所述识结果可以包括目标对象的名称信息、描述信息等。除此之外所述识别结果中还可以包括目标对象的定位信息，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围，本申请不对所述定位信息的形式进行限定。所述识别结果中也可以包括更多或更少的信息，可以由同一服务器将识别结果的全部内容发送给显示设备，也可以由不同的服务器分别将识别结果的不同部分分别发送给显示设备，对此本申请也不做限定。

例如，当所述目标对象为人脸或人像时，所述识别结果可以包括该人的人名，以及人脸的图像轮廓位置；当所述目标对象为物品时，所述识别结果可以包括目标对象的物品名，以及物品的图像轮廓位置；当所述目标对象为建筑物时，所述识别结果可以包括建筑物坐在地的地名；当所述目标对象为文字时，所述识别结果可以为该段文字的出处或翻译结果等。

所述反馈信息中除包含所述识别结果之外，还可以包含其他用于辅助显示设备对所述识别结果进行显示的辅助信息，例如，可以包括所述识别结果的置信度、置信度阈值、所述识别结果的置信度是否超过置信度阈值、所述目标对象在所述截图图像中的位置、所述识别结果的显示方式参数、与置信度对应的附加信息等多种信息中的一个或多个。其中，所述识别结果的置信度是指识别结果的可靠程度，置信度越高表示该识别结果越可靠，置信度越低表示该识别结果越不可靠。所述识别结果的置信度超过置信度阈值可以表示识别结果可靠，置信度未超过置信度阈值则可以表示识别结果不可靠。

例如，如果所述内容识别服务器为人物识别服务器，内容识别服务器对截图图像进行内容识别之后，识别出第一对象和第二对象两个目标对象，也即从截图图像中识出两个人物。第一对象对应的第一对象所在区域的坐标基点为(x1，y1)、第一对象所在区域的高度为h1、第一对象所在区域的宽度为w1、识别出的第一对象的名称信息为“星辰”、第一对象的识别结果置信度为95％。第二对象对应的第二对象所在区域的坐标基点为(x2，y2)、第二对象所在区域的高度为h2、第二对象所在区域的宽度为w2、识别出的第二对象的名称信息为“婉婉”、第二对象的识别结果置信度为60％。其中，坐标基点是在对象所在区域定中某个特定点，例如所在区域的中心点，所在区域某一个定点等，所述长度和宽度的单位均可以为像素数量。

相应的，所述响应信息中可以包括：第一对象所在区域的坐标基点(x1，y1)、第一对象所在区域的高度h1、第一对象所在区域的宽度w1、第一对象的名称信息“星辰”、第一对象的识别结果置信度95％；第二对象所在区域的坐标基点(x2，y2)、第二对象所在区域的高度h2、第二对象所在区域的宽度w2、第二对象的名称信息“婉婉”、第二对象的识别结果置信度60％；以及预设置信度阈值可以为75％。

所述辅助信息也可全部或部分由所述显示设备生成或从所述内容识别服务器之外的服务器获取，显示设备可以在接收到所述响应信息前生成或获取所述辅助信息，也可以在接收到所述响应信息后再生成或获取所述辅助信息。例如所述置信度阈值也可以预先设置在所述现实设备上，所述置信度也可以由所述控制器根据所述截图图像的特征参数生成。

例如，显示设备可以根据截图图像的分辨率生成识别结果的置信度，当所述截图图像的分辨率越高时所述置信度也越高，当所述截图图像的分辨率越低时所述置信度也相应越低。或者，也可以根据目标对象所在区域的长度和宽度生成识别结果的置信度，当所述长度和宽度值越大时所述置信度也越高，当所述长度和宽度值越小时所述置信度也越低。还可以基于所述目标对象在所述截图图像中位置或占比，生成所述识别结果的置信度，具体方式在此就不再赘述。在另一些实施例中，也可以不生成所述置信度，而直接生成所述置信度是否超过信度阈值的判断结果，或者直接生成所述置信度在哪个信度阈值区间的分析结果。

所述辅助信息中也可以包括更多或更少的信息，所述辅助信息中的全部或部分可以由同一服务器(例如内容识别服务器)将辅助信息的全部内容发送给显示设备，也可以由不同的服务器分别将辅助信息的不同部分分别发送给显示设备，或者也可以由所述显示设备自行生成，对此本申请也不做限定。

在接收到所述识别结果后，显示设备可以控制显示器在截图图像中显示所述识别结果。

所述识别结果的显示位置可以基于所述识别结果中的定位信息确定，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围。例如，为指示所述目标对象，显示设备可以显示对象识别框，所述对象识别框所包围区域中的内容即为所述目标对象。

所示识别结果的显示方式和显示效果等，则可以根据所述置信度或所述辅助信息确定。

例如，如果所述置信度不大于预设阈值，则采用提示性显示效果显示所述识别结果，或同时显示所述识别结果及预设提示性信息，以表示该识别结果可能并不可靠或并不准确，即所述提示性信息用于表示所述识别结果存在有错误的可能性，其中，使用提示性显示效果显示是指使用闪烁、使用特定色彩等能提醒用户注意的效果进行显示，所述提示性信息是指提示性文字、提示性图像等；如果所述置信度大于预设阈值，则采用非提示性显示效果显示所述识别结果，或显示所述识别结果且不显示所述预设提示性信息，表示该识别结果较为可靠。

又如，只在所述识别结果的置信度大于预设阈值时，才显示所述识别结果；如果所述置信度不大于预设阈值，则不显示所述识别结果而只显示预设的提示信息，例如，在所述置信度不大于预设阈值时显示“识别结果可能不准确，所以未予显示”等文字。

再如，可以预先划定一系列置信度区间，并且为每一个置信度区间分别配置不同的提示性信息和/或提示性显示效果。当所述置信度处于某个置信度区间时，采用该置信度区间所对应的提示性显示效果显示所述识别结果，或者显示与该置信度区间对应的提示性信息。

下面结合从截图图像中识别出第一对象和第二对象两个目标对象的示例，对识别结果的显示方式进行说明。

在一些实现方式中，显示设备可以根据第一对象对应的第一对象所在区域的坐标基点(x1，y1)、第一对象所在区域的高度h1、第一对象所在区域的宽度w1，在截图图像中显示第一对象对应的第一对象识别框；并根据第二对象对应的第二对象所在区域的坐标基点(x2，y2)、第二对象所在区域的高度h2、第二对象所在区域的宽度w2，在截图图像中显示第二对象对应的第二对象识别框。

在另一些实现方式中，显示设备可以基于第一对象的识别结果置信度大于预设置信度阈值这个判断结果，根据第一对象对应的第一对象所在区域的坐标基点(x1，y1)、第一对象所在区域的高度h1、第一对象所在区域的宽度w1，在截图图像中显示第一对象对应的第一对象识别框；而基于第二对象的识别结果置信度不大于预设置信度阈值这个判断结果，不显示第二对象对应的第二对象识别框。

除显示所述对象识别框之外，所述显示设备还可以显示目标对象的名称信息等信息，所述名称信息可以显示在所述对象识别框的范围之内，也可以显示在所述对象识别框之外的一定范围之内。

在一些实现方式中，由于第一对象的识别结果置信度大于预设置信度阈值，而第二对象的识别结果置信度不大于预设置信度阈值，显示设备可以如图7a所示，先显示第一对象识别框和第二对象识别框；当焦点移动到第一对象识别框上，如图7b所示，用加粗效果显示所述第一对象识别框，并在第一对象识别框的附近显示了第一对象的名称信息“星辰”。焦点移动到第二对象识别框上时，如图7c所示，用加粗效果显示所述第二对象识别框，并在第二对象识别框的附近显示识别出的第二对象的名称信息“婉婉”，以及预设提示性信息“可能是”，也即显示设备可以在第二对象识别框的附近显示“可能是婉婉”。由于在第二对象识别框的附近显示了“可能是婉婉”，用户就可以根据文字信息“可能是”知晓第二对象识别框所包围的第二对象可能是“婉婉”，也可能并不是“婉婉”而是其他人物。显示设备还可以显式预设的的提示性内容，例如“人脸的角度、尺寸、清晰度等因素可能导致识别有误”，对识别结果可能存在的错误给予提示，避免对用户产生误导。

在另一些实现方式中，由于第一对象的识别结果置信度大于预设置信度阈值，而第二对象的识别结果置信度不大于预设置信度阈值，显示设备也可以如图7d所示，同时显示第一对象识别框和第二对象识别框，并在第一对象识别框的附近显示了第一对象的名称信息“星辰”，并同时在第二对象识别框的附近用特定字体或特定颜色显示“可能是婉婉”。显示设备利用显式方式的不同，对识别结果可能存在的错误给予提示，避免对用户产生误导。

如前所述，前述实施例均以人脸为例说明图像识别结果的展示过程，在一些实施例中，还可以利用植物、动物或者建筑物为例说明图像识别结果的展示过程。并且，用于提示用户的文字信息除了为“像”之外，还可以为“与……相似”等等。从截图图像中识别出一个目标对象或更多个目标对象的技术方案可以参见前述，在此就不再一一赘述。

例如，如图8a所示，为一种显示加粗效果的植物识别框以及非加粗效果的植物识别框的示意图。在图8a中，加粗效果的植物识别框的附近还显示了“芦荟”，非加粗效果的植物识别框的附近显示了“与绿萝相似”。

此时，植物识别框的加粗效果表明该植物识别框所包围的对象的识别结果是是“芦荟”，并且识别结果的置信度录落入了较高的置信度区间，目标对象是芦荟的可信度很高，如果识别结果的置信度录落入了更低的置信度区间，则可以如图8b显示“可能是芦荟”。类似的，植物识别框的非加粗效果以及文字信息“与……相似”表明该植物识别框所包围的对象的识别结果是“绿萝”，但是该识别结果的置信度录落入了较低的置信度区间，目标对象是绿萝的可信度不高，如果识别结果的置信度录落入了更高的置信度区间，则可以如图8b显示“可能是绿萝”。

或者，如图8c所示，为一种显示实线效果的动物识别框以及虚线效果的动物识别框的示意图。在图8c中，实线效果的动物识别框的附近还显示“东北虎”，虚线效果的动物识别框的附近显示“与美洲豹相似”。此时，动物识别框的实线效果表明该动物识别框所包围的对象是“东北虎”的可信度很高；动物识别框的虚线效果以及文字信息“与……相似”表明该动物识别框所包围的对象是“美洲豹”的可信度不高。

或者，如图8d所示，为一种显示花边效果的建筑物识别框以及非花边效果的建筑物识别框的示意图。在图8d中，花边效果的建筑物识别框的附近还显示了“图片中的建筑位于上海”，非花边效果的建筑物识别框的附近用斜体字显示了“图片中建筑可能位于巴黎”。此时，建筑物识别框的花边效果表明该建筑物在“上海”的可信度很高；建筑物识别框的非花边效果以及斜体文字信息表明该建筑物在“巴黎”的可信度不高。

由以上技术方案可知，本申请实施例提供的一种显示设备，所述显示设备包括：显示器；控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：接收截图指令；响应于所述截图指令，对所述显示器所显示的当前显示界面进行截图操作，获得截图图像；将所述截图图像上传至内容识别服务器进行内容识别；接收所述截图图像的内容识别结果，所述内容识别结果包含从所述截图图像中识别出的对象的名称信息；控制所述显示器在所述截图图像中显示对象识别框，以及控制所述显示器在所述对象识别框的附近显示所述识别出的对象的名称信息或文字提示信息。这样，可以控制显示器在对象识别框的附近显示识别出的对象的名称信息或文字提示信息，即可以通过文字提示信息提示用户可能存在识别错误的风险，避免对用户产生误导。

参见图9，本申请还示例性示出了一种图像识别结果的展示方法的流程示意图，如图8所示，包括以下步骤：

步骤901、接收截图指令。

步骤902、响应于所述截图指令，对显示器所显示的界面内容进行截图操作，获得截图图像。

在接收到截图指令后，显示设备响应于接收到的截图指令，可以对当前显示界面进行截图操作，获得截图图像。

步骤903、将所述截图图像发送至内容识别服务器。

显示设备可以将截图图像上传至内容识别服务器进行内容识别，获得内容识别结果。在一些实施例中，假设内容识别服务器对截图图像进行内容识别之后，识别出12个对象。12个对象中的第三对象对应的第三对象所在区域的坐标为(x3，y3)、第三对象所在区域的高度为h3＝40像素、第三对象所在区域的宽度为w3＝45像素、识别出的第三对象的名称信息为“芊芊”、第三对象的识别结果置信度为48％。需要说明的是，显示设备还可以接收内容识别服务器下发的预设置信度阈值，该预设置信度阈值可以为75％。

步骤904、接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果。

所述内容识别服务器可以为一个也可以为多个，相应的所述响应信息也可以为一个或多个。所述响应信息可以包括多个部分，不同部分可以由同一个服务器发送，也可以由不同的服务器，所述服务器可以是所述内容识别服务器，可以是所述内容识别服务器之外的其他服务器。

步骤905、按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

在显示所述识别结果之前，显示设备还可以先生成或获取所述识别结果的置信度。例如，如果内容识别服务器具有生成置信度的功能，则所述置信度由内容识别服务器；如果内容识别服务器不具有生成置信度的功能，则所述置信度可以由所述显示设备或其他服务器生成。

以显示自行设成所述置信度为例，显示设备可以基于所述截图图像的特征信息或基于所述响应信息中所包含的信息生成所述置信度。例如，可以基于所述截图图像的分辨率，或者基于所述目标对象所在区域在所述截图图像中位置或占比，生成所述识别结果的置信度。内容识别服务器也可以采用前述方式生成所述置信度。当所述目标对象为多个时，不同目标对象的置信度可以共同确定，即每个目标对象的置信度都是同一值；不同目标对象的置信度也可以分别确定，在分别确定不同目标对象的置信度时，所采用的确定方式可以相同也可以不同。

在显示所述识别结果时，如果所述置信度不大于预设阈值，则可以采用提示性显示效果显示所述识别结果，或者，也可以显示所述识别结果及预设提示性信息，或者也可以将两种显示方式相和合；如果所述置信度大于预设阈值，则可以采用非提示性显示效果显示所述识别结果，或者可以显示所述识别结果且不显示所述预设提示性信息。

由以上技术方案可知，本申请实施例提供的一种图像识别结果的展示方法，接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。这样，除可以在对象识别框的附近显示识别出的对象的名称信息之外，还可以显示相应的提示信息，通过提示信息提示用户识别结果存在错误的可能性，避免对用户产生误导。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。尤其对于方法实施例而言，由于其与显示设备的实施例相对应，相关之处参见显示设备实施例即可。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。