应用唤醒方法、显示设备、移动终端及服务器与流程

文档序号:31710627发布日期:2022-10-04 18:32阅读:61来源:国知局
应用唤醒方法、显示设备、移动终端及服务器与流程
应用唤醒方法、显示设备、移动终端及服务器
1.本技术要求在2021年03月30日提交中国专利局、申请号为202110342826.6、发明名称为“显示设备唤醒方法、显示设备、移动终端及服务器”的中国专利申请的优先权,其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及显示设备技术领域,尤其涉及一种应用唤醒方法、显示设备、移动终端及服务器。


背景技术:

3.现有技术中的电视通常设置有按键和遥控接收组件,电视通过接收用户的按键操作,或者通过遥控接收组件接收遥控器的开机按键键值来控制电视的启动,电视启动后一般直接进入预定好的系统程序中。


技术实现要素:

4.第一方面,本实施例提供一种移动终端,包括:通信接口,所述通信接口用于所述处理器和服务器的通信;处理器,所述处理器用于:响应与接收到的操作,显示显示设备的在线列表,其中,所述在线列表中的显示设备控件被标记为开机状态,待机状态或关机状态中的一种,所述开机状态表征对应的显示设备的设置有操作系统的主处理器处于启动状态的状态,所述待机状态表征对应的显示设备的所述主处理器处于未启动状态但子处理器处于启动状态的状态,所述应的显示设备的所述主处理器处于未启动状态且子处理器处于未启动状态的状态;接收对所述在线列表中的第一显示设备控件的操作;在所述第一显示设备控件被标记为开机状态或待机状态时,发送连接请求给所述服务器,其中,所述连接请求包含对应所述第一显示设备控件的第一显示设备的第一显示设备标识,所述连接请求被用于启动所述第一显示设备中的预设应用,并通过所述预设应用建立通话连接;在所述第一显示设备控件被标记为关机键状态时,显示表征所述第一显示设备不可连接的提示信息。
5.第二方面,本实施例提供一种服务器,包括存储器和处理器,所述处理器用于:接收移动终端发送的连接请求,其中,所述连接请求中包含对应所述第一显示设备控件的第一显示设备的第一显示设备标识;响应与所述连接请求,建立虚拟会话房间,并反馈表征等待接通的消息给所述移动终端;发送唤醒指令给所述第一显示设备,其中所述唤醒指令包括对应所述虚拟会话房间的房间标识,所述唤醒指令用于使所述第一显示设备启动预设应用,并使所述第一显示设备中的所述预设应用根据所述房间标识建立会话连接。
6.第三方面,本实施例提供一种显示设备,包括:显示器;通信器,所述通信器用于:接收唤醒指令,在所述显示设备的主处理器处于启动状态时,将所述唤醒指令发送给所述主处理器,在所述显示设备的主处理器处于未启动状态且所述子处理器处于启动状态时,将所述唤醒指令发送给所述子处理器,其中,所述唤醒指令包括启动预设应用的指令;所述主处理器,所述主处理器被配置为:在接收到所述唤醒指令后,启动对应所述启动预设应用的指令的预设应用;所述子处理器,所述子处理器被配置为:在接收到所述唤醒指令后,控制所述主处理器启动,并将所述启动预设应用的指令发送给所述主处理器。
7.第四方面,本实施例提供一种应用唤醒方法,所述方法包括:接收移动终端发送的连接请求,其中,所述连接请求中包含对应所述第一显示设备控件的第一显示设备的第一显示设备标识;在确定所述第一显示设备为开机状态时,发送第一唤醒指令给所述第一显示设备,其中,所述第一唤醒指令包括启动预设应用的指令,所述启动预设应用的指令用于使所述第一显示设备中的主处理器启动预设应用;在确定所述第一显示设备为待机状态时,发送第二唤醒指令给所述第一显示设备,其中,所述第二唤醒指令包括开机指令、启动预设应用的指令,所述开机指令用于使所述第一显示设备中的子处理器控制所述第一显示设备中的主处理器启动,所述启动预设应用的指令用于使所述第一显示设备中的主处理器启动预设应用。
8.本技术提供的应用唤醒方法、显示设备、移动终端及服务器,能够实现对显示设备上安装的应用的远程唤醒,从而提升用户体验。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
10.图1示出了根据一些实施例的显示设备的使用场景;图2示出了根据一些实施例的控制装置的硬件配置框图;图3a示出了根据一些实施例的显示设备的硬件配置框图;图3b示出了根据一些实施例的显示设备的硬件配置框图图4示出了根据一些实施例的显示设备中软件配置图;图5示出了根据一些实施例的显示设备中应用程序的图标控件界面显示图;图6示出了根据一些实施例的显示设备的远程唤醒系统示意图;图7示出了根据一些实施例中移动终端中的用户界面示意图;图8示出了根据一些实施例中又一种移动终端中的用户界面示意图;图9示出了根据一些实施例中又一种移动终端中的用户界面示意图;图10示出了根据一些实施例的显示设备的应用唤醒方法信令图;
图11示出了根据一些实施例的又一种显示设备的应用唤醒方法信令图。
具体实施方式
11.为使本技术的目的和实施方式更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。
12.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
13.图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
14.在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
15.在一些实施例中,智能设备300可以包括移动终端300a、平板电脑、计算机、笔记本电脑,ar/vr设备等中的任意一种。
16.在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
17.在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
18.在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
19.在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
20.在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
21.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。 控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
22.在一些实施例中,通信接口130用于和外部通信,包含wifi芯片,蓝牙模块,nfc或可替代模块中的至少一种。
23.在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
24.图3a示出了根据示例性实施例中显示设备200的硬件配置框图。
25.在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
26.在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,ram,rom,用于输入/输出的第一接口至第n接口。
27.在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui 界面等。
28.在一些实施例中,显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
29.在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及epg数据信号。
30.在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
31.在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
32.在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
33.在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
34.在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如: 响应于接收到用于选择在显示器260上显示ui对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
35.在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
36.在一些实施例中控制器包括中央处理器(central processing unit,cpu),视频处理器,音频处理器,图形处理器(graphics processing unit, gpu),ram random access memory,ram),rom(read-only memory ,rom),用于输入/输出的第一接口至第n接口,通信总线(bus)等中的至少一种。
37.cpu处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外
部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。cpu处理器,可以包括多个处理器。
38.在一些实施例中,cpu处理器可以包括一个主处理器和一个子处理器。显示设备可以根据用户的操作被配置为开机状态和待机状态。显示设备被配置为开机状态时,显示设备的音像系统正常工作以进行声音或图形的输出。此时,主处理器处于正常工作状态,子处理器可以处于工作状态,也可以不处于工作状态。显示设备被配置为待机状态时,显示设备的音像系统不工作,也不进行声音或图形的输出。此时,子处理器处于工作状态,主处理器不处于工作状态。主处理器,是指能接收服务器发送的音视频码流并解码输出的处理器。子处理器是指能接收服务器发送的简单指令并唤醒主处理器的处理器。子处理器不具备主处理器的音视频处理功能。
39.在一些实施例中,主处理器和子处理器可以封装在一个芯片中,也可以单独封装。如图3b所示的实施例,为主处理器和子处理器单独封装的实施例。在单独封装的实施例中,子处理器一端与通信器连接,一端与主处理器连接。显示设备被配置为待机状态时,子处理器通过通信器从服务器获取指令,并根据该指令唤醒主处理器。
40.在一些实施例中,通信器可以同时和主处理器和子处理器连接。
41.在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
42.在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
43.在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的gui信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。 显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出rgb数据信号。
44.在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
45.在一些实施例中,用户可在显示器260上显示的图形用户界面(gui)输入用户命令,则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
46.在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,gui),是指采用图形方式显示的
与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
47.在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
48.在一些实施例中,显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后,再加载shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
49.参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(applications)层(简称“应用层”),应用程序框架(application framework)层(简称“框架层”),安卓运行时(androidruntime)和系统库层(简称“系统运行库层”),以及内核层。
50.在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
51.框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口,可在执行中访问系统中的资源和取得系统的服务。
52.如图4所示,本技术实施例中应用程序框架层包括管理器(managers),内容提供者(content provider)等,其中管理器包括以下模块中的至少一个:活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互;位置管理器( location manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(notification manager)用于控制通知消息的显示和清除;窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
53.在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
54.在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
55.在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
56.在一些实施例中,显示设备启动后可以直接进入预置的视频点播程序的界面,视频点播程序的界面可以如图5中所示,至少包括导航栏510和位于导航栏510下方的内容显示区,内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的
程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示,也可以在导航栏中的应用控件被选中后进行进一步显示。
57.在一些实施例中,显示设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是hdmi接口,直播电视接口等中的至少一种,用户选择不同的信号源后,显示器可以显示从不同信号源获得的内容。
58.远程唤醒是由网卡配合其他软硬件,通过给处于待唤醒状态(休眠状态或者待机状态)的智能电视发送特定的数据包,以使待唤醒的智能电视从待唤醒状态进入启动状态的过程。
59.然而,目前的远程唤醒仅能实现远程唤醒处于待机状态的智能电视,不能够远程唤醒智能电视上的应用,造成用户的使用体验较差。
60.为了解决上述问题,如图6所示,本技术提供一种远程唤醒系统,该远程唤醒系统包括至少一个显示设备200、服务器400以及至少一个移动终端300a(图中只示出一个移动终端)。
61.基于上述远程唤醒系统,远程唤醒的具体过程为:如果用户开启系统中的某一显示设备(可以是通过遥控器以普通模式开启显示设备),显示设备的主芯片(主处理器)为启动状态。低功耗芯片(子处理器)为未启动状态。在此种状态下,该显示设备的主芯片持续向服务器上报该显示设备的状态信息。具体的,上传心跳数据,服务器根据主芯片上传的心跳数据,确定显示设备处于开机状态。在一些实施例中,主芯片是主处理器的一种实现形态,低功耗芯片是子处理器的一种实现形态。在一些实施例中,主处理器和子处理器可以封装在同一芯片中。
62.如果用户关闭系统中的某一显示设备(可以是通过遥控器关闭显示设备,使得显示设备处于待机状态)。显示设备的主芯片为关闭未启动状态,主芯片在进入未启动状态之前,触发低功耗芯片进入启动状态。在此种状态下,低功耗芯片持续向服务器上传心跳数据,服务器根据低功耗芯片上传的心跳数据,确定显示设备处于待机状态。服务器根据至少一个显示设备上报的设备状态信息,生成显示设备在线列表。
63.低功耗芯片是显示设备待机时,主芯片关闭后,仍然工作的芯片。芯片的计算能力和功耗是强相关的,低功耗芯片可以是仅仅用于实现唤醒相关功能。通过设置低功耗芯片,在节能的前提下仍然能持续的向服务器上报显示设备的状态信息。主芯片可以为soc芯片(system-on-a-chip,系统级芯片),低功耗芯片可以为dsp(digital signal processing,数字信号处理技术)芯片或者arm cortex-m4(英国arm公司开发的嵌入式处理器)。本技术实施例中的,低功耗芯片可以是集成在主芯片上的,也可以是和主芯片为分离状态,本技术实施例不作限定。
64.在一些实施例中,主处理器中具有和通信器进行通信的功能单元,因此可以在主处理器启动时可以关闭子处理器。通信器在主处理器启动的时候将信号传递给主处理器,在子处理器启动的时候将信号传递给子处理器。主处理器和子处理器在工作时,向服务器发送不同的心跳数据,以使得服务器确认显示设备处于开机状态还是待机状态。在一些实施例中,不同的心跳数据,可以是心跳数据的特征不同,还可以是心跳数据携带有不同的表征标识。
65.在一些实施例中,主处理器不包含和通信器进行通信的功能单元,此时在在处理器启动时需要维持子处理器的开启。主处理器的通信必须要经过子处理器才能从通信器发出,信号的接收也要通过子处理器。
66.在一些实施例中,子处理器可以根据主处理器的开关状态发送不同的心跳数据。
67.在一些实施例中,子处理器在主处理器不工作时,自主向服务器发送第一心跳数据,在主处理器工作时,将主处理器的心跳数据作为第二心跳数据发送给服务器且此时不发送第一心跳数据。
68.在一些实施例中,在移动终端上安装有预设应用,例如小聚在家应用(音视频通信应用)、聚好看应用(影音视听应用)、远程控制应用等。以音视频通信应用为例,用户在移动终端上打开预设应用后,向服务器发送页面数据请求(即状态查询请求),服务器根据该页面数据请求向移动终端反馈显示设备在线列表。
69.在一些实施例中,预设应用是在操作系统内执行的应用,示例性的,电视本身的操作程序是系统程序,只要用户启动电视,系统程序便会在机器上执行,预设应用是一个应用层的程序,如果仅启动电视不启动预设应用,后来便不会有线程来执行预设应用,启动预设应用的前提是系统程序以具备启动系统程序内的其他应用的条件,对于芯片来讲,芯片的启动过程就是加载系统程序的过程。
70.在一些实施例中,通过打开该预设应用,用户可以查看显示设备在线列表。该在线列表中至少包括一个显示设备的控件。该显示设备在线列表中包含已经授权给当前账号(当前移动终端登录预设应用的账号)可以访问的显示设备(实现建立关联关系的显示设备)。在显示设备在线列表中,根据不同显示设备的状态,呈现对应的状态标识。
71.示例性的,显示设备a为主芯片持续向服务器上报显示设备a的状态信息,在上报的数据中,可以携带主芯片的标签。通过该标签,服务器可以判断显示设备a为开机状态。显示设备b为低功耗芯片持续向服务器上报显示设备a的状态信息,在上报的数据中,可以携带低功耗芯片的标签。通过该标签,服务器可以判断显示设备b为待机状态。显示设备c为关机状态(完全断电状态),因此服务器不能接收到显示设备c上报的状态信息,服务器可以判断显示设备c为关机状态。
72.服务器根据各个显示设备上报的状态信息,生成显示设备在线列表,并将显示设备在线列表反馈至移动终端。同时在移动终端的预设应用页面上显示显示设备在线列表。如图7所示的移动终端的用户界面示意图。显示设备a为在线状态(开机状态),则显示在线状态标识。显示设备b为待机状态,则显示待机状态标识。显示设备c为离线状态(关机状态),则显示关机状态标识,或者显示离线状态标识。
73.显示设备在线列表可以包含所有已经授权给当前账号可以访问的显示设备,即包含处于上述三种状态中的显示设备。显示设备在线列表也可以只包含处于在线状态和待机状态的显示设备。显示设备在线列表还可以只包含处于待机状态的显示设备。从而一方面节省页面资源,另一方面方便用户选取可以远程唤醒的显示设备。
74.在一些实施例中,显示设备向服务器上报的状态信息为心跳数据包的形式。显示设备周期性向服务器发送心跳数据包,服务器才判断该显示设备为在线状态或者待机状态。如果超过预设时间阈值,例如超过一分钟,服务器未接收到显示设备发送的心跳数据包,则判断显示设备为离线状态。服务器将更新的显示设备在线列表反馈至移动终端,移动
终端在用户界面上将该显示设备的状态标识更改为离线状态标识。这种情况可能是用户突然拔掉显示设备的电源线,使得显示设备从待机状态进入离线状态。
75.用户在移动终端的预设应用界面上查看到显示设备在线列表后,可以选择需要连接的显示设备。移动终端根据用户的选择,生成连接请求,并将该连接请求发送至服务器。生成的连接请求携带被选择的显示设备的设备信息。
76.在一些实施例中,如果用户在移动终端的预设应用界面上选择的显示设备处于开机状态,则向服务器发送第一连接请求。第一连接请求携带有该显示设备的设备信息。服务器接收到第一连接请求后,根据设备信息查找到对应的显示设备。服务器进一步根据该显示设备的设备状态生成第一唤醒指令,并将第一唤醒指令发送至对应的显示设备。由于该显示设备处于开机状态,由于第一唤醒指令仅用于开启预设应用。最后,显示设备的处理器根据第一唤醒指令控制预设应用开启。
77.在一些实施例中,显示设备的通信器接收并向主芯片发送该第一唤醒指令。主芯片响应与第一唤醒指令中的预设应用的标识,开启预设应用。
78.在一些实施例中,在显示设备处于开机状态时,第一唤醒指令可以为预设应用开启指令。
79.在一些实施例中,如果用户在移动终端的预设应用界面上选择的显示设备处于待机状态,则向服务器发送第二连接请求。第二连接请求携带有该显示设备的设备信息。服务器接收到第二连接请求后,根据设备信息查找到对应的显示设备。服务器进一步根据该显示设备的设备状态生成唤醒第二指令,并将第二唤醒指令发送至对应的显示设备。由于该显示设备处于待机状态,则第二唤醒指令不仅用于开启预设应用,还用于控制器显示设备从待机状态进入开机状态。显示设备的处理器首先根据第二唤醒指令控制显示设备从待机状态进入开机状态,之后再根据第二控制唤醒指令控制预设应用开启。
80.在一些实施例中,第一连接请求和第二连接请求中可以相同,示例性的包括显示设备的设备id信息,但不包括显示设备的设备状态信息。由于服务器中存储有各个显示设备的设备状态信息,当服务器接收到连接请求后,可以根据设备id信息,在存储的设备状态信息中查找与设备id信息对应的设备状态信息。例如,第一连接请求携带有显示设备a的设备id信息。服务器接收到第一连接请求后,根据显示设备a的设备id信息,查找到显示设备a的设备状态信息为开机状态。服务器可根据设备状态信息为开机状态生成对应的第一唤醒指令。在一些实施例中,所述设备状态信息可以包括开机状态标识、待机状态标识中的一种。
81.在一些实施例中,由于移动终端可以从服务器获取到各个显示设备的设备状态信息,本技术实施例中的第一连接请求和第二连接请求中也可以不相同,示例性的,包括显示设备信息和/或设备状态信息。服务器在获取到连接请求后,不需要再根据设备id信息查找对应的设备状态信息。例如,第二连接请求携带有显示设备b的设备状态信息为待机状态,服务器可根据设备状态信息为待机状态生成对应的第二唤醒指令。
82.在一些实施例中,在显示设备处于待机状态时,第二唤醒指令可以包括开机指令和第一唤醒指令(预设应用开启指令)。处理器根据开机指令控制显示设备从待机状态进入开机状态,之后再根据预设应用指令控制预设应用开启。
83.在一些实施例中,如果用户在移动终端的预设应用界面上选择的显示设备处于开
机状态,显示设备的主芯片处于启动状态,低功耗芯片则处于未启动状态。服务器直接向主芯片发送第一唤醒指令,第一唤醒指令为预设应用开启指令。主芯片根据预设应用开启指令控制预设应用开启。
84.在一些实施例中,在预设应用是音视频通信应用时,连接请求(第一连接请求和/或第二连接请求)中还包含会话请求标识,会话请求标识用于是服务器建立显示设备id和移动终端id之间的会话连接。
85.在一些实施例中,移动终端上展示的列表中显示设备的状态可以被标记为在线状态(第一状态)、待机状态(第二状态)、关机状态(第三状态)中的一种。显示设备在线状态下第一处理器启动,待机状态下第一处理器未启动,关机状态下第一处理器和第二处理器均未启动。
86.在一些实施例中,移动终端接收用户输入的操作指令,并判断显示设备的状态,在显示设备为开机或待机状态时发送不包含显示设备状态的连接请求给服务器,在显示设备为关机状态时,显示不可连接的提示信息。
87.在一些实施例中,服务器在接受到连接请求后,在连接请求不携带显示设备状态标识时,根据连接请求中的显示设备id,查询显示设备的状态,显示设备的状态存储在服务器根据显示设备的心跳连接建立起来的显示设备id和显示状态之间的关系中。
88.在一些实施例中,服务器在接受到连接请求后,根据连接请求中携带的显示设备状态标识确定显示设备的状态。
89.在一些实施例中,服务器根据显示设备的id和显示设备的状态生成生成唤醒指令,在显示设备的状态为待机状态时,生成包含开机指令和启动预设应用指令的唤醒指令,在显示设备的状态为开机状态时,生成包含启动预设应用指令不包含开机指令的唤醒指令。并将生成的唤醒指令发送个显示设备。
90.在一些实施例中,服务器在显示设备的状态为关机状态时,向移动终端反馈显示设备无法响应的消息。
91.在一些实施例中,在预设应用是音视频应用的时候,服务器根据会话请求标识和显示设备的状态确定是否创建虚拟会话房间。
92.在一些实施例中,在显示设备为开机或待机状态时,根据显示设备标识和移动终端标识为显示设备和移动终端的会话创建虚拟房间,并向移动终端反馈等待指令,以使移动终端响应与等待进行显示会话等待界面。
93.在一些实施例中,服务器在显示设备的状态为关机状态时,不根据显示设备标识和移动终端标识会话创建虚拟房间,并向移动终端反馈显示设备无法接入的提示消息。在一些实施例中,无非接入的提示消息可以和无法响应的消息不同,也可以相同。
94.在一些实施例中,在服务器创建会话虚拟房间后,发送接入会话的指令给显示设备,以使显示设备加入音视频会话。
95.在一些实施例中,接入会话的指令作为唤醒指令的一部分下发给移动终端,移动终端接收并缓存接入会话的指令,在预设音视频通信应用启动后,是预设音视频通信应用响应所述接入会话的指令以加入会话,或者显示提示信息。
96.在一些实施例中,接入会话的指令不和唤醒指令一起下发给移动终端,在显示设备启动预设音视频通信应用后,向服务器发送表征应用启动完成的标识,并接收服务器响
应与所述表征应用启动完成的标识反馈的接入会话的指令。
97.后续建立会话连接后的会话过程和关闭过程可以参照申请人之前申请的专利。
98.在一些实施例中,服务器可以不设置虚拟房间,仅和移动终端和显示设备预定访问端口,显示设备将音像数据上传到指定端口,服务器,将显示设备上传的音像数据和显示设备的唯一标识对应存放,移动终端根据显示设备唯一标识轮询指定窗口并获取上传的印象数据。
99.在一些实施例中,服务器设置虚拟会话房间后向所述显示设备发送唤醒指令,所述唤醒指令中还包含虚拟会话房间的房间标识。显示设备启动预设应用后根据房间标识加入虚拟会话房间以建立音视频会话。
100.在一些实施例中,如果用户在移动终端的预设应用界面上选择的显示设备处于待机状态,显示设备的主芯片处于未启动状态,而低功耗芯片处于启动状态。服务器向显示设备发送第二唤醒指令,显示设备的通信器接收并向低功耗芯片发送该第二唤醒指令,其中,第二唤醒指令中包括开机指令和预设应用开启指令。低功耗芯片首先根据开机指令控制主芯片从未启动状态进入启动状态同时缓存预设应用开启指令。主芯片在从未启动状态进入启动状态后,将状态结果反馈至低功耗芯片。低功耗芯片接收到主芯片的状态结果为启动状态后,将第二唤醒指令中的预设应用开启指令再发送至主芯片。最后主芯片根据预设应用开启指令控制预设应用开启。需要说明的是,在完成将预设应用开启指令发送至主芯片的进程后,低功耗芯片可以维持启动状态。而为了减少资源占用,主芯片在接收到预设应用开启指令后,可以向低功耗芯片发送关闭指令,以使低功耗芯片根据关闭指令从启动状态进入未启动状态。
101.在一些实施例中,低功耗芯片内可以响应开机指令向主芯片的指定接口/引脚发送电平信号以唤醒主芯片的启动。
102.在一些实施例中,低功耗芯片还可以缓存会话请求指令,可以在主芯片启动后 ,将预设应用开启指令和缓存会话请求指令一起发送给主芯片,主频片先响应预设应用开启指令启动预设应用,在预设应用启动完成后,在使预设应用响应会话请求指令。在一些实施例中,还可以在接收主芯片反馈的预设应用启动完成的消息后,将会话请求指令发送给主芯片,以使主芯片控制预设应用响应会话请求指令。
103.在一些实施例中,预设应用开启指令还携带与移动终端对应的对端邀请信息。预设应用打开后,接收该对端邀请信息,并解析该对端邀请信息,从而实现移动终端的预设应用和显示设备的预设应用建立连接。
104.在一些实施例中,预设应用启动后,响应与会话请求指令,在显示设备的显示器上显示提醒信息,所述提醒信息用于使显示设备提醒用户是否接受会话请求,在接收到用户不接收的操作指令后,显示设备反馈拒绝的标识给服务器,以使所述服务器向所述移动终端反馈所述显示设备不加入所述音视频会话的消息,在接收到用户接收的操作指令后,显示设备反馈同意的标识给服务器,以建立会话连接。
105.在一些实施例中,显示设备的预设应用响应与会话请求指令自动响应以自动建立会话连接。
106.在一些实施例中,服务器在接收到包含会话请求标识的连接请求时,根据显示设备唯一标识和移动终端唯一标识进行是否可自动建立会话的会话鉴权,在服务器侧的与存
储的关系中移动终端唯一标识被该显示设备唯一标识授权时,才建立虚拟会话房间,并执行后续流程。如果未被授权,则不建立虚拟房间,并反馈信息给移动终端以提醒所述移动终端未得到显示设备授权。
107.在一些实施例中,显示设备喜爱启动预设应用后,可以针对显示设备唯一标识和移动终端唯一标识进行是否可自动建立会话的进行二次鉴权。
108.在一些实施例中,显示设备和服务器之间设置有路由器。设备信息包括显示设备的ip地址、显示设备使用的路由器端口号以及显示设备的mac地址。服务器根据连接请求中包含的显示设备的ip地址和路由器端口号,向对应的路由器发送唤醒数据包(可以是magic packet单播包)。路由器接收到唤醒数据包后,将该唤醒数据包识别成定向广播包。路由器将这个广播包向所有端口广播,而广播包中包含显示设备的mac地址。与该mac地址对应的显示设备接收到广播包后,显示设备的预设应用即被唤醒。而该路由器连接的其他mac地址的显示设备接收到该广播包后,直接将该数据包遗弃。
109.示例性的,预设应用为看家app,在移动终端的看家app上选择需要建立连接的显示设备,被选择的显示设备接收到看家app的开启指令后,可直接开启看家app,并通过看家app与该移动终端建立连接。还可利用显示设备的摄像头对家庭环境进行监控。
110.用户在图7所示移动终端用户界面中选择显示设备b,响应于用户指示选择显示设备b的控制指令,从图7所示的用户界面进入图8所示的用户界面。图8所示的用户界面包括看家app的监控画面和设置控件。此时移动终端和显示设备b还未建立连接,图8所示的监控画面中显示有“回家看看”控件,用于确认与显示设备b建立连接。
111.当用户选择“回家看看”控件时,响应于用户指示选择“回家看看”控件的控制指令,向服务器发送连接请求。该连接请求携带有显示设备b的设备信息。服务器根据显示设备b的设备信息,生成连接指令。由于显示设备b处于待机状态,服务器首先将连接指令发送至显示设备b的低功耗芯片。低功耗芯片从连接指令中解析开机指令和预设应用开启指令。低功耗芯片首先将开机指令发送至主芯片,触发主芯片从未启动状态进入启动状态。
112.主芯片启动后,将启动结果反馈至低功耗芯片,低功耗芯片继续向主芯片发送预设应用开启指令。此时预设应用开启指令为开启看家app的指令。主芯片接收到开启看家app的指令后,执行打开看家app的业务逻辑。预设应用开启指令中还包括移动终端发送的对端邀请信息。主芯片将业务指令发送至看家app,看家app从业务指令中解析出该对端邀请信息。对端邀请信息可以包括移动终端的设备信息。根据对端邀请信息,通过看家app,移动终端与显示设备b之间建立通信连接。
113.移动终端与显示设备b建立通信连接后,显示设备b将摄像头实时拍摄的画面发送至移动终端。如图9所示,可通过移动终端查看显示设备b的摄像头实时拍摄的画面,实现远程监控的功能。
114.在一些实施例中,服务器包括业务系统和aiot(人工智能物联网)系统,低功耗芯片和主芯片向aiot系统上报显示设备状态信息。aiot系统将状态信息发送至业务系统,业务系统将状态信息封装后,生成显示设备在线列表。移动终端则直接从业务系统获取显示设备在线列表的相关信息。在一些实施例中,在移动终端在显示设备为待机或开机状态下发送相同的连接请求时,服务器根据接收到的连接请求中的显示设备的唯一标识生成并发送启动预设应用的指令,其中启动预设应用的指令用于控制主处理器启动预设的应用,显
示设备的通信器接收启动预设应用的指令,并在所述主处理器启动时,将所述启动预设应用的指令发送给所述主处理器,所述主处理器响应与启动预设应用的指令,启动预设应用,在所述主处理器未启动时,所述通信器将启动预设应用的指令发送给子处理器,所述子处理器根据启动预设应用的指令生成启动指令,并缓存启动预设应用的指令,所述子处理器将所述启动指令和启动预设应用的指令同时或先后发送给主处理器,以启动所述主处理器,并使启动后的主处理器启动预设应用。
115.在一些实施例中,启动预设应用的指令指令可以是包含移动终端唯一标识,虚拟房间信息等信息,会话请求指令的通话请求。
116.在一些实施例中,主处理器启动是指主处理器进行操作系统(例如安卓操作系统、苹果操作系统、鸿蒙操作系统等中的任意一种)的加载。主处理器的工作状态是指主芯片中操作系统运行的状态。启动预设应用是指启动主处理器的操作系统中的一个应用。
117.基于上述实施例,本技术实施例提供一种显示设备的应用唤醒方法,如图10所示的显示设备的应用唤醒方法的信令图,所述方法包括以下步骤:步骤一、用户在移动终端上打开预设应用用户界面,并在预设应用用户界面中选择显示设备。移动终端接收用户输入的选择显示设备的控制指令。
118.步骤二、移动终端响应于该控制指令,在显示设备处于开机状态时,生成第一连接请求,其中第一连接请求指向的显示设备的设备状态为开机状态。移动终端将第一连接请求发送至服务器,服务器根据第一连接请求生成第一唤醒指令,并将第一唤醒指令发送至对应的显示设备。显示设备的处理器根据第一唤醒指令控制预设应用开启。
119.步骤四、在显示设备处于待机状态时,生成第二连接请求,其中第二连接请求指向的显示设备的设备状态为待机状态。移动终端将第二连接请求发送至服务器,服务器根据第二连接请求生成第二唤醒指令,并将第二唤醒指令发送至对应的显示设备。显示设备的处理器根据第二唤醒指令控制显示设备从待机状态进入开机状态之后,再根据第二唤醒指令控制预设应用开启。
120.在上述方法实施例中,移动终端的预设应用用户界面上显示有显示设备在线列表。显示设备在线列表为服务器根据至少一个显示设备上报的状态信息生成的列表。用户在移动终端上打开预设应用用户界面后,移动终端向服务器发送与预设应用相关的页面数据请求,服务器根据页面数据请求向移动终端反馈显示设备在线列表。
121.本技术实施例提供又一种显示设备的应用唤醒方法,如图11所示的显示设备的应用唤醒方法的信令图,所述方法包括以下步骤:步骤一、显示设备处于开机状态时,主芯片处于启动状态,低功耗芯片处于为启动状态,主芯片持续向服务器上报设备状态信息(上传心跳数据)。当显示设备从开机状态进入待机状态,主芯片从启动状态进入未启动状态。主芯片从启动状态进入未启动状态之前,触发低功耗芯片从未启动状态进入启动状态。低功耗芯片持续向服务器上报设备状态信息。服务器根据至少一个显示设备上报的设备状态信息生成显示设备在线列表。
122.步骤二、用户打开移动终端上的预设应用,例如看家app。移动终端响应于用户的操作,向服务器发送页面数据请求。服务器根据页面数据请求向移动终端反馈显示设备在线列表。移动终端接收显示设备在线列表后,在用户界面上展示显示设备在线列表(步骤一和步骤二在图11中未示出)。
123.步骤三、移动终端接收用户输入的选择显示设备的控制指令。移动终端响应于该控制指令,如果被选择的显示设备处于开机状态时,生成第一连接请求,其中第一连接请求指向的显示设备的设备状态为开机状态。移动终端将第一连接请求发送至服务器,服务器根据第一连接请求生成第一唤醒指令,并将第一唤醒指令发送至对应的显示设备。服务器将第一唤醒指令发送至被选择的待唤醒显示设备的主芯片。主芯片根据第一唤醒指令(即预设应用开启指令)控制预设应用开启。
124.步骤四、如果被选择的显示设备处于待机状态,服务器根据连接请求生成第二唤醒指令,其中第二唤醒指令包括开机指令和第一唤醒指令。服务器将开机指令和第一唤醒指令发送至被选择的待唤醒显示设备的低功耗芯片。
125.低功耗芯片首先根据开机指令,触发主芯片启动。主芯片启动后,向低功耗芯片反馈启动结果。低功耗芯片接收到启动结果后,继续向主芯片发送第一唤醒指令。该第一唤醒指令与看家app相关。主芯片根据该第一唤醒指令,执行打开看家app的逻辑,同时第一唤醒指令携带的对端邀请信息发送至看家app。看家app打开后,根据对端邀请信息与移动终端建立通信连接。
126.移动终端与显示设备建立通信连接后,显示设备将摄像头实时拍摄的画面发送至移动终端。如图9所示,可通过移动终端查看显示设备b的摄像头实时拍摄的画面,实现远程监控的功能。
127.在一些实施例中,移动终端可以被显示设备替换,显示设备也可以被移动终端替换。
128.本技术各个实施例之间相同或相似的内容可相互参照,相关实施例不再赘述。
129.为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1