1.本技术属于终端技术领域,尤其涉及设备交互方法、电子设备及计算机可读存储介质。
背景技术:2.随着物联网技术的发展,越来越多的设备之间可以进行交互,例如,投屏、投音、多屏协同、分布式相机等。当设备支持多种交互能力时,需要用户确定当前需要的交互能力,并通过该交互能力对应的入口触发该交互能力。例如,当平板既支持多屏协同,又支持分布式相机时,若用户确定手机需要进行多屏协同,用户可以在手机的控制中心点击平板图标,来与平板进行多屏协同。若用户确定手机需要使用分布式相机,用户需要打开相机应用,并点击分布式相机对应的按钮,来调用平板的相机。即现有的设备交互功能的入口分布零散,影响用户体验。
技术实现要素:3.本技术实施例提供了一种设备交互方法、电子设备及计算机可读存储介质,可以解决现有的设备交互功能的入口分布零散,影响用户体验的问题。
4.第一方面,本技术实施例提供了一种设备交互方法,应用于第一电子设备,所述方法可以包括:
5.确定所述第一电子设备当前的应用场景,并确定所述应用场景对应的至少一个第一交互功能;
6.根据所述第一交互功能、所述第一电子设备的设备信息和第二电子设备的设备信息,确定所述第二电子设备对应的第二交互功能,所述第二交互功能为所述第一交互功能中的一个或多个,所述第二电子设备与所述第一电子设备相关联;
7.显示所述第二电子设备对应的第二交互功能;
8.响应于对第三交互功能的第一操作,确定与所述第二电子设备执行所述第三交互功能,所述第三交互功能为所述第二电子设备对应的第二交互功能中的一个。
9.在上述的设备交互方法中,当第一电子设备需要进行交互时,第一电子设备可以根据第一电子设备当前的应用场景,确定用户可能需要执行的第一交互功能,并可以根据第一电子设备的设备信息和第二电子设备的设备信息,从第一交互功能中确定第二电子设备支持的第二交互功能,并在第一电子设备的界面中统一显示第二电子设备支持的第二交互功能。即第二交互功能是第二电子设备支持的、与第一电子设备当前的应用场景相对应的交互功能,第二交互功能可以是第二电子设备所支持的全部交互功能,也可以是第二电子设备所支持的全部交互功能中的一部分,以根据当前的应用场景对用户可能需要使用的第二交互功能进行显示,方便用户根据当前的应用场景快速进行交互功能的选择,以提高设备交互的效率。另外,通过将第一电子设备的界面作为第一电子设备与第二电子设备交互的统一入口,可以方便用户进行设备间的交互,提高用户体验。
10.示例性的,所述确定所述第一电子设备当前的应用场景,可以包括:
11.检测预设操作;
12.响应于所述预设操作,确定所述第一电子设备当前的应用场景。
13.在该实现方式提供的设备交互方法中,第一电子设备可以根据是否检测到预设操作,来确定第一电子设备是否需要进行设备交互,以根据预设操作来准确识别用户的交互意图。
14.在一个示例中,所述预设操作包括将所述第一电子设备的预设区域触碰所述第二电子设备的预设区域。
15.在另一个示例中,所述预设操作包括进入所述第一电子设备的第一界面,或者在所述第一界面中点击第二控件,或者在所述第一界面中拖动所述第二控件,并在所述第二控件与第一控件之间的距离小于预设阈值时松开所述第二控件,所述第一界面中包括所述第二控件,或者所述第一界面中包括所述第一控件和所述第二控件,所述第一控件为所述第一电子设备对应的控件,所述第二控件为所述第二电子设备对应的控件。
16.在一种可能的实现方式中,所述显示所述第二电子设备对应的第二交互功能,可以包括:
17.响应于对所述第二控件的第二操作,显示所述第二电子设备对应的第二交互功能。
18.可选的,所述第二操作包括点击所述第二控件,或者拖动所述第二控件,并在所述第二控件与所述第一控件之间的距离小于预设阈值时松开所述第二控件。
19.在该实现方式提供的设备交互方法中,第一电子设备确定各第二电子设备对应的第二交互功能后,可以根据对某一第二电子设备对应的第二控件的点击操作或者拖动操作等,显示该第二电子设备对应的第二交互功能,即显示用户想要交互的第二电子设备所对应的第二交互功能,方便用户选择该第二电子设备对应的第二交互功能来进行设备交互,提高交互的便利性,提升用户体验。
20.在另一种可能的实现方式中,在确定所述第二电子设备对应的第二交互功能之后,所述方法还可以包括:
21.显示所述第二交互功能对应的功能图标;
22.所述显示所述第二电子设备对应的第二交互功能,可以包括:
23.响应于对所述功能图标的点击操作,显示所述第二电子设备对应的第二交互功能。
24.在该实现方式提供的设备交互方法中,第一电子设备确定各第二电子设备对应的第二交互功能后,可以显示功能图标,并可以在检测到对功能图标的点击操作时,显示各第二电子设备对应的第二交互功能,即可以以在用户需要进行交互功能的选择时,显示第二电子设备对应的第二交互功能。
25.在另一种可能的实现方式中,在确定所述第二电子设备对应的第二交互功能之后,所述方法还可以包括:
26.响应于对所述第二控件的第三操作,显示所述第二交互功能对应的功能图标;
27.所述显示所述第二电子设备对应的第二交互功能,可以包括:
28.响应于对所述功能图标的点击操作,显示所述第二电子设备对应的第二交互功
能。
29.可选的,所述第三操作包括点击所述第二控件,或者拖动所述第二控件,并在所述第二控件与第一控件之间的距离小于预设阈值时松开所述第二控件。
30.在该实现方式提供的设备交互方法中,第一电子设备确定各第二电子设备对应的第二交互功能后,可以根据对某一第二控件的点击或者拖动操作,显示该第二控件对应的第二电子设备对应的功能图标,并在检测到对该功能图标的点击或拖动操作时,显示该第二电子设备对应的第二交互功能,即根据用户的点击或拖动操作,显示用户想要进行设备交互的第二电子设备所对应的第二交互功能,方便进行设备交互,提升用户体验。
31.在一个示例中,所述确定所述应用场景对应的至少一个第一交互功能,可以包括:
32.根据应用场景与交互功能之间的预设对应关系,确定所述应用场景对应的至少一个第一交互功能。
33.在该实现方式提供的设备交互方法中,第一电子设备可以直接根据应用场景与交互功能之间的预设对应关系,确定该应用场景对应的第一交互功能,即第一交互功能可以包括第一电子设备支持的交互功能,也可以包括第一电子设备不支持的交互功能。
34.在另一个示例中,所述确定所述应用场景对应的至少一个第一交互功能,可以包括:
35.根据所述第一电子设备的设备信息,以及应用场景与交互功能之间的预设对应关系,确定所述应用场景对应的第一交互功能,所述第一电子设备的设备信息包括所述第一电子设备支持的交互功能的信息。
36.在该实现方式提供的设备交互方法中,第一电子设备可以根据第一电子设备的设备信息,以及应用场景与交互功能之间的预设对应关系,确定该应用场景对应的第一交互功能,即第一交互功能仅包括第一电子设备支持的交互功能,可以有效减少第一交互功能的数量,提高第二交互功能确定的速度。
37.示例性的,所述根据所述第一交互功能、所述第一电子设备的设备信息和第二电子设备的设备信息,确定所述第二电子设备对应的第二交互功能,可以包括:
38.对于每一个所述第一交互功能,确定所述第一交互功能对应的第一约束条件和第二约束条件,所述第一约束条件为所述第一交互功能对应的发送端所需满足的条件,所述第二约束条件为所述第一交互功能对应的接收端所需满足的条件;
39.根据所述第一约束条件和所述第一电子设备的设备信息,以及所述第二约束条件和所述第二电子设备的设备信息,从所述第一交互功能中,确定所述第二电子设备对应的第二交互功能。
40.在该实现方式提供的设备交互方法中,在确定该应用场景对应的第一交互功能后,第一电子设备可以确定各第一交互功能对应的第一约束条件和第二约束条件。因此,第一电子设备可以根据第一约束条件、第二约束条件、第一电子设备的设备信息和第二电子设备的设备信息,从第一交互功能中,确定第二电子设备对应的第二交互功能。即第二交互功能为第二电子设备所支持的交互功能中与该应用场景相对应的交互功能,第二交互功能可以是第二电子设备所支持的全部交互功能,也可以是第二电子设备所支持的部分交互功能,以根据应用场景将第二电子设备所支持的交互功能中,用户大概率想要使用的交互功能,确定为第二交互功能呈现给用户,以方便用户进行交互功能的快速选择,提高设备交互
的效率,提升用户体验。
41.第二方面,本技术实施例提供了一种设备交互装置,应用于第一电子设备,所述装置可以包括:
42.应用场景确定模块,用于确定所述第一电子设备当前的应用场景,并确定所述应用场景对应的至少一个第一交互功能;
43.交互功能确定模块,用于根据所述第一交互功能、所述第一电子设备的设备信息和第二电子设备的设备信息,确定所述第二电子设备对应的第二交互功能,所述第二交互功能为所述第一交互功能中的一个或多个,所述第二电子设备与所述第一电子设备相关联;
44.交互功能显示模块,用于显示所述第二电子设备对应的第二交互功能;
45.交互执行模块,用于响应于对第三交互功能的第一操作,确定与所述第二电子设备执行所述第三交互功能,所述第三交互功能为所述第二电子设备对应的第二交互功能中的一个。
46.示例性的,所述应用场景确定模块,还用于检测预设操作;响应于所述预设操作,确定所述第一电子设备当前的应用场景。
47.在一个示例中,所述预设操作包括将所述第一电子设备的预设区域触碰所述第二电子设备的预设区域。
48.在另一个示例中,所述预设操作包括进入所述第一电子设备的第一界面,或者在所述第一界面中点击第二控件,或者在所述第一界面中拖动所述第二控件,并在所述第二控件与第一控件之间的距离小于预设阈值时松开所述第二控件,所述第一界面中包括所述第二控件,或者所述第一界面中包括所述第一控件和所述第二控件,所述第一控件为所述第一电子设备对应的控件,所述第二控件为所述第二电子设备对应的控件。
49.在一种可能的实现方式中,所述交互功能显示模块,还用于响应于对所述第二控件的第二操作,显示所述第二电子设备对应的第二交互功能。
50.可选的,所述第二操作包括点击所述第二控件,或者拖动所述第二控件,并在所述第二控件与所述第一控件之间的距离小于预设阈值时松开所述第二控件。
51.在另一种可能的实现方式中,所述装置还可以包括:
52.第一图标显示模块,用于显示所述第二交互功能对应的功能图标;
53.所述交互功能显示模块,还用于响应于对所述功能图标的点击操作,显示所述第二电子设备对应的第二交互功能。
54.在另一种可能的实现方式中,所述装置还可以包括:
55.第二图标显示模块,用于响应于对所述第二控件的第三操作,显示所述第二交互功能对应的功能图标;
56.所述交互功能显示模块,还用于响应于对所述功能图标的点击操作,显示所述第二电子设备对应的第二交互功能。
57.可选的,所述第三操作包括点击所述第二控件,或者拖动所述第二控件,并在所述第二控件与第一控件之间的距离小于预设阈值时松开所述第二控件。
58.在一个示例中,所述应用场景确定模块,还用于根据应用场景与交互功能之间的预设对应关系,确定所述应用场景对应的至少一个第一交互功能。
等仅用于区分描述,而不能理解为指示或暗示相对重要性。
75.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
76.此外,本技术实施例中提到的“多个”应当被解释为两个或两个以上。
77.本技术实施例中提供的设备交互方法中所涉及到的步骤仅仅作为示例,并非所有的步骤均是必须执行的步骤,或者并非各个信息或消息中的内容均是必选的,在使用过程中可以根据需要酌情增加或减少。本技术实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
78.本技术实施例描述的业务场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
79.随着物联网技术的发展,越来越多的设备之间可以进行交互,例如,投屏、投音、多屏协同、分布式相机等。当设备支持多种交互能力时,需要用户确定当前需要的交互能力,并通过该交互能力对应的入口触发该交互能力。例如,当平板既支持多屏协同,又支持分布式相机时,若用户确定手机需要进行多屏协同,用户可以在手机的控制中心点击平板图标,来与平板进行多屏协同。若用户确定手机需要使用分布式相机,用户需要打开相机应用,并点击分布式相机对应的按钮,来调用平板的相机。即现有的设备交互功能的入口分布零散,影响用户体验。
80.为解决上述问题,本技术实施例提供了一种设备交互方法、电子设备及计算机可读存储介质,该方法中,当第一电子设备需要进行设备交互时,第一电子设备可以确定第一电子设备当前的应用场景,并确定该应用场景对应的至少一个第一交互功能。随后,第一电子设备可以根据第一交互功能、第一电子设备的设备信息和第二电子设备的设备信息,确定第二电子设备对应的第二交互功能,第二交互功能为第一交互功能中的一个或多个,第二电子设备与第一电子设备相关联。然后,第一电子设备可以显示第二电子设备对应的第二交互功能,并可以响应于对所显示的某一第二交互功能(可以称为第三交互功能)的第一操作,与第二电子设备执行该第二交互功能。
81.即本技术实施例中,第一电子设备可以根据当前的应用场景,确定用户可能需要执行的第一交互功能,并可以根据第一电子设备的设备信息和第二电子设备的设备信息,确定第一交互功能中第二电子设备所支持的第二交互功能,并在第一电子设备的界面中统一显示第二电子设备所支持的第二交互功能,即第二交互功能是第二电子设备支持的、与第一电子设备当前的应用场景相对应的交互功能,第二交互功能可以是第二电子设备所支持的全部交互功能,也可以是第二电子设备所支持的全部交互功能中的一部分,以根据当前的应用场景对用户可能需要使用的第二交互功能进行显示,从而方便用户根据当前的应用场景快速进行交互功能的选择,提高设备交互的效率。另外,可以通过在第一电子设备的
界面统一第一电子设备与第二电子设备进行设备交互的操作入口,可以方便用户进行设备间的交互,提高用户体验。
82.本技术实施例中,第一电子设备可以为手机、平板、智能电视、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本、个人数字助理(personal digital assistant,pda)、桌上型计算机、智能电视、智慧大屏等。第二电子设备可以为手机、平板、智能电视、车载设备、笔记本电脑、umpc、上网本、pda、桌上型计算机、智能电视、智慧大屏、智能音箱等,本技术实施例对第一电子设备和第二电子设备的具体类型不作任何限制。
83.以下以手机为例,对本技术实施例涉及的电子设备(即第一电子设备或第二电子设备)进行说明。请参阅图1,图1示出了手机100的一种结构示意图。可以理解的是,其他电子设备,如平板、智能电视、智慧大屏等可以参照手机100的结构示意图。当然,其他电子设备可以包括比手机100更多或更少部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。
84.手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,天线1,天线2,移动通信模块140,无线通信模块150,音频模块160,扬声器160a,受话器160b,麦克风160c,耳机接口160d,传感器模块180,摄像头170,以及显示屏190等。其中,传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,磁传感器180c,加速度传感器180d,距离传感器180e,指纹传感器180f,触摸传感器180g等。
85.可以理解的是,本技术实施例示意的结构并不构成对手机100的具体限定。在本技术另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
86.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
87.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
88.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
89.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口
(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
90.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180g,摄像头170等。例如:处理器110可以通过i2c接口耦合触摸传感器180g,使处理器110与触摸传感器180g通过i2c总线接口通信,实现手机100的触摸功能。
91.i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块160耦合,实现处理器110与音频模块160之间的通信。在一些实施例中,音频模块160可以通过i2s接口向无线通信模块150传递音频信号,实现通过蓝牙耳机接听电话的功能。
92.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块160与无线通信模块150可以通过pcm总线接口耦合。在一些实施例中,音频模块160也可以通过pcm接口向无线通信模块150传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
93.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块150。例如:处理器110通过uart接口与无线通信模块150中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块160可以通过uart接口向无线通信模块150传递音频信号,实现通过蓝牙耳机播放音乐的功能。
94.mipi接口可以被用于连接处理器110与显示屏190,摄像头170等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头170通过csi接口通信,实现手机100的拍摄功能。处理器110和显示屏190通过dsi接口通信,实现手机100的显示功能。
95.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头170,显示屏190,无线通信模块150,音频模块160,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
96.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为手机100充电,也可以用于手机100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如ar设备等。
97.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本技术另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
98.手机100的无线通信功能可以通过天线1,天线2,移动通信模块140,无线通信模块150,调制解调处理器以及基带处理器等实现。
99.天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
100.移动通信模块140可以提供应用在手机100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块140可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块140可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块140还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块140的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块140的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
101.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器160a,受话器160b等)输出声音信号,或通过显示屏190显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块140或其他功能模块设置在同一个器件中。
102.无线通信模块150可以提供应用在手机100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块150可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块150经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块150还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
103.在一些实施例中,手机100的天线1和移动通信模块140耦合,天线2和无线通信模块150耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
104.手机100通过gpu,显示屏190,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏190和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
105.显示屏190用于显示图像,视频等。显示屏190包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,手机100可以包括1个或n个显示屏190,n为大于1的正整数。
106.手机100可以通过isp,摄像头170,视频编解码器,gpu,显示屏190以及应用处理器等实现拍摄功能。
107.isp用于处理摄像头170反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头170中。
108.摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,手机100可以包括1个或n个摄像头170,n为大于1的正整数。
109.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
110.视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
111.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现手机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
112.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
113.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机100的各种功能应用以及数据处理。
114.手机100可以通过音频模块160,扬声器160a,受话器160b,麦克风160c,耳机接口160d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
115.音频模块160用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块160还可以用于对音频信号编码和解码。在一些实施例中,音频模块160可以设置于处理器110中,或将音频模块160的部分功能模块设置于处理器110中。
116.扬声器160a,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器160a收听音乐,或收听免提通话。
117.受话器160b,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器160b靠近人耳接听语音。
118.麦克风160c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风160c发声,将声音信号输入到麦克风160c。手机100可以设置至少一个麦克风160c。在另一些实施例中,手机100可以设置两个麦克风160c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风160c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
119.耳机接口160d用于连接有线耳机。耳机接口160d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
120.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏190。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏190,手机100根据压力传感器180a检测所述触摸操作强度。手机100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
121.陀螺仪传感器180b可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定手机100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测手机100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消手机100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
122.磁传感器180c包括霍尔传感器。手机100可以利用磁传感器180c检测翻盖皮套的开合。在一些实施例中,当手机100是翻盖机时,手机100可以根据磁传感器180c检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
123.加速度传感器180d可检测手机100在各个方向上(一般为三轴)加速度的大小。当
手机100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
124.距离传感器180e,用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,手机100可以利用距离传感器180e测距以实现快速对焦。
125.指纹传感器180f用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
126.触摸传感器180g,也称“触控器件”。触摸传感器180g可以设置于显示屏190,由触摸传感器180g与显示屏190组成触摸屏,也称“触控屏”。触摸传感器180g用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏190提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180g也可以设置于手机100的表面,与显示屏190所处的位置不同。
127.手机100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。例如,手机100的软件系统可以采用分层架构的安卓操作系统(operation system,os)、鸿蒙操作系统(harmony os)或ios等。本技术实施例以分层架构的android系统为例,示例性说明手机100的软件结构。
128.图2是本技术实施例的手机100的软件结构框图。
129.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。
130.应用程序层可以包括一系列应用程序包。
131.如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等应用程序。
132.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
133.如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
134.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
135.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
136.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
137.电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。
138.资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
139.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消
息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
140.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
141.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
142.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
143.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
144.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
145.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
146.三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
147.2d图形引擎是2d绘图的绘图引擎。
148.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
149.下面将结合附图和具体应用场景对本技术实施例提供的设备交互方法进行详细说明。
150.请参阅图3,图3示出了本技术一实施例提供的设备交互方法的示意性流程图。该方法可以应用于第一电子设备。第一电子设备可以为手机、平板、智能电视、车载设备、笔记本电脑、智慧大屏等任一电子设备。如图3所示,该方法可以包括:
151.s301、确定第一电子设备当前的应用场景,并确定该应用场景对应的至少一个第一交互功能。
152.s302、根据第一交互功能、第一电子设备的设备信息以及第二电子设备的设备信息,确定第二电子设备对应的第二交互功能,第二交互功能为第一交互功能中的一个或多个,第二电子设备与第一电子设备相关联。
153.s303、显示第二电子设备对应的第二交互功能。
154.s304、响应于对第三交互功能的第一操作,确定与第二电子设备执行第三交互功能,第三交互功能为第二电子设备对应的第二交互功能中的一个。
155.本技术实施例中,当第一电子设备需要进行交互时,第一电子设备可以根据第一电子设备当前的应用场景,确定用户可能需要执行的第一交互功能,并可以根据第一电子设备的设备信息和第二电子设备的设备信息,从第一交互功能中确定第二电子设备支持的第二交互功能,并在第一电子设备的界面中统一显示第二电子设备支持的第二交互功能。即第二交互功能是第二电子设备支持的、与第一电子设备当前的应用场景相对应的交互功能,第二交互功能可以是第二电子设备所支持的全部交互功能,也可以是第二电子设备所
支持的全部交互功能中的一部分,以根据当前的应用场景对用户可能需要使用的第二交互功能进行显示,从而方便用户根据当前的应用场景快速进行交互功能的选择,以提高设备交互的效率。另外,通过将第一电子设备的界面作为第一电子设备与第二电子设备交互的统一入口,可以方便用户进行设备间的交互,提高用户体验。
156.示例性的,第一电子设备可以根据是否检测到预设操作,来确定第一电子设备是否需要进行交互。即当检测到预设操作时,第一电子设备确定需要进行设备交互,此时,第一电子设备可以确定第一电子设备当前的应用场景,并确定该应用场景对应的第一交互功能,以根据第一交互功能确定第二电子设备支持的第二交互功能。
157.在一种可能的实现方式中,预设操作可以是第一电子设备的预设区域触碰第二电子设备的预设区域的操作。例如,预设区域可以为nfc芯片所在的区域(以下称为nfc区域)。即当第一电子设备通过第一电子设备的nfc模块读取到第二电子设备的nfc信息时,第一电子设备可以确定需要进行设备交互,此时,第一电子设备可以确定第一电子设备当前的应用场景,并确定该应用场景对应的第一交互功能,以根据第一交互功能确定第二电子设备对应的第二交互功能,从而在第一电子设备的界面中显示第二交互功能,来供用户进行交互功能的选择。
158.请参阅图4,图4示出了本技术实施例提供的应用场景示意图一。该应用场景以第一电子设备为手机100,第二电子设备为笔记本电脑400为例进行示例性说明。其中,手机100中设置有nfc芯片,笔记本电脑400中也设置有nfc芯片,手机100可以通过通信网络与笔记本电脑400连接。
159.如图4中的(a)所示,在手机100显示某一应用界面(例如视频播放界面)时,若用户想触发手机100与笔记本电脑400进行设备交互,用户可以将手机100中的nfc区域触碰笔记本电脑400中的nfc区域。当手机100通过手机100的nfc模块读取到笔记本电脑400中的nfc信息时,手机100确定手机100需要与笔记本电脑400进行设备交互,此时,手机100可以获取手机100当前的应用场景,并确定该应用场景对应的第一交互功能。假设,该应用场景为视频场景,第一交互功能包括多屏协同、投屏、投音和应用接力。随后,手机100可以根据手机100的设备信息和笔记本电脑400的设备信息,从第一交互功能中确定笔记本电脑400支持的第二交互功能,假设第二交互功能包括多屏协同和投屏。手机100可以在手机100的屏幕中显示笔记本电脑400对应的第二交互功能。例如,如图4中的(b)所示,手机100可以显示提示窗口401,提示窗口401中可以显示有多屏协同按钮和投屏按钮,用户可以点击多屏协同按钮,来进行手机100与笔记本电脑400之间的多屏协同,或者可以点击投屏按钮,将手机100中显示的内容投屏至笔记本电脑400中显示。
160.在另一种可能的实现方式中,预设操作可以是进入第一电子设备的界面a的操作。界面a中可以显示有第一电子设备的关联设备对应的控件,或者可以显示有第一电子设备对应的控件以及第一电子设备的关联设备对应的控件。第一电子设备的关联设备可以是与第一电子设备位于同一网络(如无线保真(wireless fidelity,wi-fi)网络)的电子设备,也可以是与第一电子设备登录同一账号的电子设备,或者可以是与第一电子设备登录属于同一群组的账号(如属于同一家庭群组的账号)的电子设备,或者可以是与第一电子设备通过蓝牙或wi-fi直连等连接的电子设备。其中,设备对应的控件可以是设备图标和/或名称等。此时,第二电子设备可以包括第一电子设备的所有关联设备,也可以为第一电子设备的
某一关联设备。
161.需要说明的是,本技术实施例对界面a中各控件的布局不作任何限制。例如,可以是第一电子设备对应的控件a设置于界面a中的某一位置(如中央),各关联设备对应的控件b等距的环绕于控件a的周围。例如,可以是第一电子设备对应的控件a设置于界面a的某一位置,各关联设备对应的控件根据各关联设备与第一电子设备之间的距离来布局,如当某一关联设备与第一电子设备之间的距离越小,该关联设备对应的控件距离第一电子设备对应的控件越近,当某一关联设备与第一电子设备之间的距离越大,该关联设备对应的控件距离第一电子设备对应的控件越远。
162.可选的,用户可以通过控制中心进入界面a,或者可以通过负一屏、通知栏等进入界面a。即本技术实施例对进入界面a的具体方式不作限制。以下将以通过控制中心进入界面a为例进行示例性说明。
163.请参阅图5和图6,图5和图6示出了本技术实施例提供的应用场景示意图二。该应用场景以第一电子设备为手机100,控件为设备图标为例进行示例性说明。
164.如图5中的(a)所示,在手机100显示某一应用界面(例如视频播放界面)时,若用户想触发手机100与某一电子设备进行设备交互,用户可以通过控制中心进入界面a,例如,可以在屏幕中执行由顶部向下滑动的操作。手机100检测到该操作后,可以获取手机100的关联设备的设备信息,并在手机100中显示界面a。假设,手机100的关联设备包括平板、智慧大屏和智能音箱。如图5中的(b)所示,界面a中可以显示有手机100的设备图标501、平板的设备图标502、智慧大屏的设备图标503以及智能音箱的设备图标504。其中,在进入界面a后,手机100可以确定手机100当前的应用场景,并可以确定该应用场景对应的第一交互功能。假设,手机100当前的应用场景为视频场景,视频场景对应的第一交互功能包括多屏协同、投屏、投音和应用接力。
165.随后,手机100可以根据手机100的设备信息和平板的设备信息,从第一交互功能中确定平板对应的第二交互功能,假设平板对应的第二交互功能包括多屏协同和应用接力。类似的,手机100可以根据手机100的设备信息和智慧大屏的设备信息,从第一交互功能中确定智慧大屏对应的第二交互功能,假设智慧大屏对应的第二交互功能为投屏。类似的,手机100可以根据手机100的设备信息和智能音箱的设备信息,从第一交互功能中确定智能音箱对应的第二交互功能,假设智能音箱对应的第二交互功能为投音。
166.在一个示例中,在确定各关联设备对应的第二交互功能后,手机100可以直接在界面a中显示各关联设备对应的第二交互功能。示例性的,手机100可以通过提示窗口或卡片来进行第二交互功能的显示。
167.例如,如图5中的(c)所示,手机100可以在界面a中弹出提示窗口500,并可以在提示窗口500中显示各关联设备对应的第二交互功能,即可以在提示窗口500中显示平板对应的第二交互功能“多屏协同”和“应用接力”,智慧大屏对应的第二交互功能“投屏”,以及智能音箱对应的第二交互功能“投音”。
168.例如,如图5中的(d)所示,手机100可以在界面a中显示各关联设备对应的卡片,并可以在各关联设备对应的卡片中显示该关联设备对应的第二交互功能,即可以在界面a中显示平板对应的卡片5021、智慧大屏对应的卡片5031和智能音箱对应的卡片5041,并可以在卡片5021中显示平板对应的第二交互功能“多屏协同”和“应用接力”,可以在卡片5031中
显示智慧大屏对应的第二交互功能“投屏”,以及可以在卡片5041中显示智能音箱对应的第二交互功能“投音”。
169.需要说明的是,本技术实施例对提示窗口中第二交互功能的显示方式和显示顺序等不作任何限制,可以根据实际情况具体确定。类似的,本技术实施例对各卡片的显示位置不作任何限制,可以在界面a的任一位置显示任一卡片。其中,为提高用户体验,如图5中的(d)所示,可以在各关联设备的设备图标附近显示该关联设备对应的卡片。
170.在另一个示例中,如图6中的(a)所示,在确定各关联设备对应的第二交互功能后,手机100可以在界面a中显示功能图标600。当检测到对功能图标600的点击操作时,手机100可以在界面a中显示各关联设备对应的第二交互功能。例如,手机100可以通过图5中的(c)所示的提示窗口来显示各关联设备对应的第二交互功能,或者可以通过图5中的(d)所示的卡片来显示各关联设备对应的第二交互功能。
171.需要说明的是,上述以功能图标600为四叶草仅作示例性解释,不应理解为对本技术实施例的限制,本技术实施例对功能图标600的具体形状不作任何限制。
172.在另一个示例中,在确定各关联设备对应的第二交互功能后,手机100可以在检测到对某一设备图标的操作1时,在界面a中显示该设备图标对应的关联设备的第二交互功能。或者,手机100可以在检测对某一设备图标的操作1时,在界面a中显示功能图标600。当检测到对功能图标600的点击操作时,手机100可以在界面a中显示该关联设备对应的第二交互功能。即在确定各关联设备对应的第二交互功能后,手机100并不会在界面a中显示各关联设备对应的第二交互功能,而是获取用户执行的操作1,以根据操作1确定用户选择交互的某一关联设备,并在界面a中仅显示该关联设备对应的第二交互功能,以供用户选择某一第二交互功能,来进行设备交互。
173.其中,操作1可以是点击操作,也可以是将该设备图标拖动至手机100的设备图标的附近的操作。应理解,附近是指两设备图标之间的距离小于预设阈值,预设阈值可以根据实际情况具体确定。另外。本技术实施例对拖动操作的拖动轨迹不作具体限制,只要最终该设备图标位于手机100的设备图标的附近即可。
174.例如,如图6中的(b)所示,在确定各关联设备对应的第二交互功能后,当手机100检测到拖动智慧大屏的设备图标503至手机的设备图标501的附近时,手机100可以在界面a中显示功能图标600。当检测到对功能图标600的点击操作时,如图6中的(c)所示,手机100可以在界面a中显示智慧大屏对应的第二交互功能,如手机100可以在界面a中弹出卡片或提示窗口601(图6中以提示窗口为例进行示例性说明),并可以在提示窗口601显示智慧大屏对应的第二交互功能“投屏”。
175.综上,手机100可以将手机100的所有关联设备均确定为第二电子设备,并根据用户执行的预设操作,确定手机100当前的应用场景,并确定该应用场景对应的第一交互功能,以根据第一交互功能确定各第二电子设备对应的第二交互功能。随后,手机100可以直接在界面a中显示各第二电子设备对应的第二交互功能,或者基于用户对功能图标的点击操作,显示各第二电子设备对应的第二交互功能。因此,用户可以在界面a中进行第二交互功能的选择,以确定最终与手机100进行交互的第二电子设备。手机100可以根据用户所选择的第二交互功能,与所确定的第二电子设备进行相关的设备交互。或者,手机100可以基于用户对某一第二电子设备的设备图标的操作1,在界面a中显示该第二电子设备对应的第
二交互功能,从而可以基于用户对该第二电子设备对应的第二交互功能的选择,与该第二电子设备进行设备交互。
176.在另一种可能的实现方式中,预设操作也可以是点击界面a中的某一关联设备(即第二电子设备)对应的控件的操作。或者,可以是拖动界面a中第二电子设备对应的控件至第一电子设备对应的控件的附近的操作。
177.即当用户想要进行第一电子设备与第二电子设备之间的交互时,用户可以通过控制中心进入界面a,并点击界面a中的某一关联设备,或者拖动该关联设备的设备图标至第一电子设备的设备图标的附近。第一电子设备检测到对该关联设备的点击操作或者拖动操作时,可以确定该关联设备为第二电子设备,并确定用户想要进行第一电子设备与第二电子设备之间的设备交互,此时,第一电子设备可以确定第一电子设备当前的应用场景,并确定该应用场景对应的第一交互功能,以根据该应用场景对应的第一交互功能,确定第二电子设备对应的第二交互功能。
178.其中,在确定第二电子设备对应的第二交互功能后,第一电子设备可以直接在界面a中显示第二电子设备对应的第二交互功能,使得用户可通过选择界面a中的第二交互功能,来进行第一电子设备与第二电子设备之间的设备交互。或者,第一电子设备可以在界面a中显示功能图标,并在检测到对功能图标的点击操作时,在界面a中显示第二电子设备对应的第二交互功能。
179.下面对第一电子设备确定第一交互功能的过程,以及根据第一交互功能确定第二交互功能的过程进行详细说明。
180.示例性的,第一电子设备可以根据第一电子设备的运行状态确定第一电子设备当前的应用场景。例如,当第一电子设备前台运行视频应用时,第一电子设备可以确定当前的应用场景为视频场景。当第一电子设备前台运行音乐应用,且处于音乐播放状态时,第一电子设备可以确定当前的应用场景为音频场景。当第一电子设备前台运行视频通话应用时,第一电子设备可以确定当前的应用场景为视频通话场景。当第一电子设备前台运行文档编辑类的应用时,例如word、wps等,第一电子设备可以确定当前的应用场景为办公场景。当第一电子设备前台运行相机应用时,第一电子设备可以确定当前的应用场景为拍摄场景。当第一电子设备显示桌面时,即第一电子设备前台没有运行任何应用时,第一电子设备可以确定当前的应用场景为默认场景。
181.其中,第一交互功能可以包括但不限于多屏协同、投屏、投音、应用接力和分布式相机等交互功能中的一个或多个。应理解,应用接力是指一个电子设备可以接力运行另一个电子设备上运行的应用,接力的应用可以为视频应用、音乐应用、文档编辑类的应用和畅联应用(例如视频通话应用)等。分布式相机是指一个电子设备可以调用另一个电子设备的相机,来进行拍摄。
182.在一种可能的实现方式中,第一电子设备可以根据应用场景与交互功能之间的预设对应关系,确定第一电子设备当前的应用场景对应的第一交互功能。其中,该预设对应关系可以存储于第一电子设备中,也可以存储于与第一电子设备通信连接的其他设备中,例如可以存储于云端服务器中。该预设对应关系可以由第一电子设备默认设置,可以由用户自定义设置,本技术实施例对此不作任何限制。
183.示例性的,表一示出了应用场景与交互功能之间的预设对应关系的一个示例。因
此,第一电子设备确定第一电子设备当前的应用场景后,可以通过查找表一,来确定该应用场景对应的第一交互功能。
184.表一
185.场景名称交互功能视频场景多屏协同、投屏、投音、应用接力音频场景投音、应用接力通话场景应用接力办公场景多屏协同、应用接力拍摄场景分布式相机默认场景多屏协同、投屏、投音、应用接力、分布式相机
186.例如,当第一电子设备确定当前的应用场景为视频场景时,第一电子设备可以确定该应用场景对应的第一交互功能包括多屏协同、投屏、投音和应用接力。例如,当第一电子设备确定当前的应用场景为拍摄场景时,第一电子设备可以确定该应用场景对应的第一交互功能为分布式相机,等等。
187.可选的,在确定该应用场景对应的第一交互功能后,第一电子设备可以确定各第一交互功能对应的约束条件a和约束条件b,约束条件a可以为第一交互功能对应的发送端所需满足的条件,约束条件b可以为第一交互功能对应的接收端所需满足的条件。因此,第一电子设备可以根据约束条件a、约束条件b、第一电子设备的设备信息和第二电子设备的设备信息,从第一交互功能中,确定第二电子设备对应的第二交互功能。其中,第二交互功能可以为第一交互功能中的一个或多个。
188.可以理解的是,各第一交互功能对应的约束条件a和约束条件b,可以根据由技术人员根据实际情况具体设置,本技术实施例对此不作具体限制。其中,设备信息主要包括设备的基础属性和具备的服务能力等。例如,设备信息可以包括设备id,设备类型,设备名称,安装的应用,是否支持投屏,投屏支持的接收端的设备类型和/或发送端的设备类型,是否支持投音,投音支持的接收端的设备类型和/或发送端的设备类型,是否支持多屏协同,多屏协同支持的接收端的设备类型和/或发送端的设备类型,是否支持应用接力,应用接力支持的接收端的设备类型和/或发送端的设备类型,是否支持分布式相机,分布式相机支持的接收端的设备类型和/或发送端的设备类型,等等。
189.示例性的,表二示出了各第一交互功能对应的约束条件a和约束条件b的一个示例。因此,第一电子设备确定该应用场景对应的第一交互功能后,可以获取第一电子设备的设备信息和第二电子设备的设备信息,并可以根据第一电子设备的设备信息、第二电子设备的设备信息和表二,确定第二电子设备对应的第二交互功能。
190.表二
191.[0192][0193]
可选的,对于每一个第一交互功能,第一电子设备可以根据表二、第一电子设备的设备信息和第二电子设备的设备信息,确定该第一交互功能是否为第二电子设备所支持的交互功能,即根据第一电子设备的设备信息确定第一电子设备是否满足该第一交互功能对应的约束条件a,并根据第二电子设备的设备信息确定第二电子设备是否满足该第一交互功能对应的约束条件b。当第一电子设备满足该第一交互功能对应的约束条件a,同时第二电子设备满足该第一交互功能对应的约束条件b时,第一电子设备可以确定该第一交互功能为第二电子设备所支持的交互功能,此时,第一电子设备可以将该第一交互功能确定为第二电子设备对应的第二交互功能。
[0194]
例如,当第一电子设备为手机,第二电子设备为平板时,若确定手机当前的应用场景为视频场景,手机根据表一可以确定该视频场景对应的第一交互功能包括多屏协同、投屏、投音和应用接力。
[0195]
对于多屏协同,由表二可知,多屏协同的发送端包括手机,接收端包括平板。此时,若手机根据手机的设备信息确定手机支持多屏协同,且手机根据平板的设备信息确定平板支持多屏协同,手机可以确定多屏协同为平板对应的第二交互功能。
[0196]
对于投屏,由表二可知,投屏的发送端包括手机,接收端包括平板。此时,若手机根据手机的设备信息确定手机支持投屏,且手机根据平板的设备信息确定平板支持投屏,手机可以确定投屏为平板对应的第二交互功能。
[0197]
对于投音,由表二可知,投音的发送端包括手机,但接收端不包括平板,因此,手机可以确定投音不是平板对应的第二交互功能。
[0198]
对于应用接力,由表二可知,应用接力的发送端包括手机,接收端包括平板。此时,若手机根据手机的设备信息确定手机支持应用接力,且手机根据平板的设备信息确定平板支持应用接力,手机可以确定应用接力为平板对应的第二交互功能。
[0199]
因此,在该视频场景下,手机可以确定平板对应的第二交互功能包括多屏协同、投屏和应用接力。
[0200]
在另一种可能的实现方式中,第一电子设备可以根据第一电子设备的设备信息,以及应用场景与交互功能之间的预设对应关系,确定第一电子设备当前的应用场景对应的第一交互功能。示例性的,第一电子设备可以根据第一电子设备的设备信息,确定第一电子设备支持的交互功能,并根据第一电子设备支持的交互功能和该预设对应关系,确定第一电子设备当前的应用场景对应的第一交互功能。即第一交互功能为与第一电子设备当前的
应用场景对应的,且第一电子设备所支持的交互功能。
[0201]
示例性的,表三示出了第一电子设备为手机时,各应用场景对应的第一交互功能的一个示例。因此,当第一电子设备为手机时,在手机确定手机当前的应用场景后,可以通过查找表三,来确定该应用场景对应的第一交互功能。
[0202]
表三
[0203][0204]
其中,011表示平板,012表示笔记本电脑,013表示手机,09c表示智慧大屏,00a表示智能音箱,phoneextend表示多屏协同,cast表示投屏,relay表示应用接力,sound表示投音,camera表示分布式相机。即011_phoneextend表示接收端为平板的多屏协同,011_cast表示接收端为平板的投屏,011_relay表示接收端为平板的应用接力,其他表示以此类推,在此不再赘述。
[0205]
与前述类似,在确定该应用场景对应的第一交互功能后,第一电子设备可以确定各第一交互功能对应的约束条件a和约束条件b。因此,第一电子设备可以根据约束条件a、约束条件b、第一电子设备的设备信息和第二电子设备的设备信息,从第一交互功能中,确定第二电子设备对应的第二交互功能。
[0206]
示例性的,表四示出了各第一交互功能对应的约束条件a和约束条件b的一个示例。因此,第一电子设备确定该应用场景对应的第一交互功能后,可以获取第一电子设备的设备信息和第二电子设备的设备信息,并可以根据第一电子设备的设备信息、第二电子设备的设备信息和表四,确定第二电子设备对应的第二交互功能。
[0207]
表四
[0208][0209][0210]
需要说明的是,在开发人员进行代码开发时,可以将每一个约束条件a和每一个约束条件b分别设置成单独的原子能力模块,以使得在不同的应用场景中,可以进行原子能力模块的复用,提高开发效率。
[0211]
例如,可以将011_phoneextend中发送端对应的约束条件a设置成原子能力模块a1,将接收端对应的约束条件b设置成原子能力模块b1,将012_phoneextend中接收端对应的约束条件b设置成原子能力模块b2,等等。
[0212]
当第一电子设备为手机,第二电子设备为平板时,手机可以根据原子能力模块a1和原子能力模块b1,确定多屏协同是否为平板对应的第二交互功能。当第一电子设备为手机,第二电子设备为笔记本电脑时,手机可以根据原子能力模块a1和原子能力模块b2,确定多屏协同是否为笔记本电脑对应的第二交互功能,等等。
[0213]
或者,在开发人员进行代码开发时,可以将约束条件a中的每一个子条件和约束条件b中的每一个子条件分别设置成单独的原子能力模块。
[0214]
例如,可以将011_phoneextend中发送端对应的约束条件a中的第1条(即发送端的设备类型为手机)和第2条(即发送端支持多屏协同)分别设置成原子能力模块a1和原子能力模块a2,将接收端对应的约束条件b中的第1条(即接收端的设备类型为平板)和第2条(即接收端支持多屏协同)分别设置成原子能力模块b1和原子能力模块b2,并将012_phoneextend中接收端对应的约束条件b中的第1条(即接收端的设备类型为笔记本电脑)设置成原子能力模块b3,等等。
[0215]
当第一电子设备为手机,第二电子设备为平板时,手机可以根据原子能力模块a1、原子能力模块a2,以及原子能力模块b1和原子能力模块b2,确定多屏协同是否为平板对应的第二交互功能。当第一电子设备为手机,第二电子设备为笔记本电脑时,手机可以根据原子能力模块a1、原子能力模块a2,以及原子能力模块b3和原子能力模块b2,确定多屏协同是否为笔记本电脑对应的第二交互功能,等等。
[0216]
请参阅图7,图7示出了本技术另一实施例提供的设备交互方法的示意性流程图。该方法可以应用于第一电子设备(例如手机)。该方法,以检测到通过控制中心进入界面a
时,确定手机需要执行设备交互为例。手机可以包括控制中心、智慧决策模块、设备画像模块和能力模块。如图7所示,该方法可以包括:
[0217]
s701、在检测到下拉控制中心进入界面a时,控制中心向智慧决策模块发送下拉指令。
[0218]
s702、智慧决策模块接收到下拉指令后,确定手机当前的应用场景,并确定该应用场景对应的第一交互功能。
[0219]
s703、智慧决策模块从设备画像模块获取第二电子设备的设备信息。
[0220]
s704、智慧决策模块根据手机的设备信息、第二电子设备的设备信息和第一交互功能确定第二电子设备对应的第二交互功能,并将第二电子设备对应的第二交互功能的信息添加至第二电子设备的设备信息中。
[0221]
s705、智慧决策模块向控制中心发送第二电子设备的设备信息,该设备信息中添加有第二交互功能的信息。
[0222]
s706、控制中心获取第二电子设备的设备信息后,显示第二电子设备对应的第二交互功能,或者,显示功能图标,并在检测到对功能图标的点击操作时,显示第二电子设备对应的第二交互功能。
[0223]
s707、当检测对某一第二交互功能的点击操作时,控制中心向能力模块发送该第二交互功能对应的交互指令;
[0224]
s708、能力模块接收到该第二交互功能对应的交互指令后,执行该第二交互功能。
[0225]
其中,界面a可以为图5中的(b)所示的界面。设备信息可以以json字符串的格式进行传递。设备画像模块中可以存储有手机的所有关联设备的设备信息,或者仅存储有某一关联设备(即第二电子设备)的设备信息。示例性的,设备画像模块中存储的设备信息可以从各关联设备中获取,或者可以从其他存储有各关联设备的存储装置中获取。应理解,本技术实施例对设备画像模块获取关联设备的设备信息的时间不作具体限制,例如可以是在手机检测到下拉控制中心进入界面a时获取,也可以是在其他任一时刻获取。
[0226]
在一个示例中,在确定手机需要进行设备交互时,手机中的智慧决策模块可以根据手机当前的运行状态确定手机当前的应用场景,并可以根据前述表一确定该应用场景对应的第一交互功能。
[0227]
假设,手机前台运行音乐应用,且音乐应用处于音乐播放状态,智慧决策模块可以确定手机当前的应用场景为音频场景,并可以根据表一确定该音频场景对应的第一交互功能包括投音和应用接力。
[0228]
随后,对于每一个第一交互功能,智慧决策可以根据前述表二确定该第一交互功能对应的约束条件a和约束条件b,并获取手机的设备信息和各关联设备的设备信息,以根据手机的设备信息、各关联设备的设备信息以及第一交互功能对应的约束条件a和约束条件b确定各关联设备对应的第二交互功能,并将各关联设备对应的第二交互功能的信息添加至各关联设备的设备信息中。
[0229]
假设,手机的关联设备包括平板、智慧大屏和智能音箱。智慧决策模块根据表二确定投音对应的约束条件a包括:(1)发送端的设备类型为手机或平板;(2)发送端支持投音,投音对应的约束条件b包括:(1)接收端的设备类型为智能音箱;(2)接收端支持投音。类似的,手机可以根据表二确定应用接力对应的约束条件a包括:(1)发送端的设备类型为手机、
平板或笔记本电脑;(2)发送端支持应用接力,应用接力对应的约束条件b包括:(1)接收端的设备类型为手机、平板或笔记本电脑;(2)接收端支持应用接力。
[0230]
假设,智慧决策模块根据平板的设备信息a确定平板支持应用接力,根据智能音箱的设备信息b确定智能音箱支持投音,此时,智慧决策模块可以确定平板对应的第二交互功能为应用接力,智能音箱对应的第二交互功能为投音,而智慧大屏对应的第二交互功能为空,并可以将平板对应的应用接力的信息添加至平板的设备信息a中,将智能音箱对应的投音的信息添加至智能音箱的设备信息b中。随后,智慧决策模块可以将添加了应用接力的信息的设备信息a和添加了投音的信息的设备信息b分别发送给控制中心。
[0231]
控制中心获取添加了应用接力的信息的设备信息a和添加了投音的信息的设备信息b后,可以直接通过提示窗口或卡片显示平板对应的第二交互功能和智能音箱对应的第二交互功能,或者可以在检测到操作1时,通过提示窗口或卡片显示平板对应的第二交互功能或智能音箱对应的第二交互功能。
[0232]
或者,控制中心获取添加了应用接力的信息的设备信息a和添加了投音的信息的设备信息b后,可以在界面中显示功能图标,并可以在检测到用户对功能图标的点击操作时,显示平板对应的第二交互功和智能音箱对应的第二交互功能。或者,在检测到操作1时,在界面中显示功能图标,并可以在检测到对功能图标的点击操作时,显示平板对应的第二交互功能或智能音箱对应的第二交互功能。
[0233]
其中,操作1为点击界面中平板对应的控件的操作,或者在界面中拖动平板对应的控件至手机对应的控件的附近的操作,或者点击界面中智能音箱对应的控件的操作,或者在界面中拖动智能音箱对应的控件至手机对应的控件的附近的操作。示例性的,当操作1是针对平板对应的控件时,界面中显示的功能图标与平板对应,即在检测到对功能图标的点击操作时,控制中心显示平板对应的第二交互功能。当操作1是针对智能音箱对应的控件时,界面中显示的功能图标与智能音箱对应,即在检测到对功能图标的点击操作时,控制中心显示智能音箱对应的第二交互功能。
[0234]
在另一个示例中,在确定手机需要进行设备交互时,智慧决策模块可以根据手机当前的运行状态确定手机当前的应用场景,并可以根据前述表三,确定该应用场景对应的第一交互功能。
[0235]
假设,手机前台运行音乐应用,且音乐应用处于音乐播放状态,智慧决策模块可以确定手机当前的应用场景为音频场景,并可以根据表三确定该音频场景对应的第一交互功能00a_sound、011_relay和012_relay。
[0236]
对于每一个第一交互功能,智慧决策模块可以根据前述表四确定该第一交互功能对应的约束条件a和约束条件b,并获取手机的设备信息和各关联设备的设备信息,以根据手机的设备信息、各关联设备的设备信息和第一交互功能对应的约束条件a和约束条件b确定各关联设备对应的第二交互功能,并将各关联设备对应的第二交互功能的信息添加至各关联设备的设备信息中。
[0237]
假设,手机的关联设备包括平板、笔记本电脑和智能音箱。智慧决策模块可以根据表四确定00a_sound对应的约束条件a包括:(1)发送端的设备类型为手机或平板;(2)发送端支持投音,00a_sound对应的约束条件b包括:(1)接收端的设备类型为智能音箱;(2)接收端支持投音。类似的,智慧决策模块可以根据表四确定011_relay对应的约束条件a包括:
(1)发送端的设备类型为手机;(2)发送端支持应用接力,011_relay对应的约束条件b包括:(1)接收端的设备类型为平板;(2)接收端支持应用接力。类似的,智慧决策模块可以根据表四确定012_relay对应的约束条件a包括:(1)发送端的设备类型为手机或平板电脑;(2)发送端支持应用接力,012_relay对应的约束条件b包括:(1)接收端的设备类型为笔记本电脑;(2)接收端支持应用接力。
[0238]
假设,智慧决策模块根据平板的设备信息a确定平板支持应用接力,根据智能音箱的设备信息b确定智能音箱支持投音,根据笔记本电脑的设备信息d确定笔记本电脑支持应用接力,此时,智慧决策模块可以确定平板对应的第二交互功能为011_relay,智能音箱对应的第二交互功能为00a_sound,笔记本电脑对应的第二交互功能为012_relay,并可以将平板对应的011_relay的信息添加至平板的设备信息a中,将智能音箱对应的00a_sound的信息添加至智能音箱的设备信息b中,将笔记本电脑对应的012_relay的信息添加至笔记本电脑的设备信息d中,并可以将添加了011_relay的信息的设备信息a、添加了00a_sound的信息的设备信息b和添加了012_relay的信息的设备信息d分别发送给控制中心。
[0239]
与前述类似,控制中心获取添加了011_relay的信息的设备信息a、添加了00a_sound的信息的设备信息b和添加了012_relay的信息的设备信息d后,可以直接显示各第二交互功能,或者可以先显示功能图标,并可以在检测到对功能图标的点击操作时,显示各第二交互功能。
[0240]
因此,用户可以直接点击界面中所显示的第二交互功能,来实现手机与所选择的关联设备(例如平板)之间的设备交互。
[0241]
即本技术实施例中,手机可以根据手机当前的应用场景,确定该应用场景可能需要的第一交互功能,并可以根据第一交互功能、手机的设备信息和第二电子设备的设备信息,智能确定第二电子设备所支持的交互功能中,手机当前的应用场景可能需要的第二交互功能,以将用户可能需要使用的第二交互功能呈现给用户,方便用户进行交互功能的选择,可以提高用户进行设备交互的便利性,提高设备交互的效率,提升用户体验,具有较强的易用性和实用性。
[0242]
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
[0243]
对应于上文实施例所述的设备交互方法,本技术实施例还提供了一种设备交互装置,该装置的各个模块可以对应实现设备交互方法的各个步骤。
[0244]
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本技术方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
[0245]
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单
元、模块的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0246]
本技术实施例还提供了一种电子设备,所述电子设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述电子设备实现上述任意各个方法实施例中的步骤。示例性的,所述电子设备的结构可以如图1所示。
[0247]
本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述任意各个方法实施例中的步骤。
[0248]
本技术实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备实现上述任意各个方法实施例中的步骤。
[0249]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括:能够将计算机程序代码携带到装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不可以是电载波信号和电信信号。
[0250]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
[0251]
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
[0252]
在本技术所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
[0253]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0254]
以上所述实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。