一种远程协助方法、电子设备、系统及存储介质与流程

文档序号:30087587发布日期:2022-05-18 06:27阅读:124来源:国知局
一种远程协助方法、电子设备、系统及存储介质与流程

1.本技术实施例涉及远程协助领域,尤其涉及一种远程协助方法、电子设备、系统及存储介质。


背景技术:

2.随着物联网的发展,家居环境中增加了越来越多的电子设备。这些电子设备,既可以由用户直接操控,也可以由用户通过其他电子设备(例如手机)上配套的应用软件(application,app)间接操控。然而,对于一些老人而言,无论是直接操控这些电子设备,还是通过其他电子设备上配套的应用软件间接操控这些电子设备,均具有一定的难度。
3.目前,存在一些远程协助的方法帮助老人使用这些电子设备。例如,老人手机和子女手机建立远程协助连接;老人手机进行屏幕录制,并将录制的屏幕数据发送给子女手机;子女在子女手机上基于接收到的屏幕数据进行操作,并将操作的位置坐标发送给老人手机;老人手机基于接收到的位置坐标产生相应的控制指令,从而实现对这些电子设备的操控。然而,这种远程协助的方法对网络质量的要求非常高,导致远程协助时界面显示效果较差的问题;而且,这种基于屏幕共享的远程协助的方法,依然是通过老人手机中的配套应用软件对这些电子设备进行操控,导致老人手机中需要下载大量的配套应用软件,存储空间被占用过多。


技术实现要素:

4.本技术实施例提供一种远程协助方法、电子设备、系统及存储介质,解决现有的远程协助方法对网络质量的要求较高、远程协助时显示效果较差的问题,以及被协助的电子设备存储空间被占用过多的问题。
5.为达到上述目的,本技术采用如下技术方案:
6.第一方面,本技术实施例提供一种远程协助方法,应用于包括第一设备、第二设备和第三设备的系统,第一设备为预设的被协助设备,第二设备为被控设备,第三设备为第一设备的协助设备;该方法包括:第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,其中,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识;第一设备通过第一远程协助应用向第三设备发送远程协助请求,其中,远程协助请求中携带有第二应用的应用标识;响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,第二远程协助应用中显示有第二应用的第一操控界面;响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
7.本技术实施例中,第一设备可以作为需要被协助的用户使用的被协助设备,被协助用户在使用被协助设备的过程中,可以通过短距离的通信方式触发被协助设备获取到被控设备的第一信息,后续被协助用户无需在被协助设备上做进一步操作,就能够通知作为协助设备的第三设备侧的协助用户对作为被控设备的第二设备进行远程控制,简化了被协助用户的操作;而且,由于被协助设备向协助设备发送的是携带被控设备的控制应用的应
用标识的远程协助请求,因此,不会对网络质量有过高的要求;最后,由于对被控设备的控制是在协助设备上完成的,因此被协助设备上可以不安装每个被控设备对应的控制应用,因此,不会过多占用被协助用户使用的被协助设备的存储空间。
8.在第一方面的一种可能的实现方式中,该方法还包括:第三设备的第二远程协助应用显示第一界面,第一界面包括第一控件,第一控件用于指示第三设备搜索电子设备;第三设备检测到用户输入的第一操作,第一操作作用于第一控件;响应于第一操作,第三设备的第二远程协助应用显示第二界面,第二界面显示有搜索到的电子设备的标识,搜索到的电子设备的标识中包括第一设备的标识;第三设备检测到用户输入的第二操作,第二操作作用于第一设备的标识;响应于第二操作,第三设备通过第二远程协助应用向第一设备发送第一请求,第一请求中携带有第三设备的账号信息,第一请求用于指示第一设备设置第三设备为第一设备的协助设备;响应于接收该第一请求,第一设备设置第三设备为第一设备的协助设备;第一设备存储第一设备和第三设备的协助关系,第一设备和第三设备的协助关系包括:第一设备的账号信息和第三设备的账号信息的对应关系。其中,搜索到的电子设备可以是第三设备通过蓝牙、nfc或wifi等方式发现的周围通信范围内的一个或多个设备。
9.在第一方面的一种可能的实现方式中,在第一设备设置第三设备为第一设备的协助设备之后,还包括:第一设备向第三设备发送第二信息,第二信息携带有第一设备的账号信息,或者第二信息携带有第一设备的账号信息和第三设备的账号信息的协助关系;响应于接收第二信息,第三设备设置第一设备为第三设备的被协助设备;第三设备存储第一设备和第三设备的协助关系。
10.在本技术实施例中,可以预先为设置第一设备和第三设备的协助关系。在第一方面的一种可能的实现方式中,第一设备设有nfc模块,第一信息为第二设备的nfc标签信息,第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,包括:第一设备通过nfc模块获取到第二设备的nfc标签信息后,启动第一设备中的第一远程协助应用。
11.在本技术实施例中,第一设备通过nfc模块获取第二设备的nfc标签信息,这种获取第一信息的方式,无需用户在第一设备上和第二设备上进行操作。对于用户而言,简单方便。
12.在第一方面的一种可能的实现方式中,响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,包括:响应于接收远程协助请求,第三设备显示第三界面,第三界面包含有第二控件和第三控件,第二控件用于同意远程协助请求,第三控件用于拒绝远程协助请求;检测到用户输入的第三操作,第三操作作用于第二控件;响应于第三操作,第三设备启动第三设备中的第二远程协助应用。
13.在本技术实施例中,协助用户接收到远程协助请求后,可以提供包含有第二控件和第三控件第三界面,使得协助用户在不方便帮助被协助用户的情况下,协助用户可以通过第三控件拒绝当前远程协助请求。第三操作可以是用户在第三界面上的触控操作,也可以是用户的语音。提供多样化的触发操作,从协助用户的角度,增强了用户体验。
14.在第一方面的一种可能的实现方式中,第二远程协助应用中显示有第二应用的操控界面包括:第二远程协助应用中显示有第二应用的入口图标;响应于通过第二应用的入口图标接收到的进入指令,第二远程协助应用显示第二应用的操控界面。
15.在第一方面的一种可能的实现方式中,系统还包括第一云平台,第一设备通过第一远程协助应用向第三设备发送远程协助请求,包括:第一设备通过第一远程协助应用向第一云平台发送第一远程协助请求,第一远程协助请求携带有第二应用的应用标识,第一远程协助请求用于指示第一云平台向第三设备发送第二远程协助请求;响应于接收第一远程协助请求,第一云平台向第三设备发送第二远程协助请求,第二远程协助请求携带有第二应用的应用标识。
16.在本技术实施例中,被协助用户通过第一设备向协助用户使用的第三设备求助时,通常第一设备和第三设备位于不同的空间,甚至第一设备和第三设备距离较远,因此,第一设备和第三设备不便于通过短距离通信的方式进行通信。因此,可以通过第一云平台建立第一设备和第三设备之间的通信连接。
17.在具体实施的过程中,第一远程协助请求和第二远程协助请求可以是相同,也可以不相同,例如,由于不同设备间采用的通信协议不同,虽然第一远程协助请求和第二远程协助请求中均携带第二应用的应用标识,然而,第一远程协助请求和第二远程协助请求中携带的其他信息或者封装格式均可能存在不同。在本技术的具体实施方式中,均以第一远程协助请求和第二远程协助请求相同为例说明远程协助请求的传输过程,并不表示限定了第一远程协助请求和第二远程协助请求相同。
18.在第一方面的一种可能的实现方式中,系统还包括第一云平台,响应于在第二应用的第一操控界面接收的操控指令,第三设备对第二设备进行远程控制,包括:响应于在第二应用的操控界面接收的第一操控指令,第三设备通过第二远程协助应用向第一云平台发送第一操控指令,第一操控指令用于指示第二设备执行与操控指令对应的操作;响应于接收第一操控指令,第一云平台向第一设备发送第二操控指令,第二操控指令用于指示第二设备执行与操控指令对应的操作;响应于接收第二操控指令,第一设备向第二设备发送第三操控指令,第三操控指令用于指示第二设备执行与操控指令对应的操作。
19.在本技术实施例中,从第三设备至第二设备的操控指令的传输路径为:第三设备、第一云平台、第一设备、第二设备。由于不同设备间的传输协议可能存在不同,导致第一操控指令、第二操控指令和第三操控指令之间可能存在以下三种情况:全部相同、部分相同、全部不相同。然而,第一操控指令、第二操控指令和第三操控指令均用于指示第二设备执行与操控指令对应的操作。本技术的具体实施例中以第一操控指令、第二操控指令和第三操控指令完全相同为例说明操控指令的传输过程。然而,并不表示限定了第一操控指令、第二操控指令和第三操控指令完全相同。
20.在第一方面的一种可能的实现方式中,第一信息还包括第二设备的设备标识;在第一设备向第二设备发送第三操控指令之前,该方法还包括:第一设备基于第二设备的设备标识和第一设备建立连接。
21.在本技术实施例中,若需要通过第一设备向第二设备发送第三操控指令,则需要预先在第一设备和第二设备之间建立连接。
22.在第一方面的一种可能的实现方式中,系统还包括第一云平台;
23.响应于在第二应用的第一操控界面接收的操控指令,第三设备对第二设备进行远程控制,包括:
24.响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用
向第一云平台发送第四操控指令,第四操控指令用于指示第二设备执行与操控指令对应的操作;响应于接收第四操控指令,第一云平台向第二设备发送第五操控指令,第五操控指令用于指示第二设备执行与操控指令对应的操作;
25.或;
26.响应于在第二应用的第一操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第六操控指令,第六操控指令用于指示第二设备执行与操控指令对应的操作;响应于接收第六操控指令,第一云平台向第二云平台发送第七操控指令,第七操控指令用于指示第二设备执行与操控指令对应的操作,第七操控指令用于指示第二云平台向第二设备发送第八操控指令,第八操控指令用于指示第二设备执行与操控指令对应的操作。
27.在本技术实施例中,提供了多种方式实现操控指令从协助设备到被控设备的传输。提高了本技术实施时的灵活性。本技术实施例中,第一操控指令至第八操控指令也可能存在如下几种情况:完全相同、部分相同、完全不相同。在本技术具体的实施例中,以第一操控指令至第八操控指令相同为例说明操控指令的传输过程,并不表示限定了第一操控指令至第八操控指令相同。另外,为了便于区分,将第三设备的第二远程协助应用显示的第二应用的操控界面记为第一操控界面,将第一设备的第一远程协助应用显示的第一应用的操控界面记为第二操控界面。第一操控界面和第二操控界面的功能相同,由于第一设备和第三设备的操作系统可能不同,因此,第一操控界面和第二操控界面的布局和/或显示的内容可能存在一些不同。在具体实施方式中,虽然均以操控界面为例,然而,并不表示限定了第一操控界面和第二操控界面一定相同。
28.在第一方面的一种可能的实现方式中,在第一设备启动第一设备中的第一远程协助应用之后,该方法还包括:第一设备中的第一远程协助应用显示第二应用的第二操控界面。
29.在本技术实施例中,对于被协助用户使用的第一设备,也可以显示第二应用的第二操控界面,从而使得被协助用户也可以在第一设备上显示的第二应用的第二操控界面输入操控指令,提供了更加灵活的控制第二设备的方式。
30.在第一方面的一种可能的实现方式中,该方法还包括:第一设备中的第一远程协助应用的操控界面包括第四控件,其中,第四控件用于向第三设备发起求助;响应于第四操作,第一设备通过第一远程协助应用向第三设备发送远程协助请求,第四操作作用于第四控件。
31.在本技术实施例中,通过在被协助设备的第一远程协助应用的操控界面中设置第四控件以向第三设备发起求助;提高了本技术实施例提供的远程协助方法在实施时的灵活性。
32.在第一方面的一种可能的实现方式中,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,该方法还包括:第一设备获取到第三信息,第三信息包括用于控制第四设备的第四应用的应用标识和用于表征第四设备支持远程控制的标识;第一设备通过第一远程协助应用显示第四应用的操控界面;第一设备通过第一远程协助应用向第三设备发送远程协助请求,具体为:第一设备通过第一远程协助应用向第三设备发送远程协助请求,远程协助请求中携带有第二应用的应用标识和第四应用的应用标识。
33.在本技术实施例中,被协助用户可以控制第一设备靠近多个被控设备获得多个被控设备的信息(例如,第一信息、一个或多个第三信息),然后再发起求助,使得一次求助过程能够实现对多个被控设备的控制;提供多样化的远程协助方式。
34.在第一方面的一种可能的实现方式中,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之后,还包括:第一设备获取到第四信息,第四信息包括用于控制第五设备的第五应用的应用标识和用于表征第五设备支持远程控制的标识;第一设备通过第一远程协助应用显示第五应用的操控界面;第一设备向第三设备发送第五应用的应用标识。
35.在本技术实施例中,即使用户已经通过第一设备向第三设备发起求助,用户也可以控制第一设备靠近至少一个被控设备获得该至少一个被控设备的信息(例如,至少一个第四信息),此种情况下,无需被协助用户再次发起求助。提供多样化的远程协助方式。
36.在第一方面的一种可能的实现方式中,第三设备的第二远程协助应用接收到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四设备,第三设备通过第二远程协助应用显示第二应用的第一操控界面之后,方法还包括:响应于接收到的第一切换指令,第三设备的第二远程协助应用中显示的第二应用的第一操控界面切换为第四应用的操控界面。
37.在第一方面的一种可能的实现方式中,第三设备的第二远程协助应用接收到至少两个被控设备的控制应用的应用标识后,其中,至少两个被控设备包括第二设备时,至少两个被控设备的控制应用包括第二应用,至少两个被控设备包括第四设备时,至少两个被控设备的控制应用包括第四应用,至少两个被控设备包括第五设备时,至少两个被控设备的控制应用包括第五应用,方法还包括:
38.第三设备通过第二远程协助应用显示第一个操控界面,其中,第一个操控界面为至少两个被控设备的控制应用的操控界面中的任一个;
39.响应于接收到的第一切换指令,第三设备的第二远程协助应用中显示的第一个操控界面切换为第二个操控界面,其中,第二个操控界面为至少两个被控设备的控制应用的操控界面中除第一个操控界面外的任一个。
40.在本技术实施例中,第三设备接收到至少两个被控设备的控制应用的应用标识的情况,可以以切换显示的方式显示多个被控设备的控制应用的操控界面。
41.在第一方面的一种可能的实现方式中,该方法还包括:第一设备通过靠近或触碰第二设备,获取第一信息。
42.本技术实施例中,第一设备通过靠近或触碰第二设备获取第一信息的方式可以是nfc的方式、蓝牙靠近发现的方式和wi-fi aware的靠近发现。
43.在第一方面的一种可能的实现方式中,第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,方法还包括:第一设备通过存储的协助关系查找第一设备的协助设备,第一设备的协助设备包括第三设备。
44.在本技术实施例中,第一设备和第三设备之间的协助关系已经预先存储在第一设备中,且第一设备和第三设备的协助关系确定了第一设备为第三设备的被协助设备,第三设备为第一设备的协助设备。因此,第一设备可以查找预先存储的第一设备的协助设备。
45.在第一方面的一种可能的实现方式中,该方法还包括:当第一设备的协助设备为
至少两个时,第三设备为第一设备的协助设备中优先级最高的一个。
46.在本技术实施例中,一个第一设备可以设置多个协助设备,例如,老人的多个子女的手机均可以被设置为老人手机的协助设备,并且,多个协助设备还可以进行优先级排序,每次可以向优先级最高的协助设备发起求助,在向优先级最高的协助设备求助不成功的情况下,可以向优先级次高的协助设备发起求助。增强了本技术实施例提供的远程协助方法实施时的用户体验。
47.第二方面,本技术实施例提供一种远程协助方法,应用于第一设备,该方法包括:第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,其中,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识,第一设备为预设的被协助设备,第二设备为被控设备;第一设备通过第一远程协助应用向第三设备发送远程协助请求,其中,第三设备为第一设备的协助设备,远程协助请求中携带有第二应用的应用标识,远程协助请求用于指示第三设备启动第二远程协助应用,并基于第二远程协助应用和第二应用对第二设备进行远程控制。
48.在第二方面的一种可能的实现方式中,响应于接收第一请求,第一设备设置第三设备为第一设备的协助设备,其中,第一请求为第三设备向第一设备发送的,第一请求中携带有第三设备的账号信息;第一设备存储第一设备和第三设备的协助关系,第一设备和第三设备的协助关系包括:第一设备的账号信息和第三设备的账号信息的对应关系;第一设备向第三设备发送第二信息,第二信息携带有第一设备的账号信息,或者第二信息携带有第一设备的账号信息和第三设备的账号信息的对应关系;第二信息用于指示第三设备设置第一设备为第三设备的被协助设备。
49.在第二方面的一种可能的实现方式中,第一设备设有nfc模块,第一信息为第二设备的nfc标签信息,第一设备在获取到第一信息后,响应于根据用于表征第二设备支持远程控制的标识确定第二设备支持远程控制,启动第一设备中的第一远程协助应用,包括:第一设备通过nfc模块获取到第二设备的nfc标签信息后,启动第一设备中的第一远程协助应用。
50.在第二方面的一种可能的实现方式中,第一设备通过第一远程协助应用向第三设备发送远程协助请求包括:第一设备通过第一远程协助应用向第一云平台发送第一远程协助请求,第一远程协助请求携带有第二应用的应用标识,第一远程协助请求用于指示第一云平台向第三设备发送第二远程协助请求,第二远程协助请求携带有第二应用的应用标识。
51.在第二方面的一种可能的实现方式中,在第一设备启动第一设备中的第一远程协助应用之后,该方法还包括:第一设备中的第一远程协助应用显示第二应用的操控界面。
52.在第二方面的一种可能的实现方式中,该方法还包括:第一设备中的第一远程协助应用的操控界面包括第四控件,其中,第四控件用于向第三设备发起求助;检测到用户输入的第四操作,第四操作作用于第四控件;响应于第四操作,第一设备通过第一远程协助应用向第三设备发送远程协助请求。
53.在第二方面的一种可能的实现方式中,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,该方法还包括:第一设备获取到第三信息,第三信息包括用于控制第四设备的第四应用的应用标识和用于表征第四设备支持远程控制的标识;第一设备
通过第一远程协助应用显示第四应用的操控界面;第一设备通过第一远程协助应用向第三设备发送远程协助请求,具体为:第一设备通过第一远程协助应用向第三设备发送远程协助请求,远程协助请求中携带有第二应用的应用标识和第四应用的应用标识。
54.在第二方面的一种可能的实现方式中,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之后,还包括:第一设备获取到第四信息,第一设备通过第一远程协助应用显示第五应用的操控界面,其中,第四信息包括用于控制第五设备的第五应用的应用标识和用于表征第五设备支持远程控制的标识;第一设备通过第一远程协助应用显示第五应用的操控界面;第一设备向第三设备发送第五应用的应用标识。
55.在第二方面的一种可能的实现方式中,第一设备获取到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四设备第一设备中的第一远程协助应用显示第二应用的第二操控界面之后,方法还包括:响应于接收到的第二切换指令,第一设备的第一远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
56.在第二方面的一种可能的实现方式中,该方法还包括:第一设备通过靠近或触碰第二设备,获取第一信息。
57.在第二方面的一种可能的实现方式中,第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,方法还包括:第一设备通过存储的协助关系查找第一设备的协助设备,第一设备的协助设备包括第三设备。
58.在第二方面的一种可能的实现方式中,方法还包括:当第一设备的协助设备为至少两个时,第三设备为第一设备的协助设备中优先级最高的一个。
59.第三方面,本技术实施例提供一种远程协助方法,应用于第三设备,该方法包括:响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,其中,远程协助请求为第一设备通过第一远程协助应用向第三设备发送的,远程协助请求中携带有用于控制第二设备的第二应用的应用标识;第三设备中的第二远程协助应用中显示有第二应用的操控界面;响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
60.在第三方面的一种可能的实现方式中,该方法还包括:第三设备的第二远程协助应用显示第一界面,第一界面包括第一控件,第一控件用于指示第三设备搜索电子设备;第三设备检测到第一操作,第一操作作用于第一控件;响应于第一操作,第三设备的第二远程协助应用显示第二界面,第二界面显示有搜索到的电子设备的标识,搜索到的电子设备的标识中包括第一设备的标识;第三设备检测到第二操作,第二操作作用于第一设备的标识;响应于第二操作,第三设备通过第二远程协助应用向第一设备发送第一请求,第一请求中携带有第三设备的账号信息,第一请求用于指示第一设备设置第三设备为第一设备的协助设备。
61.在第三方面的一种可能的实现方式中,响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,包括:响应于接收远程协助请求,第三设备显示第三界面,第三界面包含有第二控件和第三控件,第二控件用于同意远程协助请求,第三控件用于拒绝远程协助请求;检测到用户输入的第三操作,第三操作作用于第二控件;响应于第三操作,第三设备启动第三设备中的第二远程协助应用。
62.在第三方面的一种可能的实现方式中,第三设备中的第二远程协助应用中显示有
第二应用的操控界面包括:第三设备中的第二远程协助应用中显示有第二应用的入口图标;响应于通过第二应用的入口图标接收到的进入指令,第二远程协助应用显示第二应用的操控界面。
63.在第三方面的一种可能的实现方式中,响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制,包括:
64.响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第一操控指令,第一操控指令用于指示第一云平台向第一设备发送第二操控指令,第二操控指令用于指示第一设备向第二设备发送第三操控指令,第一操控指令、第二操控指令和第三操控指令均用于指示第二设备执行与操控指令对应的操作;
65.或,响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第四操控指令,第四操控指令用于指示第一云平台向第二设备发送第五操控指令,第四操控指令和第五操控指令均用于指示第二设备执行与操控指令对应的操作;
66.或,响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第六操控指令,第六操控指令用于指示第一云平台向第二云平台发送第七操控指令,第七操控指令用于指示第二云平台向第二设备发送第八操控指令,其中,第六操控指令、第七操控指令和第八操控指令均用于指示第二设备执行与操控指令对应的操作。
67.在第三方面的一种可能的实现方式中,远程协助请求中还携带有用于控制第四设备的第四应用的应用标识,其中,第四设备为被控设备,该方法还包括:第三设备在第二远程协助应用中显示第二应用的操纵界面或第四应用的操控界面。
68.在第三方面的一种可能的实现方式中,在第三设备启动第三设备中的第二远程协助应用之后,还包括:接收用于控制第五设备的第五应用的应用标识,第三设备在第二远程协助应用中显示第五应用的操控界面。
69.在第三方面的一种可能的实现方式中,第三设备的第二远程协助应用接收到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四应用,第三设备通过第二远程协助应用显示第二应用的第一操控界面之后,方法还包括:响应于接收到的第一切换指令,第三设备的第二远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
70.第四方面,提供一种电子设备,包括:
71.第一远程协助应用启动单元,用于在获取到第一信息后,启动第一远程协助应用,其中,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识,第一设备为预设的被协助设备,第二设备为被控设备;
72.远程协助单元,用于通过第一远程协助应用向第三设备发送远程协助请求,其中,第三设备为第一设备的协助设备,远程协助请求中携带有第二应用的应用标识,远程协助请求用于指示第三设备启动第二远程协助应用。
73.第五方面,提供一种电子设备,包括:
74.第二远程协助应用启动单元,用于响应于接收远程协助请求,启动第三设备中的第二远程协助应用,其中,远程协助请求为第一设备通过第一远程协助应用向第三设备发
送的,远程协助请求中携带有用于控制第二设备的第二应用的应用标识,第二设备为被控设备;第二远程协助应用中显示有第二应用的操控界面;
75.远程控制单元,用于响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
76.第六方面,提供一种电子设备,包括处理器,处理器用于运行存储器中存储的计算机程序,实现本技术第二方面任一项的方法。
77.第七方面,提供一种电子设备,包括处理器,处理器用于运行存储器中存储的计算机程序,实现本技术第三方面任一项的方法。
78.第八方面,提供一种远程协助系统,包括第六方面提供的电子设备和第七方面提供的电子设备。
79.第九方面,提供一种芯片系统,包括处理器,处理器与存储器耦合,处理器执行存储器中存储的计算机程序,以实现本技术第二方面任一项的方法和/或第三方面任一项的方法。
80.第十方面,提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被一个或多个处理器执行时实现本技术第二方面任一项的方法和/或第三方面任一项的方法。
81.第十一方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在设备上运行时,使得设备执行本技术第二方面任一项的方法和/或第三方面任一项的方法。
82.可以理解的是,上述第二方面至第十一方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
83.图1为本技术实施例提供的远程协助方法的一种应用场景示意图;
84.图2为本技术实施例提供的执行远程协助方法的一种电子设备的硬件结构示意图;
85.图3为本技术实施例提供的一种远程协助方法的流程示意图;
86.图4为本技术实施例提供的一种远程协助方法的应用场景示意图;
87.图5为图4所示实施例的步骤1表示的一种绑定两个电子设备的过程示意图;
88.图6为图4所示实施例的步骤3表示的一种被协助设备与协助设备建立远程协助会话的过程示意图;
89.图7为图4所示实施例中被协助设备和协助设备的显示界面的示意图;
90.图8为本技术实施例提供的一种远程协助方法的技术架构图;
91.图9为基于图8所示实施例提供的一种技术架构图的远程协助方法的时序过程示意图;
92.图10为本技术实施例提供的另一种远程协助方法的技术架构图;
93.图11为基于图10所示实施例提供的一种技术架构图的远程协助方法的时序过程示意图;
94.图12为本技术实施例提供的一种远程协助方法的应用场景示意图;
95.图13为本技术实施例提供的一种远程协助方法的应用场景示意图;
96.图14为本技术实施例提供的一种远程协助方法的应用场景示意图;
97.图15为本技术实施例提供的第一设备显示控制应用的操控界面的过程示意图;
98.图16为本技术实施例提供的以第一设备为执行主体的远程协助方法的流程示意图;
99.图17为本技术实施例提供的以第三设备为执行主体的远程协助方法的流程示意图;
100.图18为本技术实施例提供的执行远程协助方法的第一设备的功能架构单元化的示意性框图;
101.图19为本技术实施例提供的执行远程协助方法的第三设备的功能架构单元化的示意性框图。
具体实施方式
102.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本技术。
103.应当理解,当在本技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
104.还应当理解,在本技术实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
105.另外,在本技术说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
106.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
107.本技术实施例提供的远程协助方法可以应用在图1所示的应用场景中。如图1所示,智能音箱等电子设备可以作为被控设备,被控设备上设置nfc(near field communication)模块。手机1可以作为被协助设备供被协助用户使用,手机1设置nfc模块。智能音箱和手机1位于同一空间,例如,智能音响和手机1位于手机1对应的被协助用户的家里。手机2与手机1位于不同的空间,例如,手机2位于手机2对应的协助用户的家里或公司等。手机2作为协助设备供协助用户使用,例如,当被协助用户为老人时,协助用户可以是老人的子女。
108.当被协助用户需要操控智能音箱时,可以通过被协助用户使用的手机1贴近智能音箱,手机1接收智能音箱的nfc标签信息,该nfc标签信息中包含了智能音箱的控制应用的
input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口等。
118.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器210可以包含多组i2c总线。处理器210可以通过不同的i2c总线接口分别耦合触摸传感器280k,充电器,闪光灯,摄像头293等。例如:处理器210可以通过i2c接口耦合触摸传感器280k,使处理器210与触摸传感器280k通过i2c总线接口通信,实现电子设备200的触摸功能,例如,本技术实施例中协助用户通过触摸第三设备的显示屏显示的控制应用的操控界面生成操控指令。
119.i2s接口可以用于音频通信。在一些实施例中,处理器210可以包含多组i2s总线。处理器210可以通过i2s总线与音频模块270耦合,实现处理器210与音频模块270之间的通信。在一些实施例中,音频模块270可以通过i2s接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。例如,被协助用户通过耳机接听协助用户的视频或音频会话中声音信息。
120.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块270与无线通信模块260可以通过pcm总线接口耦合。
121.在一些实施例中,音频模块270也可以通过pcm接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。i2s接口和pcm接口都可以用于音频通信。
122.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
123.在一些实施例中,uart接口通常被用于连接处理器210与无线通信模块260。
124.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在本技术另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
125.电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
126.天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
127.移动通信模块250可以提供应用在电子设备200上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
128.在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
129.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270a,受话器270b等)输
出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
130.无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(blue tooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。例如,被协助设备可以通过其中的蓝牙或wi-fi模块向被控设备传输操控指令。
131.在一些实施例中,电子设备200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
132.电子设备200通过gpu,显示屏294,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏294和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
133.显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备200可以包括1个或n个显示屏294,n为大于1的正整数。
134.例如,被协助设备和协助设备之间的视频会话,可以通过isp,摄像头293,视频编解码器,gpu,显示屏294以及应用处理器等实现。
135.isp用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头293中。
136.摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备200可以包括1个或n个摄像头293,n为大于1的正整数。
137.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。
138.视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样,电子设备200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
139.内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如被控设备的控制应用等)。存储数据区可存储电子设备200使用过程中所创建的数据。
140.此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
141.电子设备200可以通过音频模块270,扬声器270a,受话器270b,麦克风270c,耳机接口270d,以及应用处理器等实现音频功能。例如被协助设备和协助设备之间的音频会话等。
142.音频模块270用于将数字音频信号转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。
143.扬声器270a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备200可以通过扬声器270a收听音乐,或收听免提通话。
144.受话器270b,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时,可以通过将受话器270b靠近人耳接听语音。
145.麦克风270c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风270c发声,将声音信号输入到麦克风270c。电子设备200可以设置至少一个麦克风270c。在另一些实施例中,电子设备200可以设置两个麦克风270c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备200还可以设置三个,四个或更多麦克风270c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
146.耳机接口270d用于连接有线耳机。耳机接口270d可以是usb接口230,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,
ctia)标准接口。
147.压力传感器280a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器280a可以设置于显示屏294。压力传感器280a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280a,电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏294,电子设备200根据压力传感器280a检测触摸操作强度。电子设备200也可以根据压力传感器280a的检测信号计算触摸的位置。
148.距离传感器280f,用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中,被协助设备可以利用蓝牙测距的方式接受nfc标签信息,蓝牙测距时通过距离传感器280f测距。
149.触摸传感器280k,也称“触控面板”。触摸传感器280k可以设置于显示屏294,由触摸传感器280k与显示屏294组成触摸屏,也称“触控屏”。触摸传感器280k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器280k也可以设置于电子设备200的表面,与显示屏294所处的位置不同。
150.sim卡接口295用于连接sim卡。sim卡可以通过插入sim卡接口295,或从sim卡接口295拔出,实现和电子设备200的接触和分离。电子设备200可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口295可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口295可以同时插入多张卡。多张卡的类型可以相同,也可以不同。sim卡接口295也可以兼容不同类型的sim卡。sim卡接口295也可以兼容外部存储卡。电子设备200通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备200中,不能和电子设备200分离。
151.本技术实施例并未特别限定一种远程协助方法的执行主体的具体结构,只要可以通过运行记录有本技术实施例的一种远程协助方法的代码的程序,以根据本技术实施例提供的一种远程协助方法进行通信即可。例如,本技术实施例提供的一种远程协助方法的执行主体可以是电子设备中能够调用程序并执行程序的功能模块,或者为应用于电子设备中的通信装置,例如,芯片。
152.下面将对本技术实施例提供的远程协助方法进行详细的描述。为了便于描述,图1对应的应用场景中的被协助设备(手机1)可以记为第一设备,协助设备(手机2)可以记为第三设备,图1对应的应用场景中的被控设备(智能音箱)可以记为第二设备,图1对应应用场景中的被控设备的控制应用可以记为第二应用,本技术实施例提供的远程协助系统包括:第一设备和第三设备,也可以包括第二设备。
153.参见图3,图3为本技术实施例提供的一种远程协助方法的流程示意图,如图所示,该方法包括:
154.步骤301,第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,其中,第一设备为预设的被协助设备,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识,第二设备为被控设备。
155.在本技术实施例中,第一设备作为被协助设备获取第一信息的方式,可以是通过
短距离的通信方式获取。作为举例,可以通过wi-fi aware无线感知的方式,也可以通过蓝牙测距的方式,还可以通过nfc的方式。
156.第一信息还可以包括第二设备的设备标识。第二设备的设备标识用于在后续的步骤304中,第三设备对第二设备进行远程控制时,基于该设备标识确定待远程控制的第二设备。
157.以第一设备获取第一信息的方式为nfc的方式为例,所述第一信息可以是第二设备的nfc标签信息。
158.作为举例,nfc标签信息包含至少三个字段,第一字段为:第二应用的应用标识,第二字段为:第二设备的设备标识,第三字段为:第二设备是否支持远程控制的标识。
159.在本技术实施例提供的远程协助方法实施之前,需要预先将第一设备设置为被协助设备,可以理解为:预先被设置为被协助设备的电子设备为第一设备。预先将第三设备设置为第一设备的协助设备,可以理解为:预先被设置为第一设备的协助设备的电子设备为第三设备。在第一设备预先被设置为被协助设备的情况下,第一设备获取到第一信息,若第一信息中表征第二设备是否支持远程控制的标识为“第二设备支持远程控制”,则第一设备会启动第一设备中的第一远程协助应用。第一信息中表征第二设备是否支持远程控制的标识为“第二设备不支持远程控制”,则第一设备会启动第一信息中的应用标识对应的第二应用,第二应用用于控制第二设备。在第一设备预先未被设置为被协助设备的情况下,第一设备获取到第一信息,即使第一信息中表征第二设备是否支持远程控制的标识为“第二设备支持远程控制”,第一设备不会启动第一远程协助应用,而是会启动与第一信息中的应用标识对应的第二应用,即用于控制第二设备的第二应用。
160.步骤302,第一设备通过第一远程协助应用向第三设备发送远程协助请求,该远程协助请求中携带有第二应用的应用标识,第三设备为第一设备的协助设备。
161.在本技术实施例中,远程协助请求可以包含以下内容:远程协助请求命令、第二应用的应用标识、以及与第二应用的应用标识一一对应的第二设备的设备标识。
162.在此需要说明,第一设备接收到的nfc标签信息中包括的内容可能多于远程协助请求中携带的信息,例如,nfc标签信息中的第一字段和第二字段可以携带在远程协助请求中,而第三字段无需携带在远程协助请求中。
163.步骤303,第三设备在接收到远程协助请求后,启动第三设备中的第二远程协助应用,在所述第二远程协助应用中显示所述第二应用的操控界面。
164.在本技术实施例中,第三设备接收到远程协助请求后,第三设备可以显示界面,该界面中存在同意或拒绝该远程协助请求的选项,协助用户通过第三设备显示的该界面同意该远程协助请求后,表示第一设备与第三设备之间建立远程协助会话。
165.第三设备的该界面接收到同意所述远程协助请求的信息后,所述第三设备启动所述第三设备中的第二远程协助应用,所述第三设备的第二远程协助应用可以显示远程协助请求中携带的应用标识对应的第二应用的操控界面。
166.第三设备需要获取远程协助请求中的应用标识对应的第二应用,具体获取的方式可以是从预设服务器下载,还可以从第三设备的存储空间中获取。在第三设备的存储空间中存在第二应用的情况下,第三设备的第二远程协助应用可以显示第二应用的操控界面,以对第二设备进行远程控制。
167.在此需要说明,某个应用标识可能是微波炉的控制应用的应用标识。然而,由于即使同一厂商同一型号的微波炉的控制应用可能存在多个版本(例如,低版本、不断升级的中间版本、当前的最高版本),不同的协助设备基于应用标识下载的控制应用可能属于不同的版本。当被协助设备也需要下载应用标识对应的控制应用时,被协助设备和协助设备分别下载的控制应用的版本也可能不相同。实际上,无论下载的控制应用属于何种版本,均可以对被控设备进行控制,因此,本技术实施例中的第二应用包含了用于控制第二设备的各个版本的控制应用。
168.对于同一电子设备,当该电子设备被设置为被协助设备的情况下,该电子设备为第一设备,该电子设备中的远程协助应用为第一远程协助应用,当该电子设备被设置为协助设备的情况下,该电子设备为第三设备,该电子设备中的远程协助应用为第二远程协助应用。对于同一电子设备而言,在安装了远程协助应用的情况下,处于被协助设备的角色,获取到包含控制应用的应用标识的nfc标签信息,启动预先安装的远程协助应用,只是该远程协助应用命名为第一远程协助应用。处于协助设备的角色,接收到携带控制应用的应用标识的远程协助请求,也启动该预先安装的远程协助应用,协助设备上的远程协助应用可以命名为第二远程协助应用。
169.实际应用中,由于协助用户需要在协助设备的远程协助应用中设置该协助设备的被协助设备,因此,协助设备中需要预先安装远程协助应用或者添加远程协助应用小程序,以方便协助用户在协助设备上启动远程协助应用(或打开远程协助应用小程序)后设置被协助设备。然而,对于协助用户选中的待设置为被协助设备的电子设备(例如,电子设备1),可以未预先安装远程协助应用或添加远程协助应用小程序。在电子设备1同意了设置请求(将电子设备1设置被其他电子设备的被协助设备的请求)后,电子设备1才获得了被协助设备的角色。电子设备1可以在同意了设置请求后,电子设备1基于该设置请求(或由用户自主)从应用商店(或者第一云平台)下载远程协助应用;或,电子设备1可以在同意了设置请求后,电子设备1基于该设置请求(或由用户自主)添加远程协助应用的小程序。
170.另外,需要说明,当该电子设备处于协助设备的角色或者预先未被设置角色的情况下,获取到包含控制应用的应用标识和表征被控设备支持远程控制的标识的nfc标签信息,则启动nfc标签信息中的应用标识对应的控制应用。
171.步骤304,响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
172.在本技术实施例中,第三设备中的第二远程协助应用可以获取并显示该应用标识对应的第二应用的操控界面,协助用户可以通过第二远程协助应用显示的第二应用的操控界面接收操控指令,通过该操控指令对该第二应用对应的第二设备进行远程控制。
173.本技术实施例中,第一设备可以作为需要被协助的用户使用的被协助设备,被协助用户在使用被协助设备的过程中,可以通过短距离的通信方式触发被协助设备获取到被控设备的第一信息,后续被协助用户无需在被协助设备上做进一步操作,就能够通知作为协助设备的第三设备侧的协助用户对作为被控设备的第二设备进行远程控制,简化了被协助用户的操作;而且,由于被协助设备向协助设备发送的是携带被控设备的控制应用(例如,被控设备为第二设备时,控制应用为第二应用)的应用标识的远程协助请求,因此,不会对网络质量有过高的要求;最后,由于对被控设备的控制是在协助设备上完成的,因此被协
助设备上可以不安装每个被控设备对应的控制应用,因此,不会过多占用被协助用户使用的被协助设备的存储空间。
174.作为本技术另一实施例,步骤302中,第一设备通过第一远程协助应用向第三设备发送远程协助请求包括:
175.第一设备通过第一远程协助应用向第一云平台发送远程协助请求,以指示第一云平台向第三设备发送远程协助请求,该远程协助请求中携带有第二应用的应用标识。
176.在本技术实施例中,第一设备和第三设备之间可以通过第一云平台进行通信。第一云平台中存储了第一设备和第三设备之间的绑定关系。第一云平台是为远程协助应用提供支持的服务器。第一设备和第三设备之间的绑定关系具体可参照后续实施例的描述。
177.作为本技术另一实施例,步骤304中,响应于所述第二应用的操控界面接收的操控指令,对所述第二设备进行远程控制包括:
178.响应于所述第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一设备发送操控指令;
179.响应于接收到的第三设备发送的操控指令,第一设备向第二设备发送接收到的操控指令;
180.或,响应于所述第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送操控指令,以指示第一云平台向第二设备发送操控指令;
181.或,响应于所述第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送操控指令,以指示第一云平台通过第二云平台向第二设备发送操控指令。
182.在本技术实施例中,第三设备和第二设备之间的操控指令可以通过第一设备转发;也可以通过第一云平台转发;还可以通过多个云平台转发,例如通过第一云平台转发给第二云平台,再通过第二云平台转发给第二设备,该操控指令用于指示第二设备执行与该操控指令对应的响应。
183.其中,第一云平台为与远程协助应用对应的服务器,第二云平台为与控制应用对应的服务器。这是由于远程协助应用的开发商和控制应用的开发商可能为不同的开发商,控制应用的开发商可能不希望其他开发商的云平台直接控制控制应用的开发商的被控设备,这样通过云平台对接的方式,被控设备对应的开发商能够掌握自己的被控设备的控制权。
184.图3所示实施例提供的远程协助方法可以应用在包括第一设备和第三设备的远程协助系统中。
185.上述实施例重点描述了第一设备和第三设备之间的交互过程,为了对上述实施例中的交互过程具有更清晰的理解,参见图4,图4为上述实施例的一个应用场景的示意图。
186.参照图4中的步骤1,本技术实施例提供的远程协助方法在实施时,需要预先将两个电子设备进行绑定,绑定的时候预先设置了被协助设备和该被协助设备的协助设备,或者预先设置了协助设备以及该协助设备的被协助设备。被设置为被协助设备的电子设备为上述实施例描述的第一设备(例如,老人手机),被设置为协助设备的电子设备为上述实施例描述的第三设备(例如,子女手机)。
187.在此需要说明,实际应用中,绑定的可以是第一设备和第三设备,也可以是第一设
备具有关联关系的第一账号和第三设备具有关联关系的第二账号。老人可以自己或者请求家人帮助其在第一云平台上注册第一账号,子女可以在第一云平台上注册第二账号。第一设备与第一账号之间的关联关系可以是:第一设备中的sim卡号与第一账号存在对应关系;第一设备的设备标识与第一账号存在对应关系;或者,第一设备中登录远程协助应用的账号为第一账号。第三设备与第二账号之间的关联关系参照第一设备与第一账号之间的关联关系,在此不再赘述。
188.其中,预先将两个电子设备进行绑定的过程可以参照图5所示,协助用户(例如,老人的子女)可以在设备a(例如,子女手机)上通过设备a中的负一屏搜索远程协助应用的方式或点击设备a的桌面上的远程协助应用的方式打开远程协助应用,在设备a的远程协助应用打开后,如图5中的(a)所示的显示界面(可以记为第一界面),由于此时绑定的目的是将设备a设置为协助用户或者设置其他电子设备为设备a的被协助设备。设备a关联的为第二账号,若设备a或设备a关联的第二账号已经添加过一些被协助设备,则该显示界面可以显示已经添加过的被协助设备,例如,图5中的(a)所示的界面中存在远程协助应用的开关按钮,用户打开远程协助功能后,图5中的(a)所示的显示界面中显示已添加被协助设备列表,例如,图5中的(a)已添加被协助设备列表中显示的nick的平板、老妈的p30。已添加被协助设备列表中显示的电子设备就为设备a已经添加过的被协助设备。该显示界面中可以存在虚拟按钮“添加被协助设备”(可以记为第一控件),协助用户通过点击该“添加被协助设备”虚拟按钮(可以记为第一操作)控制设备a通过蓝牙或wi-fi等方式(仅用于举例,实际应用中,还可以是其他方式)搜索附近的其他电子设备,在搜索到其他电子设备后,设备a可以以列表的形式显示搜索到的其他电子设备(图5中的(b)所示的可信设备),如图5中的(b)所示的显示界面(可以记为第二界面),该显示界面中显示搜索到的可信设备,该可信设备包括:老爸的mate 30、丸子的手机、小猪的手机、美女的手机。如图5中的(b)所示的显示界面中每个被搜索到的可信设备的设备名称对应设置可选按钮,协助用户通过点击该可选按钮选中要添加的被协助设备。当然,协助用户可以一次添加一个或多个被协助设备。在该图5中的(b)所示的显示界面中还存在“确定”和“取消”按钮,协助用户可以通过“确认”按钮将选中的一个或多个可信设备设置为设备a的被协助设备。可以将用户点击“老爸的mate 30”的标识的操作记为第二操作,即不存在“确认“按钮,通过用户点击“老爸的mate 30”的标识的操作触发发送设备添加请求,也可以将用户点击“老爸的mate 30”的标识的操作和点击“确认”虚拟按钮的操作记为第二操作。当然,出于用户数据的安全角度考虑,设备a还需要向被选中的每个可信设备发送设备添加请求(可以记为第一请求),例如,协助用户点击图5中的(b)所示的显示界面中的“确认”按钮向被选中的可信设备发送设备添加请求,添加请求中携带设备a的第二账号,对于被选中的可信设备(设备b,例如,老爸的mate 30)接收到该设备添加请求后,可以显示图5中的(c)所示的显示界面(可以记为第三界面),提示被选中的可信设备(设备b)侧的用户确认本电子设备(设备b)被添加为设备a的被协助设备的后果以及确认是否添加本电子设备(设备b)为设备a的被协助设备。“添加”虚拟按钮可以记为第二控件,“拒绝”虚拟按钮可以理解为第三控件,用户点击第二控制的操作可以自己为第三操作。在被选中的可信设备(设备b)侧的用户同意添加后,则设备b为设备a的被协助设备,设备a为设备b的协助设备。也可以理解为,设备b为第一设备,设备a为第三设备。设备a和设备b之间的绑定关系可以通过设备a关联的第二账号和设备b关联的第一账号之间的绑定关系
体现。设备b同意添加后,设备b存储设备a和设备b之间的绑定关系。同时,设备b还可以向设备a反馈响应信息,例如,响应信息(可以记为第二信息)可以携带设备a和设备b之间的绑定关系,从而使得设备a存储设备a和设备b之间的绑定关系。响应信息也可以携带设备b的第一账号,使得设备a可以生成设备a和设备b的绑定关系并存储。当然,实际应用中,设备b还可以通过第一账号向第一云平台发送设备a和设备b之间的绑定关系,设备a也可以通过第二账号向第一云平台发送设备a和设备b的绑定关系,使得第一云平台存储设备a和设备b的绑定关系。
189.在实际应用中,设备a和设备b除了可以是一一对应的关系以外,设备a也可以将多个设备b设置为设备a的被协助设备,即一个协助设备可以协助多个被协助设备;同样,多个设备a也可以将同一个设备b均设置为被协助设备,即一个被协助设备可以向多个协助设备求助。
190.图5所示的应用场景为在设备a上添加设备b为设备a的被协助设备的应用场景。实际应用中,也可以在设备a中添加设备b为设备a的协助设备。作为举例,在设备a的远程协助应用中点击第一设置控件,进入如图5中(a)所示的添加被协助设备的界面。在设备a的远程协助应用中点击第二设置控件,进入添加协助设备的界面。同样,添加协助设备的界面也可以显示已经添加过的协助设备的列表,也可以存在“添加协助设备”的虚拟按钮,用户点击“添加协助设备”的虚拟按钮,可以进入包含可信设备列表和“确认”虚拟按钮的界面,用户选中至少一个可信设备,点击“确认”虚拟按钮,从而向设备b发送设备添加请求。然而,此种情况下,设备添加请求表示:设备a请求添加设备b为设备a的协助设备。该应用场景中设备a和设备b的绑定关系和图5所示的场景中设备a和设备b的绑定关系中协助设备和被协助设备的角色相反。为一个电子设备添加协助设备的过程具体可参照为一个电子设备添加被协助设备的过程,具体不再详细描述。
191.参照图4中的步骤2,作为被协助设备侧的被协助用户可以通过“碰一碰”场景将被协助设备(例如,老人手机)贴近支持远程控制的被控设备(例如,微波炉),当然,被控设备还可以是智能音箱、自助购票机等其他电子设备。这些被控设备中设有nfc模块,被协助设备中也设有nfc模块,被协助设备贴近支持远程控制的被控设备后,被协助设备可以获取到被控设备的nfc标签信息,作为举例,第一设备贴近微波炉,获得微波炉的nfc标签信息,微波炉的nfc标签信息包括:第一字段,微波炉的控制应用的应用标识;第二字段,微波炉的设备标识;第三字段,微波炉是否支持远程控制的标识。本应用场景中的被控设备默认均支持远程控制。当然,被协助设备贴近微波炉后,还可以继续贴近智能音箱(图4中未示出),第一设备获取智能音箱的nfc标签信息,智能音箱的nfc标签信息包括:第一字段,智能音箱的控制应用的应用标识;第二字段,智能音箱的设备标识;第三字段,智能音箱是否支持远程控制的标识。在实际应用中,被协助设备的远程控制应用未启动状态下,被协助设备贴近第一个被控设备获取到第一个被控设备的nfc标签信息之后,若第一个nfc标签信息中的第三字段为支持远程控制的标识,则被协助设备启动远程协助应用,在被协助设备的远程协助应用启动后,被协助设备贴近第二个被控设备获取到第二个被控设备的nfc标签信息后,不再执行启动被协助设备中的远程协助应用的操作。当然,在被协助用户发起求助之前,被协助用户可以通过“碰一碰”场景获取到多个被控设备的nfc标签信息,从而获取到多个被控设备的控制应用的应用标识,被协助设备获取到一个或多个被控设备的控制应用的应用标识
后,可以获取每个应用标识对应的控制应用,进而获取到每个控制应用的入口。
192.参照图4中的被协助设备的远程协助应用的显示界面,被协助设备的远程协助应用将每个控制应用的入口添加到被协助设备的远程协助应用的容器管理模块中,该远程协助应用可以显示容器管理模块中的控制应用的入口,可以将每个控制应用的图标作为每个控制应用的入口。即被协助设备的远程协助应用可以显示微波炉应用的图标,还可以显示智能音箱应用的图标(图4中未示出被协助设备碰一碰智能音箱的步骤)。被协助用户点击图标可以进入并显示该图标对应的控制应用的操控界面。
193.当然,实际应用中,被协助设备的远程协助应用也可以不通过图标的形式显示控制应用的入口,而是远程协助应用直接启动被控设备的控制应用,并显示启动后的控制应用的操控界面,具体可参照图6所示。如图6中的(a)所示,被协助用户通过“碰一碰”场景将被协助设备贴近至少两个被控设备,例如图示中的微波炉和智能音箱,被协助设备通过远程协助应用显示微波炉的操控界面和智能音箱的操控界面,例如图6中的(b)所示,当然,远程协助应用显示至少两个控制应用的操控界面时,被协助用户还可以通过切换手势(例如,滑动手势)切换显示不同的控制应用的操控界面,如图6中的(b)和图6中的(c)所示,通过滑动手势可以将被协助设备的远程协助应用显示的操控界面由智能音箱的控制应用的操控界面切换为微波炉的控制应用的操控界面。
194.参照图4中的步骤3,在被协助设备通过远程协助应用显示被控设备的控制应用的操控界面之后,被协助设备可以向协助设备发起远程协助请求。参照图6中的(b)和图6中的(c),远程协助应用还可以显示用于发起远程协助请求的“发起求助”按钮(可以记为第四控件),被协助用户点击虚拟按钮“发起求助”(可以记为第四操作),被协助设备向协助设备发送携带微波炉的控制应用的应用标识和智能音箱的控制应用的应用标识的远程协助请求。参照图6中的(d),协助设备的显示界面中包含同意或拒绝按钮,协助用户可以在协助设备当前的显示界面中点击同意按钮,以使得被协助设备和协助设备之间建立远程协助会话,同时被协助设备和协助设备之间建立视频会话或音频会话,协助用户可以在当前的显示界面中点击拒绝按钮,以拒绝该远程协助请求。
195.需要说明,被协助设备存在多个协助设备的情况下,被协助设备可以从多个协助设备中选择其中一个作为当前远程协助请求的接收设备。若当前远程协助请求的接收设备拒绝了当前远程协助请求,被协助设备还可以继续选择其他协助设备作为远程协助请求的接收设备,直到存在某次远程协助请求的接收设备同意了远程协助请求或所有的协助设备均拒绝了远程协助请求。
196.当然,被协助设备存在多个协助设备的情况下,多个协助设备之间还可以预先设置优先级,即对多个协助设备按照优先级进行排序,优先选择优先级最高的一个作为当前远程协助请求的接收设备,在优先级最高的一个接收设备拒绝当前远程协助请求后,继续向优先级次高的协助设备发送远程协助请求,直到存在某次远程协助请求的接收设备同意了远程协助请求或所有的协助设备均拒绝了远程协助请求。
197.另外,被协助设备和协助设备之间的视频会话或音频会话,可以用于被协助用户和协助用户之间的身份确认,另外,协助用户还可以通过该视频会话或音频会话指导被协助用户如何对被控设备进行操控。
198.参照图4中的协助设备的显示界面,协助用户在协助设备的显示界面中接收了被
协助设备发送的远程协助请求后,协助设备启动协助设备中的远程协助应用。协助设备接收到的远程协助请求包含了被控设备的控制应用的应用标识,协助设备中的远程协助应用可以获取该应用标识对应的控制应用,协助设备的远程协助应用可以显示各个控制应用的图标,协助用户点击任一个控制应用的图标,协助设备的远程协助应用可以显示该图标对应的控制应用的操控界面。当然,协助设备的远程协助应用也可以直接显示控制应用的操控界面,例如,图7中的(b)所示的协助设备显示的微波炉的控制应用的操控界面。同样的,当协助设备的远程协助应用获取到多个被控设备的控制应用的操控界面的情况下,协助用户也可以在协助设备中通过切换手势,指示协助设备的远程协助应用将当前显示的微波炉的控制应用的操控界面切换为其他被控设备的控制应用的操控界面。协助用户可以在协助设备的远程协助应用显示的操控界面中进行操作,以生成操控指令,具体可参照图7中的(b),协助用户在协助设备的远程协助应用显示的微波炉的控制应用的操控界面中触摸按钮“牛奶”,然后触摸按钮“开始”,则生成表示“微波炉按照牛奶程序运行”的操控指令。
199.图7中的(a)显示的操控界面为被协助设备的远程协助应用显示的第二操控界面,图7中的(b)显示的操控界面为协助设备的远程协助应用显示的第一操控界面,如图7中的(a)和图7中的(b)所示,被协助设备和协助设备的远程协助应用中均可以显示视频会话的画面,例如,被协助设备中显示的画面a为协助用户的画面,协助设备中的显示的画面b为被协助用户的画面,其中,协助用户的画面可以是协助用户使用的协助设备的摄像头拍摄到的画面,被协助用户的画面可以是被协助用户使用的被协助设备的摄像头拍摄到的画面。
200.当然,在被协助设备和协助设备之间建立远程协助会话后,被协助设备和协助设备的远程协助应用中均可以显示“断开链接”按钮,被协助用户点击被协助设备中的“断开链接”按钮或协助用户点击协助设备中的“断开链接”的按钮,均可以断开当前的远程协助会话,同时视频会话(或音频会话)也会中断。
201.若被协助用户在被协助设备的远程协助应用中点击“断开链接”按钮,导致被协助设备和协助设备之间的远程协助会话中断,则被协助设备和协助设备均可以关闭各自的远程协助应用,同时,清理掉远程协助应用的容器管理模块中的各个控制应用的入口图标或操控界面。
202.若协助用户在协助设备的远程协助应用中点击“断开链接”按钮,导致被协助设备和协助设备之间的远程协助会话中断,则协助设备均可以关闭远程协助应用,同时,清理掉协助设备的远程协助应用的容器管理模块中的各个控制应用的入口图标或操控界面。但是,被协助设备中的远程协助应用可以不关闭,被协助设备中的远程协助应用的容器管理模块中入口图标和操控界面也可以不清理,被协助用户可以继续通过“发起求助”按钮,向其他协助设备发起远程协助请求,在被协助用户确认不再需要发起求助的情况下,被协助用户可以退出被协助设备中改的远程协助应用,同时清理掉被协助设备的远程协助应用的容器管理模块中的各个控制应用的入口图标或操控界面。
203.当然,在实际应用中,还可以设置为:若协助用户在协助设备的远程协助应用中点击“断开链接”按钮,导致被协助设备和协助设备之间的远程协助会话中断,则被协助设备和协助设备均可以关闭各自的远程协助应用,同时,清理掉远程协助应用的容器管理模块中的各个控制应用的入口图标或操控界面。
204.参照图4中的步骤4,协助用户通过协助设备的远程协助应用显示的操控界面接收
到操控指令后,协助设备将该操控指令发送给被协助设备。
205.参照图4中的步骤5,被协助设备将该操控指令转发给微波炉。
206.参照图4中的步骤6,协助设备也可以将该操控指令通过云平台转发至微波炉。具体可以为:协助设备可以将该操控指令发送给第一云平台,通过第一云平台将该操控指令转发给微波炉。或者将该操控指令发送给第一云平台,第一云平台再将该操控指令发送给第二云平台,第二云平台将该操控指令发送至微波炉。其中,第一云平台可以为远程协助应用对应的服务器,第二云平台可以为被控设备的服务器。
207.在一些应用场景中,可能还存在以下情况,该应用场景中存在两个或两个以上的微波炉,而且,这些微波炉可能属于同一厂家同一系列的产品,这些微波炉的控制应用可能相同,在协助设备将该操控指令发送至微波炉的过程中,为了使得被协助设备、第一云平台或第二云平台能够将操控指令准确的发送至相应的微波炉,在被协助设备“碰一碰”微波炉时获取到的微波炉的nfc标签信息中还可以包括微波炉的设备标识,被协助设备向协助设备发送的远程协助请求中还可以包括微波炉的设备标识,并且微波炉的设备标识与微波炉的控制应用的应用标识为一一对应的关系,协助设备将操控指令发送给被协助设备或平云台的过程中也可以随着操控指令发送该操控指令对应的被控设备的设备标识。
208.微波炉收到该操控指令后,根据该操控指令执行相应的操作。
209.本技术实施例通过图4,并结合图5至图7,描述了本技术实施例提供的远程协助方法的应用场景。在本技术实施例提供的远程协助方法的具体实现过程中,还可以存在其他的应用场景。图4至图7中描述的内容并不对本技术实施例造成任何限制。
210.为了对本技术实施例提供的远程协助方法具有更清晰的理解,参照图8,图8为本技术实施例提供的一种远程协助方法的技术架构图,图9为本技术实施例提供的基于图8所示的技术架构图的远程协助方法的时序图。
211.结合图8所示的技术架构图,描述图9所示的远程协助方法的时序过程。
212.图9中的步骤a,绑定被协助设备和协助设备。该绑定过程可以是通过被协助设备中的远程协助应用和协助设备中远程协助应用实现的。如果绑定的过程是通过被协助设备关联的第一账号和协助设备关联的第二账号进行绑定的,则该绑定过程可以通过第一账号和第二账号对应的第一云平台实现。参照图8所示,被协助设备和协助设备在系统上层均存在远程协助应用。另外,被协助设备、协助设备和第一云平台中均存在账户管理模块,被协助设备和协助设备之间的绑定关系可以存储在被协助设备的远程协助应用中的账户管理模块、协助设备的远程协助应用中的账户管理模块、第一云平台的账户管理模块中。
213.图9中的步骤b,被协助设备的nfc模块获取被控设备的nfc标签信息,该nfc标签信息包括被控设备的控制应用的应用标识、被控设备的设备标识和被控设备是否支持远程控制的标识。参照图8所示,被控设备中设有nfc模块,实际上,被协助设备中也设有nfc模块,用户将被协助设备贴近协助设备,被协助设备中的设备发现模块发现设有nfc模块的被控设备(图8中nfc模块和设备发现模块之间虚线),并在被协助设备发现设有nfc模块的被控设备后,被协助设备中的nfc模块(图8中未示出)可以获取被控设备的nfc标签信息。
214.图8中所示的设备发现模块支持的近距离的通信方式仅示出了支持nfc的靠近发现,实际应用中还可以支持wifi aware的靠近发现,蓝牙的靠近发现等。例如,以蓝牙靠近发现为例,被协助设备中的设备发现模块可以发现设有蓝牙模块的被控设备。被协助设备
中的设备发现模块发现设有蓝牙模块的被控设备后,被协助设备的蓝牙模块可以通过蓝牙传输的方式获取被控设备的控制应用的应用标识、被控设备的设备标识和被控设备是否支持远程控制的标识。
215.图9中的步骤c,被协助设备中的nfc模块向应用管理模块发送携带nfc标签信息的调用指令,该调用指令为调用应用管理模块中的接口的指令,该接口有启动远程协助应用的功能。该调用指令中携带了nfc标签信息。参照图8所示,被协助设备的系统层有应用管理模块,该应用管理模块可以启动位于系统上层的应用程序。
216.图9中的步骤d,被协助设备中的应用管理模块启动远程协助应用。可以以启动指令的形式启动远程协助应用,启动指令中可以携带nfc标签信息中的应用标识和设备标识。在该步骤中,被协助设备中的应用管理模块接收到nfc标签信息后,在nfc标签信息中被控设备是否支持远程控制的标识表示“是”、且当前电子设备被设置为被协助设备的情况下,被协助设备中的应用管理模块向远程协助应用发送启动指令,此时,启动指令不再携带被控设备是否支持远程控制的标识,启动指令可以携带应用标识和设备标识。
217.图9中的步骤e,被协助设备系统上层的远程协助应用启动。被协助设备的远程协助应用获得应用标识和设备标识。
218.图9中的步骤f,被协助设备系统上层的远程协助应用根据设备标识与被控设备建立连接。参照图8所示,被协助设备系统上层的远程协助应用中设有控制管理模块,控制管理模块和kit(kit中开放相关控制接口给上层应用使用)建立连接关系,kit可以集成在上层应用软件中,例如,集成在远程协助应用中。kit和系统层的传输管理模块建立连接关系,被协助设备的系统层中还存在连接管理模块,被协助设备和被控设备之间以蓝牙的方式建立近场通信连接时,被协助设备的系统层中的连接管理模块和被控设备中的连接管理模块共同负责被控设备的蓝牙和被协助设备的蓝牙之间建立连接。在被协助设备和被控设备之间成功建立蓝牙连接后,形成被协助设备的传输管理模块-被协助设备的蓝牙-被控设备的蓝牙-被控设备的连接管理模块之间的传输通道,该传输通道用于后续传输操控指令。被控设备的连接管理模块负责将接收到的操控指令通过集成的接口(例如,软件工具开发包中提供的接口)传输至控制管理模块,从而实现对被控设备的控制。
219.通过上述描述可以理解,操控指令从被协助设备的控制管理模块向被控设备的控制管理模块传输的路径为:被协助设备的控制管理模块-kit模块-传输管理模块-被协助设备的蓝牙或wi-fi-被控设备的蓝牙或wi-fi-被控设备的连接管理模块-被控设备的控制管理模块。参见图8和图9中的步骤f表示被协助设备和协助设备之间建立的连接,该连接提供了后续操控指令的传输通道。
220.图9中的步骤g,被协助设备中远程协助应用将应用标识对应的控制应用的入口或操控界面添加到远程协助应用的容器管理模块。参照图8所示,远程协助应用中设有容器管理模块。该容器管理模块用于容纳或控制应用的入口或操控界面。实际应用中,被协助设备的远程协助应用的显示界面显示容器管理模块中的控制应用的入口或操控界面。
221.具体实现过程中,远程协助应用调用系统层提供的启动被控设备的控制应用的方法,例如,调用start ability()函数,同时传入被控设备的控制应用的应用标识和被控设备的设备标识。系统层可以通过应用管理模块接收到的nfc标签信息中的“被控设备是否支持远程控制的标识”验证被控设备的控制应用是否允许被远程协助应用启动,若被控设备
的控制应用允许被远程协助应用启动,则启动被控设备的控制应用,同时将控制应用的入口或操控界面添加在远程协助应用的容器管理模块中,远程协助应用可以显示容器管理模块中的入口或操控界面。
222.实际应用中,由于对被控设备的控制可以交由协助设备侧的用户完成,因此,在被协助设备的远程协助应用中可以不显示被控设备的控制应用的入口或操控界面。即在实际应用中,可以取消步骤g。
223.图9中的步骤h,被协助设备的远程协助应用从账户管理模块查找绑定的协助设备。参照图9中步骤a的描述,被协助设备和协助设备的绑定关系已经预先存储在被协助设备的账户管理模块中。
224.图9中的步骤i,被协助设备的远程协助应用中的会话管理模块可以发起远程协助会话,例如,可以生成远程协助请求,生成的远程协助请求中携带有控制应用的应用标识。
225.图9中的步骤j,被协助设备的远程协助应用将远程协助请求发送给第一云平台。
226.图9中的步骤k,第一云平台向协助设备发送远程协助请求。
227.图9中的步骤l,协助设备中的应用管理模块接收到远程协助请求后,应用管理模块启动远程协助应用。参照图8所示,协助设备的系统层存在应用管理模块,系统层的上层存在远程协助应用。
228.图9中的步骤m,协助设备中的远程协助应用启动。
229.图9中的步骤n,协助设备的远程协助应用中的账户管理模块验证被协助设备的信息。协助设备的账户管理模块也预先存储了被协助设备和协助设备之间的绑定关系,账户管理模块可以确定当前接收到远程协助请求的发起者是否为本设备存在绑定关系的被协助设备。
230.图9中的步骤o,用户同意远程协助会话。在账户管理模块确定当前接收到的远程协助请求的发起者为本设备存在绑定关系的被协助设备的情况下,协助设备的远程协助应用可以显示界面,该界面存在“同意”或“拒绝”按钮,用户可以点击“同意”表示用户同意远程协助会话。
231.图9中的步骤p,协助设备的远程协助应用和被协助设备的远程协助应用之间建立远程协助会话。参照图8中所示的步骤p,被协助设备的远程协助应用中的会话管理模块—第一云平台中的会话管理模块—协助设备的远程协助应用的会话管理模块,三者之间使得被协助设备的远程协助应用和协助设备的远程协助应用之间建立远程协助会话。
232.需要说明,建立远程协助会话的同时,被协助设备和协助设备之间还可以建立视频会话或音频会话。
233.协助设备和被协助设备之间的远程协助会话可以是以session的形式存在,例如,被协助设备向协助设备发送远程协助请求时,协助设备创建一个session,协助设备为session赋予一个id,将该id发送给被协助设备,被协助设备向协助设备发送其他信息时,可以在其他信息中携带该id,这样,协助设备在接收到携带该id的信息的情况下,就可以将当前接收到的携带该id的信息与之前接收到的具有相同id的信息关联,从而维持协助设备和被协助设备之间的会话。为描述简略,上述会话的描述忽略了第一云平台的转发过程。
234.作为举例,被协助设备“碰一碰”微波炉后,被协助设备向协助设备发送远程协助请求,该远程协助请求携带微波炉的控制应用的应用标识和设备标识。协助设备可以向被
协助设备返回session id,被协助设备再“碰一碰”智能音箱后,被协助设备向协助设备发送智能音箱的控制应用的应用标识,同时携带session id,协助设备接收到携带session id的智能音箱的控制应用的应用标识后,协助设备确定智能音箱的控制应用的应用标识和微波炉的控制应用的应用标识来自与同一被协助设备的同一次远程协助会话中。
235.图9中的步骤q,协助设备的远程协助应用将应用标识对应的控制应用的入口或操控界面添加到容器管理模块。参照图8所示,协助设备的远程协助应用中也存在容器管理模块,该容器管理模块可以和被协助设备中的容器管理模块的作用相同,在此不再赘述。
236.图9中的步骤r,用户在控制应用的操控界面中进行操作,从而生成操控指令。协助设备的远程协助应用可以显示容器管理模块中控制应用的操控界面,用户在操控界面中进行操作,生成对被控设备的操控指令。
237.图9中的步骤s,协助设备的远程协助应用调用控制管理模块。如图8所述,协助设备中的远程协助应用中设有控制管理模块,控制管理模块可以将操控指令发送第一云平台的控制管理模块。
238.图9中的步骤t,协助设备的远程协助应用中的控制管理模块向第一云平台发送操控指令。
239.图9中的步骤u,第一云平台向被协助设备发送操控指令。
240.参照图8所示,协助设备的远程协助应用中的控制管理模块向第一云平台的控制管理模块发送操控指令,第一云平台的控制管理模块再向被协助设备的远程协助应用中的控制管理模块发送该操控指令。
241.图9中的步骤v,被协助设备的远程协助应用中的控制管理模块调用kit提供的接口,参照步骤f中的描述,kit提供的接口可以在被协助设备和协助设备之间提供传输操控指令的通道。
242.图9中的步骤w,被协助设备通过被协助设备和协助设备之间预先建立的通道发送操控指令至被控设备的连接管理模块,在本实施例中,参见图8所示,被控设备中存在连接管理模块,该连接管理模块中可以包括软件工具开发包(software development kit,sdk),sdk中集成了被控设备的控制管理模块和底层的蓝牙模块之间通信的接口,或者被控设备的控制管理模块和wi-fi模块之间通信的接口,从而提供被控设备的控制管理模块和蓝牙模块通信的通道或者被控设备的控制管理模块和wi-fi模块通信的通道。
243.如前所述,图8和图9中的步骤f表示被协助设备和被控设备之间传输操控指令的通道的建立过程。图8和图9中的步骤w表示:通过图8和图9中的步骤f建立的通道发送操控指令的过程。
244.图9中的步骤x,被控设备中的连接管理模块提供sdk接口发送操控指令至控制管理模块,该控制管理模块用于基于操控指令控制相应的软硬件进行响应。
245.通过图9中的步骤v至步骤x以及结合图8可以理解,操控指令从被协助设备到被控设备之间的传输过程为:被协助设备的远程协助应用中的控制管理模块—kit—被协助设备的系统层中的传输管理模块—被协助设备的蓝牙或wi-fi模块—被控设备的蓝牙或wi-fi—被控设备的连接管理模块—被控设备的控制管理模块—被控设备对应的软硬件。
246.作为本技术另一实施例,参照图10,图10为本技术实施例提供的一种远程协助方法的技术架构图,图11为本技术实施例提供的基于图10所示的技术架构图的远程协助方法
的时序图。
247.图10结合图11对应的实施例和图8结合图9对应的实施例之间存在部分差异,如图所示,图10结合图11对应的实施例中对被控设备的操控指令的传输过程为:协助设备—第一云平台—被控设备(该实施例中,协助设备向第一云平台发送的指令记为第四操控指令,第一云平台向被控设备发送的指令记为第五操控指令),或协助设备—第一云平台—第二云平台—被控设备(该实施例中,协助设备向第一云平台发送的指令记为第六操控指令,第一云平台向第二云平台发送的指令记为第七操控指令,第二云平台向被控设备的指令记为第八操控指令)。图8结合图9对应的实施例中对被控设备的操控指令的传输过程为:协助设备—第一云平台—被协助设备—被控设备(该实施例中,协助设备向第一云平台发送的指令记为第一操控指令,第一云平台向被协助设备发送的操控指令记为第二操控指令,所述被协助设备向被控设备发送的指令记为第三操控指令)。
248.由于图10结合图11对应的实施例中不存在被协助设备和被控设备之间的操控指令的传输,因此,本实施例中,无需在被协助设备和被控设备之间建立连接(即可以取消图9中的步骤f)。而是通过第一云平台、或第一云平台和第二云平台向被控设备转发操控指令。若是通过第一云平台则是向被控设备的连接管理模块发送操控指令,由连接管理模块向被控设备的应用层中的控制管理模块发送操控指令。若是通过第一云平台向第二云平台发送操控指令,再由第二云平台向被控设备发送操控指令,则可以由第二云平台向被控设备的应用层的控制管理模块发送操控指令。第二云平台为被控设备的厂商对应的云平台。
249.参见图10所示,被控设备中存在连接管理模块,该连接管理模块中可以包括软件工具开发包(software development kit,sdk),sdk中集成了被控设备的控制管理模块和第一云平台之间通信的接口,从而提供被控设备的控制管理模块和第一云平台的控制管理模块之间的通道传输操控指令。
250.在实际应用中,本技术实施例提供的远程协助方法还可以存在其他的应用场景。为了比较不同应用场景之间的差异,参照图12至图14所示应用场景。其中,图12所示应用场景为被协助用户只需要协助用户帮忙远程控制微波炉。图13所示应用场景为被协助用户需要协助用户帮忙远程控制微波炉和智能音箱。图14所示应用场景为在图13所示应用场景的基础上,还需要协助用户帮忙远程控制自助购票机。图12至图14中的应用场景中的被控设备默认均支持远程控制。
251.如图12所示,被协助用户只需要协助用户帮忙控制微波炉加热牛奶的场景中,如图12中的(a)所示,被协助用户通过被协助设备“碰一碰”微波炉,被协助设备获取到微波炉的nfc标签信息。如图12中的(b)所示,被协助设备启动远程协助应用,远程协助应用获取应用标识对应的控制应用的操控界面(微波炉的操控界面)。远程协助应用显示微波炉的控制应用的操控界面。用户可以通过被协助设备的远程协助应用中“发起求助”按钮向协助设备发起求助,被协助设备向协助设备发送远程协助请求,该远程协助请求携带了微波炉的控制应用的应用标识。协助设备接收到远程协助请求后,协助设备显示如图12中的(c)所示的界面,协助用户可以通过图12中的(c)所示的界面中的同意按钮,在被协助设备和协助设备之间建立远程协助会话。协助用户在协助设备侧通过远程协助请求中的应用标识对应的控制应用(微波炉的控制应用)实现对微波炉的远程控制。
252.图12所示场景中,微波炉为被协助设备“碰一碰”的第一个被控设备。对应于被协
助设备“碰一碰”的第一个被控设备,被协助设备需要启动被协助设备中的远程协助应用。被协助设备向协助设备发送第一个被控设备的控制应用的应用标识时,该应用标识是和远程协助请求一起发送的。
253.如图13所示,被协助用户需要协助用户帮忙控制微波炉加热牛奶,还需要协助用户帮忙将智能音箱连接上无线网络的场景中。如图13中的(a)所示,被协助用户将被协助设备“碰一碰”微波炉,被协助设备获取到微波炉的nfc标签信息,如图13中的(b)所示,被协助设备启动远程协助应用。此时,被协助用户可以不通过远程协助应用发起求助,而是继续按照如图13中的(c)所示,被协助用户将被协助设备“碰一碰”智能音箱,被协助设备获取到智能音箱的nfc标签信息。由于此时被协助设备中的远程协助应用已经处于启动状态,因此,被协助设备不再对获取到的智能音箱的nfc标签信息进行“启动远程协助应用”的响应,而是如图13中的(d)所示,可以通过已经启动的远程协助应用显示智能音箱的控制应用的操控界面。同理,在远程协助应用启动后、被协助用户通过远程协助应用发起求助之前,被协助设备均不再对通过“碰一碰”获取到的任何被控设备的nfc标签信息进行“启动远程协助应用”的响应,而是可以通过已经启动的远程协助应用显示当前“碰一碰”获取到的应用标识对应的控制应用的操控界面。被协助用户可以通过图13中的(d)所示的界面中的“发起求助”按钮发起求助,此时被协助设备向协助设备发送的远程协助请求中携带了:微波炉的控制应用的应用标识以及智能音箱的控制应用的应用标识。协助设备接收到远程协助请求后,参照图13中的(e)所示,协助用户在协助设备侧同意该远程协助请求,在被协助设备和协助设备之间建立远程协助会话。协助用户在协助设备侧通过远程协助请求中的应用标识对应的微波炉的控制应用实现对微波炉的远程控制。协助用户在协助设备侧通过远程协助请求中的应用标识对应的智能音箱的控制应用实现对智能音箱的远程控制。
254.图13所示场景中,微波炉为被协助设备“碰一碰”的第1个被控设备。对应于被协助设备“碰一碰”的第一个被控设备,被协助设备需要启动被协助设备中的远程协助应用。智能音箱为被协助设备“碰一碰”的第2个被控设备。对应于被协助设备“碰一碰”的第2个被控设备,被协助设备不需要启动被协助设备中的远程协助应用。当然,用户在发起求助之前,被协助设备“碰一碰”的第3个、第4个、
……
、第i个被控设备,被协助设备均不需要启动被协助设备中的远程协助应用。用户被协助设备侧发起求助时,发送的远程协助请求中携带第1个至第i个被控设备的控制应用的应用标识。
255.实际应用中,被协助设备“碰一碰”被控设备后,若获取到被控设备的nfc标签信息,可以先判断被协助设备是否启动了远程协助应用;
256.若未启动远程协助应用,表示当前获取到的nfc标签信息为第1个被控设备的nfc标签信息,则可以启动远程协助应用;
257.若已经启动远程协助应用,表示当前获取到的nfc标签信息为第2个、第3个、
……
第i个被控设备的nfc标签信息,则可以等待发起求助。
258.如图14所示,在图13所示应用场景(实际应用中,也可以是图12所示应用场景)的基础上,协助用户在协助设备侧同意远程协助请求后,如图14中的(f)所示,在被协助设备和协助设备之间建立远程协助会话,被协助设备的远程协助应用的显示界面中不再显示“发起求助”按钮。其中,图14中的(a)至图14中的(e)可参照图13中的(a)至图13中的(e)的描述,不再赘述。
259.在被协助设备和协助设备之间建立远程协助会话之后,如图14中的(g)所示,被协助用户还可以再次将被协助设备“碰一碰”自助购票机获取自助购票机的nfc标签信息。由于已经启动被协助设备中的远程协助应用,且已经通过远程协助请求在被协助设备和协助设备之间建立了远程协助会话,因此,被协助设备不再进行“启动远程协助应用”的响应,如图14中的(h)所示,被协助设备的远程协助应用的界面中也不再显示“发起求助”的按钮,被协助设备可以将获取到的自助购票机的控制应用的应用标识发送给协助设备,而无需像第2个、
……
、第i个被控设备的控制应用的应用标识那样携带在远程协助请求中。如图14中的(i)所示,协助设备也不再显示同意或拒绝远程协助请求的界面,而是通过已经启动的远程协助应用显示自助购票机的控制应用的操控界面。
260.以图14中的(h)和图14中的(i)所示,被协助用户需要协助用户对微波炉、智能音箱和自助购票机进行远程协助。协助设备中的远程协助应用可以接收到微波炉的控制应用的应用标识、智能音箱的控制应用的应用标识和自助购票机的控制应用的应用标识。因此,协助设备的远程协助应用可以显示微波炉的控制应用的操控界面、智能音箱的控制应用的操控界面和自助购票机的控制应用的操控界面,协助设备还可以切换显示每个控制应用的操控界面。
261.图14所示场景中,微波炉为被协助设备“碰一碰”的第1个被控设备。对应于被协助设备“碰一碰”的第1个被控设备,被协助设备需要启动被协助设备中的远程协助应用。智能音箱为被协助设备“碰一碰”的第2个被控设备。对应于被协助设备“碰一碰”的第2个被控设备,被协助设备不需要启动被协助设备中的远程协助应用。当然,用户在发起求助之前,被协助设备“碰一碰”的第3个、第4个、
……
、第i个被控设备,被协助设备均不需要启动被协助设备中的远程协助应用。用户被协助设备侧发起求助时,发送的远程协助请求中携带第1个至第i个被控设备的控制应用的应用标识。对于在被协助设备和协助设备之间的远程协助会话建立之后,被协助设备之后“碰一碰”的每一个被控设备(第i+1个、第i+2个、
……
、第i+j个被控设备),被协助设备不再执行“启动远程协助应用”的响应,不再发送“远程协助请求”。被协助设备需要执行的是将之后“碰一碰”的每一个被控设备(第i+1个、第i+2个、
……
、第i+j个被控设备)的控制应用的应用标识发送给协助设备。
262.上述示例中的第2个、第3个、第4个、
……
、第i个被控设备的nfc标签信息均可以记为第三信息;第i+1个、第i+2个、
……
、第i+j个被控设备的nfc的标签信息均可以记为第四信息。
263.实际应用中,被协助设备启动远程协助应用后,被协助设备“碰一碰”被控设备,若获取到被控设备的nfc标签信息,可以先判断被协助设备和协助设备之间是否已经建立远程协助会话;
264.若未建立远程协助会话,表示当前获取的应用标识为第2个、第3个、
……
、第i个被控设备的mfc标签信息,则可以等待发起求助;
265.若已经建立远程协助会话,表示当前获取的应用标识为第i+1个、第i+2个、
……
、第i+j个被控设备的nfc标签信息,则将当前获取的nfc标签信息中的应用标识发送给协助设备。
266.其中,i为≥2的正整数,j为≥1的正整数。
267.作为本技术另一实施例,图15所示应用场景中,被协助设备的远程协助应用显示
被控设备的控制应用的操控界面的过程包括:
268.被协助设备通过远程协助应用显示被控设备的控制应用的图标;
269.响应于通过图标接收到的第一启动指令,被协助设备通过远程协助应用启动被控设备的控制应用,并显示启动后的被控设备的控制应用的操控界面。
270.在本技术实施例中,被协助设备可以请求协助设备进行远程协助,因此设置了:被协助设备“碰一碰”支持远程控制的被控设备时,被协助设备启动被协助设备中的远程协助应用,以通过远程协助应用向协助设备发送远程协助请求。然而,为了使得被协助用户在具有自主控制被控设备的能力的情况下,能够自主对被控设备进行控制,可以在被协助设备的远程协助应用中显示被控设备的控制应用的入口。如图15所示,被协助设备的远程协助应用可以显示被控设备的控制应用的图标,例如,图15中的(a)所示的微波炉的控制应用的图标、智能音箱的控制应用的图标和自助购票机的控制应用的图标。被协助用户可以通过触摸显示的图标进入该控制应用的操控界面。如图15中的(a)所示,用户触摸被协助设备的远程协助应用中显示的微波炉的控制应用的图标,如图15中的(b)所示,被协助设备的远程协助应用显示微波炉的控制应用的操控界面。如图15中的(a)所示,用户触摸被协助设备的远程协助应用中显示的智能音箱的控制应用的图标,如图15中的(c)所示,被协助设备的远程协助应用显示智能音箱的控制应用的操控界面。如图15中的(a)所示,用户触摸被协助设备的远程协助应用中显示的自助购票机的控制应用的图标,如图15中的(d)所示,被协助设备的远程协助应用显示自助购票机的控制应用的操控界面。当然,也可以在第一设备的第一远程协助应用中直接显示被控设备的操控界面,具体可参照图6中的(b)和(c)所示的被协助设备的远程协助应用显示操控界面。
271.图15以被协助设备为例描述显示被控设备的控制应用的操控界面的过程,协助设备显示被控设备的控制应用的操控界面的过程可参照图15对应的描述,在此不再赘述。
272.当然,实际应用中,被协助设备通过远程协助应用启动被控设备的控制应用后,也可以直接显示启动后的被控设备的控制应用的操控界面。
273.在描述了第一设备和第三设备之间的交互过程之后,下面重点以第一设备和第三设备分别作为执行主体描述本技术实施例提供的远程协助方法。
274.参见图16,图16为本技术实施例提供的远程协助方法的流程示意图,应用于第一设备,该方法包括:
275.步骤1601,第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,其中,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识,第一设备为预设的被协助设备,第二设备为被控设备。
276.步骤1602,第一设备通过第一远程协助应用向第三设备发送远程协助请求,其中,第三设备为第一设备的协助设备,远程协助请求中携带有第二应用的应用标识,远程协助请求用于指示第三设备启动第二远程协助应用,并基于第二远程协助应用和第二应用对第二设备进行远程控制。
277.作为本技术另一实施例,方法还包括:
278.响应于第一请求,第一设备设置第三设备为第一设备的协助设备,其中,第一请求为第三设备发送的,第一请求中携带有第三设备的账号信息;
279.第一设备存储第一设备和第三设备的协助关系,第一设备和第三设备的协助关系
包括:第一设备的账号信息和第三设备的账号信息的对应关系;
280.第一设备向第三设备发送第二信息,第二信息携带有第一设备的账号信息,或者第二信息携带有第一设备的账号信息和第三设备的账号信息的对应关系;
281.第二信息用于指示第三设备设置第一设备为第三设备的被协助设备。
282.作为本技术另一实施例,第一设备设有nfc模块,第一信息为第二设备的nfc标签信息;
283.第一设备在获取到第一信息后,启动第一设备中的第一远程协助应用,包括:
284.第一设备通过nfc模块获取到第二设备的nfc标签信息后,响应于根据用于表征第二设备支持远程控制的标识确定第二设备支持远程控制,启动第一设备中的第一远程协助应用。
285.作为本技术另一实施例,第一设备通过第一远程协助应用向第三设备发送远程协助请求包括:
286.第一设备通过第一远程协助应用向第一云平台发送第一远程协助请求,第一远程协助请求携带有第二应用的应用标识,第一远程协助请求用于指示第一云平台向第三设备发送第二远程协助请求,第二远程协助请求携带有第二应用的应用标识。
287.作为本技术另一实施例,在第一设备启动第一设备中的第一远程协助应用之后,该方法还包括:
288.第一设备中的第一远程协助应用显示第二应用的操控界面。
289.作为本技术另一实施例,该方法还包括:
290.第一设备中的第一远程协助应用的操控界面包括第四控件,第四控件用于向第三设备发起求助;
291.检测到用户输入的第四操作,第四操作作用于第四控件;
292.响应于第四操作,第一设备通过第一远程协助应用向第三设备发送远程协助请求。
293.作为本技术另一实施例,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,该方法还包括:
294.第一设备获取到第三信息,第三信息包括用于控制第四设备的第四应用的应用标识和用于表征第四设备支持远程控制的标识;
295.第一设备通过第一远程协助应用显示第四应用的操控界面;
296.第一设备通过第一远程协助应用向第三设备发送远程协助请求,具体为:
297.第一设备通过第一远程协助应用向第三设备发送远程协助请求,远程协助请求中携带有第二应用的应用标识和第四应用的应用标识。
298.作为本技术另一实施例,在第一设备通过第一远程协助应用向第三设备发送远程协助请求之后,还包括:
299.第一设备获取到第四信息,第四信息包括用于控制第五设备的第五应用的应用标识和用于表征第五设备支持远程控制的标识;
300.第一设备通过第一远程协助应用显示第五应用的操控界面;
301.第一设备向第三设备发送第五应用的应用标识。
302.作为本技术另一实施例,第一设备获取到至少两个被控设备的控制应用的应用标
识,至少两个被控设备包括第二设备和第四设备第一设备中的第一远程协助应用显示第二应用的第二操控界面之后,方法还包括:
303.响应于接收到的第二切换指令,第一设备的第一远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
304.作为本技术另一实施例,该方法还包括:
305.第一设备通过靠近或触碰第二设备,获取第一信息。
306.作为本技术另一实施例,第一设备通过第一远程协助应用向第三设备发送远程协助请求之前,方法还包括:
307.第一设备通过存储的协助关系查找第一设备的协助设备,第一设备的协助设备包括第三设备。
308.作为本技术另一实施例,方法还包括:
309.当第一设备的协助设备为至少两个时,第三设备为第一设备的协助设备中优先级最高的一个。
310.本技术实施例中,第一设备中的第一远程协助应用显示第四应用和第五应用的操控界面的方式可以参照显示第二应用的操纵界面的方式,在此不再赘述。第一设备的远程协助应用切换显示不同操控界面的方式可以参照上述实施例中的第三设备的远程协助应用切换显示不同操控界面的方式。
311.参见图17,图17为本技术实施例提供的远程协助方法的流程示意图,应用于第三设备,该方法包括:
312.步骤1701,响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,其中,远程协助请求中携带有用于控制第二设备的第二应用的应用标识,第二设备为被控设备,第二远程协助应用中显示有第二应用的操控界面。
313.步骤1702,响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
314.作为本技术另一实施例,第三设备的第二远程协助应用显示第一界面,第一界面包括第一控件,第一控件用于指示第三设备搜索电子设备;
315.第三设备检测到第一操作,第一操作作用于第一控件;
316.响应于第一操作,第三设备的第二远程协助应用显示第二界面,第二界面显示有搜索到的电子设备的标识,搜索到的电子设备的标识中包括第一设备的标识;
317.第三设备检测到第二操作,第二操作作用于第一设备的标识;
318.响应于第二操作,第三设备通过第二远程协助应用向第一设备发送第一请求,第一请求中携带有第三设备的账号信息,第一请求用于指示第一设备设置第三设备为第一设备的协助设备。
319.作为本技术另一实施例,响应于接收远程协助请求,第三设备启动第三设备中的第二远程协助应用,包括:
320.响应于接收远程协助请求,第三设备显示第三界面,第三界面包含有第二控件和第三控件,第二控件用于同意远程协助请求,第三控件用于拒绝远程协助请求;
321.检测到用户输入的第三操作,第三操作作用于第二控件;
322.响应于第三操作,第三设备启动第三设备中的第二远程协助应用。
323.作为本技术另一实施例,第三设备中的第二远程协助应用中显示有第二应用的操控界面包括:
324.第三设备中的第二远程协助应用中显示有第二应用的入口图标;
325.响应于通过第二应用的入口图标接收到的进入指令,第二远程协助应用显示第二应用的操控界面。
326.作为本技术另一实施例,响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制,包括:
327.响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第一操控指令,第一操控指令用于指示第一云平台向第一设备发送第二操控指令,第二操控指令用于指示第一设备向第二设备发送第三操控指令,第一操控指令、第二操控指令和第三操控指令均用于指示第二设备执行与操控指令对应的操作;
328.或,响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第四操控指令,第四操控指令用于指示第一云平台向第二设备发送第五操控指令,第四操控指令和第五操控指令均用于指示第二设备执行与操控指令对应的操作;
329.或,响应于在第二应用的操控界面接收的操控指令,第三设备通过第二远程协助应用向第一云平台发送第六操控指令,第六操控指令用于指示第一云平台向第二云平台发送第七操控指令,第七操控指令用于指示第二云平台向第二设备发送第八操控指令,其中,第六操控指令、第七操控指令和第八操控指令均用于指示第二设备执行与操控指令对应的操作。
330.作为本技术另一实施例,远程协助请求中还携带有用于控制第四设备的第四应用的应用标识,其中,第四设备为被控设备,该方法还包括:
331.第三设备在第二远程协助应用中显示第二应用的操纵界面或第四应用的操控界面。
332.作为本技术另一实施例,在第三设备启动第三设备中的第二远程协助应用之后,还包括:
333.接收用于控制第五设备的第五应用的应用标识,第三设备在第二远程协助应用中显示第五应用的操控界面。
334.作为本技术另一实施例,第三设备的第二远程协助应用接收到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四应用,第三设备通过第二远程协助应用显示第二应用的第一操控界面之后,方法还包括:
335.响应于接收到的第一切换指令,第三设备的第二远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
336.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
337.本技术实施例可以根据上述方法示例对第一设备进行功能单元的划分,例如,可以对应每一个功能划分每一个功能单元,也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需
要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能单元为例进行说明:
338.参照图18,该第一设备1800包括:
339.第一处理单元1801,用于在获取到第一信息后,启动第一远程协助应用,其中,第一信息包括用于控制第二设备的第二应用的应用标识和用于表征第二设备支持远程控制的标识,第一设备为预设的被协助设备,第二设备为被控设备;
340.远程协助单元1802,用于通过第一远程协助应用向第三设备发送远程协助请求,其中,第三设备为第一设备的协助设备,远程协助请求中携带有第二应用的应用标识,远程协助请求用于指示第三设备启动第二远程协助应用,并基于第二远程协助应用和第二应用对第二设备进行远程控制。
341.作为本技术另一实施例,第一处理单元1801还用于:
342.响应于第一请求设置第三设备为第一设备的协助设备,其中,第一请求为第三设备发送的,第一请求中携带有第三设备的账号信息;
343.存储第一设备和第三设备的协助关系,第一设备和第三设备的协助关系包括:第一设备的账号信息和第三设备的账号信息的对应关系;
344.向第三设备发送第二信息,第二信息携带有第一设备的账号信息,或者第二信息携带有第一设备的账号信息和第三设备的账号信息的对应关系;第二信息用于指示第三设备设置第一设备为第三设备的被协助设备。
345.作为本技术另一实施例,第一设备设有nfc模块,第一信息为第二设备的nfc标签信息;
346.该第一处理单元1801还用于:通过nfc模块获取到第二设备的nfc标签信息后,响应于根据用于表征第二设备支持远程控制的标识确定第二设备支持远程控制,启动第一设备中的第一远程协助应用。
347.作为本技术另一实施例,第一处理单元1801还用于:通过第一远程协助应用向第三设备发送远程协助请求之前,查找第一设备的协助设备,第一设备的协助设备包括第三设备。
348.作为本技术另一实施例,第一设备的协助设备为至少两个时,第三设备为协助设备中优先级最高的一个。
349.作为本技术另一实施例,远程协助单元1802还用于:
350.通过第一远程协助应用向第一云平台发送第一远程协助请求,第一远程协助请求携带有第二应用的应用标识,第一远程协助请求用于指示第一云平台向第三设备发送第二远程协助请求,第二远程协助请求携带有第二应用的应用标识。
351.作为本技术另一实施例,第一处理单元1801用于控制第一远程协助应用显示第二应用的操控界面。
352.作为本技术另一实施例,第一设备中的第一远程协助应用的操控界面包括第四控件,第四控件用于向第三设备发起求助;
353.第一处理单元1801检测到用户输入的第四操作,第四操作作用于第四控件;
354.远程协助单元1802还用于:
355.响应于第四操作,第一设备通过第一远程协助应用向第三设备发送远程协助请求。
356.作为本技术另一实施例,第一处理单元1801还用于:
357.在通过第一远程协助应用向第三设备发送远程协助请求之前,获取到第三信息,第三信息包括用于控制第四设备的第四应用的应用标识和用于表征第四设备支持远程控制的标识;
358.通过第一远程协助应用显示第四应用的操控界面;
359.通过第一远程协助应用向第三设备发送远程协助请求中携带有第二应用的应用标识和第四应用的应用标识。
360.作为本技术另一实施例,第一处理单元1801还用于:
361.获取到第四信息,第四信息包括用于控制第五设备的第五应用的应用标识和用于表征第五设备支持远程控制的标识;
362.通过第一远程协助应用显示第五应用的操控界面;
363.远程协助单元1802还用于:向第三设备发送第五应用的应用标识。
364.作为本技术另一实施例,第一处理单元1801还用于:
365.第一设备获取到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四设备第一设备中的第一远程协助应用显示第二应用的第二操控界面之后,响应于接收到的第二切换指令,控制第一远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
366.作为本技术另一实施例,第一处理单元1801还用于:
367.在第一设备通过靠近或触碰第二设备,获取第一信息。
368.需要说明的是,上述第一设备/单元之间的信息交互、执行过程等内容,由于与本技术方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
369.本技术实施例可以根据上述方法示例对第三设备进行功能单元的划分,例如,可以对应每一个功能划分每一个功能单元,也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能单元为例进行说明:
370.参照图19,该第三设备1900包括:
371.第二处理单元1901,用于响应于接收远程协助请求,启动第三设备中的第二远程协助应用,其中,远程协助请求中携带有用于控制第二设备的第二应用的应用标识,第二设备为被控设备;第二远程协助应用中显示有第二应用的操控界面;
372.远程控制单元1902,用于响应于在第二应用的操控界面接收的操控指令,第三设备对第二设备进行远程控制。
373.作为本技术另一实施例,第二处理单元1901还用于:
374.控制第二远程协助应用显示第一界面,第一界面包括第一控件,第一控件用于指示第三设备搜索电子设备;
375.检测到第一操作,第一操作作用于第一控件;
376.响应于第一操作,控制第二远程协助应用显示第二界面,第二界面显示有搜索到的电子设备的标识,搜索到的电子设备的标识中包括第一设备的标识;
377.检测到第二操作,第二操作作用于第一设备的标识;
378.响应于第二操作,通过第二远程协助应用向第一设备发送第一请求,第一请求中携带有第三设备的账号信息,第一请求用于指示第一设备设置第三设备为第一设备的协助设备。
379.作为本技术另一实施例,第二处理单元1901还用于:
380.响应于接收远程协助请求,显示第三界面,第三界面包含有第二控件和第三控件,第二控件用于同意远程协助请求,第三控件用于拒绝远程协助请求;
381.检测到用户输入的第三操作,第三操作作用于第二控件;
382.响应于第三操作,启动第三设备中的第二远程协助应用。
383.作为本技术另一实施例,第二处理单元1901还用于:
384.控制第二远程协助应用中显示有第二应用的入口图标;
385.响应于通过第二应用的入口图标接收到的进入指令,控制第二远程协助应用显示第二应用的操控界面。
386.作为本技术另一实施例,远程控制单元1902还用于:
387.响应于在第二应用的操控界面接收的操控指令,通过第二远程协助应用向第一云平台发送第一操控指令,其中,第一设备为第三设备的被协助设备,第一操控指令用于指示第一云平台向第一设备发送第二操控指令,第二操控指令用于指示第一设备向第二设备发送第三操控指令,第一操控指令、第二操控指令和第三操控指令均用于指示第二设备执行与操控指令对应的操作;
388.或,响应于在第二应用的操控界面接收的操控指令,通过第二远程协助应用向第一云平台发送第四操控指令,第四操控指令用于指示第一云平台向第二设备发送第五操控指令,第四操控指令和第五操控指令均用于指示第二设备执行与操控指令对应的操作;
389.或,响应于在第二应用的操控界面接收的操控指令,通过第二远程协助应用向第一云平台发送第六操控指令,第六操控指令用于指示第一云平台向第二云平台发送第七操控指令,第七操控指令用于指示第二云平台向第二设备发送第八操控指令,其中,第六操控指令、第七操控指令和第八操控指令均用于指示第二设备执行与操控指令对应的操作。
390.作为本技术另一实施例,远程协助请求中还携带有用于控制第四设备的第四应用的应用标识,其中,第四设备为被控设备;
391.第二处理单元1901还用于:
392.在第二远程协助应用中显示第二应用的操纵界面或第四应用的操控界面。
393.作为本技术另一实施例,第二处理单元1901还用于:
394.接收用于控制第五设备的第五应用的应用标识,在第二远程协助应用中显示第五应用的操控界面。
395.作为本技术另一实施例,第三设备的第二远程协助应用接收到至少两个被控设备的控制应用的应用标识,至少两个被控设备包括第二设备和第四应用,第二处理单元1901还用于:
396.第三设备通过第二远程协助应用显示第二应用的第一操控界面之后,响应于接收到的第一切换指令,第三设备的第二远程协助应用中当前显示的第二应用的操控界面切换为第四应用的操控界面。
397.需要说明的是,上述第三设备/单元之间的信息交互、执行过程等内容,由于与本技术方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
398.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将第一设备(或第三设备)的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
399.本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
400.本技术实施例还提供了一种计算机程序产品,当计算机程序产品在第一设备上运行时,使得第一设备可实现上述各个方法实施例中的步骤。
401.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够将计算机程序代码携带到第一设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
402.本技术实施例还提供了一种芯片系统,芯片系统包括处理器,处理器与存储器耦合,处理器执行存储器中存储的计算机程序,以实现本技术任一方法实施例的步骤。芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。
403.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
404.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
405.以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例
对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1