一种应用程序的控制方法、装置及电子设备与流程

文档序号:29424852发布日期:2022-03-26 14:55阅读:来源:国知局

技术特征:
1.一种应用程序的控制方法,包括:第一电子设备接收第一控制信息,响应于所述第一控制信息,获取第一应用程序的当前界面图像;所述第一电子设备获取所述当前界面图像的信息;所述第一电子设备接收第二控制信息,响应于所述第二控制信息,基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件;通过无障碍服务触控所述目标控件;其中,所述当前界面图像通过第二应用程序投屏至第二电子设备。2.根据权利要求1所述的方法,其中,所述第一电子设备获取所述当前界面图像的信息,包括:所述第一电子设备向云平台发送所述当前界面图像;所述第一电子设备接收所述云平台发送的所述当前界面图像的信息;所述当前界面图像的信息至少包括:所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像;所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到。3.根据权利要求2所述的方法,其中,所述方法还包括:所述第一电子设备通过所述第二应用程序将所述提示图像投屏至所述第二电子设备。4.根据权利要求1至3任一项所述的方法,其中,所述响应于所述第二控制信息,基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件,包括:解析所述第二控制信息,得到所述第二控制信息对应的命令词;响应于所述命令词命中所述当前界面图像的信息中的第一控件,确定所述第一控件为针对所述第一应用程序的目标控件。5.根据权利要求1至3任一项所述的方法,其中,所述通过无障碍服务触控所述目标控件,包括:所述第一电子设备获取所述无障碍服务的权限;所述第一电子设备确定所述目标控件的坐标和所述目标控件的尺寸;所述第一电子设备基于所述目标控件的坐标和所述目标控件的尺寸,通过所述无障碍服务模拟触控功能,对所述目标控件进行触控。6.一种应用程序的控制方法,包括:云平台获取第一电子设备上运行的第一应用程序的当前界面图像;所述云平台确定所述当前界面图像的信息,所述当前界面图像的信息至少包括:所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像;所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到;所述云平台向所述第一电子设备发送所述当前界面图像的信息。7.根据权利要求6所述的方法,其中,所述云平台确定所述当前界面图像的信息,包括:所述云平台根据所述当前界面图像确定所述当前界面图像所对应的所述第一应用程序、以及所述当前界面图像所对应的页面信息;所述云平台根据所述页面信息确定所述当前界面图像中每个控件的信息;所述云平台根据所述每个控件的信息在所述当前界面图像上添加所述每个控件的控
制提示信息,得到所述当前界面图像对应的提示图像。8.根据权利要求7所述的方法,其中,所述云平台根据所述当前界面图像确定所述当前界面图像所对应的所述第一应用程序、以及所述当前界面图像所对应的页面信息,包括:所述云平台在预先存储的图像中查找与所述当前界面图像的相似度满足匹配条件的图像;确定所述满足匹配条件的图像对应的应用程序为所述第一应用程序、以及所述当前界面图像所对应的页面信息。9.根据权利要求7或8所述的方法,其中,所述控件的信息包括:所述控件的坐标、所述控件的尺寸和所述控件的名称。10.一种第一电子设备,所述第一电子设备包括:第一获取模块,用于接收第一控制信息,响应于所述第一控制信息,获取第一应用程序的当前界面图像;第二获取模块,用于获取所述当前界面图像的信息;第一确定模块,用于接收第二控制信息,响应于所述第二控制信息,基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件;触控模块,用于通过无障碍服务触控所述目标控件;其中,所述当前界面图像通过第二应用程序投屏至第二电子设备。11.一种云平台,所述云平台包括:第三获取模块,用于获取第一电子设备上运行的第一应用程序的当前界面图像;第二确定模块,用于确定所述当前界面图像的信息,所述当前界面图像的信息至少包括:所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像;所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到;发送模块,用于向所述第一电子设备发送所述当前界面图像的信息。12.一种第一电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。13.一种云平台,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求6至9中任一项所述的方法。14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至5中任一项所述的方法;或者,所述计算机指令用于使所述计算机执行根据权利要求6至9中任一项所述的方法。15.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至5中任一项所述的方法;
或者,所述计算机程序/指令被处理器执行时实现权利要求6至9中任一项所述的方法。

技术总结
本公开提供了一种应用程序的控制方法、第一电子设备及云平台,涉及通信技术领域,尤其涉及数据处理技术领域。具体实现方案为:第一电子设备接收第一控制信息,响应于所述第一控制信息,获取第一应用程序的当前界面图像;所述第一电子设备获取所述当前界面图像的信息;所述第一电子设备接收第二控制信息,响应于所述第二控制信息,基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件;通过无障碍服务触控所述目标控件;其中,所述当前界面图像通过第二应用程序投屏至第二电子设备。面图像通过第二应用程序投屏至第二电子设备。面图像通过第二应用程序投屏至第二电子设备。


技术研发人员:黄启立
受保护的技术使用者:阿波罗智行科技(广州)有限公司
技术研发日:2021.12.08
技术公布日:2022/3/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1