智能终端的界面操作方法、装置、电子设备和介质与流程

本公开涉及金融领域，具体地，涉及一种智能终端的界面操作方法、装置、设备、介质和程序产品。

背景技术：

1、目前诸多金融业务均可以在智能终端上进行交易，例如手机、平板电脑、pc等，特别是手机，涵盖支付、转账、缴费、理财等业务，软件智能化程度逐渐提升以及业务覆盖场景扩大，已经能满足绝大部分用户需求，大大方便了用户使用。

2、在实现本公开构思的过程中，发明人发现，目前智能终端上的软件界面需要视障人士用手指触摸界面后，根据语音反馈进行操作，导致视障人士的操作效率低、用户体验差，同时还有隐私泄露的风险。

技术实现思路

1、鉴于上述问题，本公开提供了智能终端的界面操作方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面，提供了一种智能终端的界面操作方法，应用于控制装置，其中，所述控制装置用于控制智能终端，包括：获取界面的界面图像，其中，所述界面图像上包括多个虚拟功能按钮；对所述界面图像进行识别；基于所述界面图像的识别结果，将所述多个虚拟功能按钮映射到所述控制装置的实体按键上；获取用户利用所述实体按键输入的第一操作指令，其中，所述第一操作指令为自然语言指令；将所述第一操作指令转化为第二操作指令，其中，所述第二操作指令为代码指令；以及将所述第二操作指令发送至智能终端，以使所述智能终端基于所述第二操作指令操作所述界面。

3、根据本公开的实施例，所述对所述界面图像进行识别的步骤包括：利用图像识别技术对所述界面图像的文字进行识别，得到每一个虚拟功能按钮的文字和坐标，其中，所述文字用于表示所述虚拟功能按钮的名称，所述坐标用于表示所述虚拟功能按钮的位置。

4、根据本公开的实施例，所述方法还包括：利用图像识别技术对所述界面图像的图形元素进行识别，得到至少一个输入框和所述至少一个输入框的坐标；以及从所述至少一个输入框中，选择与所述虚拟功能按钮的坐标最接近的输入框，得到所述虚拟功能按钮的输入框。

5、根据本公开的实施例，所述方法还包括：基于所述界面图像的识别结果，生成所述界面的描述文档；和向用户语音播报所述描述文档。

6、根据本公开的实施例，所述方法还包括：检测用户是否佩戴耳机；当检测到用户佩戴耳机时，利用耳机向用户语音播报所述描述文档。

7、根据本公开的实施例，所述向用户语音播报所述描述文档的步骤之前，还包括：获取用户语音输入的第三操作指令，其中，所述第三操作指令为自然语言指令；将所述第三操作指令转化为第四操作指令，其中，所述第四操作指令为代码指令；以及将所述第四操作指令发送至智能终端，以使所述智能终端基于所述第四操作指令操作所述界面。

8、根据本公开的第二个方面，提供了一种智能终端的界面操作方法，应用于界面操作设备，其中，所述界面操作设备包括无线接入装置和控制装置，所述无线接入装置用于接入待控制的智能终端，所述方法包括：无线接入装置获取智能终端的操作界面的界面图像，并将所述界面图像发送至控制装置，其中，所述界面图像上包括多个虚拟功能按钮；所述控制装置对所述界面图像进行识别；所述控制装置基于所述界面图像的识别结果，将所述多个虚拟功能按钮映射到所述控制装置的实体按键上；所述控制装置获取用户利用所述实体按键输入的第一操作指令，其中，所述第一操作指令为自然语言指令；所述控制装置将所述第一操作指令转化为第二操作指令，其中，所述第二操作指令为代码指令；所述控制装置将所述第二操作指令发送至所述无线接入装置；以及所述无线接入装置将所述第二操作指令发送至所述智能终端，以使所述智能终端基于所述第二操作指令操作所述界面。

9、本公开的第三方面提供了一种智能终端的界面操作装置，应用于控制装置，其中，所述控制装置用于控制智能终端，包括：第一获取模块，用于获取界面的界面图像，其中，所述界面图像上包括多个虚拟功能按钮；第一识别模块，用于对所述界面图像进行识别；第一映射模块，用于基于所述界面图像的识别结果，将所述多个虚拟功能按钮映射到所述控制装置的实体按键上；第二获取模块，用于获取用户利用所述实体按键输入的第一操作指令，其中，所述第一操作指令为自然语言指令；第一转化模块，用于将所述第一操作指令转化为第二操作指令，其中，所述第二操作指令为代码指令；以及第一发送模块，用于将所述第二操作指令发送至智能终端，以使所述智能终端基于所述第二操作指令操作所述界面。

10、根据本公开的实施例，所述第一识别模块包括：第一识别单元，用于利用图像识别技术对所述界面图像的文字进行识别，得到每一个虚拟功能按钮的文字和坐标，其中，所述文字用于表示所述虚拟功能按钮的名称，所述坐标用于表示所述虚拟功能按钮的位置。

11、根据本公开的实施例，所述第一识别模块还包括：第二识别单元，用于利用图像识别技术对所述界面图像的图形元素进行识别，得到至少一个输入框和所述至少一个输入框的坐标；和确定单元，用于从所述至少一个输入框中，选择与所述虚拟功能按钮的坐标最接近的输入框，得到所述虚拟功能按钮的输入框。

12、根据本公开的实施例，所述装置还包括：文档生成单元，用于基于所述界面图像的识别结果，生成所述界面的描述文档；和语音播报单元，用于向用户语音播报所述描述文档。

13、根据本公开的实施例，所述装置还包括：检测单元，用于检测用户是否佩戴耳机；耳机播报单元，用于当检测到用户佩戴耳机时，利用耳机向用户语音播报所述描述文档。

14、根据本公开的实施例，所述装置还包括：第五获取模块，用于获取用户语音输入的第三操作指令，其中，所述第三操作指令为自然语言指令；第三转化模块，用于将所述第三操作指令转化为第四操作指令，其中，所述第四操作指令为代码指令；以及第四发送模块，用于将所述第四操作指令发送至智能终端，以使所述智能终端基于所述第四操作指令操作所述界面。

15、本公开的第四方面提供了一种智能终端的界面操作装置，应用于界面操作设备，其中，所述界面操作设备包括无线接入装置和控制装置，所述无线接入装置用于接入待控制的智能终端，包括：第三获取模块，用于控制无线接入装置获取智能终端的操作界面的界面图像，并将所述界面图像发送至控制装置，其中，所述界面图像上包括多个虚拟功能按钮；第二识别模块，用于控制所述控制装置对所述界面图像进行识别；第二映射模块，用于控制所述控制装置基于所述界面图像的识别结果，将所述多个虚拟功能按钮映射到所述控制装置的实体按键上；第四获取模块，用于控制所述控制装置获取用户利用所述实体按键输入的第一操作指令，其中，所述第一操作指令为自然语言指令；第二转化模块，用于控制所述控制装置将所述第一操作指令转化为第二操作指令，其中，所述第二操作指令为代码指令；第二发送模块，用于控制所述控制装置将所述第二操作指令发送至所述无线接入装置；以及第三发送模块，用于控制所述无线接入装置将所述第二操作指令发送至所述智能终端，以使所述智能终端基于所述第二操作指令操作所述界面。

16、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

17、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

18、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。

19、上述一个或多个实施例具有如下优点或有益效果：本公开实施例提供的智能终端的界面操作方法，通过将智能终端的界面信息映射到控制装置的实体按键上，实现了通过控制装置进行智能终端的界面操作，方便了视障人士使用智能终端的功能，提高了视障人士的操作效率和用户体验，有效保护了视障人士的隐私。