技术特征：
1.一种终端界面操作方法，其特征在于，包括：从终端的界面图像中提取文字，并将用户的语音转换为文字；在所述界面图像中的文字中存在与所述语音对应的文字相匹配的文字的情况下，获取所述相匹配的文字在所述界面图像中的第一位置数据；根据所述相匹配的文字在所述界面图像中的第一位置数据，确定所述相匹配的文字在所述终端的实际界面上的第二位置数据；控制机械臂移动到所述实际界面上的第二位置数据的上方，并根据所述语音对应的文字控制所述机械臂在所述实际界面上的第二位置数据处进行操作。2.根据权利要求1所述的终端界面操作方法，其特征在于，所述从终端的界面图像中提取文字，包括：从所述界面图像中提取出所述终端的界面区域；计算所述界面区域在所述界面图像中的第三位置数据；根据所述第三位置数据调整拍摄所述界面图像的摄像头的位置；使用调整后的摄像头重新拍摄所述界面图像，从重新拍摄的所述界面图像中提取文字。3.根据权利要求2所述的终端界面操作方法，其特征在于，所述第三位置数据包括所述界面区域的中点坐标、宽度和长度。4.根据权利要求3所述的终端界面操作方法，其特征在于，所述根据所述第三位置数据调整拍摄所述界面图像的摄像头的位置，包括：计算所述界面区域的长度和宽度之间的第一比值，以及所述终端的实际界面的长度和宽度之间的第二比值；在所述第一比值不等于所述第二比值的情况下，调整所述摄像头的位置，使得所述摄像头远离所述终端；在所述第一比值等于所述第二比值的情况下，判断所述界面区域的中点坐标与所述界面图像的中点坐标是否相同，并计算所述界面区域的面积与所述界面图像的面积之间的第三比值；在所述界面区域的中点坐标与所述界面图像的中点坐标不相同的情况下，调整所述摄像头的位置，使得调整后的摄像头拍摄的界面图像中界面区域的中点坐标与调整后的摄像头拍摄的界面图像的中点坐标相同；在所述第三比值小于预设阈值的情况下，调整所述摄像头的位置，使得所述摄像头靠近所述终端。5.根据权利要求2所述的终端界面操作方法，其特征在于，在所述从终端的界面图像中提取文字之前，还包括：在所述界面图像中不存在所述终端的界面区域的情况下，通过语音方式播放所述终端不在所述摄像头的拍摄区域的提示信息。6.根据权利要求1
‑
5任一所述的终端界面操作方法，其特征在于，在所述从终端的界面图像中提取文字，并将用户的语音转换为文字之后，还包括：在所述界面图像中的文字中不存在与所述语音对应的文字相匹配的文字的情况下，控制所述机械臂在所述实际界面上进行滑动操作；
重新拍摄所述终端的界面图像，并从重新拍摄的所述界面图像中提取文字；将所述语音对应的文字与重新拍摄的所述界面图像中的文字进行匹配。7.根据权利要求1
‑
5任一所述的终端界面操作方法，其特征在于，在所述根据所述语音对应的文字控制所述机械臂在所述实际界面上的第二位置数据处进行操作之后，还包括：将操作结果通过语音方式进行播放。8.一种终端界面操作装置，其特征在于，包括摄像头、机械臂和控制模块；所述控制模块包括获取模块、匹配模块、确定模块和控制模块；其中，所述摄像头用于拍摄所述终端的界面图像；所述获取模块，用于从终端的界面图像中提取文字，并将用户的语音转换为文字；所述匹配模块，用于在所述界面图像中的文字中存在与所述语音对应的文字相匹配的文字的情况下，获取所述相匹配的文字在所述界面图像中的第一位置数据；所述确定模块，用于根据所述相匹配的文字在所述界面图像中的第一位置数据，确定所述相匹配的文字在所述终端的实际界面上的第二位置数据；所述控制模块，用于控制机械臂移动到所述实际界面上的第二位置数据的上方，并根据所述语音对应的文字控制所述机械臂在所述实际界面上的第二位置数据处进行操作。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述终端界面操作方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述终端界面操作方法的步骤。
技术总结
本发明提供一种终端界面操作方法和装置，该方法包括：从终端的界面图像中提取文字，并将用户的语音转换为文字；在所述界面图像中的文字中存在与所述语音对应的文字相匹配的文字的情况下，获取所述相匹配的文字在所述界面图像中的第一位置数据；根据所述相匹配的文字在所述界面图像中的第一位置数据，确定所述相匹配的文字在所述终端的实际界面上的第二位置数据；控制机械臂移动到所述实际界面上的第二位置数据的上方，并根据所述语音对应的文字控制所述机械臂在所述实际界面上的第二位置数据处进行操作。本发明实现根据用户的语音对终端界面进行自动操作，操作准确，而且效率高。而且效率高。而且效率高。
技术研发人员：赵丹
受保护的技术使用者：海尔智家股份有限公司
技术研发日：2021.06.29
技术公布日：2021/9/24