可信用户界面的显示方法、设备及存储介质与流程

本技术涉及通信，尤其涉及一种基于可信执行环境的触屏数据处理方法、电子设备及存储介质。

背景技术：

1、伴随着终端智能化的快速发展，移动终端越来越多的涉及商业秘密和个人隐私等敏感信息，移动终端也面临各种安全威胁。黑客可能通过破解系统、恶意输入法、按键日志、截屏等方式获取用户的敏感信息(如用户名、密码、卡号等)，对客户账号安全形成威胁。

2、目前，可信执行环境(trusted execution environment，tee)技术提供了可信用户界面(trusted user interface，tui)功能。通过在tui上操作，用户可以安全地输入敏感信息，在用户输入界面、系统、应用程序之间形成一个安全的通道，可以安全地把敏感信息传递给应用层，保证用户输入的敏感信息不被盗取。

3、在多tee协同提供tui的方案下，需要将触屏数据(touch panel，tp)从一个可信虚拟机(trusted virtual machine，tvm)传递到另外一个tvm。两个可信虚拟机分别记为tvm1和tvm2，tvm1需要使用线程或者定时器，按照预设频率或周期向tvm2主动轮询触屏数据。也就是说，tvm1每获取一次触屏数据，需要与tvm2执行一次如下交互流程：tvm1向tvm2主动发出触屏数据查询请求；tvm2向tvm1返回一个状态，表示已经收到了请求；当tvm2接收到触屏输入时，tvm2向tvm1返回触屏数据。由此可见，两个tvm之间的tp数据交互流程存在实现复杂度高、交互次数多、实时性差等各方面的问题，导致交互效率较低。

技术实现思路

1、本技术提供一种基于可信执行环境的触屏数据处理方法、电子设备及存储介质，能够简化应用于可信执行环境中的多个可信虚拟机tvm之间交互触屏数据的流程，提升数据交互效率。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术提供一种基于可信执行环境的触屏数据处理方法，应用于电子设备，电子设备中包括主虚拟机tvm、第一可信虚拟机tvm和第二可信虚拟机tvm，主虚拟机tvm应用于复杂执行环境ree，第一可信虚拟机tvm和第二可信虚拟机tvm应用于可信执行环境tee，所述方法包括：

4、当所述电子设备的操作系统启动时，所述第二可信虚拟机tvm加载用于可信用户界面tui的触屏服务以及触屏驱动程序，所述触屏驱动程序用于监听在所述可信用户界面tui中是否有触屏数据；

5、当所述触屏驱动程序监听到用户在所述可信用户界面tui中输入触屏数据时，所述第二可信虚拟机tvm向所述第一可信虚拟机tvm发送所述触屏数据。

6、其中，第一可信虚拟机tvm可以记为tvm1，应用于第一tee，第二可信虚拟机tvm可以记为tvm2，应用于第二tee。第一tee和第二tee协同提供可信用户界面tui服务。

7、通过本技术方案，在多个可信执行环境tee(如存在两个可信虚拟机tvm1和tvm2)协同提供可信用户界面tui的场景中，tvm2预先加载触屏服务以及触屏驱动，一旦触屏驱动监听到用户在tui中输入触屏数据，则tvm2立即向tvm1发送触屏数据，而无需tvm1周期性地向tvm2主动轮询触屏数据。通过本技术改进后的方案，可以简化业务流程，快速获取触屏数据，且不会丢失有效的用户触屏操作，并且可以避免tvm1的大量主动查询以及不必要的交互，提升数据交互效率，提升用户体验。

8、其中，主虚拟机可以是采用安卓操作系统的且运行于复杂执行环境的虚拟机。

9、在本技术实施例中，tvm1负责完成根据应用指定信息来生成图形界面，tvm2负责将tvm1生成的图形界面显示出来。其中，tvm2的触屏驱动采集触屏数据，并通过消息通道发送给tvm1。其中，触屏数据可以包括触屏位置信息(x，y)以及up/down等事件信息。该位置信息用于指示触屏操作的位置，例如可以定位到在虚拟键盘上触屏操作时的具体位置，通过该位置可以确定用户选择了虚拟键盘中的哪些数字或字母或字符。该事件信息用于指示触屏的事件类型；其中，down表示手势事件开始，up表示手势事件结束。

10、在tvm1接收到tvm2的触屏数据之后，tvm1根据触屏位置信息(x，y)，up/down等事件信息进一步做出响应，例如根据触屏位置信息(x，y)判断用户点击的键盘位置，并根据判断结果确定在tui的输入框中待显示的内容。其中，待显示的内容可以是字母、数字和/或字符的组合。待显示的内容可以是以下任一项：用户名、账号密码、银行账号。

11、在一些可能实现方式中，方法还包括：当电子设备的操作系统切换到tui模式时，第二可信虚拟机tvm触发触屏驱动程序启用tui模式。在触屏驱动程序启用tui模式之后，第二可信虚拟机tvm通过触屏驱动程序持续监听是否有触屏数据。

12、在一些可能实现方式中，方法还包括：当电子设备的操作系统退出tui模式时，第二可信虚拟机tvm触发触屏驱动程序退出tui模式。其中，所述触屏驱动程序在退出所述tui模式后，停止监听是否有触屏数据。

13、在tvm2中预先加载完成用于可信用户界面tui的触屏服务和触屏驱动。一旦电子设备的屏幕显示内容切换到tui界面(进入tui模式)，触屏驱动实时检测是否存在有效的用户触屏操作，当触屏驱动检测到有有效的用户触屏操作时，触屏驱动获取触屏数据，并且第二tee的tvm2主动将该触屏数据发送给第一tee的tvm1。

14、这样，一旦tvm2侧检测到有有效的用户触屏操作，tvm2就主动向tvm1提交触屏数据，而无需tvm1多次向tvm2请求触屏数据。其中，tvm1只需要监听来自tvm2的触屏数据，不需要向tvm2主动轮询。

15、本技术方案通过改进目前的软件实现和工作流程，可以对触屏数据流的传输进行优化：可以简化两个tvm之间关于触屏数据的交互流程，通过一次主动通知就可以完成触屏数据的传输。在实际实现时，第一tee的tvm1不需要与第二tee的tvm2多次交互，简化了实现流程。

16、在一些可能实现方式中，所述第二可信虚拟机tvm向所述第一可信虚拟机tvm发送所述触屏数据，包括：所述第二可信虚拟机tvm通过第一消息通道，向所述第一可信虚拟机tvm发送所述触屏数据。其中，第一消息通道是通过套接字socket实现数据传输的方式。

17、在一些可能实现方式中，所述方法还包括：当所述电子设备的操作系统启动时，所述第二可信虚拟机tvm加载tui显示驱动程序。

18、在一些可能实现方式中，方法还包括：第二可信虚拟机tvm显示第一用户界面，该第一用户界面为可信用户界面；第二可信虚拟机tvm接收用户在所述第一用户界面中的触屏操作；响应于用户的所述触屏操作，第二可信虚拟机tvm调用触屏驱动程序，采集所述触屏数据。

19、本技术方案可以避免tvm1的大量主动查询。其中由于tvm1查询频率较高时，部分查询可能是无效的，因此通过避免tvm1的大量主动查询，可以避免不必要的交互。在实际实现时，第一tee的tvm1不需要耗费cpu多次查询，避免无效的查询，节省能耗。

20、另外，本技术方案可以避免因为tvm1查询频率(例如频率较低)带来的可能丢失触屏数据的问题，优化用户体验。在实际实现时，系统不会丢失有效的用户触屏操作，提升用户体验。

21、在一些可能实现方式中，在所述接收用户在所述第一用户界面中的触屏操作之后，所述方法还包括：所述第二可信虚拟机tvm确定所述触屏操作满足预设的触屏条件；其中，所述预设的触屏条件用于判断所述触屏操作是否为有效的触屏操作。

22、在一些可能实现方式中，所述触屏操作包括在所述第一用户界面中的预设区域进行输入，所述预设区域为用于输入用户隐私信息的区域。

23、可选的，本技术实施例中，上述用户的触屏操作可以为点击输入(例如单击输入或双击输入)，也可以为滑动输入，还可以是其它任意可能形式的输入，具体可以根据实际使用需求确定，本技术实施例不作限定。

24、在一些可能实现方式中，在所述第二可信虚拟机tvm向所述第一可信虚拟机tvm发送所述触屏数据之后，所述方法还包括：

25、第二可信虚拟机tvm接收所述第一可信虚拟机tvm发送的第二用户界面，所述第二用户界面是所述第一可信虚拟机tvm根据所述触屏数据生成的可信用户界面；

26、第二可信虚拟机tvm调用tui显示驱动程序，从显示所述第一用户界面更新显示为所述第二用户界面，所述tui显示驱动程序为用于触发显示可信用户界面的驱动程序。

27、在一些可能实现方式中，所述主虚拟机tvm运行有客户端应用ca，并且预设有操作系统内核和第一应用程序编程接口api，所述第一api为所述主虚拟机与所述第一可信虚拟机之间的接口函数；

28、所述第一可信虚拟机tvm运行有可信应用ta，并且预设有第二api、tui框架和可信执行环境内核，所述第二api为用于调用所述tui框架的接口函数；

29、所述第二可信虚拟机tvm预设有为所述可信应用ta提供可信用户界面tui服务，所述tui服务包括tui显示服务和tui触屏服务，所述tui显示服务关联tui显示驱动，所述tui触屏服务关联tui触屏驱动。

30、在一些可能实现方式中，在所述第二可信虚拟机tvm显示第一用户界面之前，所述方法还包括：客户端应用ca接收到用户对所述客户端应用ca的操作；客户端应用ca调用所述第一api，通过操作系统内核，向所述可信应用ta发起tui显示请求；响应于所述tui显示请求，可信应用ta获取所述客户端应用ca对应的第一用户界面；可信应用ta向所述tui服务发送所述tui显示请求以及所述第一用户界面。

31、其中，所述第二可信虚拟机tvm显示第一用户界面，包括：响应于所述可信应用ta发送的所述tui显示请求，所述tui服务调用tui显示驱动程序，显示所述第一用户界面。

32、在一些可能实现方式中，所述可信应用ta向所述tui服务发送所述tui显示请求以及所述第一用户界面，包括：所述可信应用ta调用所述第二api，进入tui框架，然后通过所述可信执行环境内核以及进程间通信ipc，向所述tui服务发送所述tui显示请求以及所述第一用户界面。

33、在一些可能实现方式中，在所述客户端应用ca接收到用户对所述客户端应用ca的操作之后，所述客户端应用ca调用所述api向所述可信应用ta发起tui显示请求之前，所述方法还包括：响应于用户对所述客户端应用ca的操作，判断所述客户端应用ca的待显示界面中是否包含用户隐私信息输入区域；当所述客户端应用ca的待显示界面中包含用户隐私信息输入区域时，触发所述电子设备从非tui模式切换到tui模式。

34、其中，所述非tui模式为所述电子设备在所述ree环境中对应的运行模式，所述tui模式为所述电子设备在所述tee环境中对应的运行模式。

35、在一些可能实现方式中，所述客户端应用ca调用所述api向所述可信应用ta发起tui显示请求，包括：当所述电子设备切换为所述tui模式时，所述客户端应用ca调用所述api向所述可信应用ta发起tui显示请求。

36、通过本技术改进后的方案，ca对应的ta的可信用户界面(tui)可以快速获取触屏数据，可以简化业务流程，避免无效的查询，从而节省能耗，并且能够避免丢失用户触屏操作，从而提高用户体验。

37、第二方面，本技术提供一种基于可信执行环境的触屏数据处理装置，该装置包括用于执行上述第一方面中的方法的单元。该装置可对应于执行上述第一方面中描述的方法，该装置中的单元的相关描述请参照上述第一方面的描述，为了简洁，在此不再赘述。

38、其中，上述第一方面描述的方法可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，处理模块或单元、显示模块或单元等。

39、第三方面，本技术提供一种电子设备，所述电子设备包括处理器，处理器与存储器耦合，存储器用于存储计算机程序或指令，处理器用于执行存储器存储的计算机程序或指令，使得第一方面中的方法被执行。例如，处理器用于执行存储器存储的计算机程序或指令，使得该装置执行第一方面中的方法。

40、第四方面，本技术提供一种计算机可读存储介质，其上存储有用于实现第一方面中的方法的计算机程序(也可称为指令或代码)。例如，该计算机程序被计算机执行时，使得该计算机可以执行第一方面中的方法。

41、第五方面，本技术提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。可选地，所述芯片还包括存储器，存储器与处理器通过电路或电线连接。

42、第六方面，本技术提供一种芯片系统，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。可选地，所述芯片系统还包括存储器，存储器与处理器通过电路或电线连接。

43、第七方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序(也可称为指令或代码)，所述计算机程序被计算机执行时使得所述计算机实现第一方面中的方法。

44、可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。