一种数字孪生触摸屏及其应用方法与流程

1.本发明属于计算机技术领域，涉及到一种数字孪生触摸屏及其应用方法。


背景技术：

2.触摸屏（touch panel）又称为“触控屏”、“触控面板”，是一种可接收触头等输入讯号的感应式液晶显示装置，当物体接触了屏幕上的图形按钮时，屏幕上的触觉反馈系统可根据预先编程的程式驱动各种连结装置，并通过液晶显示画面。 随着科技的发展和应用需求的增长，触摸屏得到了广泛的应用并渗透到社会的各个领域。尤其是移动终端通过触摸屏实现简单易用、集输入输出于一体的强大人机交互功能，为用户携带和使用移动终端带来了非常大的便利。一方面，触摸屏也有其脆弱性，在受到外力撞击、液体侵蚀、跌落等因素影响下容易丧失部分功能甚至全部功能，出现所谓的黑屏、花屏等现象，导致移动终端无法做输入、输出操作（移动触摸屏失效）。由于在进行触摸屏维修前有必要备份数据、删除个人隐私或敏感数据，这都需要在移动终端做相应的输入输出操作。另一方面，随着用户对多终端跨屏操作的需求，投屏模式应运而生，主要是视频投屏和镜像投屏的单向信息传递模式，缺乏交互操作机制，例如：用户把手机屏幕的显示画面投屏到通过网络连接的计算机，在计算机显示屏上显示展示框，并在展示框中展示手机屏幕的显示画面，但由于是从手机到计算机的单向信息传递模式，用户在计算机侧对展示框中的界面元素（采用图形方式显示的与计算机操作相关的用户界面，如显示屏中显示的图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏等）的操作无法通知手机侧从而实现计算机侧到手机侧的操作联动。中国发明专利公开说明书cn 112583981a公开了一种屏幕碎屏后的显示的方法及装置，通过对终端设备的屏幕进行检测，确定出终端设备的屏幕的未损坏区域，若未损坏区域小于预设阈值，则根据终端设备的页面布局信息，确定出简化操作模式，在接收到用户进入简化操作模式的确认信息时，将简化操作模式显示在未损坏区域；一定程度解决了屏幕受损后的继续操作需求，但不能解决整个屏幕失效导致无可用区域的问题。中国发明专利公开说明书cn114115770 a公开了显示控制的方法及相关装置，通过两个或以上电子设备建立协同关系，实现交互操作。建立协同关系需要电子设备处于正常工作状态，同样因为无法建立协同关系，不能解决电子设备整个屏幕失效导致的问题，交互操作是为了控制投屏界面的显示效果，未考虑对界面元素的操作。中国发明专利公开说明书cn 114637571a公开了一种电脑终端控制ios终端方法、装置、智能终端及存储介质，通过获取电脑终端的鼠标数据，根据ios终端的ios版本和屏幕朝向，将鼠标数据中的坐标数据转换为ios终端对应的ios坐标或ios坐标集后，与鼠标数据中的按键状态一起传输至ios终端，实现通过电脑终端的鼠标操纵ios终端，简单安全地实现电脑终端控制ios终端。但仅实现了对鼠标操作的单向控制模式，未实现无约束的双向交互。中国发明专利公开说明书cn112684993a公开了一种基于跨屏协作的显示方法、装置及介质，通过增加人工交互操作信号的通信机制实现跨屏协作，一定程度上解决了跨屏显示的控制问题，但存在适用范围有限，仅解决显示功能，不具备复杂的交互功能。


技术实现要素：

3.为了解决上述技术问题，本发明提供一种数字孪生触摸屏，通过为触摸屏生成触摸屏数字孪生体，一方面在触摸屏失效的情况下，在正常工作的电子设备访问所述触摸屏数字孪生体，另一方面，其他电子设备通过合法授权访问触摸屏数字孪生体实现跨屏无障碍操作，解决了目前跨屏技术方案所采用的投屏模式的单向信息传递或限制性的少量互操作功能导致的交互功能欠缺的问题。与此相应，本发明的另一个要解决的技术问题是提供一种数字孪生触摸屏的应用方法。
4.第一方面，本发明解决上述技术问题的一种数字孪生触摸屏，该数字孪生触摸屏包括：触摸屏、触摸屏数字孪生体、触摸屏与其数字孪生体交互及控制模块和触摸屏与电子设备交互模块；其中：触摸屏，为各类电子设备使用的触摸屏物理实体，例如手机、平板电脑、电话手表等电子设备的触摸屏；触摸屏数字孪生体，包括人机操作交互模块、数据预处理模块、运行控制模块、系统监控模块、安全防护模块、模型管理模块、数字孪生体容器模块，数据存储模块、网络通讯模块、反馈控制模块；人机操作交互模块提供人机交互功能实现对数字孪生触摸屏的操作；数据预处理模块通过数据集成、数据治理和数据开发把触摸屏及相关的数据转化为可供数字孪生触摸屏使用的数据；运行控制模块控制数字孪生触摸屏的运行与反馈控制模块对触摸屏及电子设备相关实体的驱动；系统监控模块监控数字孪生触摸屏的运行状况，并通过人机交互操作模块对外显示相关数据；安全防护模块对数字孪生触摸屏做整体安全防护，防范各种非法技术手段的攻击；模型管理模块实现数字孪生触摸屏中数字孪生体的模型构建、模型管理功能；数据存储模块，为整个数字孪生触摸屏提供数据存储功能；数字孪生体容器，生成、容纳、承载及管理触摸屏数字孪生体；网络通讯模块提供触摸屏数字孪生体与触摸屏、触摸屏对应电子设备以及其他合法授权访问电子设备的通讯协议匹配、通讯链路构建及通讯流程管理；反馈控制模块提供触摸屏数字孪生体向触摸屏同步收敛的支持与实现功能。
5.触摸屏与其数字孪生体交互及控制模块，包括对触摸屏的数据收集模块、仲裁模块、数据传输模块；触摸屏与电子设备交互模块，触摸屏和触摸屏数字孪生体与电子设备的数据输入输出。
6.可选的，触摸屏数字孪生体与触摸屏可以运行在同一个电子设备，例如在智手机上同时运行其触摸屏的数字孪生体，所述触摸屏数字孪生体可以通过触摸屏获得输入数据，也可以在仲裁控制之下与触摸屏并联同步获取输入数据的模式。
7.可选的，触摸屏与触摸屏数字孪生体分别运行在不同的电子设备，例如手机的触摸屏数字孪生体运行在云计算平台，通过互联网连接手机，再通交互控制模块与手机操作系统、触摸屏等部件实现交互。
8.第二方面，本发明提供一种数字孪生触摸屏应用方法，该方法包括：设置数字孪生触摸屏，运行数字孪生触摸屏，操作数字孪生触摸屏，
触摸屏与数字孪生体交互，数字孪生触摸屏优化。
9.设置数字孪生触摸屏可进一步具体为：数据预处理，通过数据预处理实现来自触摸屏的数据标准化，并形成相应的数据标准，通过将所述数据标准转化为可自动执行的计算机程序对后续输入数据进行处理；构建模型，获取触摸屏的相关数据生成触摸屏数字孪生体中相应对象的几何模型、物理模型、规则模型和行为模型，并把构建模型相关数据持久化存储；构建模型数据集，按照触摸屏数字孪生体中各个模型对应的数据需求把经过数据预处理的数据分门别类导入各个模型所对应的数据集。
10.运行数字孪生触摸屏可进一步具体为：启动数字孪生体容器；获取模型数据和模型对应数据集；在数字孪生体容器中生成模型实例，生成几何模型、物理模型、规则模型、行为模型和服务模型的实例，实例组合为数字孪生体；触摸屏数字孪生体与触摸屏建立通信机制；触摸屏数字孪生体采集触摸屏数据并更新模型数据集。
11.操作数字孪生触摸屏可进一步具体为：人机操作交互模块接收输入数据，所述输入数据通过反馈控制模块传送到触摸屏与其数字孪生体交互及控制模块，触摸屏与其数字孪生体交互控制模块判断处理规则，若与触摸屏不存在操作冲突，所述输入数据直接发送到触摸屏与电子设备交互模块，触摸屏与电子设备交互模块传送所述输入数据到电子设备，电子设备执行所述输入数据，并反馈执行结果，所述执行结果反馈到触摸屏和触摸屏数字孪生体，触摸屏和触摸屏数字孪生体根据所述执行结果显示相应变化，若与触摸屏存在操作冲突，根据预设规则确定优先级，执行高优先级的操作。
12.触摸屏与数字孪生体交互可进一步具体为：若触摸屏在预设时间内无反馈信息或经电子设备检测已失效，触摸屏数字孪生体独立运行，不与触摸屏交互，电子设备检测到触摸屏恢复功能，则触摸屏数字孪生体与触摸屏恢复交互，同步收敛，触摸屏数字孪生体与触摸屏按照同一粒度、同一尺度和同一速率的方式同步。
13.数字孪生触摸屏优化可进一步具体为：扩展触摸屏数字孪生体的显示功能，例如触摸屏数字孪生体自动识别来访电子设备的显示设备技术规格，调整显示比例和分辨率，实现更好的显示效果；优化模型结构，例如物理模型增加像素坏点；扩展模型数据集，例如增加触摸屏按压力度量化仿真。
14.第三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面中任一项所述的数字孪生触摸屏应用方法。
15.第四方面，本发明提供了一种可读存储介质，包括计算机可读指令，其特征在于，当计算机读取并执行所述计算机可读指令时，使得计算机实现第二方面中任一项所述的数字孪生触摸屏应用方法。
16.与现有技术相比，本发明的有益效果为：采用数字孪生触摸屏及其应用方法，不但解决了目前触摸屏突然失效导致无法操作的问题，而且能够通过触摸屏数字孪生体在其他电子设备上实现全功能交互操作。
附图说明
17.图1为一个实施例中数字孪生触摸屏应用环境示意图；图2为一个实施例中数字孪生触摸屏结构示意图；图3为一个实施例中数字孪生触摸屏应用方法流程图；图4 为一个实施例中计算机设备结构示意图。
具体实施方式
18.为了便于理解本发明，下面将对本发明进行更全面的描述，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本发明公开内容更加透彻全面。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
20.本发明提供一种数字孪生触摸屏及其应用方法，本文中所描述的具体实施例仅是对本发明精神的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
21.在一个实施例中，本发明提供了一种数字孪生触摸屏，该数字孪生触摸屏可应用于图1所示的环境中，其中101为计算机设备，可以为普通的计算机，也可以为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。102是通信网络，为有线网络或无线网络。103为触摸屏数字孪生体，可以与触摸屏运行在同一个电子设备物理实体，也可以运行在不同的电子设备；104和105均为电子设备，电子设备可以是使用触摸屏的智能手机、平板电脑、电话手表、一体机、医疗仪器、医生工作站、护士工作站、数字化查房车、计算机或服务器后台操作终端等。通信网络102实现电子设备104、105、触摸屏数字孪生体103与计算机设备101之间的网络连接。
22.如图2所示，该数字孪生触摸屏包括：触摸屏202、触摸屏数字孪生体201、触摸屏与其数字孪生体交互及控制模块203和触摸屏与电子设备交互模块204；其中：
触摸屏202，为各类电子设备使用的触摸屏物理实体，例如手机、平板电脑、电话手表等电子设备的触摸屏；触摸屏数字孪生体201，包括人机操作交互模块20101、数据预处理模块20102、运行控制模块20103、系统监控模块20104、安全防护模块20105、模型管理模块20106、数字孪生体容器模块20107，数据存储模块20108、网络通讯模块20109、反馈控制模块20110；其中人机操作交互模块20101提供人机交互功能实现对数字孪生触摸屏的操作；数据预处理模块20102通过数据集成、数据治理和数据开发把触摸屏及相关的数据转化为可供数字孪生触摸屏使用的数据；运行控制模块20103控制数字孪生触摸屏的运行与反馈控制模块对触摸屏及电子设备相关实体的驱动；系统监控模块20104监控数字孪生触摸屏的运行状况，并通过人机交互操作模块对外显示相关数据；安全防护模块20105对数字孪生触摸屏实现整体安全防护，防范各种非法技术手段的攻击；模型管理模块20106实现数字孪生触摸屏中数字孪生体的模型构建、模型管理功能；数字孪生体容器模块20107提供数字孪生体对应各个模型实体的生命周期管理和运行空间，生成、容纳、承载及管理触摸屏数字孪生体；数据存储模块20108，为整个数字孪生触摸屏提供数据存储功能；网络通讯模块20109提供触摸屏数字孪生体与触摸屏、触摸屏对应电子设备以及其他合法授权访问电子设备的通讯协议匹配、通讯链路构建及通讯业务流程管理；反馈控制模块20110提供触摸屏数字孪生体向触摸屏同步收敛的支持与实现功能；触摸屏与其数字孪生体交互及控制模块203，包括对触摸屏的数据收集模块、仲裁模块、数据传输模块；触摸屏与电子设备交互模块204，触摸屏和触摸屏数字孪生体与电子设备的数据输入输出。
23.上述所述数字孪生触摸屏中的各个模块可全部或部分通过软件、硬件及其组合来实现。
24.基于同样的发明思路，在一个实施例中，如图3所示，本发明提供了一种数字孪生触摸屏应用方法，该方法包括如下步骤：s301，设置数字孪生触摸屏；s302，运行数字孪生触摸屏，s303，操作数字孪生触摸屏，s304，触摸屏与数字孪生体交互，s305，数字孪生触摸屏优化。
25.步骤s301可进一步具体为：s30101，数据预处理，通过数据预处理实现来自触摸屏的数据标准化，并形成相应的数据标准，通过将所述数据标准转化为可自动执行的计算机程序对后续输入数据进行处理；s30102，构建模型，获取触摸屏的相关数据生成触摸屏数字孪生体中相应对象的几何模型（屏幕大小、屏幕比例、屏幕分辨率等）、物理模型（屏幕材质、色准精度、峰值亮度、极限亮度、色域覆盖、输入方式、透光率、工作电压、功率、接口方式、适用操作系统等）、规则模型（多方操作输入顺序规则、数字孪生体访问规则等）、行为模型（触摸激活力、显示模式等），并把构建模型相关数据持久化存储；s30103，构建模型数据集，按照触摸屏数字孪生体中各个模型对应的数据需求把经过数据预处理的数据分门别类导入各个模型所对应的数据集。
26.步骤s302可进一步具体为：s30201，启动数字孪生体容器；s30202，获取模型数据和模型对应数据集；s30203，在数字孪生体容器中生成模型实例，生成几何模型、物理模型、规则模型和行为模型的实例，实例组合为数字孪生体；s30204，触摸屏数字孪生体与触摸屏建立通信机制；s30205，触摸屏数字孪生体采集触摸屏数据并更新模型数据集。
27.步骤s303可进一步具体为：s30301，人机操作交互模块接收输入数据；s30302，所述输入数据通过反馈控制模块传送到触摸屏与其数字孪生体交互及控制模块；s30303，触摸屏与其数字孪生体交互控制模块判断处理规则；s30304，若与触摸屏不存在操作冲突，所述输入数据直接发送到触摸屏与电子设备交互模块；s30305，触摸屏与电子设备交互模块传送所述输入数据到电子设备；s30306，电子设备执行所述输入数据，并反馈执行结果；s30307，所述执行结果反馈到触摸屏和触摸屏数字孪生体；s30308，触摸屏和触摸屏数字孪生体根据所述执行结果显示相应变化；s30309，若与触摸屏存在操作冲突，根据预设规则确定优先级；s30310，执行高优先级的操作。
28.步骤s304可进一步具体为：s30401，若触摸屏在预设时间内无反馈信息或经电子设备检测已失效；s30402，触摸屏数字孪生体独立运行，不与触摸屏交互；s30403，电子设备检测到触摸屏恢复功能，则触摸屏数字孪生体与触摸屏恢复交互；s30404，同步收敛，触摸屏数字孪生体与触摸屏按照同一粒度、同一尺度和同一速率的方式同步。
29.步骤s305可进一步具体为：s30501，扩展触摸屏数字孪生体的显示功能，例如触摸屏数字孪生体自动识别来访电子设备的显示设备技术规格，调整显示比例和分辨率，实现更好的显示效果；s30502，优化模型结构，例如物理模型增加像素坏点；s30503，扩展模型数据集，例如增加触摸屏按压力度量化仿真。
30.在又一个实施例中以触摸屏手机为例进行具体说明：用户触摸屏手机a因为液体侵蚀导致触摸屏花屏（屏幕花白，不能正常显示），但a的其他功能和部件正常，a具有数字孪生触摸屏功能且在a 上运行。用户通过手机、平板电脑、一体机或家用电脑等设备b通过有线或无线网络连接a，a的触摸屏物理实体显示操作选项（仅充电、传输照片、传输文件、访问触摸屏数字孪生体），由于a的触摸屏物理实体已经失效，无法操作，系统等待响应时间超过预设值（例如1分钟），默认选择访问触摸屏数字孪生体。a的操作系统启动触摸屏数字孪生体，采用默认设置和默认数据生成数字孪生体的各个
模型的实例，实例组合构成触摸屏数字孪生体，b访问a的触摸屏数字孪生体，a的触摸屏数字孪生体在b上显示，若b为使用触摸屏的手机，则可以在b的触摸屏对a的触摸屏数字孪生体进行操作，b的触摸屏把操作动作产生的结果直接提供给a的触摸屏数字孪生体，a的触摸屏数字孪生体把所述结果作为输入传送到a，a执行所述输入，并把输入产生的执行结果反馈到在b上显示的触摸屏数字孪生体。实现触摸屏数字孪生体基于其他设备实现对所在电子设备的交互操作。
31.在又一个实施例中以平板电脑投屏到数字大屏为例做具体说明：为了多人共享屏幕内容，使用触摸屏的平板电脑e生成其触摸屏的数字孪生体f,数字大屏h访问f，f根据数字大屏的物理尺寸、显示方式、分辨率等调整对外输出显示模式，用户在h上通过触摸或鼠标操作f，在h上通过触摸操作与在e上操作类似，若采用鼠标、键盘操作，则需要f提供操作转换功能。
32.在又一个实施例中以多台终端共享操作屏幕为例做具体说明：多人通过远程会议的模式讨论修改材料，多位用户分别采用手机a1、平板电脑b1、一体机电脑c1 等多个终端，使用手机a1的用户设置、运行a1 的数字孪生体在云计算平台，并把使用平板电脑b1、一体机电脑c1的用户加入授权使用名单。a1、b1、c1均通过网络访问a1 在云端的数字孪生体d1，d1按照用户的接入顺序设定操作处理优先级，a1用户优先级最高、其次是陆续接入的b1、c1用户。在多个用户同时操作d1时，先处理a1用户的操作，再处理b1、c1的用户操作，避免用户同时操作导致的结果不一致。这种共享操作屏幕不是简单的共享屏幕显示功能，而是直接实现触摸屏的操作功能。不难理解上述对触摸屏的实施例同样适用于普通显示屏，只是普通显示屏不具备触摸屏的数据输入功能，采用数字孪生体的方式仅具有基本的显示功能。
33.应该理解的是，虽然如上所述的实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
34.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数字孪生触摸屏应用方法。
35.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备
可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
36.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
37.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
38.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
39.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
40.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。