处理方法、电子设备、装置及存储介质与流程

1.本技术实施例涉及电子信息领域，涉及但不限于一种处理方法、设备、装置及存储介质。


背景技术：

2.在操作系统例如windows的双屏电脑上，可以不设置硬件键盘输入设备。相关技术实现的基于应用程序(application，app)界面的输入法，无法满足输入设备为硬件级别的安全要求。


技术实现要素：

3.有鉴于此，本技术实施例提供一种处理方法、电子设备、装置及存储介质。
4.本技术实施例的技术方案是这样实现的：
5.第一方面，本技术实施例提供一种处理方法，所述处理方法包括：第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；所述第一控制器通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
6.第二方面，本技术实施例提供一种电子设备，所述电子设备包括：第一控制器，用于响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；所述第一控制器，还用于通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；所述第一控制器，还用于基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
7.第三方面，本技术实施例提供一种处理装置，应用于第一控制器，所述处理装置包括：触发模块，用于触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；获得模块，用于通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；确定模块，用于基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
8.第四方面，本技术实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现上述方法。
9.本技术实施例中，首先第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；然后所述第一控制器通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；最后所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。这样，实现了利用第一控制器触发第二控制器控制显示屏显示目标输入设备的布局图像，通过触摸感应器获取用户触摸的坐标信息，并基于该坐标信息确定用户的输出内容，基于硬件实现的信息获取和处理方法，可以满足输入设备为硬件级别的安全要求。
附图说明
10.图1为本技术实施例提供的一种处理方法的实现流程示意图；
11.图2为本技术实施例提供的一种键盘实现的架构示意图；
12.图3a为本技术实施例提供的一种键盘实现的结构示意图；
13.图3b为本技术实施例提供的一种实现按键立体声平衡的示意图；
14.图4a为本技术实施例提供的一种键盘实现的结构示意图；
15.图4b为本技术实施例提供的一种实现按键立体声平衡和按键动画的示意图；
16.图5为本技术实施例提供的一种处理装置的组成结构示意图；
17.图6为本技术实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
18.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对申请实施例的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
19.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
20.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
22.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
23.人性化接口(human interface device，hid)，启用对人性化接口的通用输入存取，hid可以启动并维护对键盘、远程控制。
24.联合图像专家组(joint photographic experts group，jpeg)格式，是用于连续色调静态图像压缩的一种标准，文件后缀名为.jpg或.jpeg，是一种图像文件格式。
25.技术即运动静止图像(或逐帧)压缩技术(motion joint photographic experts group，mjpeg)，是一种视频压缩格式，其中每一帧图像都分别使用jpeg编码，不使用帧间编码。应用于非线性编辑领域可精确到帧编辑和多层图像处理，把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑。
26.通用串行总线(universal serial bus，usb)，是一个外部总线标准，用于规范电脑与外部设备的连接和通讯。
27.脉冲编码调制(pulse code modulation，pcm)，用于向用户提供多种业务，既可以提供不同速率的数字数据专线业务，也可以提供话音、图象传送、远程教学等其他业务。可
以适用于对数据传输速率要求较高，需要更高带宽的使用场景。
28.二进制大对象(binary large object，blob)，是一个可以存储二进制文件的容器。blob可以是数据库中用来存储二进制文件的字段类型。典型的blob是一张图片或一个声音文件。
29.两线式串行总线i2c，双向二线制同步串行总线，基于两根线即可在连接于总线上的器件之间传送信息。
30.通用输入/输出口(general-purpose input/output，gpio)，通用型之输入输出，接脚可以供使用者由程控自由使用。
31.本技术实施例提供一种处理方法，如图1所示，该方法包括：
32.步骤s110、第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；
33.在一些实施例中，第一控制器可以是嵌入式控制器(embeded controlle，ec)。在该处理方法的应用设备为笔记本电脑的情况下，可以基于笔记本电脑现有的ec进行功能提升，以实现第一控制器对应的功能；也可以独立设置ec实现第一控制器对应的功能。这里，笔记本电脑现有的ec可以具备键盘控制器(keyboard controller，kbc)和嵌入式控制两个部分功能，内部也存在一定容量的flash来存储ec的代码。
34.在一些实施例中，第一控制器可以是微控制器(microcontroller unit，mcu)，可以基电子设备现有的mcu进行功能提升，以实现第一控制器对应的功能；也可以独立设置ec实现第一控制器对应的功能。
35.这里，显示屏可以是液晶显示器；目标输入设备的布局图像至少包括单独的键盘图像、单独的触控板图像、同时显示键盘和触控板的图像。
36.在一些实施例中，用于控制显示屏显示的第二控制器，可以是逻辑板tcon。逻辑板通过处理移位寄存器存储将图像数据信号转换成液晶显示器能够识别的控制信号，驱动液晶显示器显示图像，即，显示目标输入设备的布局图像。
37.在一些实施例中，用于控制显示屏显示的第二控制器，可以是电子设备的中央处理器(central processing unit，cpu)。cpu可以控制该电子设备操作系统中的目标输入设备的应用程序以流媒体的形式输出布局图像。
38.在第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像之前，所述方法还包括：设置热键，以获取所述键盘展示指令；或者，在确定应用场景为输入场景的情况下，获取所述键盘展示指令。即，触发指令可以是用户通过操作系统中的程序下发的指令，也可以是用户在需要使用模板输入设备的情况下，操作系统中的程序对应生成的指令。举例来说，用户可以通过点击热键触发指令；也可以在需要进行文字编辑或者使用鼠标功能的情况下，操作系统中的程序对应生成触发指令。
39.步骤s120、所述第一控制器通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；
40.这里，触摸感应器是一种捕获和记录液晶显示器接触到的的物理触摸的设备，可以利用该触摸感应器获得用户在液晶显示器上进行触摸操作的坐标信息。在实施过程中，可以首先对液晶显示器进行位置标定，然后基于位置标定和用户的触摸位置确定触摸操作的坐标信息。
41.步骤s130、所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
42.在一些实施例中，在目标输入设备的布局图像为键盘的情况下，可以首先确定键盘上每一个显示的按键与在液晶显示器上的坐标位置的映射关系，并基于用户的触摸确定触摸操作的坐标信息和该映射关系确定目标输入设备的输入内容(键盘对应的按键)，最后将用户点击的按键信息上报至操作系统。
43.在一些实施例中，第一控制器可以通过ps2接口，将目标输入设备的输入内容并上报至操作系统，以使得操作系统区分于软件实现的键盘上报方式。其中，ps2接口是硬件鼠标和硬件键盘的专用接口。
44.在一些实施例中，第一控制器可以通过usb接口，将目标输入设备的输入内容并上报至操作系统，以使得操作系统区分于软件实现的键盘上报方式。
45.本技术实施例中，首先第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；然后所述第一控制器通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；最后所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。这样，实现了利用第一控制器触发第二控制器控制显示屏显示目标输入设备的布局图像，通过触摸感应器获取用户触摸的坐标信息，并基于该坐标信息确定用户的输出内容，基于硬件实现的信息获取和处理方法，可以满足输入设备为硬件级别的安全要求。
46.基于以上实施例提供的处理方法，该方法还包括：
47.步骤s140、所述第一控制器上报通知消息至所述操作系统，所述通知消息用于通知所述操作系统将所述第一控制器作为所述目标输入设备的物理输入设备。
48.这里，通知消息的作用可以是使得操作系统区分于应用程序实现的目标输入设备，将第一控制器作为目标输入设备的物理输入设备。物理输入设备的安全性高于应用程序实现的输入设备。举例来说，恶意入侵者可以通过修改应用程序的代码获取用户的输入信息，而无法修改物理输入设备进而无法获取或修改用户通过物理输入设备输入的输入信息。
49.在一些实施例中，第一控制器可以通过ps2接口，将通知消息上报至操作系统，以使得操作系统基于该通知消息区分于软件实现的键盘上报方式，将第一控制器作为物理输入。其中，ps2接口是硬件鼠标和硬件键盘的专用接口。
50.在一些实施例中，第一控制器可以通过usb接口，将目标输入设备的输入内容并上报至操作系统，以使得操作系统区分于软件实现的键盘上报方式。
51.本技术实施例中，第一控制器上报将所述第一控制器作为所述目标输入设备的物理输入设备的通知消息至操作系统。这样，可以使得操作系统将第一控制器作为目标输入设备的物理输入设备，防止操作系统(例如，windows；但是不限于windows，任何操作系统对输入设备具有硬件级别的安全要求的操作系统都适用)展示软键盘，满足输入设备为硬件级别的安全要求。
52.图2为本技术实施例提供的一种键盘实现的架构示意图，如图2所示，包括操作系统21、键盘驱动22、嵌入式控制器(embedded controller，ec)23、逻辑板(tcon)24和液晶显示器25，其中，
53.操作系统21，是管理计算机硬件与软件资源的计算机程序。操作系统可以处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。操作系统也可以提供一个让用户与系统交互的操作界面。常见的操作系统至少包括windows操作系统、macos、linux、google chrome os、ios、android、华为鸿蒙系统等。操作系统21与键盘驱动22进行信息交互；
54.键盘驱动22，用于在用户在操作系统中确定需要显示键盘的情况下，通过基本输入输出系统(basic input output system，bios)发送的键盘显示命令至嵌入式控制器23；
55.嵌入式控制器23，用于在用户在操作系统中确定需要显示键盘的情况下，首先接收键盘驱动22通过bios发送的键盘显示命令，然后基于该显示命令发送i2c命令至逻辑板24，以使得逻辑板24显示对应的键盘界面；
56.逻辑板24，用于接收嵌入式控制器23的布局图像展示指令，利用液晶显示器25显示目标输入设备的布局图像；
57.嵌入式控制器23，还用于获取用户的在液晶显示器25上显示的键盘的点击输入对应的坐标信息，将该点击输入发送至键盘驱动12；
58.键盘驱动22，还用于从嵌入式控制器23获取用户的点击的坐标信息，解析该坐标信息，并将基于坐标信息确定作为键盘或者触控板的输入内容上报至操作系统21。
59.图3a为本技术实施例提供的一种键盘实现的结构示意图，如图3a所示，包括：触摸屏31、微控制器32和主板33，其中，
60.触摸屏31，可以是具有触摸功能的液晶显示器，即包括触摸感应器的液晶显示器，基于i2c或gpio与微控制器32进行数据交互。
61.微控制器32包括驱动321、屏幕键盘中间件322、存储323、音频平衡数据324、按键动画325、usb接口326、hid327和音视频数据328，其中，屏幕键盘中间件322可以为基于音频平衡数据324和按键动画325生成音视频数据328的程序。
62.在键盘实现的过程中，操作系统获取键盘键值的过程包括以下步骤：
63.步骤a、屏幕键盘中间件322将利用驱动321从触摸屏31获取hid键盘报告，其中，hid键盘报告包括被触发的键码；
64.这里，键码可以对应键盘上的按键。
65.步骤b、基于hid(协议)327，利用usb接口326将被触发的键码发送至主板33上的操作系统。
66.这样，执行步骤a和b，可以实现设置于主板33上的操作系统利用硬件接口usb实现屏幕键盘按键的识别。
67.存储323可以是微控制器上的存储，也可以是独立的存储，用于存储键盘信息，包括键盘虚拟输出、键盘动画输出和按键发声立体声平衡，这里，键盘虚拟输出可以是流媒体播放器在触摸屏31上播放键盘图像；键盘动画输出可以是流媒体播放器在触摸屏上交替播放不同的键盘图像，以提供视觉上的按键反馈；按键发声立体声平衡可以是流媒体播放器基于按键的不同位置播放不同的音效，以提供听觉上的按键反馈。
68.在键盘实现的过程中，基于获取的键盘键值生成音视频数据328的过程包括以下步骤：
69.步骤a、屏幕键盘中间件322基于被触发的键码分别确定对应的音频平衡数据324
和按键动画325，其中，键码对应的音频平衡数据存储于存储323中，按键动画325是基于被触发的键码调取存储323中的图像a或图像b得到的；
70.步骤b、基于音频平衡数据324和按键动画325打包生成音视频数据328。
71.在一些实施例中，音视频数据328可以是jpeg格式的数据，也可以是mjpeg格式的数据。
72.图3b为本技术实施例提供的一种实现按键立体声平衡的示意图，如图3b所示，包括：微控制器32和应用程序34，其中，
73.微控制器32包括存储323、音频平衡数据324、usb接口326、jpeg数据329。这里，jeg数据329是基于音频平衡数据324得到的。
74.应用程序34，在主板33的操作系统中实现，包括存储341和pcm数据342。这里，存储341用于存储声音数据3411和从微控制器获取的平衡数据3412。
75.实现按键立体声平衡，包括以下步骤：
76.步骤a、当展示于触摸屏上的按键被触摸的情况下，微控制器32在存储323中确定该按键对应的音频平衡数据324；
77.步骤b、微控制器32基于音频平衡数据324得到jpeg数据329；
78.步骤c、应用程序34利用usb接口326接收jpeg数据329，得到存储341中的平衡数据3412；
79.步骤d、应用程序34将存储341中的声音数据3411与平衡数据3412相乘生成pcm数据，其中，存储341中的声音数据为基础声音数据；
80.步骤e、应用程序34基于pcm数据播放该按键pcm数据，其中，该按键pcm数据包括左声道音量和右声道音量。
81.举例来说，基础声音数据可以是类似滴、答的声音，平衡数据可以是描述左右声道各自配比的数据，将基础声音数据与描述左右声道各自配比的数据相乘得的左声道音量和右声道音量是不同的，可以提供给用户听觉上的按键反馈。
82.在一些实施例中，音频平衡数据324在存储323中存储为blob，是存储323中键盘blob数据的一部分。
83.图4a为本技术实施例提供的一种键盘实现的结构示意图，如图4a所示，包括触摸屏41、微控制器42和主板43，其中，
84.触摸屏41，可以是具有触摸功能的液晶显示器，即包括触摸感应器的液晶显示器，基于i2c或gpio与微控制器42进行数据交互。
85.微控制器42包括驱动421、屏幕键盘中间件422、按键索引423、音频平衡数据424、mjpeg数据425、usb接口426、hid427，其中，屏幕键盘中间件422可以为基于音频平衡数据424和按键索引423生成mjpeg数据425的程序。
86.在键盘实现的过程中，操作系统获取键盘键值的过程包括以下步骤：
87.步骤a、屏幕键盘中间件422将利用驱动421从触摸屏41获取hid键盘报告，其中，hid键盘报告包括被触发的键码；
88.这里，键码可以对应键盘上的按键。
89.在实施过程中，显示于触摸屏41上的键盘屏幕可以是应用程序基于按键索引生成的。
90.步骤b、基于hid(协议)327，利用usb接口426将被触发的键码发送至主板43上的操作系统。
91.这样，执行步骤a和b，可以实现设置于主板43上的操作系统利用硬件接口usb实现屏幕键盘按键的识别。
92.图4b为本技术实施例提供的一种实现按键立体声平衡和按键动画的示意图，如图4b所示，包括：jpeg数据425、按键索引4251、平衡数据4252、按键动画4253、pcm数据4254。
93.实现按键动画，包括以下步骤：
94.步骤a、从jpeg数据425中解析出的按键索引4251；
95.步骤b、基于按键索引4251生成的按键动画4253。
96.步骤c、基于按键动画4253播放该按键对应的动画。
97.在实施过程中，可以是设置于操作系统中的应用程序执行以上步骤a、b和c。
98.这样，可以实现基于按键播放按键动画效果，提供给用户视觉上的按键反馈。
99.实现按键立体声平衡，包括以下步骤：
100.步骤a、从jpeg数据425中解析出的平衡数据4252；
101.步骤b、基于平衡数据4252将声音数据与该平衡数据4252相乘生成pcm数据4254；
102.步骤c、基于pcm数据4254播放该按键对应的声音。
103.在实施过程中，可以是设置于主板上的cpu基于pcm数据4254播放该按键对应的声音；也可以是设置于操作系统中的应用程序基于pcm数据4254播放该按键对应的声音。
104.这里，pcm数据包括左声道音量和右声道音量。举例来说，声音数据可以是类似滴、答的声音，平衡数据可以是描述左右声道各自配比的数据，将声音数据与描述左右声道各自配比的数据相乘得的左声道音量和右声道音量是不同的，可以提供给用户听觉上的按键反馈。
105.在一些实施例中，所述目标输入设备的布局图像至少包括键盘布局，以上步骤s130中“所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容”，包括以下步骤：
106.步骤131、基于所述坐标信息确定作为所述目标输入设备的目标按键值；
107.步骤132、基于所述目标按键值提供所述目标输入设备的更新图像用于控制显示屏显示的第二控制器显示以提供视觉上的按键反馈。
108.这里，目标输入设备的更新图像可以是与当前显示的布局图像不同的图像，与，由于需要通过显示该更新图像，以提供视觉上的按键反馈，所以更新图像可以是针对目标按键值的图像。举例来说，在布局图像为键盘布局的情况下，确定键盘上的某个按键为用户点击的按键，可以基于该按键确定一个可以动态展示该按键的更新图像，以使得用户从视觉上感受到该按键被点击，达到类似使用物理键盘的效果。
109.在一些实施例中，可以是第一控制器通过控制tcon，实现在液晶显示器上展示更新图像，也可以是cpu从微控制器的存储中调用更新图像，利用流媒体播放器在液晶显示器上展示更新图像。
110.如图2所示，逻辑板24，用于接收嵌入式控制器23的布局图像展示指令，利用液晶显示器25显示目标输入设备的布局图像。
111.如图3a所示，屏幕键盘中间件322首先基于被触发的键码确定对应的按键动画
325，其中，按键动画325是基于被触发的键码调取存储323中的图像a或图像b得到的；然后基于按键动画325打包生成音视频数据328；最后应用程序播放该音视频数据328，可以为用户提供视觉上的按键反馈。
112.如图4b所示，应用程序首先从jpeg数据425中解析出的按键索引4251；然后基于按键索引4251生成的按键动画4253；最后基于按键动画4253播放该按键对应的动画。可以实现基于按键播放按键动画效果，提供给用户视觉上的按键反馈。
113.在实施过程中，可以根据实际需求设置展示该更新图像的时间，以达到动画展示的效果。如图2所示，逻辑板24中可以存储多个用于展示动画效果的图像，在用户触发目标按键的情况下，基于目标按键值对应的图像和更新图像的时间展示动画效果。如图3a所示，可以基于更新图像的时间调取存储323中的图像a或图像b，通过流媒体播放器按照更新图像的时间播放图像a或图像b，以展示动画效果。如图4b所示，可以基于更新图像的时间和按键动画4253通过流媒体播放器播放该按键对应的动画。
114.本技术实施例中，基于目标按键值提供目标输入设备的更新图像用于控制显示屏显示的第二控制器显示以提供视觉上的按键反馈。这样，用户可以通过画面的变化从视觉上感受到被点击的按键，带给用户良好的使用体验。
115.在一些实施例中，以上步骤s130中“所述第一控制器基于所述坐标信息确定作为所述目标输入设备的输入内容”，还包括以下步骤：
116.步骤133、基于所述目标按键值确定相对键盘布局的相对位置信息；
117.在一些实施例中，如图3a所示，屏幕中间件322基于目标按键值确定该按键在屏幕键盘上的相对位置信息。
118.在一些实施例中，如图4a所示，屏幕中间件422基于目标按键值(按键索引)确定该按键在屏幕键盘上的相对位置信息。
119.举例来说，在确定目标按键值为a的情况下，可以确定该按键在屏幕键盘上的相对位置为靠左；在确定目标按键值为l的情况下，可以确定该按键在屏幕键盘上的相对位置为靠右。
120.步骤134、基于所述相对位置信息确定左右声道的音量，其中，所述目标按键值位于第一区域左声道的音量大于右声道的音量；所述目标按键值位于位于第二区域左声道的音量等于右声道的音量；所述目标按键值位于第三区域左声道的音量小于右声道的音量；
121.如图3a所示，微控制器32可以基于相对位置信息确定音频平衡数据324。如图3b所示，应用程序接收到平衡数据3412，基于平衡数据3412确定左右声道的音量；其中，平衡数据3412是基于jpeg数据329得到的，jpeg数据329是基于音频平衡数据324得到的。
122.如图4a所示，微控制器42可以基于相对位置信息确定音频平衡数据324。如图4b所示，主板cpu接收到基于音频平衡数据324生成的jpeg数据425后，拆分出平衡数据4252，基于平衡数据4252确定左右声道的音量。
123.举例来说，在确定目标按键值为a的情况下，可以确定该按键在屏幕键盘上的相对位置为靠左，将左边的区域确定为第一区域，那么用户触摸a按键的情况下，可以确定左声道的音量大于右声道的音量；在确定目标按键值为h的情况下，可以确定该按键在屏幕键盘上的相对位置为靠中间，将中间的区域确定为第二区域，那么用户触摸h按键的情况下，可以确定左声道的音量等于右声道的音量；在确定目标按键值为l的情况下，可以确定该按键
在屏幕键盘上的相对位置为靠右，将右边的区域确定为第三区域，那么用户触摸l按键的情况下，可以确定左声道的音量小于右声道的音量。
124.步骤135、将所述左右声道的音量提供用于控制音频输出的第三控制器以提供听觉上的按键反馈。
125.在一些实施例中，第三控制器可以是针对应用程序的控制器。如图3b所示的应用程序34，即，应用程序34将存储341中的声音数据3411与平衡数据3412相乘生成pcm数据，其中，存储341中的声音数据3411，声音数据可以是基于不同区域设置不同的声音，也可以是基于不同的按键设置不同的声音。
126.在一些实施例中，第三控制器可以电子设备主板上的cpu。如图4b所示，首先基于平衡数据4252将声音数据与该平衡数据4252相乘生成pcm数据4254，然后cpu控制操作系统中的播放器播放该pcm数据4254。这里，声音数据可以是基于不同区域设置不同的声音，也可以是基于不同的按键设置不同的声音。
127.本技术实施例中，首先基于目标按键值确定相对键盘布局的相对位置信息；然后基于所述相对位置信息确定左右声道的音量；最后将所述左右声道的音量提供用于控制音频输出的第三控制器以提供听觉上的按键反馈。这样，用户触发不同位置的按键可以听到对应的声音效果，实现用户听觉上的按键反馈需求。
128.在一些实施例中，所述第一控制器为嵌入式控制器，所述用于控制显示屏显示的第二控制器为显示面板的逻辑板tcon，以上步骤s110“第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像”可以通过以下过程实现：
129.所述嵌入式控制器响应所述触发指令，控制所述逻辑板tcon将存储的所述目标输入设备的布局图像显示在所述显示屏。
130.在一些实施例中，布局图像包括键盘图像和/或触控板图像。如图2所示，嵌入式控制器23可以响应用户的触发指令，控制逻辑板24将存储的键盘图像和/或触控板图像显示在液晶显示器25上。
131.本技术实施例中，嵌入式控制器响应触发指令，控制逻辑板tcon将存储的目标输入设备的布局图像显示在显示屏。这样，可以实现利用逻辑板tcon输出布局图像。
132.在一些实施例中，所述第一控制器为微型控制器，所述用于控制显示屏显示的控制器为中央处理器，以上步骤s110“第一控制器响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像”可以通过以下过程实现：
133.所述微型控制器响应所述触发指令，控制所述操作系统调用流媒体播放器，所述流媒体播放器读取所述微型控制器的流媒体文件的接口获得所述目标输入设备的布局图像显示在所述显示屏。
134.在实施过程中，流媒体文件的接口获取的布局图像是实时显示的，可以通过该接口提供了新的一帧布局图像或者两帧布局图像。这样，达到类似在电子设备外接一个摄像头提供多帧数据构成的流媒体数据的效果。
135.如图3a所示，微控制器32响应触发命令，控制设置于主板33上的操作系统调用如图3b所示应用程序(流媒体播放器)，该应用程序读取微型控制器32的流媒体文件的接口获得存储323中的键盘虚拟输出显示在触摸屏31上。
136.如图4a所示，微控制器42响应触发命令，控制设置于主板33上的操作系统调用应
用程序，读取按键索引423对应的图像，在触摸屏41上生成布局图像。
137.本技术实施例中，微型控制器响应触发指令，控制操作系统调用流媒体播放器，所述流媒体播放器读取所述微型控制器的流媒体文件的接口获得所述目标输入设备的布局图像显示在显示屏。这样，利用微控制器可以控制操作系统将目标输入设备的布局图像显示在显示屏上。
138.在一些实施例中，所述左右声道的音量对应流媒体播放器中流媒体文件的参数；以上步骤135“将所述左右声道的音量提供用于控制音频输出的第三控制器以提供听觉上的按键反馈”可以通过以下过程实现：
139.将所述流媒体文件的参数提供所述流媒体播放器，以使得所述第三控制器基于所述流媒体文件的参数提供听觉上的按键反馈。
140.在一些实施例中，第三控制器可以是针对流媒体播放器的控制器。如图3b所示，应用程序34可以包括流媒体播放器，微控制器32将jpeg数据(流媒体文件的参数)发送至流媒体播放器，流媒体播放器基于平衡数据3412提供听觉上的按键反馈。
141.在一些实施例中，第三控制器是可以设置于主板上的cpu，如图4b所示，cpu获取pcm数据4254(流媒体文件的参数)，基于pcm数据4254提供给用户听觉上的按键反馈。
142.本技术实施例中，将流媒体文件的参数提供流媒体播放器，可以实现流媒体播放器基于所述流媒体文件的参数，为用户提供听觉上的按键反馈。
143.本技术的实施例提供的电子设备，所述电子设备包括：
144.第一控制器，用于响应触发指令，触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；
145.所述第一控制器，还用于通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；
146.所述第一控制器，还用于基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
147.其中，所述电子设备还包括至少一个显示屏，所述至少一个显示屏中的第一显示屏显示输入设备的虚拟界面例如，键盘的虚拟按键布局图，触控板(touchpad)的虚拟触控区域布局图，或者，键盘的虚拟按键布局以及触控板(touchpad)的虚拟触控区域布局的图像。所述至少一个显示屏(可以是一个显示屏(例如，平板电脑、大屏显示设备)也可以多个显示屏(例如，具有双屏的笔记本)。
148.基于前述的实施例，本技术实施例提供一种处理装置，应用于第一控制器，该装置包括所包括的各模块，各模块包括各子模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。
149.图5为本技术实施例提供的处理装置的组成结构示意图，如图5所示，所述装置500包括：
150.触发模块510，用于触发用于控制显示屏显示的第二控制器显示目标输入设备的布局图像；
151.获得模块520，用于通过触摸感应器获得针对所述目标输入设备的布局图像的坐标信息；
152.确定模块530，用于基于所述坐标信息确定作为所述目标输入设备的输入内容并上报至操作系统。
153.在一些实施例中，所述装置还包括上报模块，用于上报通知消息至所述操作系统，所述通知消息用于通知所述操作系统将所述第一控制器作为所述目标输入设备的物理输入设备。
154.在一些实施例中，所述目标输入设备的布局图像至少包括键盘布局，所述确定模块530包括第一确定子模块和控制子模块，其中，所述第一确定子模块，用于基于所述坐标信息确定作为所述目标输入设备的目标按键值；所述控制子模块，用于基于所述目标按键值提供所述目标输入设备的更新图像用于控制显示屏显示的第二控制器显示以提供视觉上的按键反馈。
155.在一些实施例中，所述确定模块530还包括第二确定子模块、第三确定子模块和提供子模块，其中，所述第二确定子模块，用于基于所述目标按键值确定相对键盘布局的相对位置信息；所述第三确定子模块，用于基于所述相对位置信息确定左右声道的音量，其中，所述目标按键值位于第一区域左声道的音量大于右声道的音量；所述目标按键值位于位于第二区域左声道的音量等于右声道的音量；所述目标按键值位于第三区域左声道的音量小于右声道的音量；所述提供子模块，用于将所述左右声道的音量提供用于控制音频输出的第三控制器，以提供听觉上的按键反馈。
156.在一些实施例中，所述第一控制器为嵌入式控制器，所述用于控制显示屏显示的第二控制器为显示面板的逻辑板tcon，所述触发模块510还用于，所述嵌入式控制器响应所述触发指令，控制所述逻辑板tcon将存储的所述目标输入设备的布局图像显示在所述显示屏。
157.在一些实施例中，所述第一控制器为微型控制器，所述用于控制显示屏显示的控制器为中央处理器；所述触发模块510还用于，所述微型控制器响应所述触发指令，控制所述操作系统调用流媒体播放器，所述流媒体播放器读取所述微型控制器的流媒体文件的接口获得所述目标输入设备的布局图像显示在所述显示屏。
158.在一些实施例中，所述左右声道的音量对应流媒体播放器中流媒体文件的参数；所述提供子模块，还用于将所述流媒体文件的参数提供所述流媒体播放器，以使得所述第三控制器基于所述流媒体文件的参数提供听觉上的按键反馈。
159.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
160.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
161.对应地，本技术实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的处理方法中的步骤。
162.对应地，本技术实施例提供一种电子设备，图6为本技术实施例提供的电子设备的一种硬件实体示意图，如图6所示，该设备600的硬件实体包括：包括存储器601和处理器602，所述存储器601存储有可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现上述实施例中提供的处理方法中的步骤。
163.存储器601配置为存储由处理器602可执行的指令和应用，还可以缓存待处理器602以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
164.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
165.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
166.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
167.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
168.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
169.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
170.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在
执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
171.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
172.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
173.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
174.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
175.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。