触控方法、装置、电子设备及存储介质与流程

1.本公开涉及交互技术领域，尤其涉及一种触控方法、装置、电子设备及存储介质。


背景技术：

2.目前的电子设备大多是通过用户对触控屏的触控来进行交互，随着技术的发展，触控屏的触控反馈精度越来越高，并且随着电子设备功能的增多，应用在同一触控屏画面上的交互的控件的数量也越来越多，在用户使用电子设备时，导致了用户对触控屏的误操作的可能性增大，因此如何提高触控操作的准确性成了亟需解决的技术问题。


技术实现要素：

3.为克服相关技术中存在的问题，本公开提供一种触控方法、装置、电子设备及存储介质，旨在解决上述技术问题。
4.根据本公开实施例的第一方面，提供一种触控方法，包括：响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像；根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式。
5.可选地，所述根据所述触控图像的图像特征信息，对所述触控区域进行校正，包括：根据所述图像特征信息，从所述触控区域中确定所述用户的手指触控的目标区域；将所述触控区域校正为所述目标区域。
6.可选地，所述根据所述图像特征信息，从所述触控区域中确定所述用户的手指触控的目标区域，包括：在所述触控区域包括两个分离的触控区域的情况下，根据每一所述触控区域的图像的形状特征信息，确定所述用户的手指触控的目标区域；或，在所述触控区域为连通区域的情况下，根据所述图像特征信息确定产生所述触控区域的触控手势，根据所述触控手势确定手持方向，并根据预设比例分割所述触控区域，获得分割出的与所述手持方向相对的一侧的区域作为所述目标区域。
7.可选地，所述响应于用户在触控屏上的触控操作，生成触控图像，包括：响应于用户在所述触控屏上的虚拟键盘的触控操作；所述根据所述触控图像的图像特征信息，调节触摸屏的显示内容的显示方式，包括：根据所述触控图像的图像特征信息，调节所述触控屏的所述虚拟键盘的显示方式。
8.可选地，所述根据所述触控图像的图像特征信息，调节所述触控屏的所述虚拟键盘的显示方式，包括：根据所述图像特征信息确定产生所述触控区域的触控手势；若所述触控手势表征为单手触控，则调节所述触控屏的所述虚拟键盘的显示方式。
9.可选地，所述调节所述触控屏的所述虚拟键盘的显示方式，包括：将所述虚拟键盘的尺寸进行缩小；在根据所述触控手势从所述触摸屏上确定的显示位置上显示缩小后的虚拟键盘。
10.可选地，所述虚拟键盘上包括多个控件，所述调节所述触控屏的所述虚拟键盘的
显示方式，包括：根据所述触控手势，从所述虚拟键盘上的所述多个控件中确定第一类控件、第二类控件和第三类控件，其中，所述第一类控件为所述触摸屏上手持方向的控件，所述第二类控件为所述触摸屏上与所述手持方向相对的一侧的控件；在虚拟键盘的尺寸不变的情况下，控制所述第一类控件的尺寸缩小、所述第二类控件的尺寸放大以及所述第三类控件的尺寸不变。
11.可选地，所述虚拟键盘上包括多个控件，所述调节所述触控屏的所述虚拟键盘的显示方式，包括：从所述虚拟键盘上的多个控件中确定目标控件；将所述多个控件中除目标控件外的控件进行删除，保留所述目标控件作为新的虚拟键盘；在虚拟键盘的尺寸不变的情况下，将所述新的虚拟键盘上的目标控件进行放大。
12.可选地，所述根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式之前，还包括：提取所述触控图像的图像特征信息。
13.可选地，所述提取所述触控图像的图像特征信息，包括：分割所述触控图像，获得边缘图像；提取所述边缘图像的特征，获得所述第一特征信息；提取所述触控图像的特征，获得所述第二特征信息；对所述第一特征信息和第二特征信息进行拼接，获得所述图像特征信息。
14.可选地，所述提取所述触控图像的图像特征信息，包括：在所述触控图像中生成多个锚框；对所述触控图像上的所述多个锚框中的每个锚框进行特征提取，获得多个锚框的图像特征信息。
15.可选地，所述根据所述图像特征信息确定产生所述触控区域的触控手势，包括：通过第一全连接层对所述多个锚框的图像特征信息进行识别，获得所述多个锚框中每个锚框的位置信息；通过第二全连接层对所述多个锚框的图像特征信息进行识别，获得所述多个锚框中每个锚框的触控手势；根据分类器对所述多个锚框中每个锚框的位置信息和所述多个锚框中每个锚框的触控手势进行处理，获得产生所述触控区域的触控手势。
16.根据本公开实施例的第二方面，提供一种触控装置，包括：触控模块，用于响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像；调节模块，用于根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式。
17.根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述方法的步骤。
18.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
19.本公开提供的触控方法、装置、电子设备及存储介质，用户基于触控屏进行触控操作，响应于该触控操作，生成显示有触控区域的触控图像，然后根据触控图像的图像特征信息，对触控区域进行矫正，提升了操作的准确性，和/或调节触摸屏的显示内容的显示方式，便于用户进行输入，也提升了操作的准确性。
20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
22.图1是触控图像；
23.图2是根据一示例性实施例示出的一种触控方法的流程图；
24.图3是根据另一示例性实施例示出的一种触控方法的流程图；
25.图4是根据另一示例性实施例示出的一种触控方法的流程图；
26.图5示出的是触控屏的示意图；
27.图6是根据图4中实施例示出的一种触控方法的步骤s320的流程图；
28.图7是根据图6中实施例示出的一种触控方法的步骤s322的流程图；
29.图8示出的是调节后的触控屏的示意图；
30.图9是根据图6中实施例示出的一种触控方法的步骤s322的流程图；
31.图10示出的是调节后的触控屏的示意图；
32.图11是根据图6中实施例示出的一种触控方法的步骤s322的流程图；
33.图12示出的是调节后的触控屏的示意图；
34.图13是根据另一示例性实施例示出的一种触控方法的流程图；
35.图14是根据图13中实施例示出的一种触控方法的步骤s420的流程图；
36.图15是根据图13中实施例示出的一种触控方法的步骤s420的流程图；
37.图16是根据图13中实施例示出的一种触控方法的步骤s430的流程图；
38.图17是根据一示例性实施例示出的一种触控装置的框图；
39.图18是根据一示例性实施例示出的一种用于触控方法的电子设备的框图。
具体实施方式
40.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
41.需要说明的是，本技术中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
42.目前的电子设备大多是通过用户对触控屏的触控来进行交互，随着技术的发展，触控屏的触控反馈精度越来越高，并且随着电子设备功能的增多，应用在同一触控屏画面上的交互的控件的数量也越来越多，在用户使用电子设备时，导致了用户对触控屏的误操作的可能性增大，例如，用户在单手操作电子设备时，由于触控屏尺寸较大，或者是用户的手较小，在用户右手操作触控屏时，右手手指难以触控到屏幕左侧的控件，反倒右手的虎口等位置容易误触到屏幕右侧上的控件，如图1所示，在获得的触控图像中，使用锚框将触控区域进行标注，获得触控区域1和触控区域2，根据触控区域1和触控区域2的形状可以推断用户由手持电子设备，并且触控区域1为手指触控产生，触控区域2 为虎口误触控产生。因此如何提高触控操作的准确性成了亟需解决的技术问题。
43.针对上述技术问题，发明人经过长期的研究发现并提出了一种触控方法，该方法的执行主体可以为电子设备，其中，电子设备可以是手机、平板电脑、智能穿戴设备、学习机等。电子设备包括触控屏，其中，该触控屏可以为全面屏，也可以为非全面屏，请参阅图2，所述触控方法具体可以包括以下步骤：
44.步骤s110、响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像。
45.电子设备的触控屏上显示有至少一种控件，用户通过触控控件实现人机交互。用户在使用电子设备时，对电子设备的触控屏上的控件进行触控操作，其中，触控操作可以包括点击、滑动、拖动、长按等方式，电子设备响应于该触控操作，生成触控图像。其中，触控图像上显示有用户触控触控屏时产生的触控区域。
46.在一种实施方式中，用户对电子设备的触摸屏进行触控操作，该触控操作改变了电子设备的触控屏上的电压，电压的改变位置就是用户在触控屏上的触控位置，从而生成显示有触控区域的触控图像。其中，针对根据电压确定触控位置，作为一种方式，触控屏为电容屏，在用户通过手指触控电容屏时，在手指和屏幕之间形成电容，该电容作为导体，手指通过该电容从触控位置吸走一个电流，从而改变触控位置的电压，并根据电压改变前后的电压获取一个电压改变值diff，经过电子设备内部的滤波器对该电压改变值 diff进行滤波处理后，获得处理后的电压改变值。将该电容屏分为m*n(以16*40为例) 个区域，当某个区域上处理后的电压改变值大于300时，确定用户的触控操作成功触控该区域，该区域即为触控位置。可以理解的是，触控图像反映的是用户输入触控操作的时刻，显示屏的电压分布图。
47.步骤s120、根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式。
48.根据特征提取算法、特征提取网络或者特征提取模型对触控图像进行特征提取，获得触控图像的图像特征信息，其中，图像特征信息可以是触控图像中的特定结构的点、边缘或者对象等。再根据提取的图像特征信息进行处理。
49.在一种实施方式中，根据图像特征信息，对触控区域进行校正。可选地，由于触控屏的精度较高，用户身体稍微接触触控屏就实现触控，或者是触控屏上的控件数量较多，用户很容易误触到控件，再或者是用户的手较小，手部的虎口、手掌等容易接触屏幕导致误触控，因此，在用户使用电子设备时，产生的触控区域中可能包括上述误触控产生的误触控区域以及用户手指进行输入产生的输入区域，然而上述误触控并非用户期望的，因此，需要对触控区域进行校正，对误触控产生的误触控区域进行清除，不执行对误触控区域的控件的触控操作相关的功能，并且保留输入区域，响应对输入区域的控件的触控操作，进入相应的页面或者执行相应的功能。
50.在另一种实施方式中，根据触控图像的图像特征信息，调节触控屏的显示内容，便于用户观看或者操作。
51.在另一种实施方式中，根据触控图像的图像特征信息调整触控屏的显示内容，便于用户输入，以提升输入的准确性，用户可以基于调整后的显示内容进行输入操作，电子设备再次采集新的触控操作，响应该触控操作，生成新的触控图像，其中，新的触控图像上包括新的触控操作产生的新的触控区域，电子设备通过新的触控图像对新的触控区域进行校
正，减少误触控，进一步提升输入的准确性。
52.在本实施例提供的触控方法中，用户基于触控屏进行触控操作，电子设备响应于该触控操作，生成显示有触控区域的触控图像，然后根据触控图像的图像特征信息，对触控区域进行矫正，提升了操作的准确性，和/或调节触摸屏的显示内容的显示方式，便于用户进行输入，也提升了操作的准确性。
53.可选地，根据触控图像推断出触控区域中存在误触控区域的情况下，需要对触控区域进行校准，便于电子设备根据用户期待(或者意图)执行相应的功能，请参阅图3，所述触控方法具体可以包括以下步骤：
54.步骤s210、响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像。
55.本实施例中，步骤s210的具体描述可以参考上述实施例中步骤s110，在此不再赘述。
56.步骤s220、根据所述图像特征信息，从所述触控区域中确定所述用户的手指触控的目标区域。
57.利用图像识别算法，根据图像特征信息表征的触控区域，从触控区域中确定用户的手指触控的区域作为目标区域，而非手指部位(例如虎口、手掌等)触控的区域作为误触控区域。
58.可选地，根据图像识别算法，识别成触控图像上包括两个触控区域时，在所述触控区域包括两个分离的触控区域的情况下，根据每一所述触控区域的图像的形状特征信息，确定所述用户的手指触控的目标区域，响应用户对该目标区域的触控操作，而两个触控区域中的另一个触控区域为误触控区域。例如，如图1所示，触控区域1和触控区域2 两个触控区域分离，即两个触控区域之间未连通，根据触控区域的形状判断触控区域1 为目标区域，触控区域2为误触控区域。
59.可选地，在所述触控区域为连通区域的情况下，例如可能是用户手指、手掌和虎口同时触碰到了触控屏产生的该连通区域，根据所述图像特征信息确定产生所述触控区域的触控手势，作为一种方式，使用全连接层或者预先训练好的分类器，对图像特征信息进行识别，获得概率向量，其中，概率向量中表征了使用左手、右手、双手、无手等情况各自对应的概率值，通过概率向量获得触控手势，例如根据概率向量中概率值最大，且大于预设值的概率值来推断触控手势，如推断出用户的触控手势为右手；然后，根据所述触控手势确定手持方向，例如手持方向为用户的右手方向，并根据预设比例分割所述触控区域，获得分割出的与所述手持方向相对的一侧的区域作为所述目标区域，而手持方向一侧的区域为手掌、虎口等产生的误操作区域，例如，预设比例为从手持方向开始，向手持方向相对的一侧移动至触控图像1/4的位置进行分割，获得手持方向一侧的、占触控区域3/4的目标区域，获得手持方向相对的一侧的、占触控区域1/4的误触控区域。
60.步骤s230、将所述触控区域校正为所述目标区域。
61.获取的目标区域为手指触控的区域，可以理解的是，目标区域为用户期望触控的区域，而误触控区域为因用户误操作而触控的区域，如果两个区域同时存在，电子设备可能会执行针对误触控区域中控件对应的功能，导致电子设备实际执行的操作并非用户期望的，因此，为了避免对误触控区域的触控操作影响用户和电子设备之间的正常交互，将触控
区域校正为目标区域，可以理解的是，从触控区域中删除误触控区域保留目标区域，执行目标区域中控件对应的功能，保证用户和电子设备之间的正常交互。
62.需要说明的是，在根据图像特征信息确定触控图像中只存在误触控区域的情况下，说明产生误触控区域的触控操作并非用户期望的，因此，在触控区域中可以认为不存在目标区域，电子设备不执行误触控区域中控件对应的功能。
63.在本实施例提供的触控方法中，用户基于触控屏进行触控操作，响应于该触控操作，生成显示有触控区域的触控图像，然后根据触控图像的图像特征信息，从触控区域中确定用户手指触控的目标区域，将触控区域矫正为目标区域，以便于电子设备根据对目标区域的触控来执行对应的功能，提升了操作的准确性。
64.可选地，触控屏上显示的内容为虚拟键盘，用户通过虚拟键盘进行输入操作，请参阅图4，所述触控方法具体可以包括以下步骤：
65.步骤s310、响应于用户在所述触控屏上的虚拟键盘的触控操作，生成所述触控图像。
66.在用户需要输入文字、数字、符号、表情图像等时，如图5所示，触控屏上可以显示有虚拟键盘a，用户通过对虚拟键盘a进行触控操作实现输入，基于该触控操作生成触控图像。
67.步骤s320、根据所述触控图像的图像特征信息，调节所述触控屏的所述虚拟键盘的显示方式。
68.根据特征提取算法、特征提取网络或者特征提取模型对触控图像进行特征提取，获得触控图像的图像特征信息，基于根据触控图像的图像特征信息，调节触控屏的显示内容，便于用户操作虚拟键盘。
69.在一种实施方式中，请参阅图6，步骤s320包括如下子步骤：
70.子步骤s321、根据所述图像特征信息确定产生所述触控区域的触控手势。
71.使用全连接层或者预先训练好的分类器，对图像特征信息进行识别，获得概率向量，其中，概率向量中表征了使用左手、右手、双手、无手等情况各自对应的概率值，通过概率向量获得触控手势，例如根据概率向量中概率值最大，且大于预设值的概率值来推断触控手势，如推断出用户的触控手势为右手。
72.若触控手势表征为无手，说明用户的双手均未触控触控屏，可能是手肘等部位误触控触控屏，因此，忽略此次输入，可以理解的是，电子设备认为此次触控失败，即认为误触控操作对触控区域的控件的触控失败。
73.若触控手势表征为双手，说明用户双手均在操作电子设备，因此，在触控屏上可能不存在难以触控的区域，电子设备保持触控屏上的虚拟键盘的当前显示方式，即不调节虚拟键盘的显示方式。
74.子步骤s322、若所述触控手势表征为单手触控，则调节所述触控屏的所述虚拟键盘的显示方式。
75.若触控手势表征为单手触控，即触控手势表征为左手触控或者右手触控，用户单手持电子设备，用手持电子设备的手单手触控电子设备，由于触控屏的尺寸较大或者用户的手较小，导致触控屏上与手持一侧相对的位置难以触控，为了解决该问题，调节触控屏上虚拟键盘的显示方式，使得调节后的虚拟键盘便于用户单手输入。
76.作为一种方式，请参阅图7，子步骤s322包括如下子步骤：
77.子步骤s322-1、将所述虚拟键盘的尺寸进行缩小。
78.将虚拟键盘的尺寸缩小，缩小后的虚拟键盘所占的显示面积小于缩小前虚拟键盘所占的显示面积。
79.可选地，预先设置缩小的尺寸，可以根据预先设置的尺寸对虚拟键盘进行缩小。
80.可选地，可以根据触控图像上的图像特征信息反映的用户的手的尺寸(可以理解为手的大小)，根据手的尺寸确定压缩尺寸，按照压缩尺寸对虚拟键盘进行尺寸缩小。其中，手的尺寸与压缩尺寸成反相关，例如，若用户尺寸小于预设尺寸，则按照第一压缩尺寸对虚拟键盘进行缩小；若用户尺寸大于预设尺寸，则按照第二压缩尺寸对虚拟键盘进行缩小，其中，第一压缩尺寸大于第二压缩尺寸，可以理解的是，用户的手越小，缩小后的虚拟键盘越小；用户的手越大，缩小后的虚拟键盘越大。
81.子步骤s322-2、在根据所述触控手势从所述触摸屏上确定的显示位置上显示缩小后的虚拟键盘。
82.根据触控手势从触控屏上确定的显示位置，该显示位置位于显示屏上的手持侧。例如，触控手势表征用户右手触控，如图8所示，缩小后的虚拟键盘a’比缩小前的虚拟键盘a占用的显示面积小，并且，在触控屏上，缩小后的虚拟键盘a’在靠近右手侧进行显示，便于用户通过右手单手触控时，能够触控到虚拟键盘a’上的所有控件。
83.需要说明的是，对缩小后的虚拟键盘的显示不限于图8所示，当触控手势表征用户左手触控时，在触控屏上，缩小后的虚拟键盘可以在靠左手侧进行显示。
84.作为另一种方式，所述虚拟键盘上包括多个控件，请参阅图9，子步骤s322包括如下子步骤：
85.子步骤s322-3、根据所述触控手势，从所述虚拟键盘上的所述多个控件中确定第一类控件、第二类控件和第三类控件，其中，所述第一类控件为所述触摸屏上手持方向的控件，所述第二类控件为所述触摸屏上与所述手持方向相对的一侧的控件。
86.相较于与触控屏手持方向一侧的屏幕边缘之间的距离，第一类控件与屏幕边缘的距离最近，第三类控件与屏幕边缘的距离次之，第二类控件与屏幕边缘的距离最远。第一类控件和第三类控件都是用户单手容易触控的控件，第二类控件是用户单手难以触控的控件。
87.子步骤s322-4、在虚拟键盘的尺寸不变的情况下，控制所述第一类控件的尺寸缩小、所述第二类控件的尺寸放大以及所述第三类控件的尺寸不变。
88.在虚拟键盘的尺寸不变的情况下，电子设备控制与屏幕边缘距离最近的第一类控件的尺寸缩小，使得第一类控件为第二类控件腾出空间，控制第二类控件的尺寸放大，放大后的第二类控件向手持侧靠近，用户在单手操作时，可以触控到放大后的第二类控件。如图10所示，尺寸调节后的虚拟键盘a’的尺寸与调节前的虚拟键盘a的尺寸相同。
89.作为另一种方式，所述虚拟键盘上包括多个控件，请参阅图11，子步骤s322包括如下子步骤：
90.子步骤s322-5、从所述虚拟键盘上的多个控件中确定目标控件。
91.其中，目标控件为用户需要触控的控件。电子设备在检测到单手操作时，从虚拟键盘上的多个控件中确定目标控件。可选地，可以根据用户设置或者是默认设置，从虚拟键盘
上的多个控件中选择目标控件。
92.子步骤s322-6、将所述多个控件中除目标控件外的控件进行删除，保留所述目标控件作为新的虚拟键盘。
93.多个控件中，除目标控件外的其他控件可能为用户不需要触控的，例如，其他控件可以为用户打字时，虚拟键盘上的数字键。将其他控件进行删除，在虚拟键盘上只保留目标控件，可以理解的是，虚拟键盘上只包括目标控件。
94.子步骤s322-7、在虚拟键盘的尺寸不变的情况下，将所述新的虚拟键盘上的目标控件进行放大。
95.在虚拟键盘的尺寸不变的情况下，将目标控件整体进行放大，使得每个目标控件所占的面积均较大，用户在单手操作时，也能触控到每个控件。如图12所示，尺寸调节后的虚拟键盘a’的尺寸与调节前的虚拟键盘a的尺寸相同。
96.在本实施例提供的触控方法中，用户基于触控屏进行触控操作，响应于该触控操作，生成显示有触控区域的触控图像，然后根据触控图像的图像特征信息，调节虚拟键盘的显示方式，使得用户难以触控的控件经调节后易于触控，提升了操作虚拟键盘的准确性。
97.可选地，请参阅图13，所述触控方法具体可以包括以下步骤：
98.步骤s410、响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像。
99.本实施例中，步骤s410的具体描述可以参考上述实施例中步骤s110，在此不再赘述。
100.步骤s420、提取所述触控图像的图像特征信息。
101.根据特征提取算法、特征提取网络(例如resent，resnext，mobilenet，shufflenet) 或者特征提取模型对触控图像进行特征提取，获得触控图像的图像特征信息。
102.在一些实施方式中，以特征提取网络为mobilenet为例，将触控图像依次通过卷积层(cove)、平均池化层(avg pool)进行处理，提取的x个图像特征信息。例如，以(16*40*1) 的触控图像为例，将(16*40*1)的触控图像输入卷积层中，通过卷积层对触控图像的宽和高进行降低，且对维度进行增加，得到图像数据，例如可以获得(2*5*x)的图像数据，其中，x可以为1000；使用平均池化层对获得的图像数据进行处理，计算图像数据的均值，例如，计算(2*5*x)的均值，得到(1*1*x)的特征信息，可以理解为，将一张触控图像拆分为x个特征信息，即用x个特征信息代表一张触控图像。需要说明的是，针对全面屏和非全面屏的触控屏均可以用本实施例的方式提取图像特征。
103.在另一些实施方式中，针对全面屏的触控屏，在用户手握电子设备时，电子设备的全面屏的边缘会采集触控操作，不同的手持姿势在全面屏弯曲边缘产生的触控图像不同，请参阅图14，步骤s420可以包括如下子步骤：
104.子步骤s421、分割所述触控图像，获得边缘图像。
105.将触控图像分割为边缘图像和内部图像，边缘图像为触控屏边框的图像，可以理解的是，将触控图像掏空内部获得边缘图像，被掏出的部分为内部图像。例如，针对(16*40) 的触控图像，首先沿触控图像的边缘分割出4个x1的长条，可选地，x1可以为4，并且将四个长条拼接，获得(16+40)*2*x1的边缘图像，该边缘图像包含了触控屏边缘的数据。 (16*40)
的触控图像分割出(112*4)的边缘图像后，剩余的图像为内部图像。
106.子步骤s422、提取所述边缘图像的特征，获得第一特征信息。
107.以特征提取网络为mobilenet为例，将边缘图像依次通过卷积层、平均池化层进行处理，提取的x1个边缘特征信息。例如，以(112*4*1)的边缘图像为例，将(112*4*1)的边缘图像输入卷积层中，通过卷积层对触控图像的宽和高进行降低，且对维度进行增加，得到图像数据，例如可以获得(28*1*x1)的图像数据，其中，x1可以为1000；使用平均池化层对获得的上述图像数据进行处理，计算图像数据的均值，例如，计算(28*1*x1)的均值，得到(1*1*x1)的第一特征信息，可以理解为，将一张边缘图像拆分为x1个特征信息。
108.子步骤s423、提取所述触控图像的特征，获得第二特征信息。
109.类似地，在本实施方式中，以特征提取网络为mobilenet为例，将触控图像依次通过卷积层、平均池化层进行处理，提取的x2个图像特征信息。例如，以(16*40*1)的触控图像为例，将(16*40*1)的触控图像输入卷积层中，通过卷积层对触控图像的宽和高进行降低，且对维度进行增加，得到图像数据，例如可以获得(2*5*x2)的图像数据，其中，x2可以为1000；使用平均池化层对获得的图像数据进行处理，计算图像数据的均值，例如，计算(2*5*x2)的均值，得到(1*1*x2)的第二特征信息，可以理解为，将一张触控图像拆分为x2个特征信息。
110.子步骤s424、对所述第一特征信息和所述第二特征信息进行拼接，获得所述图像特征信息。
111.将(1*1*x1)的第一特征信息和(1*1*x2)的第二特征信息进行拼接，获得拼接后的 (1*1*(x1+x2))图像特征信息。
112.对第一特征信息和第二特征信息进行拼接，获得图像特征信息，边缘图像能够反映触控手势，在整张触控图像的第二特征信息基础上，协同边缘图像的第一特性信息，获得的图像特性信息可以更为准确地反映用户的触控手势。
113.在一些实施方式中，请参阅图15，步骤s420可以包括如下子步骤：
114.子步骤s425、在所述触控图像中生成多个锚框。
115.在触控图像中生成多个锚框，每个锚框中存在至少一个目标。
116.子步骤s426、对所述触控图像上的所述多个锚框中的每个锚框进行特征提取，获得多个锚框的图像特征信息。
117.其中，对每个锚框进行特征提取的方法与上述实施例相似，在上述实施方式中是对整张触控图像进行特征提取，在本实施方式中是对锚框中的图像进行特征提取，对触控图像上每个锚框均需进行特征提取，获取多个锚框每个锚框的图像特征信息。
118.步骤s430、根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式。
119.在一些实施方式中，根据所述图像特征信息确定产生所述触控区域的触控手势；若所述触控手势表征为单手触控，则调节所述触控屏的所述虚拟键盘的显示方式。
120.其中，请参阅图16，通过两个全连接层，其中一个用于获取位置信息，另一个用于获取触控手势，根据所述图像特征信息确定产生所述触控区域的触控手势包括如下子步骤：
121.子步骤s431、通过第一全连接层对所述多个锚框的图像特征信息进行识别，获得
所述多个锚框中每个锚框的位置信息。
122.其中，位置信息可以用锚框中心的坐标以及锚框的高度和宽度来表示。
123.例如，以触控屏所在的面建立坐标系，获得每个锚框的位置信息在该坐标系下的坐标可以为(x,y)，以及确定锚框的高度w和宽度h。
124.子步骤s432、通过第二全连接层对所述多个锚框的图像特征信息进行识别，获得所述多个锚框中每个锚框的触控手势。
125.其中，第二全连接层通过对多个锚框的图像特征信息进行识别，输出每个锚框对应的概率向量，通过概率向量表征每个锚框的触控手势。
126.子步骤s433、根据分类器对所述多个锚框中每个锚框的位置信息和所述多个锚框中每个锚框的触控手势进行处理，获得产生所述触控区域的触控手势。
127.通过分类器对第一全连接层和第二全连接层的处理结果进行分类，根据多个锚框的预测结果来推测最终的触控手势。
128.在另一些实时方式中，通过全连接层或者预先训练的分类器，对图像特征信息进行处理，获得概率向量从而确定产生触控区域的触控手势。
129.在另一些实施方式中，电子设备上安装有电磁波能量吸收比率传感器(specificabsorption rate sensor，简称sar sensor)，可以通过上述传感器直接确定按压区域，从而确定触控手势。例如，当在触控屏上的某区域，该传感器采集的数值大于预设值，确定该区域为触控区域，可选地，预设值可以为300。
130.在用户单手在电子设备的触控屏上的虚拟键盘上打字的场景中，例如，电子设备上安装有即时通讯软件，用户在即时通讯软件上登录用户账号，与账号中互为关联关系(可以理解为好友关系)的账号通信，用户单手(例如左手或右手)持电子设备，通过单手对电子设备进行触控操作，电子设备响应于用户在触控屏上的触控操作，生成触控图像，其中，触控图像上包括触控操作在触控屏上产生的触控区域的图像。由于用户单手操作电子设备，在触控屏上与单手侧相对的一侧的显示屏上的控件用户难以触控，因此，需要对虚拟键盘的显示方式进行调节，在触控屏上显示调节后的虚拟键盘，用户能够单手触控到调节后的虚拟键盘上的所有控件，提高检测到的输入数据的准确性。用户通过调节后的虚拟键盘打字时，如果用户的虎口或者手掌其他部位误触控到触控屏，则再次生成的触控图像中有误触控区域，由于误触控区域并非用户期望的，因此，电子设备对用户的误触控区域的触控操作不执行误触控区域的相应功能，进一步提高检测到的输入数据的准确性。
131.为实现上述触控方法的实施例，本实施例提供一种触控装置，图17是根据一示例性实施例示出的一种触控装置的框图，请参阅图17，触控装置100包括：触控模块110 以及调节模块120。
132.触控模块110，用于响应于用户在触控屏上的触控操作，生成触控图像，所述触控图像上包括所述触控屏上的触控区域的图像；
133.调节模块120，用于根据所述触控图像的图像特征信息，对所述触控区域进行校正和/或调节触摸屏的显示内容的显示方式。
134.可选地，调节模块120包括：目标区域确定模块以及第一调节模块。
135.目标区域确定模块，用于根据所述图像特征信息，从所述触控区域中确定所述用户的手指触控的目标区域；
136.第一调节模块，用于将所述触控区域校正为所述目标区域。
137.可选地，目标区域确定模块包括：第一目标确定模块以及第二目标确定模块。
138.第一目标确定模块，用于在所述触控区域包括两个分离的触控区域的情况下，根据每一所述触控区域的图像的形状特征信息，确定所述用户的手指触控的目标区域；
139.第二目标确定模块，用于在所述触控区域为连通区域的情况下，根据所述图像特征信息确定产生所述触控区域的触控手势，根据所述触控手势确定手持方向，并根据预设比例分割所述触控区域，获得分割出的与所述手持方向相对的一侧的区域作为所述目标区域。
140.可选地，触控模块110包括：触控图像生成模块。
141.触控图像生成模块，用于响应于用户在所述触控屏上的虚拟键盘的触控操作，生成所述触控图像。
142.调节模块120包括：第二调节模块。
143.第二调节模块，用于根据所述触控图像的图像特征信息，调节所述触控屏的所述虚拟键盘的显示方式。
144.可选地，第二调节模块包括：确定模块以及显示方式调节模块。
145.确定模块，用于根据所述图像特征信息确定产生所述触控区域的触控手势；
146.显示方式调节模块，用于若所述触控手势表征为单手触控，则调节所述触控屏的所述虚拟键盘的显示方式。
147.可选地，显示方式调节模块包括：尺寸缩小模块以及第一尺寸调节模块。
148.尺寸缩小模块，用于将所述虚拟键盘的尺寸进行缩小；
149.第一尺寸调节模块，用于在根据所述触控手势从所述触摸屏上确定的显示位置上显示缩小后的虚拟键盘。
150.可选地，所述虚拟键盘上包括多个控件，第二调节模块包括：控件类型确定模块以及第二尺寸调节模块。
151.控件类型确定模块，用于根据所述触控手势，从所述虚拟键盘上的所述多个控件中确定第一类控件、第二类控件和第三类控件，其中，所述第一类控件为所述触摸屏上手持方向的控件，所述第二类控件为所述触摸屏上与所述手持方向相对的一侧的控件；
152.第二尺寸调节模块，用于在虚拟键盘的尺寸不变的情况下，控制所述第一类控件的尺寸缩小、所述第二类控件的尺寸放大以及所述第三类控件的尺寸不变。
153.可选地，所述虚拟键盘上包括多个控件，显示方式调节模块包括：目标控件确定模块、删除模块以及第三尺寸调节模块。
154.目标控件确定模块，用于从所述虚拟键盘上的多个控件中确定目标控件；
155.删除模块，用于将所述多个控件中除目标控件外的控件进行删除，保留所述目标控件作为新的虚拟键盘；
156.第三尺寸调节模块，用于在虚拟键盘的尺寸不变的情况下，将所述新的虚拟键盘上的目标控件进行放大。
157.可选地，触控装置100还包括：特征提取模块。
158.特征提取模块，用于提取所述触控图像的图像特征信息。
159.可选地，特征提取模块包括：分割模块、第一特征信息提取模块、第二特征信息提
取模块以及拼接模块。
160.分割模块，用于分割所述触控图像，获得边缘图像；
161.第一特征信息提取模块，用于提取所述边缘图像的特征，获得第一特征信息；
162.第二特征信息提取模块，用于提取所述触控图像的特征，获得第二特征信息；
163.拼接模块，用于对所述第一特征信息和所述第二特征信息进行拼接，获得所述图像特征信息。
164.可选地，特征提取模块包括：生成模块以及锚框特征提取模块。
165.生成模块，用于在所述触控图像中生成多个锚框；
166.锚框特征提取模块，用于对所述触控图像上的所述多个锚框中的每个锚框进行特征提取，获得多个锚框的图像特征信息。
167.可选地，确定模块包括：第一识别模块、第二识别模块以及处理模块。
168.第一识别模块，用于通过第一全连接层对所述多个锚框的图像特征信息进行识别，获得所述多个锚框中每个锚框的位置信息；
169.第二识别模块，用于通过第二全连接层对所述多个锚框的图像特征信息进行识别，获得所述多个锚框中每个锚框的触控手势；
170.处理模块，用于根据分类器对所述多个锚框中每个锚框的位置信息和所述多个锚框中每个锚框的触控手势进行处理，获得产生所述触控区域的触控手势。
171.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
172.本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的触控方法的步骤。
173.图18是根据一示例性实施例示出的一种用于触控方法的电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
174.参照图18，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
175.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820 来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
176.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
177.电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管
理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
178.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800 处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
179.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804 或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
180.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
181.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件 814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
182.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc) 模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
183.在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
184.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
185.上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(integrated circuit，ic)或芯片，其中该集成电路
可以是一个ic，也可以是多个ic的集合；该芯片可以包括但不限于以下种类：gpu (graphics processing unit，图形处理器)、cpu(central processing unit，中央处理器)、 fpga(field programmable gate array，可编程逻辑阵列)、dsp(digital signal processor，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、soc (system on chip，soc，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的触控方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该处理器中，当该可执行指令被处理器执行时实现上述的触控方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的触控方法。
186.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的触控方法的代码部分。
187.本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
188.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。