基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置

本公开涉及人机交互领域，尤其涉及一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置、被控设备、存储介质。

背景技术：

1、现有的电子设备大多需要用户使用肢体进行交互，这对于肢体残疾的用户来说存在极大的不便。因此拓展人机交互的新型交互方式，满足肢体残疾的用户的日常生活需求，提升患者的生活质量水平有着重要意义。目前已有许多不依赖肢体运动的人机交互方式被提出，包括脑机交互、眼控交互、语音交互等方式，拓展了人类对于机器的控制能力。

2、与上述不依赖肢体运动的人机交互方式相比，舌头具有拓展人机交互的新型交互方式的天然优势。首先，控制舌头的舌下神经属于脑神经，在脊髓损伤及大多数神经肌肉疾病中，通常不会受到严重损伤。第二，舌头不占用我们的肢体器官，且舌头经过训练能够形成肌肉记忆，对脑力负担小。第三，舌头具备强大的运动能力，同时还具有很强的抗疲劳性，使用舌头进行人机交互时对用户的体力负担更小。第四，舌头位于口内，具有天然的隐秘性，不易受外界干扰。基于舌头的上述优点，如果得到合适的利用，就可以把它打造成为肢体残疾用户隐藏在口腔内的“第三只手”。

3、现有技术中能够采集舌头动作信息的电子设备往往采用个别传感器，没有充分利用不同传感器之间的位置关系和空间信息。因此，连续、均匀的传感器数据获取在现有技术中还没有实现。且现有技术将每个传感器的单独输出映射为单一控制指令，可准确识别的舌头动作过于单一，基于舌头动作可映射得到的控制指令也有限，导致人机交互方式难以扩展的问题。现有技术的电子设备体积通常较大，不够隐蔽。综上所述，在实现基于舌头的人机交互方面尚有提升空间。

技术实现思路

1、有鉴于此，本公开提出了一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置、被控设备、存储介质。本公开实施例的电子设备使用大密度的传感器面阵列采集数据，因此采集到的信息量和数据的均匀性、连续性大大提升，可准确识别的舌头动作更多，可以映射为不同的控制指令，也可以检测到连续、全方向的坐标变换。且该电子设备体积较小易于佩戴，舒适性和隐蔽性更好。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户，使得人机交互的选择更多。

2、根据本公开的一方面，提供了一种基于压力传感器的用于舌机交互的电子设备，包括传感器面阵列、控制部件、供电部件和佩戴部件，所述传感器面阵列上的传感器数量大于第一阈值，所述传感器面阵列贴合于用户的上颚部，在所述控制部件的控制下，所述传感器面阵列上的各传感器分别采集压力值并传输至所述控制部件；所述佩戴部件嵌合在用户的牙齿上，所述传感器面阵列、所述控制部件和所述供电部件设置在所述佩戴部件上；所述供电部件为所述传感器面阵列和所述控制部件供电；所述控制部件以无线传输方式将所述压力值传输给被控设备，所述被控设备对所述压力值进行解析确定目标控制方式，执行所述目标控制方式对应的操作。

3、在一种可能的实现方式中，在使用过程中，所述电子设备整体位于口腔中。

4、在一种可能的实现方式中，所述传感器面阵列使用柔性可弯折压力感应薄膜制作。

5、在一种可能的实现方式中，所述控制部件包括切换单元、通信单元，所述切换单元用于按顺序扫描所述传感器面阵列上的传感器，所述传感器被扫描时采集压力值并输出至所述通信单元；所述通信单元用于传输所述压力值到所述被控设备。

6、根据本公开的另一方面，提供了一种基于压力传感器的用于舌机交互的数据处理方法，应用于上述被控设备，所述方法包括：从电子设备处接收多个压力值，并确定接收到的每个压力值对应的坐标值；解析所述压力值和所述坐标值，确定所述传感器面阵列的接触中心点的压力值和坐标值；根据接触中心点的压力值和坐标值，确定用户对所述被控设备的目标控制方式；执行所述目标控制方式对应的操作。

7、在一种可能的实现方式中，所述解析所述压力值和所述坐标值，确定所述传感器面阵列的接触中心点的压力值和坐标值，包括：对所述压力值进行预处理，去除所述压力值中的噪声和基线漂移；从预处理后的压力值中选择大于第二阈值的压力值，根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域；根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值，确定所述接触中心点的压力值和坐标值。

8、在一种可能的实现方式中，所述坐标值包括第一方向坐标和第二方向坐标，所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值，确定所述接触中心点的压力值和坐标值，包括：针对所述接触区域覆盖的每一坐标值，将该坐标值对应的压力值作为权值，分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理，得到该坐标值对应的第一方向加权坐标和第二方向加权坐标；对所有第一方向加权坐标求和得到第一和值，对所有第二方向加权坐标求和得到第二和值，对所有选择出的压力值求和得到第三和值；根据所述第一和值与所述第三和值的比值，得到接触中心点的第一方向坐标；根据所述第二和值和所述第三和值的比值，得到接触中心点的第二方向坐标；根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值；根据选择出的压力值的最大值得到所述接触中心点的压力值。

9、在一种可能的实现方式中，所述根据接触中心点的压力值和坐标值，确定用户对所述被控设备的目标控制方式，包括：根据预设时间段内所述触控中心点的压力值和坐标值的变化方式，确定用户的舌头动作；将与所述舌头动作对应的控制方式确定为所述目标控制方式；其中，所述舌头动作包括单击、双击、长按、滑动中的一种。

10、在一种可能的实现方式中，所述目标控制方式包括针对所述被控设备整体的目标控制方式，以及针对所述被控设备上的可移动对象的目标控制方式。

11、根据本公开的另一方面，提供了一种基于压力传感器的用于舌机交互的数据处理装置，应用于上述被控设备，所述装置包括：第一确定模块，用于从电子设备处接收多个压力值，并确定接收到的每个压力值对应的坐标值；第二确定模块，用于解析所述压力值和所述坐标值，确定所述传感器面阵列的接触中心点的压力值和坐标值；第三确定模块，用于根据接触中心点的压力值和坐标值，确定用户对所述被控设备的目标控制方式；执行模块，用于执行所述目标控制方式对应的操作。

12、在一种可能的实现方式中，所述解析所述压力值和所述坐标值，确定所述传感器面阵列的接触中心点的压力值和坐标值，包括：对所述压力值进行预处理，去除所述压力值中的噪声和基线漂移；从预处理后的压力值中选择大于第二阈值的压力值，根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域；根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值，确定所述接触中心点的压力值和坐标值。

13、在一种可能的实现方式中，所述坐标值包括第一方向坐标和第二方向坐标，所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值，确定所述接触中心点的压力值和坐标值，包括：针对所述接触区域覆盖的每一坐标值，将该坐标值对应的压力值作为权值，分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理，得到该坐标值对应的第一方向加权坐标和第二方向加权坐标；对所有第一方向加权坐标求和得到第一和值，对所有第二方向加权坐标求和得到第二和值，对所有选择出的压力值求和得到第三和值；根据所述第一和值与所述第三和值的比值，得到接触中心点的第一方向坐标；根据所述第二和值和所述第三和值的比值，得到接触中心点的第二方向坐标；根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值；根据选择出的压力值的最大值得到所述接触中心点的压力值。

14、在一种可能的实现方式中，所述根据接触中心点的压力值和坐标值，确定用户对所述被控设备的目标控制方式，包括：根据预设时间段内所述触控中心点的压力值和坐标值的变化方式，确定用户的舌头动作；将与所述舌头动作对应的控制方式确定为所述目标控制方式；其中，所述舌头动作包括单击、双击、长按、滑动中的一种。

15、在一种可能的实现方式中，所述目标控制方式包括针对所述被控设备整体的目标控制方式，以及针对所述被控设备上的可移动对象的目标控制方式。

16、根据本公开的另一方面，提供了一种被控设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

17、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

18、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在被控设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

19、根据本公开实施例的电子设备，通过设置传感器面阵列、控制部件、供电部件和佩戴部件，传感器面阵列贴合于用户的上颚部，传感器面阵列上的传感器数量大于第一阈值，使得传感器面阵列可成为大范围的、高灵敏的交互界面，具备更强的数据采集能力；在控制部件的控制下，传感器面阵列采集压力值并传输至控制部件，因此采集的压力值的信息量更多、更连续、更均匀；佩戴部件嵌合在用户的牙齿上，传感器面阵列、控制部件和供电部件设置在佩戴部件上，可实现一步佩戴和摘取，电子设备的使用更便捷，提升穿戴的舒适性和隐蔽性；控制部件以无线传输方式将压力值传输给被控设备，被控设备对压力值进行解析确定用户对被控设备的目标控制方式，执行目标控制方式对应的操作，可以实现人机交互功能。综上所述，本公开实施例的电子设备使用大密度的传感器面阵列采集数据，因此采集到的信息量和数据的均匀性、连续性大大提升，可以检测到舌头的连续、全方向的坐标变换，进而能够提升识别舌头的动作意图的准确度以及可准确识别的舌头动作的数量。不同的舌头动作可以映射为不同的控制指令，可映射得到的控制指令的多样性和数量也得以提升。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户，使得人机交互的选择更多。

20、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。