可视化的辅助口轮匝肌功能训练的方法与设备

1.本发明涉及医用治疗康复设备和生物医学工程领域，尤其涉及一种可视化的辅助口轮匝肌功能训练的方法与设备。


背景技术：

2.上气道是指气流从鼻孔吸入到气管入口所经过的通道，包括鼻腔、鼻咽腔、口咽腔和喉咽腔。上气道的各段都有可能发生阻塞，其中鼻炎、扁桃体和/或腺样体肥大是最主要原因。腺样体肥大在5～14岁儿童及青少年人群中的患病率约为34％，而过敏性鼻炎的发生率就更高了。由于鼻腔、鼻咽腔完全或不完全被阻塞，气流则完全或部分经由口腔、口咽腔、喉咽腔进入下气道，即患儿出现口呼吸代偿。
3.长期的张口习惯，导致患儿唇肌松弛，甚至上下唇外翻无法闭合，下颌后缩，气流刺激口腔，形成高拱而狭窄的硬腭，下颌骨愈发向后、下生长。此外，气流的冲击迫使舌体下垂位，上颌后牙颊腭侧肌力不平衡，造成上牙弓的狭窄；加之唇肌的无力，使得上前牙前突，形成前牙深覆盖，即常说的“腺样体面容”。
4.通过手术切除扁桃体和/或腺样体可以去除上气道阻塞的病因，但由于长期的张口呼吸使闭唇肌功能降低，大多患儿术后双唇仍无法自然闭合，因此术后通过口轮匝肌肌功能训练破除张口习惯是治疗的重点之一。
5.由于训练动作需要达到一定的标准，且现阶段训练的评估主要依靠主观上判断动作到位与否，缺乏客观统一的标准。此外，习惯的养成是一个长期的过程，单一重复的训练动作对于儿童往往过于枯燥乏味，难以引起他们的兴趣，使他们无法专注于训练，从而坚持训练较为困难，训练效果较差。


技术实现要素：

6.有鉴于上述技术问题，本发明提供了一种可视化的辅助口轮匝肌功能训练的方法，所述方法包括：
7.获取训练者训练时的口部状态信息；
8.根据训练项目在显示装置上显示或触发显示相应的目标图形；
9.根据所述口部状态信息限定所述目标图形的形态。
10.进一步地，所述口部状态信息由采集自训练者的口轮匝肌表面的肌电信号和/或上下唇之间的压力信号所限定。
11.进一步地，所述训练项目是抿线训练时，根据所述肌电信号限定所述目标图形的长度的减小。
12.进一步地，当所述训练项目是抿唇训练时，根据所述压力信号限定所述目标图形的长度。
13.进一步地，当所述训练项目是发“啵”音时，根据所述压力信号限定所述目标图形的大小，根据所述肌电信号限定所述目标图形的移动距离。
access memory,ram)和/或非易失性内存等形式，如只读存储器(read only memory,rom)或闪存(flash memory)。内存是计算机可读介质的示例。
35.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-change memory,pcm)、可编程随机存取存储器(programmable random access memory,pram)、静态随机存取存储器(static random-access memory,sram)、动态随机存取存储器(dynamic random access memory,dram)、其他类型的随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory,eeprom)、快闪记忆体(flash memory)或其他内存技术、只读光盘只读存储器(compact disc read-only memory,cd-rom)、数字多功能光盘(digital versatile disc,dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
36.本发明所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程逻辑器件(programmable logic device,pld)、现场可编程门阵列(field programmable gate array,fpga)、数字信号处理器(digital signal processor,dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloud computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(ad hoc network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
37.当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
38.在本发明的实施方式的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
39.如图1所示，本发明的一个实施例的可视化的辅助口轮匝肌功能训练的方法包括：
40.s100、训练项目动作的初始化；
41.s200、选择训练项目；
42.s300、采集口部状态信息；
43.s400、根据口部状态信息控制可视化的目标图形；
44.s500、训练结束。
45.本实施例中，通过在训练者的口轮匝肌表面设置肌电电极以采集肌电信号，优选
地采用多个肌电电极设置于口轮匝肌表面的不同位置，如采用8个肌电电极，其中4个设置在上唇上方的口轮匝肌表面，4个设置在下唇下方的口轮匝肌表面，对于设置肌电电极的具体数量在此不做限制；在训练者的上下唇间设置压力传感器以采集压力信号，从而基于上述肌电信号和压力信号来获得训练者在训练时的口部状态信息。
46.对于采集自肌电电极和压力传感器的原始信号，需要经过信号调理，如肌电电极采集的原始肌电信号，其有效信号的频率范围在20～500hz，通过设置相应的放大滤波器，以截取出这部分有效信号，以及对于50hz/60hz的工频干扰，设置相应的陷波滤波器去除；对于压力传感器的输出信号往往会设置信号放大电路。将上述经调理的信号经过数模转换后，可以在数据处理系统中进一步对数据进行处理，本实施例中所称的“肌电信号”和“压力信号”表示已经过数模转换后的数字信号。
47.在申请号为202110359579.0、发明名称为“一种联合肌电和压力信号的唇形传感器装置”的中国发明专利申请中提供了一种联合肌电和压力信号的唇形传感器装置，便于训练者佩戴以及将肌电电极和压力传感器一体化地设置于口部的检测位置，并且能够提供经调理的数字信号，适于作为本实施例的训练者口部状态信息的采集装置使用。当然在应用本发明的方法时，也可以使用其它方式设置肌电电极和压力传感器，在此不做限制。
48.本实施例中的口轮匝肌功能训练的内容包括：
49.1、抿线训练：取一根消毒棉线(建议50厘米长)，将一端含入口内，用唇肌的力量将这根棉线抿入口内；
50.2、抿唇训练：训练者将一稍有厚度、重量且表面平整的物品(如玉佩)置于双唇之间，用力抿住物件(不能用前牙咬住)，且在嘴唇松开时能自然掉落即可；
51.3、发“啵”音：训练者上下唇分别包住上、下前牙，抿住双唇(正面观察不能看到上下唇红)停留3～5秒后用力向外，发出“啵”的一声。
52.训练者装置肌电电极和压力传感器后，在首次训练前，需进行训练项目所涉及的动作的初始化操作，以获得肌电信号对应于相应动作的动作阈值以及压力信号对应于相应动作的压力阈值。优选地，可以对采集的肌电信号和压力信号做进一步的滤波降噪处理，如采用小波降噪等方式。对于肌电信号的动作阈值，可以通过高斯分布法或是样本熵法获取；对于压力信号的压力阈值，可以通过幅值均值的方法获取。
53.完成动作的初始化操作后，在执行本实施例的方法的终端设备上选择相应的训练项目，终端设备能够连接显示装置或终端设备自带显示装置，从而可向训练者展示与口轮匝肌功能训练相配合的图形界面。终端设备可采用电脑、平板、手机、机顶盒等。
54.当选择的训练项目是抿线训练时，显示装置上显示的图形界面中包括与抿线训练相配合的目标图形，并根据采集到的肌电信号来限定目标图形的长度的减小。
55.本实施例中提供了一种“吃面条”游戏以配合抿线训练，其控制原理是基于肌电信号的控制，具体是通过量化传感器采集到的表面肌电信号的特征，通过特征控制游戏环境中人物吃面条的长度变化。
56.如图2和图3所示，图形界面中显示儿童口吸面条的画面，在训练者进行抿线训练的过程中，对采集的肌电信号进行特征提取，如肌电能量值或样本熵值，当提取的特征值达到相应动作的动作阈值时，反映于图形界面中儿童吸面条的动作，使面条的长度相应地减小，从而可通过提取的特征值控制图形界面中面条长度的减小。对于训练者而言，在其将棉
线含入口中时，图形界面中面条的长度也相应地缩短。当训练结束后，保存训练数据并在图形界面中显示与训练相关的统计数据，如训练时长、吃面条的总长度、评估的平均肌力值、训练得分等，也可以在界面中设置查看历史训练结果和统计分析结果的入口。
57.在抿线训练过程中，有实时图像的反馈有助于训练者规范训练动作，如动作不符合要求会影响面条长度的减小，持续的规范动作有助于形成训练习惯，增强了训练效果；可视化的辅助也有助于提高训练者的关注度和积极性，尤其对于儿童来说更增添了趣味性。
58.优选地，对采集的肌电信号可预先进行滤波降噪处理，如采用小波降噪等方式。
59.在一些实施例中，肌电信号的特征值从最优通道中提取，最优通道为多通道中信噪比最高的通道。
60.在一些实施例中，在选择抿线训练时还可以设置训练的强度，如设定训练的时间、面条减少的总长度等训练目标。当达到训练目标时，在图形界面上显示训练结束提示或训练结果。
61.当选择的训练项目是抿唇训练时，显示装置上显示的图形界面中包括与抿唇训练相配合的目标图形，并根据采集到的压力信号来限定目标图形的长度。
62.本实施例中提供了一种“压弹簧”游戏以配合抿唇训练，其控制原理是基于压力信号的控制，具体是通过量化传感器采集到的压力信号的平均幅值，以控制游戏环境中人物压弹簧的高度，使弹簧保持在规定被压高度范围内。
63.如图4和图5所示，图形界面中显示弹簧木马的画面，在训练者进行抿唇训练的过程中，对采集的压力信号进行特征提取，如幅值均值，当提取的特征值达到该动作的压力阈值时，图形界面中弹簧会被压缩而长度减小，从而提取的特征值可反映于图形界面中的弹簧长度。对于训练者而言，在抿唇过程中，力度的大小可以实时地被图形界面中弹簧的长度(或者是弹簧的压缩量)所反映。当训练结束后，保存训练数据并在图形界面中显示与训练相关的统计数据，如训练时长、达标时间、评估的平均肌力值、训练得分等，也可以在界面中设置查看历史训练结果和统计分析结果的入口。
64.在抿唇训练过程中，有实时图像的反馈有助于训练者在训练时调整和保持抿唇的力度，如力度不足时弹簧不被压缩或压缩量很小，又如抿唇力度减弱后图形界面中弹簧长度相应回复，从而提醒训练者加强抿唇的力度。同样地，可视化的辅助也有助于提高训练者的关注度和积极性，尤其对于儿童来说更增添了趣味性。
65.优选地，对采集的压力信号可预先进行滤波降噪处理，如采用小波降噪等方式。
66.在一些实施例中，在选择抿唇训练时还可以设置训练的强度，如设定训练的时间、达标时间、难度等级等训练目标。难度等级可以被设置为与弹簧的压缩量相关，当达到相应等级预设的压缩量时才认定动作达标，并据此计算达标时间。当达到训练目标时，在图形界面上显示训练结束提示或训练结果。
67.当选择的训练项目是发“啵”音时，显示装置上显示的图形界面中会显示或触发显示与发“啵”音相配合的目标图形，并根据采集到的压力信号限定目标图形的大小，根据采集到的肌电信号限定目标图形的移动距离。
68.本实施例中提供了一种“吹泡泡”游戏以配合发“啵”音训练，其控制原理是肌电信号和压力信号的控制，具体是通过量化传感器采集到的肌电信号的特征和压力信号的平均幅值，通过压力信号的平均幅值控制游戏环境中人物吹出泡泡的大小，即泡泡的直径，通过
肌电信号特征控制游戏环境中的人物吹出泡泡的距离。
69.如图6和图7所示，图形界面中显示孩童吹泡泡的画面，在发“啵”音训练过程中，对采集的肌电信号和压力信号进行特征提取，如肌电信号的肌电能量值或样本熵值，压力信号的幅值均值。
70.在训练者抿住双唇时，当压力信号提取的特征值达到该动作的压力阈值时，图形界面中的孩童可以吹出泡泡，并且特征值的大小可控制泡泡的大小(如改变泡泡的直径)。在训练者双唇向外发出啵音时，根据肌电信号提取的特征值所达到的相应动作的动作阈值，反映于图形界面中泡泡被吹出的距离。对于训练者而言，发“啵”音的动作，可以通过图形界面中泡泡的大小和被吹出的距离所反映。当训练结束后，保存训练数据并在图形界面中显示与训练相关的统计数据，如训练次数、达标次数、评估的平均肌力值、训练得分等，也可以在界面中设置查看历史训练结果和统计分析结果的入口。
71.在发“啵”音训练过程中，有实时图像的反馈有助于训练者在训练时调整抿唇的力度以及发音时的动作，同时也能够提高训练者的关注度和积极性，尤其对于儿童来说更增添了趣味性。
72.优选地，对采集的肌电信号和压力信号可预先进行滤波降噪处理，如采用小波降噪等方式。
73.在一些实施例中，肌电信号的特征值从最优通道中提取，最优通道为多通道中信噪比最高的通道。
74.在一些实施例中，在选择发“啵”音训练时还可以设置训练的强度，如设定训练次数、达标次数、难度等级等训练目标。难度等级可以被设置为与吹泡泡的大小和/或吹出距离相关，当达到相应等级预设的泡泡大小和/或吹出距离时才认定动作达标，并据此计算达标次数。当达到训练目标时，在图形界面上显示训练结束提示或训练结果。
75.本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
76.本实施例还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
77.本实施例还提供了一种计算机设备，所述计算机设备包括：
78.一个或多个处理器；
79.存储器，用于存储一个或多个计算机程序；
80.当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
81.图8示出了可被用于实施本发明中所述的各个实施例的示例性系统。
82.如图8所示，在一些实施例中，系统1000能够作为各所述实施例中的任意一个用户终端设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本发明中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
83.对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件
提供任意适当的接口。
84.系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
85.系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(ddr4 sdram)。
86.对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备1020及(一个或多个)通信接口1025提供接口。
87.例如，nvm/存储设备1020可被用于存储数据和/或指令。nvm/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hard disk,hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
88.nvm/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
89.(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
90.对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
91.在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
92.需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
93.另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。
本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
94.通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
95.作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
96.在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
97.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。