计算机的手持式控制器、计算机的控制系统和计算机系统的制作方法

本发明涉及一种用于计算机的手持式控制器、一种包括两个手持式控制器的用于计算机的控制系统和一种包括两个手持式控制器和计算机的计算机系统。

背景技术：

用于控制计算机系统的已建立方法包含键盘、鼠标和触摸屏。所述方法具有缺点，这是因为其需要用户处于面向计算机的位置，例如在桌上使用键盘和鼠标。

便携式触摸屏装置可部分地解决这些问题。人们可以至少在握持屏幕并将其用作输入装置的同时移动，但即使计算机是移动的，这些装置仍需要人们使用屏幕以便控制计算机，这是因为主要控制接口在屏幕上。

此外，用于控制计算机的已建立方法不允许人将表达信息传达到计算机系统。尽管现有可佩戴计算机和智能手机使用陀螺仪、加速度计和心率传感器，但其缺少例如电子邮件和文件编制等复杂交互所需的高分辨率控制。

另外，用于控制计算机的已建立方法缺少人们用来传达情感的其它类型的装置(例如，乐器)的表达能力。举例来说，用于控制计算机的已建立方法可用于制作音乐，但不能够传达音符和应如何演奏音符。

陈述本发明以改进用于控制计算机系统的已建立方法。在本申请的上下文中，“计算机系统”应被广泛地解释为且可指能够以下文所描述的方式操作以便进行本发明的任何装置，包含pc、笔记本电脑、平板计算机、移动装置或游戏机。

技术实现要素：

根据第一方面，本发明提供一种用于计算机的手持式控制器，所述控制器具有前方区段和后方区段，且经构型为在使用时供用户手持，使得所述后方区段处于手背上方且所述前方区段处于手掌中，其中所述控制器适于接收多个用户输入，且其中所述前方区段包含用以接收来自用户手指的输入的用户接口，所述控制器进一步包括用于将与所述用户输入相关的数据发射到所述计算机的发射器。

优选地，所述控制器是大体上u形的，且所述前方和后方区段通过连结区段间隔开。

在优选实施例中，所述用户输入通过多个传感器转换成数据信号。所述控制器优选地进一步包括接收并处理所述数据信号以用于发射到所述计算机的处理器。

所述用户接口可以是小键盘、触摸板或触摸区域。所述用户接口可感测以下中的一个、一些或全部：用户手指的存在、用户手指的位置和通过用户手指施加的压力。所述用户接口优选地包括触摸板或触摸区域，所述触摸板或触摸区域包括压力传感器阵列。

在优选实施例中，所述控制器适于进一步接收与所述控制器的定向或移动相关的用户输入。所述控制器可包含用以确定所述控制器的所述定向和移动的陀螺仪和/或加速度计。

优选地，所述控制器的所述前方和后方区段经配置以便将所述控制器维持在用户的手上而不需要用户握持或以其它方式抓握所述控制器。在优选实施例中，这是通过以下操作来实现的：将所述前方和后方区段配置成在u形的开放端处靠得更近，以便使所述控制器握在用户的手上。优选地，可克服弹性偏置力将所述前方和后方区段推离其静止位置。

根据第二方面，本发明提供一种用于计算机的控制系统，所述控制系统包括第一手持式控制器和第二手持式控制器，所述第一手持式控制器是上文所论述的手持式控制器，其中所述第二控制器适于接收与所述第二控制器的定向或移动相关的用户输入，且进一步包括用于将与所述用户输入相关的数据发射到所述计算机的发射器。

所述第二控制器优选地包含用以确定所述第二控制器的所述定向和移动的加速度计和陀螺仪。在优选实施例中，所述第二控制器是上文所论述的手持式控制器。

根据第三方面，本发明提供一种计算机系统，其包括第一手持式控制器、第二手持式控制器和计算机，所述第一手持式控制器是上文所论述的手持式控制器，其中所述第二控制器适于接收与所述第二控制器的定向或移动相关的用户输入，且包括用于将与所述用户输入相关的数据发射到所述计算机的发射器，其中所述计算机从所述第一和第二控制器接收与所述用户输入相关的所述所发射数据，且取决于所述数据而进行预指派动作。

在本发明的所有方面的优选实施例中，发射到所述计算机系统的所述数据致使所述计算机系统进行一个或多个预指派动作。优选地，所述计算机辨识或学习用户所做出的手势，所述手势通过所述第一和/或第二手持式控制器而被感测到，且其中所述计算机针对每个辨识到的手势进行预指派动作。所述预指派动作可包括播放或更改音频声音，或改变所述音频声音的音调、音高、声调、音质或音量。

在本发明的所有方面的优选实施例中，所述计算机系统是乐器仿真器。

在至少其优选实施例中，本发明提供一种用于通过一组传感器远程控制计算机或移动装置的多参数无线、掌戴式(palmmounted)、低构型可佩戴接口。所述控制系统具有可分别使用或一起使用的两个主要组件。所述第一组件夹在手上。所述第一组件可由佩戴者通过同时使用身体运动、定向、压力和手指位置或抓取来操控。所述第二组件是可由佩戴者经由运动和定向来操控的装置。所述第二组件可类似于所述第一组件，或可以是具有更少输入的更简单的控制器。当同时使用两个控制器时，本发明提供一种用于计算机的“双手式”控制器。

本发明的控制器优选地产生单信道和多信道离散和连续控制信号两者并将其从用户的手发射到远程计算机或移动装置以用于一般实时人类计算机交互任务。其还可从远程计算机系统接收单信道或多信道信号。

接口经设计以使得其可用于通过可同时使用的多个触摸板、接触区域或按钮来控制任何数字设备，所述接口与从人的运动传达信号并将其直接抓取到计算机系统或移动装置的连续多信道压力和传感器系统组合。

本发明的控制器已经设计以使得佩戴者不需要注视它以便使用它或将其抓握在手中。非专业佩戴者可以自由地走来走去，并使用装置发送复杂、有意识的命令而不需要看到接口。其可通过应用基于机器学习的手势辨识和/或交互式预测性文字软件来替代现有鼠标和键盘组合。控制器可经配置以例如在已成功执行特定功能时，将触觉反馈提供给佩戴者从而将额外、非视觉反馈提供给用户。

本发明可以音乐控制器为特征以准许例如吉他等表达乐器的数字仿真。

附图说明

现在将仅借助于实例且参考附图描述本发明，在附图中：

图1展示根据本发明的第一手持式控制器在用户的手上的第一实施例，其中手掌侧可见；

图2展示根据本发明的第一手持式控制器在用户的手上的第二实施例，其中手掌侧可见；

图3展示任一实施例的手持式控制器的后方夹持区段，其中用户的手背可见；

图4展示任一实施例的手持式控制器的侧；

图5a和5b展示任一实施例的手持式控制器在未佩戴在用户的手上时的侧视图；

图6展示结合第一手持式控制器使用的第二手持式控制器；

图7展示本发明的包含第一手持式控制器的控制系统的电路框图；且

图8展示本发明的包含第二手持式控制器的控制系统的电路框图。

具体实施方式

图1和2展示根据本发明的第一手持式控制器100在用户的手上的实施例，其中手掌侧可见。两个实施例的前方区段110的总体形状是相同的。然而，第一实施例的第一控制器(图1)具备触摸板120，触摸板120具有两行四个离散接触区域121，而第二实施例的第一控制器(图2)具备一体式触摸区域120'。作为替代方案，可以具有离散按钮的小键盘的形式提供触摸板120。按钮可以类似于触摸板120的接触区域的配置布置在两行四个区域中。在替代实施例中，接触区域或按钮可布置在单行或多于两行(例如，3或4行)中。可在每行中提供任何适当数目个接触区域或按钮，例如每行2个、4个、6个或8个。

控制器100位于用户的手掌中，且经设计以使得用户的手指可以类似于触摸吉他指板上的弦的方式接触触摸板120或触摸区域120'。

图3展示第一控制器100的后方夹持区段130，且图4从侧面展示控制器，其中连结区段140清晰地可见。如从展示在未经佩戴时的控制器的图5a和5b可见，后方夹持区段130弯曲，且后方区段130与前方区段110之间的间隙朝向控制器100的开放端150或在开放端150处变窄，以使充足压力施加到用户的手以将控制器保持在大致位置。后方夹持区段130被弹性地支在弹簧上，使得第一控制器100滑动经过用户的手且夹到适当位置。

图6展示与第一手持式控制器100组合使用的第二手持式控制器200。如上文所提及，第二控制器可相同或类似于下文更详细描述的第一控制器100。然而，在此优选实施例中，第二控制器具有类似于吉他拨弦片或拨片的形状，且意图以类似方式来使用。表面经设计以由拇指和手指抓握。

两个手持式控制器100、200具有可由任何合适材料制成但通常由塑料材料制成的外壳。每个外壳含有电子件，如下文进一步所论述。将选择第一手持式控制器的材料的性质，以使得在装置放置在用户的手上时，控制器的总体设计展现上文所论述的弹性。

图7展示本发明的控制系统的电路框图。第一手持式控制器100的组件展示在虚线框100内，且计算机系统300的相关组件展示在虚线框300内。

第一控制器100包含大体上展示为160的供电电路系统，所述供电电路系统包含usb端口161、充电电路162、电池163、开关164、电力混合器或电源选择器165和电压调节器166。除了usb端口161，还可提供其它输入/输出端口，包含(例如)用于装载装置固件的数据通信端口。电池163优选地可充电，理想的是可经由usb端口充电，但其可由其它构件充电或可替代地是非可充电的。电力电路160以标准方式将电力提供到组件的其余部分。

第一控制器100还包含cpu170，cpu170可接入ram171和闪存器172。计算机系统300的控制数据从cpu170输出到闪存器172且经由蓝牙无线发射器180发射。cpu170需要能够在足够高以允许低时延连续发射的速度下运行控制器的软件系统。cpu170还具有永久存储器(未图示)，所述永久存储器需要足够大以容纳合适的操作系统和控制软件。

发射器180能够进行低时延连续发射(<35毫秒发射时间)，例如蓝牙4ble装置，或适合于低时延控制的任何其它类型的通信装置。电缆可用作替代方案。

第一控制器具有适合于到/来自cpu的多信道输入和输出的至少16个模拟或数字信道的阵列，例如，16个数字输入/输出，或8个模拟输入和8个数字输入/输出。

在第一控制器100内提供传感器阵列190，以使得用户对所述控制器作出的总移动和经由触摸板120或触摸区域120'的特定输入可转换成信号、视需要由cpu处理且发射到计算机系统300。按需要，使用模数转换器(adc)转换来自传感器的任何模拟信号。

传感器a(191)是加速度计，其优选地是六轴加速度计。传感器b(192)是陀螺仪。这两个传感器的组合允许追踪控制器的移动和定向。传感器c(193)示意性地表示来自触摸板120或触摸区域120'的输出，如下文进一步所论述。传感器d(194)表示特定应用可能需要的任何其它可适用传感器，包含(例如)磁力计(用于检测指南针方位)或生物识别传感器，例如指纹传感器。

很可能存在来自触摸板120、触摸区域120'或小键盘的多个输出，所述多个输出表示输入或所感测参数的可能较广范围。参数可包含以下中的一个或多个：接触(即，存在或不存在)、接触位置、接触压力。此类参数的组合将相比于简单开/关或存在/不存在参数更大程度的表达提供到输入装置。

在使用上文所提及的触摸板或区域的优选实施例中，输出可包括(a)每个接触点的坐标(例如，x、y坐标，或按钮/接触板标识符)，以及(b)在每个接触点处施加的接触压力(例如，z)。当接触存在于所述特定点处时，可持续更新接触压力。替代地，触摸板或区域可仅包括压力传感器阵列，每个传感器持续输出压力值(其可以是零)。可确定传感器输出非零压力值的接触点。接触压力可表达为绝对值，或表达为归一化标度上的值。

计算机系统300的相关组件展示在虚线框300内。所述组件包含主机cpu301、ram302和软件解译器303。软件解译器303可执行任何必要功能，但在此优选实施例中，所述软件解译器是获取与用于手势辨识的机器学习组合的连续和离散控制信息且产生声音的吉他合成器。经由蓝牙无线接收器304接收从第一控制器100发射的数据。

图8展示本发明的包含第二手持式控制器200的组件的控制系统的电路框图，所述组件展示在虚线框200内。计算机系统300的与图7中相同的相关组件展示在虚线框300内，其包含主机cpu301、ram302、软件解译器303和蓝牙无线接收器304。

第二手持式控制器200通常会与第一手持式控制器100组合使用，在此情况下，蓝牙无线接收器304将从第一控制器100及第二控制器200两者接收数据信号。可针对每个控制器提供单独数据信道或数据信道的群组。

第二控制器200包含大体上展示为260的供电电路系统，所述供电电路系统包含usb端口261、充电电路262、电池263、开关264、电力混合器或电源选择器265和电压调节器266。除了usb端口261，还可提供其它输入/输出端口，包含(例如)用于装载装置固件的数据通信端口。电池263优选地可充电，理想的是可经由usb端口充电，但其可由其它构件充电或可替代地是非可充电的。电力电路260以标准方式将电力提供到组件的其余部分。

第二控制器200还包含cpu270，cpu270可接入ram271和闪存器272。计算机系统300的控制数据从cpu270输出到闪存器272且经由蓝牙无线发射器280发射。cpu270需要能够在足够高以允许低时延连续发射的速度下运行控制器的软件系统。cpu270还具有永久存储器(未图示)，所述永久存储器需要足够大以容纳合适的操作系统和/或控制软件。

发射器280能够进行低时延连续发射(每数据块<35毫秒发射时间)，例如蓝牙4ble装置，或适合于低时延控制的任何其它类型的通信装置。电缆可用作替代方案。

控制器具有适合于多信道输入和输出的至少16个模拟或数字信道的阵列，例如，到/来自cpu的16个数字输入/输出，或8个模拟输入和8个数字输入/输出。

在第二控制器200内提供传感器阵列290，以使得用户对所述控制器作出的总移动可转换成信号，视需要由cpu处理且发射到计算机系统300。按需要，使用模数转换器(adc)转换来自传感器的任何模拟输出。传感器a(291)是加速度计，其优选地是六轴加速度计。传感器b(292)是陀螺仪。

不同于第一控制器100，第二控制器200不包含压力传感器。另外，第二控制器200不具有触摸板、触摸区域或小键盘。当然，有可能向第二控制器200提供此类额外用户输入装置，或有可能提供相同或类似于第一控制器100的第二控制器，在此情况下，框图会极类似于针对第一控制器100的图7。特定应用可能需要的任何其它可适用传感器(包含(例如)磁力计)可包含在第二控制器200中。

每个手持式控制器和/或系统的软件要求一般如下：

●用于接入和控制控制器上的所有硬件的计算机固件和操作系统。

●用于从传感器阵列接收信号并通过线或无线地将其发送到单独计算机系统的低时延输入和输出软体套件。

●用于解译来自装置自身上或待控制的单独计算机系统上的传感器阵列的数据的机器学习和信号处理层。这允许将系统用作手势辨识器以用于增加可能的装置交互的数目。

●在待控制的机器上的驱动器软件。

●供终端用户使用的伴随应用。

每个控制器还可控制依赖于连续信号的任何软件系统(例如，鼠标指针、滑块或类似物)。

可以数种方式使用第一手持式控制器100，如下文所进一步论述。

可使用触摸板120或触摸区域120'来代替传统计算机键盘。在触摸板120的情况下，机器学习层可使得音调‘移位’功能可用，从而将八个触摸区域的使用数目增加到任何数目个离散按键输入，其中可同时使用八个触摸区域。另外，压力传感器阵列可提供对离散信号的细粒度控制，且还可以同一方式用作传统指向装置(例如，鼠标)。以此方式，可使用装置将文字键入计算机或移动装置上。

并且，系统可使用包含触摸板或触摸区域上的手指接触点和手指接触压力的传感器数据以传达人抓取的强度和特性。这可用于传达情感和表达，举例来说，这可自动增大表情符的快乐或悲伤。

基于压力和运动的表达检测系统还可用于增强预测性文字软件的表现，从而提供关于人的更深情境信息。

基于手掌的控制系统可在可使用传统键盘和/或鼠标的任何和所有情形中用作控制器，包含以下情境中的任一种：控制计算机游戏，经由虚拟现实头戴式装置控制游戏或电影，控制音乐软件，控制视频编辑软件，控制音乐编辑软件，编辑相片，计算机辅助设计软件，设计网站，键入消息、字母、电子邮件和文件，以及使用其它形式的软件。

第一手持式控制器还可用作任何无线电或网络可控制系统的远程控件，所述无线电或网络可控制系统包含汽车、无人机、电视、hi-fi系统、航天器、卫星、机器人系统和接触点，例如nfc付费系统。

第一手持式控制器还可在沉浸式虚拟环境中用作导航工具。

第一手持式控制器可通过追踪用户的手的运动和定向而与其它物理装置(例如，小提琴、高尔夫俱乐部、网球球拍、板球棒)一起工作。

本发明的控制系统的一种优选用途在于音乐表演、作曲、录音和制作中的特定情境。在第一控制器100佩戴在手掌中且与拨弦片形状的第二控制器200组合的情况下，本发明的系统可由人用来选择音符或音乐和弦并产生音乐情感信息，例如颤音、音量、震音、音符长度、音符频率、音符速度、音符起音(noteattack)、音符下降、音符维持(notesustain)和任何其它合成器参数。

如下文将进一步论述，本发明的控制系统的优选用途在于对吉他的仿真。拨弦片形状的第二控制器200还可用于模拟和控制吉他弹奏者的声音的其它方面，例如震音效应、弦减震和拨弦片滑动。

控制系统还可用于指示音调的变化、寄存器的变化、声音有多高或多低、声音应变化到什么程度，和应选择何种声音。这允许将本发明的系统用作虚拟吉他控制器。这还允许将本发明的系统用于以模仿其它虚拟弦乐器的物理控制方法的方式控制软件，所述虚拟弦乐器例如来自提琴家族的虚拟弦乐器，包含小提琴、中提琴、大提琴、低音提琴和经撞击、敲击、弯曲、振动或用单手使其发出声音同时用另一只手控制的任何其它弦乐器。

本发明还可用作虚拟打击或虚拟调音打击控制器，从而允许佩戴者演奏成套鼓、定音鼓、管钟、木琴、钢琴和其它键盘乐器。

本发明还可通过添加麦克风而用作虚拟管乐器控制器，用户以多种方式吹到麦克风上以实现所要声音。

现在将更详细地描述本发明的控制系统在于吉他模式中使用时的优选实施例。将描述三个组件：掌戴式键盘(第一控制器100)、拨弦片(第二控制器200)和软件。

拨弦片200由定制的pcb和安装在塑料外壳内部的电池组成。电池可经由微usb插口充电。在板上存在两个关键组件：运动传感器和组合的微控制器与蓝牙4发射器。运动传感器经由i2c串行接口连接到微控制器。其具有六个运动感测轴：3轴加速度计和3轴陀螺仪。在微控制器上运行的程序从运动传感器收集数据且经由蓝牙在大致40hz、16位分辨率下将其发射到所连接装置。

掌戴式键盘100具有与拨弦片完全相同的硬件，除了添加了键盘。键盘具有连接到微控制器上的八个模拟输入的八个压敏板。微控制器上的程序通过测量每个模拟输入处的电压而重复获取来自八个板的压力读数。其在40hz、16位分辨率下将此数据连同运动传感器数据发射到所连接计算机系统或移动装置。压力传感器经校准以响应在典型人类触摸的范围内的力。

软件在具有蓝牙4收发器和音频回放系统的计算机系统或移动装置上运行。当开始软件时，其为拨弦片和键盘搜索蓝牙4网络，并连接到拨弦片和键盘。从现在起，其从这些装置接收连续数据流。在吉他模式中，拨弦片用于触发离散音频事件，且键盘用于确定这些事件听起来如何。除此之外，来自两个装置的运动传感器数据用于修改这些声音。

演奏者移动拨弦片以通过类似于正常吉他拨弦片的方式演奏音符。为了检测来自拨弦片的扫弦或拨弦事件，软件观察来自陀螺仪的读数，并用自适应起始检测器来处理数据流。当起始检测器检测新的事件时，软件将播放声音样本，对声音样本的选择是通过掌戴式键盘的状态来确定。

为了确定应播放何种声音，软件使用一组起始检测器来观察从掌戴式键盘装置发射的八个压力值。如果起始检测器针对特定压敏板而触发，那么播放的下一声音将是映射到此板的声音。软件提供歌曲范围，每个歌曲具有映射到每个板的不同样本集合。这些样本可以是具有不同音高或声调质量的和弦或单个音符。

除了触发声音之外，来自板的压力数据还用于修改声音的声调质量。举例来说，更用力地按压板会使得声音更响。此修改可作为单个事件或在声音的持续时间内持续发生。举例来说，作为单个事件，在开始回放声音时的压力读数将在其全部持续时间内设置回放样本的恒定音量。作为连续控制器，压力读数将(例如)允许演奏者在声音播放时控制哇音(wah-wah)效应。

可通过基于机器学习的手势辨识器观测到来自任一控制器的运动数据以触发事件。举例来说，如果演奏者在佩戴键盘的情况下对其手腕进行快速的来回旋转，那么软件将变化成不同的预定声音集合。如果演奏者进行拨弦片仿真在吉他上擦弦的运动，那么软件将播放对应声音。

软件允许演奏者自由演奏，或根据引导音轨或背景音轨演奏。在后一种情况下，软件可显示指示演奏者演奏什么的动画注释。