专利名称：人机互动系统和方法
技术领域：
本发明涉及一种人机互动技术，特别是涉及一种人机互动系统和方法。
背景技术：
随着科技的进步，电子设备所具有的智能化程度越来越高，利用声音对电子设备进行控制是当前电子设备向智能化发展的一个重要方向。目前对电子设备进行声控的实现方式通常是建立在语音识别的基础上的。该实现方式具体为:电子设备对控制者发出的声音进行语音识别，并根据语音识别结果来判断控制者希望电子设备执行的控制命令，之后，电子设备通过自动执行该控制命令，实现了电子设备的声控。发明人在实现本发明过程中发现:现有的对电子设备的控制技术的实现方式较单
一，不够灵活。有鉴于上述现有的对电子设备的控制方式存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新的人机互动系统和方法，能够克服现有的对电子设备的控制方式存在的问题，使其更具有实用性。经过不断的研究、设计，经过反复试作样品及改进后，终于创设出确具实用价值的本发明。
发明内容
本发明的目的在于，克服现有的对电子设备的控制实现方式存在的缺陷，而提供一种新型结构的人机互动系统和一种新的人机互动方法，所要解决的技术问题是，使电子设备的控制方式具有多样性以及趣味性，非常适于实用。本发明的目的以及解决其技术问题可以采用以下的技术方案来实现。依据本发明提出的一种人机互动系统，包括:声音捕捉装置、体感控制装置和控制装置；所述声音捕捉装置，用于拾取声音，并输出拾取的声音的音频信号；所述体感控制装置，用于产生体感控制信号，并输出；所述控制装置与所述声音捕捉装置和所述体感控制装置连接，所述控制装置接收所述音频信号和体感控制信号，根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。本发明的目的以及解决其技术问题还可以采用以下的技术措施来进一步实现。较佳的，前述的人机互动系统，其中所述体感控制装置包括下述至少一个:重力加速度传感器，与所述数据处理模块连接，向数据处理模块输出其产生的重力加速度信息；陀螺仪，与所述数据处理模块连接，向所述数据处理模块输出其采集的数据；地磁传感器，与所述数据处理模块连接，向所述数据处理模块输出其采集到的方向参数。较佳的，前述的人机互动系统，其中控制装置包括:语音识别模块用于对所述声音捕捉装置输出的音频信号进行语音识别处理；关键词模块用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词；第一控制命令转换模块，用于确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令；第一执行模块，用于在所述关键词对应的控制命令与所述体感控制信号对应的控制命令相同时，执行所述控制命令，否则不执行所述控制命令。较佳的，前述的人机互动系统，其中该控制装置包括:声音属性检测模块，用于检测所述声音撷取模块输出的音频信号的声音属性；第二控制命令转换模块，用于确定所述体感控制信号对应的控制命令，并确定所述声音属性对应的执行效果，将执行效果作为所述控制命令的输入参数；第二执行模块，用于执行该携带有所述输入参数的控制命令。较佳的，前述的人机互动系统，其中该控制装置包括:语音识别模块用于对所述声音捕捉装置输出的音频信号进行语音识别处理；关键词模块用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词；第一控制命令转换模块用于确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令；第三执行模块，用于从所述关键词对应的控制命令和体感控制信号对应的控制命令中选择至少一个控制命令执行。本发明还提供一种人机互动方法，所述方法包括:利用声音撷取装置拾取声音，以获得拾取的声音的音频信号；利用体感控制装置产生体感控制信号；根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。较佳的，前述的人机互动方法，其中所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括:对所述拾取的声音的音频信号进行语音识别处理；从所述语音识别处理的结果中提取关键词；确定所述关键词对应的控制命令，并确定体感控制信号对应的控制命令；在所述关键词对应的控制命令与所述体感控制信号对应的控制命令相同时，执行所述控制命令，否则不执行所述控制命令。较佳的，前述的人机互动方法，其中所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括:检测所述拾取的声音的音频信号的声音属性；确定所述体感控制信号对应的控制命令，并确定所述声音属性对应的执行效果，将执行效果作为所述控制命令的输入参数；执行该携带有所述输入参数的控制命令。较佳的，前述的人机互动方法，其中所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括:对所述拾取的声音的音频信号进行语音识别处理；从所述语音识别处理的结果中提取关键词；确定所述关键词对应的控制命令，并确定体感控制信号对应的控制命令；从所述关键词对应的控制命令和体感控制信号对应的控制命令中选择至少一个控制命令执行。借由上述技术方案，本发明的人机互动系统和方法至少具有下列优点及有益效果:本发明通过利用声音捕捉装置拾取声音，并利用体感控制装置产生体感控制信号，使控制装置可以综合用户的声音和体感控制信号来产生控制命令，实现了基于体感控制和语音的人机互动，从而使人机互动的实现方式多元化，并提高了人机互动的趣味性，非常适于实用。综上所述，本发明在技术上有显著的进步，具有明显的积极效果，诚为一新颖、进步、实用的新设计。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图详细说明如下。
图1为本发明的人机互动系统示意图；图2为本发明的控制装置的一个具体例子的示意图；图3为本发明的控制装置的另一个具体例子的示意图；图4为本发明的控制装置的第三个具体例子的示意图；图5为本发明的人机互动方法的流程图。
具体实施例方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的人机互动系统和方法其具体实施方式
、结构、特征、流程及其功效，详细说明如后。实施例一、人机互动系统。该系统如附图1所示。图1示出的人机互动系统包括:声音捕捉装置1、体感控制装置2以及控制装置3。其中的体感控制装置2可以包括:重力加速度传感器、陀螺仪以及地磁传感器中的至少一个。其中的控制装置3可以如附图2所示，包括:语音识别模块31、关键词模块32、第一控制命令转换模块33以及第一执行模块34 ;或者，控制装置3如附图3所示，包括:声音属性检测模块35、第二控制命令转换模块36以及第二执行模块37 ;或者，控制装置3如附图4所示，包括:语音识别模块31、关键词模块32、第一控制命令转换模块33以及第三执行模块38。声音捕捉装置I与控制装置3连接。声音捕捉装置I主要用于拾取声音，即拾取用户发出的声音，声音捕捉装置I将拾取到的声音的音频信号向控制装置3输出，例如，声音捕捉装置I向语音识别模块31或者向声音属性检测模块35输出其拾取的声音的音频信号。声音捕捉装置I可以具体表现为麦克风、或者耳麦等形式。体感控制装置2与控制装置3连接。体感控制装置2主要用于产生体感控制信号，并向控制装置3输出其产生的体感控制信号。体感控制装置2中的重力加速度传感器(即G-sensor)主要用于产生采集数据。重力加速度传感器可以将其感知到加速力的变化(如晃动、跌落、上升、或者下降等)转化为电信号，从而产生采集数据。重力加速度传感器产生的采集数据由控制装置3进行处理，以产生体感控制信号对应的控制命令。体感控制装置2中的陀螺仪即角运动检测装置。陀螺仪主要用于产生采集数据。陀螺仪可以将其感知到的角速度的变化转换为电信号，从而产生采集数据。陀螺仪产生的采集数据可以由控制装置3进行处理，以产生体感控制信号对应的控制命令。体感控制装置2中的地磁传感器主要用于采集磁场矢量信息。地磁传感器4采集的磁场矢量信息可以由控制装置3进行处理，以产生体感控制信号对应的控制命令。另外，在体感控制装置2包括重力加速度传感器、陀螺仪以及地磁传感器的情况下，地磁传感器采集的磁场矢量信息还可以用于对重力加速度传感器和陀螺仪采集的数据进行位置校正，以使控制装置3可以基于位置校正后的信息产生体感控制信号对应的控制命令。控制装置3与声音捕捉装置I和体感控制装置2分别连接。控制装置3接收声音捕捉装置I输出的音频信号和体感控制装置2输出的体感控制信号，并根据接收到的音频信号和体感控制信号产生控制命令，之后，控制装置3执行该控制命令。控制装置3根据音频信号和体感控制信号产生控制命令并执行控制命令的实现方式有多种，例如，先将两者分别转换为控制命令，然后，在判断出这两个控制命令相同的情况下，执行该控制命令；再例如，先将体感控制信号转换为控制命令，然后，根据音频信号的声音属性确定该控制命令的输入参数，再执行携带有输入参数的控制命令；再例如，先将两者分别转换为控制命令，然后，从这两个控制命令中选择至少一个控制命令来执行。下面对控制装置3的具体实现方式进行详细说明。实现方式一:控制装置3包括:语音识别模块31、关键词模块32、第一控制命令转换模块33以及第一执行模块34。语音识别模块31与声音捕捉装置I以及关键词模块32均连接。语音识别模块31主要用于对声音捕捉装置I输出的音频信号进行语音识别处理，并向关键词模块32输出语音识别结果。语音识别模块31可以采用现有的语音识别技术，下面对语音识别模块31所采用的语音识别过程进行举例说明:例一、语音识别模块31中存储有预先设定的音频信号。也就是说，语音识别模块31中存储有音频信号，且该音频信号应与控制命令相对应。语音识别模块31中存储的音频信号可以是通过声音撷取模块I提前录制的用户发出控制命令的音频信号。在例一中,语音识别模块31中存储有至少一段音频信号,且一段音频信号对应一条或者多条控制命令，通常情况下，一段音频信号对应一条控制命令。语音识别模块31中存储的每一段音频信号都会对应一个音频信号标识符，该音频信号标识符用于区别不同段的音频信号，一个具体的例子，语音识别模块31中存储有音频信号标识符和音频信号的对应关系信息。语音识别模块31将声音撷取模块I传输来的音频信号与其存储的音频信号进行对比，以确定匹配的音频信号，之后，语音识别模块31确定该匹配的音频信号对应的标识符，并向关键词模块输出该音频信号标识符。如果声音撷取模块I传输来的音频信号还需要进行去噪、格式转换等处理，则语音识别模块31可以在进行相关处理后，利用处理后的音频信号与其存储的音频信号进行对比。语音识别模块31可以利用现有的音频信号对比技术来实现音频信号的对比，从而确定出其存储的各段音频信号中与接收到的音频信号匹配的一段音频信号。本发明不限制语音识别模块31所采用的音频信号对比技术的具体实现方式。例二、语音识别模块31中不预先录制控制者的音频信号，语音识别模块31直接对声音撷取模块I输出的音频信号进行语音识别，以将获取到的音频信号转换为文本信息，之后，语音识别模块31将该文本信息提供给控制模块4。语音识别模块31可以利用现有的语音识别技术直接将音频信号转换为文本信息。关键词模块32与语音识别模块31和第一控制命令转换模块33分别连接。关键词模块32主要用于从语音识别模块31传输来的语音识别处理结果中提取关键词，并向第一控制命令转换I旲块33输出其提取的关键词。关键词I旲块36提取出的关键词可以具体为数字或者文字等等。关键词模块32可以采用预定的提取策略进行关键词的提取，例如，关键词模块32在提取关键词的过程中可以忽略“的”、“了”、以及“你、我、他”等语气助词和代词等。关键词模块32可以采用现有的提取策略进行关键词的提取，本发明不限制关键词模块32提取关键词的具体实现过程。第一控制命令转换模块33与体感控制装置2、关键词模块32以及第一执行模块分别连接。第一控制命令转换模块33主要用于将其接收到的关键词转换为控制命令，并将其接收到的体感控制信号也转换为控制命令，之后，第一控制命令转换模块33将这两个控制命令均输出给第一执行模块34。第一控制命令转换模块33将关键词以及体感控制信号转换为控制命令的方式有多种，例如，第一控制命令转换模块33中存储有关键词与控制命令的对应关系信息，第一控制命令转换模块33根据接收到的关键词在对应关系信息中进行查找，并从匹配的记录中获取控制命令，该控制命令即为其接收到的关键词对应的控制命令。另外，第一控制命令转换模块33可以采用现有的体感游戏中的相关技术将其接收到的体感控制信号转换为相应的控制命令，本发明不限制第一控制命令转换模块33进行控制命令转换的具体实现过程。第一执行模块34与第一控制命令转换模块33连接。第一执行模块34主要用于在判断出其接收到的关键词对应的控制命令与体感控制信号对应的控制命令相同时，执行该控制命令，否则，第一执行模块34不执行该控制命令。上述实现方式一的一个具体应用为:在用户体感控制装置2采集到的体感控制信号表征“从下向上划过”，且声音捕捉装置I捕捉到的音频信号表征“跳跃”时，第一执行模块34执行跳跃的控制命令，否则，第一执行模块34不执行跳跃的控制命令。实现方式二:控制装置3包括:声音属性检测模块35、第二控制命令转换模块36以及第二执行模块37。声音属性检测模块35与声音捕捉装置I以及第二控制命令模块36分别连接。声音属性检测模块35主要用于检测声音撷取模块I输出的音频信号的声音属性。本发明中的声音属性可以具体包括音色、音量、音值以及音调中的至少一个。其中的音色是指声音的感觉特性，通过音色的不同可以分辨出不同的发声体；音量又可以称为响度或者音强，音量是指人耳对所听到的声音大小强弱的主观感受，其客观评价尺度是声音的振幅大小；音值又可以称为时值，音值是指音延续的时间长短，由发音体振动的时间来决定；音调是指声音频率的高低。上述音色、音量、音调可以称为声音的三个主要的主观属性，而音值则可以称为声音的客观属性(也即物理属性)。针对实现方式二需要特别说明的是，声音属性检测模块35检测出的声音属性可以决定控制命令所携带的参数，第二控制命令转换模块36可以根据体感控制信号确定一控制命令，再根据声音属性检测模块35确定该控制命令所携带的参数，从而形成一完整的控制命令。第二控制命令转换模块36与声音属性检测模块35以及第二执行模块36分别连接。第二控制命令转换模块36主要用于确定体感控制信号对应的控制命令，并确定其接收到的声音属性对应的执行效果，之后，将该执行效果作为控制命令的输入参数，向第二执行模块36输出携带有该输入参数的控制命令。第二执行模块37与第二控制命令转换模块36连接。第二执行模块37主要用于执行其接收到的携带有输入参数的控制命令。上述实现方式二的一个具体应用为:在用户体感控制装置2采集到的体感控制信号表征“从下向上划过”，且声音捕捉装置I捕捉到的音频信号的声音属性中的音量超过预定分贝时，第一执行模块34执行高高跃起的控制命令，而在声音属性中的音量没有超过预定分贝时，第一执行模块34执行低空跃起的控制命令。实现方式三、控制装置3包括:语音识别模块31、关键词模块32、第一控制命令转换模块33以及第三执行模块38。语音识别模块31与声音捕捉装置I以及关键词模块32均连接。语音识别模块31主要用于对声音捕捉装置I输出的音频信号进行语音识别处理，并向关键词模块32输出语音识别结果。语音识别模块31可以采用现有的语音识别技术，对语音识别模块31所采用的语音识别过程的举例说明如上述实现方式一中的描述，在此不再重复说明。关键词模块32与语音识别模块31和第一控制命令转换模块33分别连接。关键词模块32主要用于从语音识别模块31传输来的语音识别处理结果中提取关键词，并向第一控制命令转换I旲块33输出其提取的关键词。关键词I旲块36提取出的关键词可以具体为数字或者文字等等。关键词模块32可以采用预定的提取策略进行关键词的提取，例如，关键词模块32在提取关键词的过程中可以忽略“的”、“了”、以及“你、我、他”等语气助词和代词等。关键词模块32可以采用现有的提取策略进行关键词的提取，本发明不限制关键词模块32提取关键词的具体实现过程。第一控制命令转换模块33与体感控制装置2、关键词模块32以及第一执行模块分别连接。第一控制命令转换模块33主要用于将其接收到的关键词转换为控制命令，并将其接收到的体感控制信号也转换为控制命令，之后，第一控制命令转换模块33将这两个控制命令均输出给第一执行模块34。第一控制命令转换模块33将关键词以及体感控制信号转换为控制命令的方式有多种，例如，第一控制命令转换模块33中存储有关键词与控制命令的对应关系信息，第一控制命令转换模块33根据接收到的关键词在对应关系信息中进行查找，并从匹配的记录中获取控制命令，该控制命令即为其接收到的关键词对应的控制命令。另外，第一控制命令转换模块33可以采用现有的体感游戏中的相关技术将其接收到的体感控制信号转换为相应的控制命令，本发明不限制第一控制命令转换模块33进行控制命令转换的具体实现过程。第三执行模块38与第一控制命令转换模块33连接。第三执行模块38主要用于从其接收到的关键词对应的控制命令和体感控制信号对应的控制命令中选择至少一个控制命令，并执行。第三执行模块38可以根据预先设置的选择策略从两个控制命令中选择至少一个控制命令来执行，例如，选择先接收到的控制命令执行；再例如，先选择一个控制命令执行，执行之后，再选择另一个控制命令执行。上述实现方式三的一个具体应用为:在用户体感控制装置2采集到的体感控制信号表征“从上向下划过”，且声音捕捉装置I捕捉到的音频信号表征“跳跃”时，第一执行模块34先接收到“跳跃”对应的控制命令，后接收到“从上向下划过”的控制命令，则第一执行模块34先执行跳跃的控制命令，而后，第一执行模块34再执行蹲下的控制命令。实施例二、人机互动方法。该方法的流程如附图5所示。
图5中示出的人机互动方法包括如下步骤:S500、利用声音撷取装置拾取声音，以获得拾取的声音的音频信号。S510、利用体感控制装置产生体感控制信号。具体的，本发明可以利用重力加速度传感器、陀螺仪以及地磁传感器产生体感控制信号。S520、根据上述音频信号和体感控制信号产生控制命令，并执行该控制命令。具体的，根据音频信号和体感控制信号产生控制命令并执行控制命令的实现方式有多种，例如，先将两者分别转换为控制命令，然后，在判断出这两个控制命令相同的情况下，执行该控制命令；再例如，先将体感控制信号转换为控制命令，然后，根据音频信号的声音属性确定该控制命令的输入参数，再执行携带有输入参数的控制命令；再例如，先将两者分别转换为控制命令，然后，从这两个控制命令中选择至少一个控制命令来执行。针对实施例二需要说明的是，虽然实施例二顺序描述了 S500-S520，但实际上，本发明中的S500和S510之间并不存在先后顺序的限制，即声音拾取过程和体感控制信号产生过程这两者可以是相互并行的。以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
权利要求
1.一种人机互动系统，其特征在于，包括:声音捕捉装置、体感控制装置和控制装置； 所述声音捕捉装置，用于拾取声音，并输出拾取的声音的音频信号； 所述体感控制装置，用于产生体感控制信号，并输出； 所述控制装置与所述声音捕捉装置和所述体感控制装置连接，所述控制装置接收所述音频信号和体感控制信号，根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。
2.如权利要求1所述的人机互动系统，其特征在于，所述体感控制装置包括下述至少一个: 重力加速度传感器，与所述数据处理模块连接，向数据处理模块输出其产生的重力加速度信息； 陀螺仪，与所述数据处理模块连接，向所述数据处理模块输出其采集的数据； 地磁传感器，与所述数据处理模块连接，向所述数据处理模块输出其采集到的方向参数。
3.如权利要求1所述的人机互动系统，其特征在于，该控制装置包括: 语音识别模块，用于对所述声音捕捉装置输出的音频信号进行语音识别处理； 关键词模块，用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词； 第一控制命令转换模块，用于确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令； 第一执行模块，用于在所述关键词对应的控制命令与所述体感控制信号对应的控制命令相同时，执行所述控制命令，否则不执行所述控制命令。
4.如权利要求1所述的人机互动系统，其特征在于，该控制装置包括: 声音属性检测模块，用于检测所述声音撷取模块输出的音频信号的声音属性； 第二控制命令转换模块，用于确定所述体感控制信号对应的控制命令，并确定所述声音属性对应的执行效果，将所述执行效果作为所述控制命令的输入参数； 第二执行模块，用于执行该携带有所述输入参数的控制命令。
5.如权利要求1所述的人机互动系统，其特征在于，该控制装置包括: 语音识别模块，用于对所述声音捕捉装置输出的音频信号进行语音识别处理； 关键词模块，用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词； 第一控制命令转换模块，用于确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令； 第三执行模块，用于从所述关键词对应的控制命令和体感控制信号对应的控制命令中选择至少一个控制命令执行。
6.一种人机互动方法，其特征在于，所述方法包括: 利用声音撷取装置拾取声音，以获得拾取的声音的音频信号； 利用体感控制装置产生体感控制信号； 根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。
7.如权利要求6所述的人机互动方法，其特征在于，所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括: 对所述拾取的声音的音频信号进行语音识别处理； 从所述语音识别处理的结果中提取关键词； 确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令； 在所述关键词对应的控制命令与所述体感控制信号对应的控制命令相同时，执行所述控制命令，否则不执行所述控制命令。
8.如权利要求6所述的人机互动方法，其特征在于，所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括: 检测所述拾取的声音的音频信号的声音属性； 确定所述体感控制信号对应的控制命令，并确定所述声音属性对应的执行效果，将所述执行效果作为所述控制命令的输入参数； 执行该携带有所述输入参数的控制命令。
9.如权利要求6所述的人机互动方法，其特征在于，所述根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令包括: 对所述拾取的声音的音频信号进行语音识别处理； 从所述语音识别处理的结果中提取关键词； 确定所述关键词对应的控制命令，并确定所述体感控制信号对应的控制命令； 从所述关键词对应的控制命令和`体感控制信号对应的控制命令中选择至少一个控制命令执行。
全文摘要
本发明是有关于一种人机互动系统和方法。其中的系统包括声音捕捉装置、体感控制装置和控制装置；该声音捕捉装置用于拾取声音，并输出拾取的声音的音频信号；该体感控制装置用于产生体感控制信号，并输出；该控制装置与所述声音捕捉装置和所述体感控制装置连接，所述控制装置接收所述音频信号和体感控制信号，根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。其中的方法包括利用声音撷取装置拾取声音，以获得拾取的声音的音频信号；利用体感控制装置产生体感控制信号；根据所述音频信号和体感控制信号产生控制命令，并执行该控制命令。本发明提供的技术方案能够实现声控和体感控制，提高了控制方式的多样性以及趣味性。
文档编号G06F3/01GK103186226SQ20111044988
公开日2013年7月3日 申请日期2011年12月28日 优先权日2011年12月28日
发明者董德福 申请人:北京德信互动网络技术有限公司