用于数据处理系统的智能音频和视频捕捉系统的制作方法
【专利摘要】计算系统包括用于检测计算系统的位置信息(包括位置和方向)的方向检测设备、耦合到所述定位检测设备的多传感器系统，所述多传感器系统用于捕捉环境输入数据，所述传感器系统包括至少音频捕捉系统和三维(3D)图像捕捉系统的其中之一，并且所述环境输入数据至少包括音频或图像中的其中之一、和至少一个耦合至所述定向检测设备和所述多传感器系统的信号处理部件，其中所述处理器用于基于所述位置信息修改所述捕捉的环境输入数据。
【专利说明】用于数据处理系统的智能音频和视频捕捉系统
[0001]相关申请案交叉申请
[0002]本发明要求2011年12月12日由周炯等人递交的发明名称为“用于数据处理系统的智能音频和视频捕捉系统(Smart Audio and Video Capture Systems for DataProcessing Systems) ”的第13/323157号美国专利申请案的在先申请优先权,该在先申请的内容以引入的方式并入本文本中，如全文再现一般。
【技术领域】
[0003]本发明涉及通信网络，尤其涉及用于数据处理系统的智能音频和视频捕捉系统。【背景技术】
[0004]不同的制造商向消费者市场提供了不同的平板电脑，例如自2010年发行的产品。平板电脑，也称为个人平板电脑(例如苹果公司的iPad)，是相比其他类型计算设备在文档、邮件、网上冲浪、社会活动和个人娱乐方面提供若干优势的便携设备。一般而言，平板电脑具有录音系统，使得该平板电脑能够录音，例如使能语音通信或媒体应用。该录音系统中由麦克风转换的数字数据用于进行识别、编码和传输等多种目的。由于声音环境包括噪音。为了获取清晰的声音，增强或者从噪音中分离出麦克风中记录的目标声音。一些平板电脑还具有三维(3D)视频摄像头功能，其可以用于实施与其它平板电脑或设备用户的3D视频会议。
【发明内容】
[0005]在一项实施例中，本发明包括计算系统，所述计算系统包括用于检测计算系统的位置信息(包括位置和方向)的定位检测设备、耦合到所述定位检测设备的多传感器系统，所述多传感器系统用于捕捉环境输入数据，所述传感器系统至少包括音频捕捉系统和三维(3D)图像捕捉系统的其中之一，并且所述环境输入数据至少包括音频或图像中的其中之一、和至少一个耦合至所述方向检测设备和所述多传感器系统的信号处理部件，其中所述处理器用于基于所述位置信息修改所述捕捉的环境输入数据。
[0006]在另一项实施例中，本发明包括录音系统，所述录音系统包括耦合到一个或多个麦克风的到达方向(DOA)估计部件，用于使用接收的定位信息估计检测的声音信号的D0A;耦合到所述DOA估计部件的降噪部件，用于使用所述DOA估计降低所述检测的声音信号中的噪声；以及耦合到所述降噪部件和所述DOA估计部件的去混响部件，用于使用所述DOA估计去除检测的声音信号中的混响效果。
[0007]在另一项实施例中，本发明包括二维(3D)视频捕捉系统，所述3D视频捕捉系统包括耦合到至少两个摄像头的摄像头配置设备，用于基于检测的所述3D视频捕捉系统的方向信息布置所述摄像头中的至少一些摄像头，以正确地捕捉3D视频和3D图像的其中之一；以及耦合到所述摄像头配置设备的方向检测设备，用于检测所述方向信息。
[0008]在又一项实施例中，本发明包括实施在便携设备上的录音方法，所述方法包括检测所述便携设备的方向、基于所述检测的方向调整麦克风阵列设备、使用所述调整的麦克风阵列设备记录声音信号以及基于所述检测的方向估计所述声音信号的到达方向(DOA)。
[0009]在又一项实施例中，本发明包括实施在便携设备上的三维(3D)视频捕捉方法，所述方法包括检测所述便携设备的方向、基于所述检测的方向配置多个摄像头以及使用所述配置的摄像头捕捉视频或图像。
[0010]结合附图和权利要求书，可从以下的详细描述中更清楚地理解这些和其他特征。
【专利附图】
【附图说明】
[0011]为了更完整地理解本发明，现在参考以下结合附图和详细描述进行的简要描述，其中相同参考标号表不相同部分。
[0012]图1是平板电脑设计的示意图。
[0013]图2是录音系统的示意图。
[0014]图3是信号处理部件的示意图。
[0015]图4是改进的平板电脑设计的实施例的示意图。
[0016]图5是改进的录音系统的实施例的示意图。
[0017]图6是改进的信号处理部件的实施例的示意图。
[0018]图7是改进的3D视频捕捉系统的实施例的示意图。
[0019]图8是改进的录音方法的实施例的流程图。
[0020]图9是改进的3D视频捕捉方法的实施例的流程图。
[0021]图10是通用计算机系统的实施例的示意图。
【具体实施方式】
[0022]最初应理解，尽管下文提供一个或多个实施例的说明性实施方案，但可使用任意数目的当前已知或现有的技术来实施所公开的系统和/或方法。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术，包含本文所说明并描述的示范性设计和实施方案，而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。
[0023]新兴和未来的平板电脑可包括高级麦克风阵列，这些高级麦克风阵列可能集成到平板电脑中以提供更好的录音质量，例如，具有更高的信噪比(SNR)。高级麦克风整列设备可用于替代当前使用的检测目标声音的全向(单向)麦克风。麦克风阵列可以更适应声音传入的方向，因此可以具有更好的噪声消除属性。一种实施麦克风阵列的方法可以是基于声音源的方向和麦克风间的距离使用由阵列中的麦克风接收的声音信号的相位差来强调目标声音，从而抑制噪声。这可以通过不同的算法实现。
[0024]例如，为了增强接收的声音信号，可以使用可实施多重信号分类(MUSIC)算法的相干信号子空间过程。该算法可要求预估信号方向，其中信号方向的估计错误可显著影响该过程的最终估计。电话会议系统、人机界面和助听器等一些应用可能需要足够准确地估计声音信号的D0A。这些应用可能涉及闭室中的声音源的DOA估计。因此，来自不同方向的大量混响的存在可显著降低DOA估计算法的性能。这样，在一个充满混响的房间中，就可能需要一个更加可靠的预估计DOA来定位说话人。此外，由于与目标声音相比噪声源可能具有不同的方向，因此更加精确估计的DOA可以加强噪音消除。[0025]另一个可能需要注意的重要场景是估计或识别平板电脑的3D视频摄像头系统的用户的脸部位置。例如，当用户与另一使用平板电脑的用户参与3D视频会议时，用户可能没有以指定的正确位置持有平板电脑或3D视频摄像头系统可能不知道平板电脑的方向。当没有以正确的位置持有平板电脑时，当前3D视频摄像头使市场中的平板电脑不一定能够捕捉正确的3D视频或图像。可能需要使用位置感知系统和摄像头配置系统，该摄像头配置系统使用位置或方向信息来自适应地配置系统的3D摄像头，以捕捉正确的3D视频/图像。
[0026]本文所揭示的是使用平板电脑允许改进的录音和3D视频/图像捕捉的系统和方法。这些系统可用于检测和获取平板电脑的方向或位置信息并且使用这些信息提高平板电脑中的录音子系统和/或3D视频捕捉子系统的性能。本文使用的术语位置信息和方向信息可互换以指示平板电脑的方向和/或倾斜(例如，单位为度)，例如平板电脑的水平对齐方式等指定位置。这些系统可包括方向检测设备、麦克风调整设备、摄像头配置设备、录音子系统、3D视频捕捉或其组合。方向检测设备可用于生成平板电脑的位置/方向信息，该信息可由麦克风调整设备和/或摄像头配置设备使用。麦克风调整设备可使用该信息调整麦克风中的传感角度并使该角度与目标声音的方向对齐。位置/方向信息还可用于在录音子系统中实施信号处理方案。视频配置设备可使用该信息重新布置摄像头用于捕捉视频/图像。该信息还可用于在3D视频捕捉子系统中实施相应过程，以获取正确的3D视频或图像。
[0027]图1示出了平板电脑101的平板电脑设计100的实施例。平板电脑101可以是以平板电脑外壳的一侧上的平面屏幕为特征的任意便携计算设备。显示屏可用于观看，且还可以是用于打字的触摸屏。平板电脑101可能不要求连接用于基础操作的单独的接口设备，对于台式电脑情况可能并非如此。平板电脑101可以是不可折叠或不要求机械操作的固定设备，例如笔记本。与其它类型的计算设备(例如，笔记本)相比，平板电脑101可提供更少的特性/功能并且具有较低的定价和成本。平板电脑101还可更轻且更加便携。平板电脑101与智能手机等其它通信设备的不同可能在于平板电脑101可能尺寸更大、提供更多的计算功能和功能、和/或不必配备蜂窝接口。平板电脑101可能具有与至少一些当前的可用平板电脑(市场中还称之为pad)类似的特性，例如苹果iPad、惠普(HP)平板电脑、三星Galaxy平板电脑、联想IdeaPad、戴尔Latitude平板电脑以及其它平板电脑或pad。
[0028]平板电脑设计100相对其宽度或长度以及平板电脑101的一侧上的平面显示屏(例如，触摸屏)而言可能具有相对较小的厚度。平板电脑101的顶部和底部边缘可能比平板电脑101的其余(侧)边缘更宽。因此，长度或顶部和底部边缘可对应于平板电脑101的长度，且侧边缘的长度可对应于平板电脑101的宽度。显示屏可包括平板电脑101的整个表面的实质区域。平板电脑设计100还可包括例如，位于围绕屏幕的平板电脑101的一边上的麦克风102以及例如，通常位于平板电脑101的另一边上的一个或两个摄像头104，如图1(a)所示。麦克风102可以是全向麦克风或麦克风阵列设备，其是平板电脑101的录音系统的一部分，用于接收用户的声音并使能声音通信、录音、通信或其组合。摄像头104可以是平板电脑101的视频捕捉系统的一部分，用于拍摄图像或视频以及使能视频会议或呼口L或者两者。摄像头104可以是3D摄像头，且视频捕捉系统可以是捕捉3D图像或视频的3D视频捕捉系统。3D摄像头是能够捕捉“RGB”信息和3G信息的单个设备。在一些实施例中，需要至少两个摄像头104来(同时)从不同角度捕捉相同图像的两个帧。随后可根据3D处理方案处理这两个帧以呈现类似3D的图像。相同的概念可用于3D视频捕捉。
[0029]通常，可根据平板电脑101的指定方向优化录音系统。例如，可以针对平板电脑101的垂直位置优化录音系统，如图1(a)所示。在该位置，麦克风102可以位于平板电脑101的底部边缘(例如，围绕底部边缘的中心)。因此，录音系统正确地处理由麦克风102检测到的目标声音或用户的语音，以去除任何噪声。除了噪声以外，麦克风102可例如围绕用户或目标声音的其它源接收用户的语音或任意目标声音。随后录音系统可在计算噪音的时候假设平板电脑101以正确的方向(垂直位置)持有或放置并且麦克风102相应地位于(底部边缘的)合适的位置。然而，当(例如，如图1(b)所示180度)改变或旋转平板电脑101的位置/方向时，麦克风102可能不再位于正确的位置(例如，相对声音目标)，因此录音系统(假设平板电脑101的垂直位置)可能无法正确地处理检测的声音/语音以及伴随噪声。因此，可能无法优化录音系统的输出。例如，在语音呼叫场景，通信的用户语音可仍然包括大量噪声或另一侧的接受者可能听不清楚。
[0030]类似地，可根据平板电脑101的选择的方向(例如，图1 (a)的垂直位置)优化3D视频捕捉系统，其中两个摄像头104可能位于平板电脑101的顶部边缘(例如，围绕顶部边缘的中心)。在此场景下，可由3D视频捕捉系统正确地处理摄像头104捕捉的视频或图像以正确地生成类似3D的场景。当摄像头104捕捉(例如，用户面部或任意目标场景)图像/视频帧时，3D视频捕捉系统可通过考虑(位于顶部边缘的)摄像头104的相应位置来处理捕捉的帧，假设以正确的方向(垂直位置)持有或放置平板电脑101。然而，当(例如，如图1 (b)所示180度)改变或旋转平板电脑101的位置/方向时，摄像头104可能不再位于正确的位置(例如，相对目标图像/视频)，因此3D录像系统(假设平板电脑101的垂直位置)可能无法正确地处理捕捉的视频/图像。因此，可能无法优化3D视频捕捉系统的输出。例如，在视频会议场景中，另一侧的观看者可能看不清楚通信用户的3D视频。
[0031]图2示出了录音系统200的实施例,基于平板电脑设计100，该录音系统可用于平板电脑101中。录音系统200可包括麦克风201、耦合到麦克风201的信号处理设备202和用于进一步信号处理的耦合到信号处理设备202的至少一个额外的处理部件203。录音系统200的部件可以如图2所示进行布置，并且可以使用硬件、软件或使用二者结合来实施。麦克风201可对应于麦克风102。信号处理设备202可用于从麦克风201接收检测的声音/音频作为输入、处理该声音/音频(例如，用以消除或抑制噪声)并将处理的(清晰的)声音作为输出发送到额外的处理部件203。信号处理设备202的过程可包括但不限于降噪和去混响。额外的处理部件203可用于接收清晰的声音作为输入，进一步处理清晰的声音(例如，实施声音识别、编码和/或传输)，并且相应地提供数字声音数据作为输出。
[0032]图3示出了信号处理部件300的实施例，基于平板电脑设计100，该信号处理部件可用于平板电脑101中。该信号处理部件300可对应于录音系统200的信号处理部件202。该信号处理部件300可包括降噪块301和耦合到降噪块301的去混响块302。信号处理部件300的部件可以如图3所示进行布置，并且可以使用硬件、软件或二者结合来实施。降噪块301可用于接收可能具有噪声和/或混响效果的收集的声音(例如，来自麦克风201)信号、处理该声音信号以降低或消除噪声并随后将处理的信号转发到去混响块302。去混响块302可用于接收来自降噪块301的处理的信号、进一步处理声音信号以消除或降低声音中的任意混响效果并随后转发清晰的声音作为输出。[0033]图4示出了平板电脑401的改进的平板电脑设计400的实施例。平板电脑401可以是以平板电脑外壳的一侧上的平面屏幕为特征的任意便携计算设备。平板电脑401的部件的配置可与平板电脑101的相应部件类似，包括可能是触摸屏的屏幕。平板电脑401还可包括例如位于屏幕周围的平板电脑401的一个边缘上的麦克风402。麦克风402可以是麦克风阵列设备，其可包括以阵列配置布置的多个麦克风。平板电脑401还可包括至少两个摄像头404，其可以是用于捕捉3D视频/图像的3D摄像头。摄像头404可位于平板电脑401的一个或不同边缘上。例如，平板电脑401可包括大约四个摄像头404，其中每个摄像头位于平板电脑401的四个边缘的一个边缘上。将摄像头404沿平板电脑401的不同的边缘分布可以允许当捕捉视频/图像时考虑平板电脑400的不同的位置/方向，从而根据位置/方向有更好的3D视频/图像处理。平板电脑401的部件可以如图4(a)所示进行布置，其可以对应于一个可能的位置(例如，右上位置)用于持有和操作平板电脑401。
[0034]图4(b)、(C)和(d)分别示出了持有或操作平板电脑401的其它可能方向，与图
(4)的方向呈90度、180度和270度角。在不同的方向，麦克风402和摄像头404的位置来自固定的目标，例如用户的面部可能不同。如果相对于平板电脑的指定的正确方向而言，使用假设目标的确定方向的典型的声音/视频处理方案，那么针对平板电脑的不同方向的固定目标处理声音/视频的结果可能导致处理错误(降低的声音/视频质量)。
[0035]相反，为了允许在不同的方向持有和操作平板电脑401，平板电脑401可包括改进的录音和/或3D视频捕捉系统(未示出)。当录音和/或捕捉3D视频时，改进的录音/3D视频捕捉系统可以基于平板电脑401的位置/方向信息在平板电脑401的任意方向或位置(倾斜)适当地处理声音/视频。平板电脑401可包括用于检测位置信息的方向检测设备(未示出)。录音系统可以使用位置信息以估计信号的DOA并且相应地处理由麦克风402录制的声音。例如，可以考虑基于位置信息的选择阵列中的一些麦克风检测的声音。类似地，3D视频捕捉系统可以使用位置信息以过滤和处理摄像头404捕捉的视频/图像。例如，可以考虑基于位置信息选择的一些摄像头404捕捉的视频/图像。
[0036]方向检测设备可用于生成方向信息、位置数据和/或角度数据，其可由麦克风调整设备(未示出)和/或视频配置设备(未示出)使用。麦克风调整设备可用于基于方向信息选择麦克风或控制麦克风中的传感器用于阵列中的声音处理考虑，并且可能是录音系统的一部分。视频配置设备可以用于基于方向信息为视频处理考虑选择或布置摄像头404 (例如，指导摄像头中的传感器)，并且可能是3D视频捕捉系统的一部分。
[0037]例如，当相对于水平平面旋转平板电脑时，方向检测设备中的位置检测器可以检测平板电脑401的相对位置或对地面的倾斜并且相应地生成位置信息数据。位置信息数据可以在麦克风调整设备中使用。例如，麦克风调整设备可以(例如，相对于用户的面部或嘴部)相应地控制麦克风阵列的最大传感角度，和/或可将该信息传递给信号处理设备(未示出)以在麦克风阵列收集的声音信号上指导信号处理过程。信号处理设备可以是录音系统的一部分。信号处理过程可以包括降噪、去混响、语音增强和/或其它声音增强过程。位置信息数据还可以用于3D视频配置设备/系统中以指导和配置至少一对摄像头404用于捕捉3D视频和图像。
[0038]图5示出了改进的录音系统500的实施例，基于平板电脑设计400，该录音系统可用于平板电脑401中。录音系统500可包括至少两个麦克风501、耦合到麦克风501的信号处理设备502以及至少一个用于进一步信号处理的耦合到信号处理设备502的额外的处理部件503。此外，录音系统500可包括耦合到信号处理设备502的麦克风调整设备505、耦合到麦克风调整设备505的方向检测设备504。录音系统500的部件可以如图5所示进行布置，并且可以使用硬件、软件或使用二者来实施这些部件。
[0039]麦克风501可以是两个独立的全向麦克风、两个独立的麦克风阵列或两个麦克风阵列中的两个麦克风(传感器)。在其它实施例中，录音系统500可包括两个以上独立的麦克风501，例如位于平板电脑的一个或多个边缘上。发往信号处理设备502的输入可包括来自各个麦克风501的收集的声音信号以及来自麦克风调整设备505的位置信息数据。方向检测设备504可包括加速计和/或方向/旋转检测设备，用于提供方向/旋转信息。根据水平平面等平板电脑的指定位置或方向，可以检测方向/旋转信息。此外或作为替代，方向检测设备504可包括面部/嘴部识别设备，其可以用来估计平板电脑相对于用户的位置/方向信息。
[0040]来自方向检测设备504的位置信息数据可以被发送到麦克风调整设备505，该麦克风调整设备505可以用于控制麦克风501 (或麦克风阵列)的最大传感角度。可以控制麦克风501使得用户的嘴部在最大传感角度内对齐，因此更好地进行传入声音信号方向的对齐检测并且远离噪声源。此外或作为替代，麦克风调整设备505可以向信号处理设备502发送位置信息数据。信号处理设备502可以使用位置信息数据实施降噪/去混响过程以获取清晰的声音。此外，信号处理设备502可以实施声音的DOA估计，如下文进一步论述。随后可以将清晰的声音发送到额外的处理部件503，其可用于进行信号识别、编码和/或传输。
[0041]图6示出了改进的信号处理部件600的实施例，基于平板电脑设计400，该信号处理部件可用于平板电脑401中。该信号处理部件600可对应于录音系统500的信号处理设备502。信号处理部件600可包括降噪块601、耦合到降噪块601的去混响块602以及耦合到降噪块601和去混响块602的DOA估计块603。信号处理部件600的部件可以如图6所示进行布置，并且可以使用硬件、软件或使用二者来实施这些部件。
[0042]DOA估计块603可用于从每个麦克风(例如，麦克风501)接收可能带有噪声的收集的声音并且基于(例如，来自方向检测设备504和/或麦克风调整设备505)接收的位置信息实施DOA。DOA估计块603可以使用位置信息数据以估计传入声音信号的D0A。可以使用DOA估计算法，例如MUSIC算法实现DOA估计。DOA估计块603的输出(D0A估计信息)可以作为输入分别发送到降噪块601和去混响块602以基于DOA信息实现改进的降噪和去混响。来自每个麦克风的收集的信号还可以发送到降噪块601，在降噪块601中可以使用DOA信息进行降噪过程。降噪块601可以将处理的信号转发到去混响块602，去混响块602可以使用DOA信息进一步处理声音信号以消除或降低声音中的任意混响效果，并且随后转发清晰的声音作为输出。
[0043]图7示出了 3D视频捕捉系统700的实施例，基于平板电脑设计400，该视频捕捉系统可用于平板电脑401中。3D视频捕捉系统700可包括方向检测设备701、耦合到方向检测设备701的摄像头配置设备702以及耦合到摄像头配置设备702的多个摄像头703至706。摄像头703至706可能是，例如对应于摄像头404的3D摄像头。方向检测设备704可用于提供方向/旋转信息，例如类似方向检测设备504。例如，方向检测设备704可包括加速计、其它方向/旋转检测设备、脸部/嘴部识别设备，或其组合，其可用来估计平板电脑相对于用户的位置/方向信息。
[0044]方向检测设备701可以向摄像头配置设备702发送估计的位置信息数据，其可以用于(例如，根据位置信息)从摄像头703至706选择正确的或合适的摄像头对。在用户坐在摄像头前面的假设下选择摄像头，这可能是平板电脑用户的典型场景或最一般的情况。例如，如果平板电脑相对于用户的脸部旋转约90度(图4(d)所示)，选择的正确的摄像头对可能是位于顶部或底部边缘上(在图4(a)的初始(垂直)位置)的摄像头。
[0045]图8示出了录音方法800的实施例的流程图，其可以在平板电脑401中实施。例如，可使用录音系统500实施录音方法800。方法800可开始于方框810，在方框810，可以检测平板电脑的位置。方向检测设备504可以检测位置/方向。在方框820，可以基于位置信息调整平板电脑的麦克风。例如，麦克风调整设备505可以控制麦克风501 (或麦克风阵列)的最大传感角度。在方框830，可以(例如，由至少两个麦克风501)记录声音信号。在方框840，可以基于位置信息估计信号的D0A。例如，DOA估计块603可以基于位置信息实施算法以获取D0A。在方框850，可以基于DOA估计降低信号中的噪声。降噪块601可以使用DOA估计以降低或消除信号中的噪声。在方框860，可以基于DOA估计消除信号中的混响效果。例如，去混响块602可以使用DOA估计以去除信号中的混响效果。在方框870，可以传输清晰的声音。清晰的声音可以通过去除检测的声音信号中的噪声、混响效果和/或其它错误的结果产生。方法800随后可以结束。
[0046]图9示出了 3D视频捕捉方法900的实施例，其可以在平板电脑401中实施。例如，3D视频捕捉方法900可使用3D视频捕捉系统700实施。方法900可开始于方框910，在方框910可以检测平板电脑的位置。方向检测设备701可以检测位置/方向。在方框920，可以基于位置信息配置多个摄像头。例如，摄像头配置设备702可以根据位置信息从摄像头703至706选择合适的摄像头对。在方框930，(例如，选择的摄像头)可以捕捉视频/图像。在方框940，可以使用3D视频/图像处理方案处理捕捉的视频/图像。在方框950，可以传输3D视频/图像。方法900随后可以结束。
[0047]在一些实施例中，上述部件可在任何通用电脑系统或智能设备部件上实施，其具有足够的处理能力、存储资源和吞吐能力来处理其上的必要工作量。图10示出了一种典型的通用电脑系统1000，其适用于实施本文所揭示的部件的一项或多项实施例。电脑系统1000包括处理器1002(可称为中央处理器单元或CPU)，其与包括辅助存储器1004、只读存储器(ROM) 1006、随机存取存储器(RAM) 1008的存储装置，输入/输出(I/O) 1010和网络连接装置1012进行通信。处理器1002可作为一个或多个CPU芯片实施，或者可以是一个或多个专用集成电路(ASIC)的一部分。
[0048]辅助存储器1004通常由一个或多个磁盘驱动器或磁带驱动器组成，用于数据的非易失性存储，且如果RAM1008的大小不足以保存所有工作数据，那么所述辅助存储器还用作溢流数据存储设备。辅助存储器1004可以用于存储程序，当选择执行这些程序时，所述程序将加载到RAM1008中。R0M1006用于存储在程序执行期间读取的指令以及可能读取的数据。R0M1006为非易失性存储设备，其存储容量相对于辅助存储器1004的较大存储容量而言通常较小。RAM1008用于存储易失性数据，并且可能用于存储指令。R0M1006和RAM1008两者的存取速度通常比辅助存储器1004的存取速度快。[0049]本发明公开至少一项实施例，且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。应当理解的是，本发明已明确阐明了数值范围或限制，此类明确的范围或限制应包括涵盖在上述范围或限制(如从大约I至大约10的范围包括2、3、4等；大于0.10的范围包括0.11,0.12,0.13等)内的类似数量级的迭代范围或限制。例如，每当公开具有下限R1和上限Ru的数值范围时，具体是公开落入所述范围内的任何数字。具体而言，特别公开所述范围内的以下数字:R =R^kMRu-R1),其中k为从I %到100%范围内以1%递增的变量，即，k为1%、2%、3%、4%,7%,...,70%,71%,72%,...、97%、96%、97%、98%、99%或 100%。此外，还特此公开了，上文定义的两个R值所定义的任何数值范围。相对于权利要求的某一要素，术语“可选择”的使用表示该要素可以是“需要的”，或者也可以是“不需要的”，二者均在所述权利要求的范围内。使用如“包括”、“包含”和“具有”等较广术语应被理解为提供对如“由...组成”、“基本上由...组成”以及“大体上由...组成”等较窄术语的支持。因此，保护范围不受上文所述的限制，而是由所附权利要求书定义，所述范围包含所附权利要求书的标的物的所有等效物。每项和每条权利要求作为进一步公开的内容并入说明书中，且权利要求书是本发明的实施例。所述揭示内容中的参考的论述并不是承认其为现有技术，尤其是具有在本申请案的在先申请 优先权日:期之后的
【公开日】期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中，其提供补充本发明的示例性、程序性或其他细节。
[0050]虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
[0051 ] 此外，在不 脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其他系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦接或直接耦接或通信的其他项也可以采用电方式、机械方式或其他方式通过某一接口、装置或中间部件间接地耦接或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。
【权利要求】
1.一种计算系统，其特征在于，包括: 方向检测设备，用于检测包括计算系统的位置和方向的位置信息； 耦合到所述方向检测设备的多传感器系统，其中所述多传感器系统用于捕捉环境输入数据，所述多传感器系统包括音频捕捉系统和三维(3D)图像捕捉系统中的至少一个，并且环境输入数据包括音频和图像中的至少一个。 至少一个耦合到所述方向检测设备的信号处理部件，其中所述处理器用于基于所述位置信息修改所述捕捉的环境输入数据。
2.根据权利要求1所述的计算系统，其特征在于，所述音频捕捉系统用于检测声音信号以及所述的至少一个信号处理部件用于基于所述计算系统的所述位置信息修改所述声音信号。
3.根据权利要求1所述的计算系统，其特征在于，所述3D图像捕捉系统用于捕捉图像以及所述的至少一个信号处理部件用于基于所述位置信息修改所述图像。
4.根据权利要求1所述的计算系统，其特征在于，所述音频捕捉系统包括: 至少两个用于检测声音信号的麦克风，其中所述至少一个信号处理部件耦合到所述麦克风并且用于降低所述检测的声音信号中的噪声。
5.根据权利要 求4所述的计算系统，其特征在于，所述两个麦克风是两个单向麦克风。
6.根据权利要求4所述的计算系统，其特征在于，所述两个麦克风对应于至少一个麦克风阵列设备。
7.根据权利要求4所述的计算系统，其特征在于，所述检测的声音信号由所述至少一个信号处理部件进一步处理以实施声音识别、编码和传输中的至少一种。
8.根据权利要求4所述的计算系统，其特征在于，所述音频捕捉系统进一步包括: 耦合到所述至少一个信号处理部件的麦克风调整设备，用于根据所述位置信息控制所述麦克风的最大传感角度。
9.根据权利要求1所述的计算系统，其特征在于，所述方向检测设备包括加速计和方向/旋转检测设备中的至少一个，所述方向/旋转检测设备用于提供方向/旋转信息。
10.根据权利要求1所述的计算系统，其特征在于，所述3D图像捕捉系统包括: 至少两个摄像头，每个用于捕捉图像；以及 耦合到所述摄像头的摄像头配置设备，用于布置或选择所述摄像头以正确地捕捉3D图像。
11.根据权利要求10所述的计算系统，其特征在于，所述摄像头是接近所述计算系统的不同边缘的摄像头。
12.根据权利要求1所述的计算机系统，其特征在于，所述音频捕捉系统和所述3D图像捕捉系统是平板电脑系统的一部分，用于使能视频会议、语音呼叫、人机界面和助听器中的至少一个。
13.根据权利要求1所述的计算系统，其特征在于，所述位置信息用于获取基本上没有噪声和基本上没有混响效果的基本上清晰的声音数据以及相对于用户而言位于所述平板电脑的多个方向的任意一个方向的3D图像。
14.录音系统，其特征在于，包括: 耦合到一个或多个麦克风的到达方向(DOA)估计部件，用于使用接收的方向信息估计检测的声音信号的DOA ； 耦合到所述DOA估计部件的降噪部件，用于使用所述DOA估计降低所述检测的声音信号中的噪声；以及 耦合到所述降噪部件和所述DOA估计部件的去混响部件，用于使用所述DOA估计去除所述检测的声音信号中的混响效果。
15.根据权利要求14所述的录音系统，其特征在于，所述方向信息是由耦合到所述DOA估计部件的方向检测设备提供的。
16.根据权利要求14所述的录音系统，其特征在于，所述DOA估计部件基于多重信号分类(MUSIC)算法和所述方向信息估计所述检测的声音信号的D0A。
17.—种三维(3D)视频捕捉系统，其特征在于，包括: 耦合到至少两个摄像头的摄像头配置设备，用于基于所述3D视频捕捉系统的检测的方向信息布置所述摄像头中的至少一些摄像头以正确地捕捉3D视频和3D图像中的一个；以及 耦合到所述摄像头配置设备的方向检测设备，用于检测所述方向信息。
18.根据权利要求17所述的3D视频捕捉系统，其特征在于，所述方向信息是由耦合到所述摄像头配置设备的方向检测设备提供的。
19.根据权利要求17所述的3D视频捕捉系统，其特征在于，用于捕捉所述3D视频或图像的所述选择的摄像头包括两个接近平板电脑设备的相反边缘的摄像头。
20.根据权利要求17所述的视频捕捉系统，其特征在于，所述两个摄像头中的至少一个摄像头包括3D摄像头。
21.一种在便携设备上实施的录音方法，其特征在于，包括: 检测所述便携设备的方向； 基于所述检测的方向调整麦克风阵列设备； 使用所述调整的麦克风阵列设备记录声音信号；以及 基于所述检测的方向估计所述声音信号的到达方向(DOA)。
22.根据权利要求21所述的在所述便携设备上实施的所述录音方法，其特征在于，进一步包括: 基于所述DOA估计降低所述声音信号中的噪声； 基于所述DOA估计消除所述声音信号中的去混响效果；以及 传输所得的清晰的声音信号。
23.权利要求22所述的在所述便携设备上实施的所述录音方法进一步包括在为编码、语音识别和声音增强的至少一个传输之前处理所述清晰的声音。
24.权利要求21所述的在所述便携设备上实施的所述录音方法，其特征在于，相对于所述便携设备的用户的所述面部或嘴部，通过控制所述麦克风阵列设备的最大传感角度调整所述麦克风阵列设备。
25.一种在便携设备上实施的三维(3D)视频捕捉方法，其特征在于，包括: 检测所述便携设备的方向； 基于所述检测的方向配置多个摄像头；以及 使用所述配置的摄像头捕捉视频或图像。
26.根据权利要求25所述的3D视频捕捉方法，其特征在于，进一步包括: 使用3D视频或图像处理方案处理所述捕捉的视频或图像；以及 传输所述3D视频或图像。
27.根据权利要求25所述的3D视频捕捉方法，其特征在于，通过选择所述摄像头的子集方式配置所述摄像头用于根据所述便携设备的所述检测的方向捕捉所述视频或图像以获取正确的3D视 频或图像。
【文档编号】H04N5/232GK104012074SQ201280061091
【公开日】2014年8月27日 申请日期:2012年12月12日 优先权日:2011年12月12日
【发明者】周炯, 唐·考克 申请人:华为技术有限公司