具有透视失真校正的脸部姿势改进的制作方法

专利名称：具有透视失真校正的脸部姿势改进的制作方法
技术领域：
本申请涉及对图像捕获设备相对于对象的定位和方向进行改进，以及对所捕获图 像的失真进行校正，所述设备例如移动处理装置中所包括的摄像机。
背景技术：
视频会议(或者视频电话会议)系统的发展允许用户在两个或者多个分离的地点 进行面对面的讨论。通过将参与者的视频图像包含进来，视频会议可以显著提高会议交流 的效率。例如，也能够交换非口头信息并呈现实体物品。从而，视频会议系统已被用于很多 目的，包括远程学习、远程医疗和远程协作。早期的视频会议系统需要专门的通信电路，以使实时传输视频数据以能提供可接 受的图像质量的足够传输速率传输。进一步，专用编码/解码器(CODEC)系统被用来执行 音频和视频的处理，并且经常包括多个监视器以支持多点会议。因此，早期的视频会议系统 需要专门的系统实现并且只能在固定地点举行。最近，网络通信的改进使得能够发展使用 通用计算平台的视频会议系统。也开发了改进的视频压缩算法以降低视频会议应用所需要 的带宽。很多因素都能影响视频会议系统感觉的质量。例如，如果帧速度过低，则接收装置 处的视频呈现会含有频闪(strobe)效果。进一步，在摄像机相对于对象(subject)的一些 方向上，接收到的图像会含有明显的失真。捕获图像的角度和呈现图像的角度中的一者或 者两者可以影响透视失真的水平。透视失真可以由于图像是以正常范围以外的焦距捕获而 产生，并且在所捕获的图像中被感受为一个或多个对象可见的变形。由于透视失真，对象或 者其一部分相对于其他的对象或对象部分可能显得比正常情况更大。随着观察角度的增大 以及摄像机与对象之间距离的减小，透视失真可能变得更加显著。

发明内容
摄像机(例如与视频会议应用相关联的摄像机)所捕获的图像中的失真可以至 少被部分地被校正。例如，可以用变形算法来校正或者补偿捕获过程中引入图像的至少一 部分失真，该失真例如是由摄像机与对象之间的接近度和/或由目标相对于摄像机的角度 所引起的。通过对受到失真影响的图像应用变形技术，图像可以被改变为提供这样的外观 即，摄像机的方向被定位成与对象更加直接地对准。本发明人意识到需要根据图像捕获装置的实际方向或者估计方向来应用变形技 术，以校正被捕获的图像中的失真。本发明人还意识到，需要基于一个或多个传感器(例如 加速计和陀螺仪中的一个或者两个)的输出来确定图像捕获装置的方向。进一步，还意识 到需要向用户提供反馈，该反馈表明正在被捕获的图像以及正在向被捕获的图像所应用的 校正。进一步，本发明人意识到需要基于脸部模型执行失真校正，例如二维Q-D)或者 三维(3-D)模型。失真校正所基于的模型脸部还可以是对象的代表，或者可以是与其他个体相对应的脸部。还意识到需要根据面部检测信息(包括由用户提供的面部位置信息)来 执行失真校正。例如，用户可以通过各种输入接口(包括触摸屏接口)提供面部的位置信 息(如面部的中间点)。本发明人还意识到需要向整个被捕获的图像或者仅仅对于面部区 域应用变形技术。例如，变形技术可以以图像中包括的面部区域为中心，或者仅仅应用到面 部区域。另外，本发明人意识到需要基于预定的图像(例如在视频会议之前获取的原始图 像，或者代表了用户想要的外观的理想图像)来对失真校正进行校准。还意识到需要提供 至少最低水平的校正来消除失真程度并增强被捕获的图像的外观。最低水平的校正可以基 于预先确定的最小倾斜程度。还意识到了需要记录位置历史并根据位置历史来执行失真校 正。因而，此处描述的技术和仪器实现的算法用于校正与被捕获的图像相关联的失真(例 如透视失真)的至少一部分，所述图像包括与视频会议系统或应用相结合使用的图像。大体上，在一个方面，可以实现这些技术，包括接收被捕获的图像，确定用于产生 被捕获的图像的摄像机的方向，基于所确定的摄像机的方向来计算变形参数，并基于所计 算的变形参数而对被捕获的图像应用一个或多个变形技术以产生经过失真校正的图像。也可以实现这些技术，使得对方向的确定进一步包括根据默认方向值来确定的摄 像机的方向。另外，也可以实现这些技术，使得对方向的确定进一步包括基于传感器数据来 确定摄像机的方向。还可以实现这些技术，包括接收输入，该输入标识了被捕获的图像中的 脸部位置。另外，可以实现这些技术，包括根据所标识的脸部位置来对被捕获的图像应用一 个或多个变形技术。进一步，可以实现这些技术，使得对标识了脸部位置的输入进行的接收 还包括从用户接收限定了与脸部位置相对应的边界的输入。大体上，在另一个方面，这些技术可以以编码于计算机可读介质上的计算机程序 产品的形式实现，该程序可操作以使数据处理设备执行包括下述内容的操作从摄像机接 收描述脸部的被捕获的图像，其中被捕获的图像由摄像机产生；分析传感器数据的条目以 确定摄像机的方向；基于所确定的摄像机方向计算一个或多个变形参数；基于所计算出的 一个或多个变形参数，对至少一部分被捕获的图像进行变形以产生经过失真校正的图像。也可以实现这些技术以包括从与摄像机相关联的陀螺仪、加速计、另外的位置或 者运动传感器、或者它们的任意组合来接收传感器数据信息。还可以实现这些技术，以使 数据处理设备执行包括接收从加速器传送的传感器数据的操作。还可以实现这些技术，使 得摄像机的方向包括相对于竖直面、水平面或者其他基准面的倾斜角度。还可以实现这些 技术，使数据处理设备执行包括从脸部探测算法接收标识了被描述的脸部位置的输入的操 作。另外，还可以实现这些技术，使数据处理设备执行包括根据被描述的脸部被标识的位置 而至少部分地对被捕获的图像进行变形的操作。大体上，在另一个方面，可以实现该主题以包括为捕获视频图像而配置的摄像 机、位置传感器、与摄像机和位置传感器耦合的计算系统，该计算系统包括一个或多个被配 置来执行操作的处理器，这些操作包括从摄像机接收被捕获的视频图像，从位置传感器接 收传感器数据，分析所接收的传感器数据以确定摄像机的方向，基于所确定的摄像机方向 计算变形参数，并且基于所计算的变形参数对被捕获的视频图像应用一个或多个变形技术 以产生经过失真校正的图像。也可以实现这些技术，使得这一个或多个处理器电子装置被进一步配置以执行包括实时地产生经过失真校正的图像的操作。还可以实现这些技术，使得位置传感器包括陀 螺仪、加速计、全球定位系统(GPQ处理器、蜂窝式三角测量处理器、另外的运动或者位置 传感器、或者它们的任意组合。另外，还可以实现这些技术，使得计算系统进一步包括被配 置来接收来自用户的触摸输入的触摸屏显示器。还可以实现这些技术，使得这一个或多个处理器被进一步配置成执行包括下述内 容的操作通过触摸屏显示器从用户接收输入，该输入标识了在被捕获的视频图像中描述 的脸部上的一个或多个位置。另外，还可以实现这些技术，使得这一个或多个处理器被进一 步配置成执行包括下述内容的操作根据所标识的一个或多个脸部位置，对被捕获的视频 图像应用一个或多个变形技术。另外，还可以实现这些技术，使得可以由用户手工地配置与 位置传感器相关联的一个或多个传感器数据偏移，以允许用户将位置传感器调整到不同的 位置。大体上，在另一个方面，可以实现这些技术，以包括接收被捕获的图像，识别与捕 获图像有关的一个或多个配准点，基于所识别的一个或多个配准点来比较被捕获的图像和 基准图像，响应于比较而确定一个或多个变形参数，并基于所确定的一个或多个变形参数 对被捕获的图像应用一个或多个变形技术以产生经失真校正的图像。大体上，在另一个方面，可以以编码于计算机可读介质上的计算机程序产品的形 式实现这些技术，该产品可操作以使数据处理设备执行包括下述内容的操作接收描述了 脸部的被捕获图像，识别与被捕获的图像相关联的一个或多个配准点，基于所识别的一个 或多个配准点而比较被捕获的图像和基准图像，根据比较而确定一个或多个变形参数，并 基于所确定的一个或多个变形参数对被捕获的图像应用一个或多个变形技术以产生经过 失真校正的图像。可以实现本说明书描述的技术以实现下述优点中的一个或多个。例如，可以实现 这些技术，使得被捕获的图像的失真可以至少部分地被校正或者补偿，以在美学上改善视 频会议参与者的外观。受到校正或者补偿的失真可以包括由用于捕获图像的摄像机相对于 对象(例如脸部)的方向所引起的失真。进一步，可以实现这些技术，使得通过应用变形技 术而产生的经过校正的图像提供这样的外观即，摄像机与对象更恰当地对准。也可以实现 这些技术，以基于从一个或多个所包含的传感器接收的位置的数据来确定图像捕获装置的 实际方向。进一步，可以实现这些技术，以允许在视频会议期间及时地在不同的位置确定和 分析图像捕获装置的方向。因此，可以基于使用数据来确定优选方向。进一步，所应用的校 正的程度可以基于当前的定位与优选定位之间的差来确定。也可以实现这些技术以允许确 定何时传感器数据很可能是不准确的并且允许在这些时候使用默认方向取代传感器数据。 另外，还可以实现这些技术以允许用户选择优选模型用于执行变形校正。例如，用户可以选 择代表了其理想的面部描述的图像(包括其他人的图像)作为优选模型。可选择的，可以 使用校准图像来执行变形校正。校准图像可以由用户选择或者自动确定。另外，可以实现这些技术以允许对整个图像或者图像的被选择部分校正失真。例 如，面部检测处理或者用户输入可以用来确定失真校正处理中使用的面部区域。可以应用 失真校正使之相对于面部区域处于中心。可选择的，失真校正可以局限于面部区域。进一 步，还可以实现这些技术以允许用户提供定义了面部区域的信息(例如通过对触摸屏的输入)。一个或者更多的实施例细节通过下述的附图和说明书被列出。其他特征和优点将 从说明书、附图和权利要求中示出。


图1示出示例性的计算环境，包括被配置来执行视频会议的计算装置。图2和图3示出示例性的图像捕获应用中呈现的被捕获的图像。图4示出使用固定方向参数的示例性失真校正处理的流程图。图5示出使用根据传感器数据而确定的方向参数的示例性失真校正过程的流程 图。图6示出示例性的被捕获图像，该图像包括脸部位置信息的标识。图7示出描述用于产生装置方向历史的示例性过程的流程图。图8示出了使用基准图像的示例性失真校正过程的流程图。图9A和图9B图示了由于摄像机和捕获的图像的对象之间的角度引起的透视失真 的例子。图10是示例性移动计算装置的体系结构框图。在整个说明书和附图中，相同的标号表示相同的部分。
具体实施例方式计算装置可以被配置以执行视频会议功能，例如在视频会议应用的情况下。计算 装置还可以被配置以执行一个或多个失真校正操作，以降低或者消除与计算装置连接的摄 像机所捕获的图像中包括的失真。例如，可以在产生视频会议会话中所能传输的经过失真 校正的图像之前，实时地或者接近实时地执行失真校正操作。失真校正操作可以包括对所 捕获的图像应用一个或多个变形(warp)技术。变形技术可以作为一个或多个算法来实现， 通过这些算法，将失真的图像能够被调整或者变形，以产生经过失真校正的图像。变形技术 可以被配置以通过根据一组中的一个或多个变形参数来调整扭曲的图像。这组一个或多个 变形参数可以在数学上代表从捕获目标的投影到图像投影的变换(或者转化)。进一步，一 个或多个变形参数的一个组可以定义以针对一个、两个或者三个维度来对图像进行变换。图1示出了一个示例性的计算环境，其包括计算装置，这些计算装置被配置来执 行和/或便于视频会议。计算环境100可以是异构的(heterogeneous)分布式计算环境， 包括分开的计算系统，例如移动计算装置(例如，移动电话105和膝上电脑115)、桌上型电 脑125和服务器120，这些系统可以以任意距离分开。包括在计算环境100中的计算系统 可以被配置以通过网络110双向通信。网络110可以是任意类型的通信网络，包括局域网 (“LAN”，例如内部互联网)、广域网(“WAN”，例如因特网)或者局域网与广域网的结合。网 络110还可以包括公共网络部分和私有网络部分中的一者或者两者，其可以用与一个或多 个服务提供商相关联的任意数目的有线通信路径和/或无线通信路径来实现。同样的，可 以通过任意结构访问网络110，包括移动数据网络结构(例如基于3G/4G标准)、无线数据 网络接入点(例如基于IEEE 802. 11标准)和有线网络连接。另外，网络110可以被配置 以支持传输消息，所述消息的格式使用多种协议中的任意一种。
移动计算设备105可以是被配置以访问数据网络的任意类型移动通信设备，包括 智能手机、个人数字助理(PDA)、掌上型计算装置、平板计算装置、膝上型电脑等。一个实施 例中，移动计算设备105可以是iWione，由加利福尼亚库珀蒂诺的苹果公司制造。移动计 算设备105还可以包括一个或多个网络接口以访问数据网络，例如网络110。例如，移动计 算设备105可以包括移动数据网络接口(例如3G接口，用于通过电信网络来通信)和无线 数据网络接口(用于异无线方式访问数据网络，例如通过Wi-Fi接入点)中的一者或两者。 另外，移动计算设备105可以包括一个或多个处理器、存储器以及总线，它们被配置以执行 应用，包括一个或多个视频会议(或者视频聊天)应用。适于捕获视频(例如以视频图形阵列(VGA)分辨率和每秒30帧的速率)的摄像机 也可以与移动计算设备105相关联。在一些实施例中，摄像机可以被配置成除视频之外还 捕获单独的静态图像。摄像机可以嵌入在移动计算设备105中，或者可以作为能够连接于 (例如通过有线的或者无线的连接)移动计算设备105的外部设备。移动计算设备105还可 以包括显示器，显示器被配置为显示用户接口和应用数据，包括与所捕获的视频相对应的 一个或多个图像。显示器可以是适合移动设备中使用的任意类型，包括液晶显示器(LCD)、 有机发光二极管(OLED)显示器、发光聚合物(LEP)显示器和有机电致发光(OEL)显示器。 在一些实施例中，显示器也可以以触摸屏方式实现，被配置以从用户接收触摸输入(包括 手势(gesture))。摄像机和显示器可以方向同时面向用户。另外，移动计算设备105可以 包括一个或多个位置传感器，例如陀螺仪、加速计、GPS处理器和/或蜂窝式三角测量处理
ο在一些实施例中，移动计算设备105(例如智能手机)可以被配置成与耳机 (headset) 107通信，该耳机包括一个或多个嵌入式位置传感器，例如加速计或者陀螺仪。耳 机107可以被配置以通过无线通信链路(例如射频链路)向移动计算设备105输出传感器 数据。传感器数据可以用来确定用户头部相对于移动计算设备105的方向。因此，传感器 数据和/或所确定的用户头部的方向可以用来产生或细调一个或多个变形参数。用户还可 以被指示将耳机107佩戴在特定的位置，使得由耳机107产生的传感器数据一致地代表用 户头部的方向和位置改变。另外地或者替代地，与耳机107相关联的一个或多个传感器数 据偏移(offset)可以被手工地设定，使得用户可以将耳机佩戴在其他的位置。移动计算设备115也可以包括一个或多个网络接口，用于访问数据网络，例如网 络110。例如，移动计算设备115可以包括无线数据网络接口，用于以无线方式访问数据网 络(例如通过Wi-Fi接入点)，以及有线数据网络接口(例如以太网端口)。在一些实施例 中，移动计算设备115还可以包括移动数据网络接口(例如3G接口)，用于通过无线的电信 网络进行通信。移动计算设备115还可以包括适于捕获视频的摄像机(未示出)，例如以 VGA分辨率和每秒30帧的速率来捕获。在一些实施例中，摄像机可以被配置成除了捕获视 频之外还捕获单独的静态图像。摄像机可以与移动计算设备115集成为一体，或者作为外 部设备而与移动计算设备115耦合，例如通过通用串行总线(USB)连接器。移动计算设备115还被配置以在显示装置上显示用户接口和应用数据，该数据包 括与所捕获的视频相对应的一个或多个图像。显示器可以是任意类型的，包括IXD、0LED、 LEP和OEL显示器。在一些实施例中，显示器也可以以触摸屏方式来实现，被配置以从用户 接收触摸输入(包括手势)。移动计算设备115还可以包括一个或多个位置传感器，例如陀螺仪、加速计、GPS处理器和/或蜂窝式三角测量处理器。移动计算设备115还可以包括一 个或多个处理器、存储器和总线，它们被配置以执行应用，包括一个或多个视频会议应用。 因此，移动计算设备115可以通过远程计算设备(例如移动计算设备10 参与视频会议会 话。在一些实施例中，移动计算设备115(例如膝上型电脑)可以由包括相同或者相似特性 和功能的其他计算设备替代，该设备包括桌上型电脑、工作站、迷你电脑、微型电脑、移动电 话、平板计算设备和专用计算设备。另外，服务器120可以被配置以便于视频会议，例如通过用初始连接来对参与的 系统(例如移动计算设备105和115)提供帮助。服务器120可以提供目录、认证和帐单服 务，并可以使用多种协议通信。在一些实施例中，计算环境100可以包括一个或多个额外的 计算设备，它们被配置以执行和参与视频会议，包括桌上型电脑、工作站、迷你电脑、微型电 脑、平板计算设备、专用计算设备以及另外的移动计算设备。图2示出图像捕获应用中捕获的示例性图像。由操作系统产生的用户接口 200可 以在计算设备(例如移动计算设备105和1巧)的显示器上显示。用户接口 200被可以配 置成呈现与在操作系统框架内执行的一个或多个应用相对应的图形信息。例如，与视频会 议应用相关联的视频会议窗口 205可以被显示在用户接口 205中。在一些实施例中，视频会议窗口 205可以被配置以显示与视频数据对应的一个或 多个预览图像210，所述视频数据是由执行该视频会议应用的计算系统捕获的。这一个或多 个预览图像210可以描述未校正的视频图像，该图像显示出由与该视频会议应用相关联的 摄像机正在捕获的图像数据的对象(例如用户的脸部)。在一些实施例中，这一个或多个预 览图像210可以作为视频数据来呈现，该数据代表了正在或者将要传送到一个或多个视频 会议参与者的代表性的那些图像。在其他实施例中，这一个或多个预览图像210可以作为 一个或多个静态图像而显示，所述静态图像例如被以比视频图像低的频率刷新或者可以手 动地前进。这一个或多个预览图像210可以允许用户对摄像机正在捕获的图像的特征进行 评估，这些特征包括摄像机相对于对象的(一个或多个)角度以及摄像机离对象(例如，目 标的脸部)的距离。在这一个或多个预览图像210中可以对摄像机捕获的图像中的失真进行检测。例 如，摄像机可以位于对象的脸部215的下方并且方向成向上倾斜。因此，透视失真可能引起 目标的脸部215的下部220看起来更宽。目标的脸部215的上部225也可能发生失真从而 看起来更窄。进一步，其他失真和光学像差也可以被检测，包括在基准平面(例如水平面) 中由摄像机与目标的脸部215之间的相对角度引起的失真。基于这一个或多个预览图像 210，摄像机与目标的脸部之间的方向可以被调整。图3示出图像捕获应用中呈现的另一个示例性的被捕获的图像。用户接口 200中 的视频会议窗口 205也可以被配置以显示一个或多个经过失真校正的图像310，这些图像 对应于下述被捕获的图像所述图像已受到处理以至少部分地校正或者补偿失真。失真可 以由例如摄像机相对于对象的方向以及摄像机的焦距等因素引起。这一个或多个经过失真 校正的图像310可以通过对被捕获的图像应用变形技术而产生。此外，所应用的变形技术 和校正程度可以根据一个或多个因素确定，包括所确定的摄像机的方向以及摄像机与对象 之间的距离。如这一个或多个经过失真校正的图像310中所描述的那样，目标的脸315的尺度可以与实际尺度更一致。例如，可以应用变形技术以使得目标的脸315的下部320变窄。还 可以应用变形技术以使得目标的脸的上部325变宽。这一个或多个失真校正图像310可以 实时地或者接近实时地产生。另外，这一个或多个失真校正图像310可以在发起视频会议 会话之前和/或在视频会议会话期间显示。在一些实施例中，视频会议窗口 205可以被配置为包括预览窗口 330，该窗口中可 以呈现这一个或多个经过失真校正的图像310。预览窗口 330可以被持续显示，使得这一个 或多个经过失真校正的图像310可以在整个视频会议会话中显示。可选择地，预览窗口 330 也可以在视频会议期间(例如响应于用户的输入)被开启/关闭。预览窗口 330还可以响 应于用户输入或者自动地(例如，响应于对脸部在视频会议窗口 205中的位置的确定)被 重新定位到会议窗口 205的任何部分。在一些其他实施例中，视频会议窗口 205和预览窗 口 330的内容可以被选择，例如响应于用户的输入。因此，这一个或多个失真校正图像310 可以选择性地显示在视频会议窗口 205或者预览窗口 330中。另外，在一些实施例中，可以给图像捕获装置确定优选的方向。例如，优选的方向 可以由用户指定，例如，在视频会议会话之前或者期间。优选的方向也可以被自动地确定， 例如，基于针对用户的已知使用模式。例如，对于特定的用户，可以对设备方向历史进行分 析，以确定图像捕获装置的优选方向。在视频会议会话期间，实际的图像捕获装置方向可以 被与优选的图像捕获装置方向相比较，以确定一个或多个差异的程度。如果所确定的差异 程度超过差异阈值，则可以提供方向指示器以指导用户将图像捕获装置的方向改变成更接 近该优选方向。指示器可以是视觉的、听觉的、触觉的或者它们的任意组合。例如，方向指示 器335可以被呈现在预览窗口 330中，以指导用户抬高图像捕获装置。方向指示器可以标 识校正的方向和/或校正的大小，例如，基于所呈现的尺寸、频率或者持续时间来进行。进 一步，方向指示器可以是一维的或者多维的。另外，在一些实施例中，可以只在当实际图像 捕获装置方向与优选的图像捕获装置方向之间的一个或多个差异程度超过了阈值(例如 上述差异阈值)时才应用变形技术。方向指示器也可以在其他图像捕获实施例中显示。例如，用户可以捕获描述另一 个对象的脸的视频图像。可以向用户呈现方向指示器，以标识一个或多个校正的方向和大 小，以使图像捕获装置的方向更接近于优选的方向。因此，所捕获的图像的视觉的和/或美 学的质量可以被提高。失真(例如透视失真)在所捕获的图像(包括静态图像和视频图像)中可以被至 少部分地校正。可以由捕获这些图像的应用或者由其他的相关联应用来执行失真校正。在 一些实施例中，视频捕获应用可以是视频会议或者视频聊天应用。图4示出使用固定的方向参数的示例性失真校正处理的流程图。在一些实施例 中，固定的方向值可以表示为一个或多个角度，例如相对于一个或多个基准平面。在另外一 些实施例中，固定的方向值可以表示为一个或多个坐标，或者表示为一个或多个角度与一 个或多个坐标的组合。可以对视频捕获应用的初始化进行检测005)。例如，用户可以通过 计算设备所呈现的操作系统接口来发起视频会议应用。可选择地，响应于从其他计算设备 接受到的视频会议请求，视频会议应用可以被自动地初始化。图像捕获装置(例如嵌入式摄像机)可以开始捕获图像数据。例如，图像捕获装 置可以被配置成以VGA分辨率和30帧每秒的速率捕获视频数据。其他分辨率和帧速率也中的任一者或两者也可以被响应于用户输入而手动地选择，或 者例如响应于可用的系统资源而自动地选择。图像数据可以代表与图像捕获装置相关联的 计算设备的用户。图像可以被从图像捕获装置接收010)。例如，图像可以被视频会议应用 接收。所接收的图像可以被各自存储，例如存储在分开的图像缓冲器中。可选择地，指明一 个或多个图像的存储位置的图像位置数据可以被接收。在一些实施例中，一个或多个图像 也可以由单独的失真校正应用或者模块接收。与图像捕获装置相对应的方向参数可被确定G15)。方向参数可以是默认值，例如 相对于基准平面(例如竖直面)的固定倾斜角度。方向参数还可以基于设备类型来选择。 例如，与具有嵌入式摄像机的智能手机相关联的方向参数可以被设置为第一默认值，例如 相对于竖直面向上倾斜30度，而膝上型电脑及其相对应的摄像机的方向参数可以被设置 为第二默认值，例如相对于竖直面向上倾斜15度。图像捕获设备的方向参数可以被设置为 等于任意值，包括多维数值。针对特定装置或装置类型的方向参数还可以被根据经验确定。可以对所捕获的图像应用一个或多个变形技术020)。这些变形技术可以基于已 知的实时或者近似实时的变形算法，例如仿射变形算法或者透视变形算法。这些变形技术 可以根据方向参数来应用。例如，图像变形的程度可以基于一个或多个角度的严重性(例 如相对于竖直面的倾斜角度)来选择。进一步，所应用的这一个或多个变形效果可以基于 一个或多个角度的方向(例如图像捕获装置是向上还是向下倾斜)来选择。在一些实施例 中，向所捕获的图像应用的失真校正的量可以小于基于方向参数而估计的失真量，使得仅 部分失真被校正。这样，应用这些变形技术所执行的计算的量可以被限制，并可以防止过度 变形。此外，可以应用这些变形技术，使得对于视频序列中的相邻图像，所执行的失真校正 具有一致性。因此，与应用这些变形技术相关联的图像序列之间的抖动或者噪声可以被减 少或者消除。被应用过变形技术的所捕获的图像可以作为经过失真校正的图像而输出(425)。 例如，经过失真校正的图像可以被输出到显示接口，以在本地显示器上呈现和/或呈现到 通信接口以传输给一个或多个远程视频会议参与者。还可以确定是否接收了一个或多个另 外的捕获图像G30)。如果没有其他的捕获图像被接收，则失真校正处理可以终止。可选择 的，如果有另外的捕获图像被接收，则可以确定图像捕获装置的方向参数G15)。在一些实 施例中，方向参数可以在视频会议期间被改变，例如，响应用户的输入。在一些其他实施例 中，最初确定的方向参数可以用于整个视频会议会话过程中。图5示出了使用根据传感器数据而确定的方向参数进行的示例性失真校正处理 的流程图。可以从图像捕获装置接收图像(50 。例如，图像可以由视频会议应用或者其一 部分(例如模块)接收。所接收的图像可以被各自存储，例如在分开的缓冲器中存储。可 选择地，指示一个或多个所接收图像的存储位置的图像位置数据可以被接收。在一些实施 例中，一个或多个图像也可以由单独的失真校正应用或模块接收。进一步，可以从一个或多个位置传感器接收传感器数据(510)。例如，这一个或多 个位置传感器可以包括下述一项或多项陀螺仪、加速计、GPS处理器、蜂窝式三角测量处 理器，它们可以嵌入到包括该图像捕获装置的对象中，或者以另外的方式与之相关联。陀螺 仪可以被配置以输出表明方向或角度的信号数据(例如在3-D空间中)，该信号数据可以被 用于确定图像捕获装置的方向。加速计可以输出矢量数据，该数据表明相对应的装置正在经受的加速度方向和大小。在一些实施例中，传感器数据也可以从外部设备接收，所述外部 设备例如与该图像捕获装置相关联的耳机。可选地，传感器数据可以被存储在存储器中。在一些实施例中，与视频会议相对应 的传感器数据可以被记录在易失性存储器中并且在视频会议终止时被擦除。在其他一些实 施例中，传感器数据可以被永久存储，例如存储在数据文件中。传感器数据可以被存储在针 对各个事件(例如视频会议)的分开的文件中，或者存储在包含与多个事件相对应的数据 的文件中。进一步，所接收的传感器数据可以被检查以确定其是否有效(515)。例如，有效 的传感器数据可以被限制在预先确定的运动范围内，该范围在对应的期间是可允许的。如 果传感器数据对于所限定的期间超过了该预先确定的运动范围，则可以确定传感器数据是 无效的。因此，运输工具(例如汽车或者电梯)的运动所造成的传感器数据可以被识别并 不予考虑。同样，在一些实施例中，与滤波器数据相关联的高频成分可以被滤波。如果确定传感器数据是有效的，则可以确定表明图像捕获装置方向的方向参数值 (520)。方向参数值可以根据所有传感器数据或者根据其子集来确定。例如，如果仅有部分 传感器数据是有效的，则该有效部分可以用来确定方向参数值。在一些实施例中，方向参数 可以代表图像捕获装置在三维空间中的位置。在其他一些实施例中，方向参数可以代表装 置方向的一个或多个方面，例如，相对于竖直面倾斜的角度和/或相对于水平面旋转的角 度。进一步，在一些实施例中，传感器数据也可以表明用户的头部相对于图像捕获装置的方 向。如果传感器数据被认为不是有效的，则可以使用默认的方向参数(525)。在一些实 施例中，默认的方向参数可以是基于固定的方向而预先确定的数值，例如相对于竖直面倾 斜25度。在其他一些实施例中，默认的方向参数可以基于历史传感器数据的一个或多个条 目来确定。例如，默认的方向参数可以被设定成等于用户的偏好方向。还可以确定脸部位置信息的一个或多个条目是否可用(530)。脸部位置信息可以 在所捕获的图像中标识脸部的位置。在一些实施例中，脸部位置信息可以由脸部检测应用 或模块产生。例如，脸部位置信息可以通过由OMRON Corporation的OKAO视觉脸部检测技 术来提供。在其他一些实施例中，脸部位置信息可以由用户提供，可以提示用户提供输入， 该输入在一个或多个所捕获的图像中标识脸部的位置。例如，用户可以向触摸屏提供输入 以标识脸部的边界或者脸部特征。如果脸部位置信息可用，则可以根据脸部位置信息而应用变形技术(535)。在一些 实施例中，可以应用这些变形技术，使得变形效果集中在被捕获图像的脸部位置。在其他一 些实施例中，变形技术可以被限制在所捕获的图像中标识的脸部区域中。可选择地，如果脸 部位置信息不可用，则可以对整个捕获的图像应用变形技术而不针对脸部位置(540)。在一 些实施例中，当脸部位置信息可用时，也可以对与脸部位置相对应的区域进行估计，以确定 脸部是否有足够的尺寸来应用变形技术。如果脸部位置的尺寸足够，则可以应用变形技术， 例如使得变形效果集中在脸部位置。或者，如果脸部位置没有足够的尺寸，则可以对整个的 被捕获图像应用变形技术。另外，可以对一系列图像(例如视频序列)应用变形技术，使得所执行的失真校正 体现出随着时间的一致性。针对时域的失真校正的一致性可以降低或者消除基于事件的图 像序列中出现的抖动或者噪声。可以通过多种机制来一致地应用这些变形技术，这些机制包括下述一项或多项对变形参数进行滤波、对传感器数据进行滤波、以及随着时间而调整 准确的一组变形参数。与图像序列的多个连续帧(例如5个帧)相对应的变形参数可以通滤波波而被 平滑。滤波可以针对正在处理的当前帧的被迭代地执行。例如，序列中的当前帧可以与 前一帧和后一帧(例如从超前(look-ahead)缓冲器获得)中的一者或两者相结合受到滤 波。图像序列的帧还可以受到低通滤波，例如使用对称滤波器或者无限脉冲响应(infinite impulse response,HR)滤波器。传感器数据也可以针对时间受到低通滤波。例如，高斯滤 波器可以用来使传感器数据随时间平滑化，从而消除图像序列的各帧之间的小抖动。另外， 可以通过高精度计算产生一组精确的变形参数。这组精确的变形参数可以一次性地产生， 例如在视频捕获事件发起时，也定期地产生，例如每1秒或者5秒。因此，产生精确变形参 数的计算负担可以被降低。另外，通过响应于所接收的传感器数据而进行变更，精确变形参 数可以被追踪，或者随时间而受到调整。应用了变形技术的被捕获图像可以作为经过失真校正的图像而输出(545)。例如， 经过失真校正的图像可以被输出到显示接口，以呈现在本地显示装置上和/或呈现给在通 信接口以传输到一个或多个远程视频会议参与者。也可以确定是否已接收了一个或多个另 外的被捕获图像(550)。如果没有其他的被捕获图像被接收，失真校正处理可以终止。或 者，如果接收了另外的被捕获图像，则可以从一个或多个位置传感器接收对应的传感器数 据(510)。在一些实施例中，可以针对每个图像接收传感器数据，因为在一个或多个图像的 过程中，相对应设备的方向可能改变。例如，相关设备可以是手持移动计算设备，用户可能 有意的或者无意的通过移动而改变设备的方向。在其他一些实施例中，传感器数据可以周 期性地被接收，例如每1秒或者每15秒。图6示出的示例性被捕获图像包括对脸部位置信息的标识。用户可以被提示以在 捕获图像中提供脸部位置的指示。例如，用户接口 200中的视频会议窗口 205可以被配置 以呈现被捕获的图像600，该图像可以包括脸部605的描述。用户可以提供输入(例如向 触摸屏)，该输入表明所描述的脸部605的中间点610。或者，用户可以提供输入，该输入限 定了所描述的脸部605的边界615。边界615可以被绘制，使之大体上包含整个脸部区域。 边界615也可以受到估计，以确定脸部605是否在下述尺寸范围内在该范围内可以通过应 用变形技术而校正失真(例如透视失真)。此外，在一些实施例中，用户可以被提示以标识 与脸部605相对应的一个或多个面部特征，例如眼睛、鼻子和/或嘴。与结合图5所讨论的 内容一样，用户所标识的脸部位置信息可以被用于向一个或多个被捕获的图像(包括被捕 获的图像600)应用变形技术。图7示出了描述用于产生设备方向历史的示例性处理的流程图。视频会议的初始 化可以被检测(705)。视频会议可以响应于建立新视频会议的用户输入而被初始化。或者， 视频会议可以响应从一个或多个远程设备接收到加入视频会议的请求而被初始化。图像捕 获装置的初始方向也可以被确定并且记录在设备方向历史中，例如作为第一个条目(710)。进一步，可以从与图像捕获装置相对应的一个或多个位置传感器接收传感器数据 (715)。这些位置传感器可以包括陀螺仪和加速计中的一者或者两者。在一些实施例中，位 置传感器可以包括被配置来确定位置的一个或多个传感器，例如全球定位系统(GPQ处理 器或者蜂窝式三角测量处理器。基于位置的数据可以用于确定在视频会议期间视频捕获装置是否运动以及其运动的程度。设备方向可以基于所接收的传感器数据而被确定，所确定的方向可以被存储在设 备方向历史中(720)。可选择或者可替换地，位置传感器数据可以被存储，例如储存在设备 方向历史中。在一些实施例中，设备方向历史可以被存储在与单一的视频会议会话相对应 的文件中。在其他一些实施例中，所确定的方向可以被存储在涉及多个视频会议的文件中。此外，所存储的设备方向信息可以用于确定优选的方向(725)。优选的方向可以代 表图像捕获装置(例如相对于用户)的有利方向，例如带来使用户愉悦的图像的方向。例 如，设备方向可以被分析，以确定图像捕获装置最常被保持的方向。可选择的，设备方向可 以被分析，以确定用户将图像捕获装置放回的方向，尤其是使图像捕获装置对准空间基准 (例如竖直面)的方向。例如，设备方向信息可以表明近似竖直的方向(用户在会议期间反 复接近该方向)以及随着时间从该方向的衰退。基于设备方向历史，接近竖直的这个方向 可以被标识为优选的方向。可以在应用变形技术时利用所述优选的方向以产生经过失真校正的图像。例如， 优选的方向可以表明图像捕获装置捕获图像时应该所处的方向。因此，可以基于捕获图像 的实际方向和该优选方向之间的差异，来得出用来产生经过失真校正的图像的一个或多个 变形参数。在一些实施例中，当传感器数据不可用时，可以使用与方向随着时间的衰退有关 的信息。例如，与衰退有关的信息可以用来确定在使捕获图像变形时所要应用的一个或多 个变形参数。随着对另外的设备方向信息的确定，优选的方向可以被更新。例如，设备方向历史 在视频会议会话期间可以被周期性地分析，以更新优选的方向。附加地或者替换地，设备方 向信息可以在视频会议期间被缓冲。经过缓冲的设备方向信息可以被随后分析，例如，用来 更新优选的方向。视频会议的情况也可以被周期性地评价。如果视频会议会话仍在活动 (730)，则能够接收另外的传感器数据(715)。否则，设备方向历史可以被关闭。图8示出了使用基准图像的示例性失真校正处理的流程图。可以接收被捕获的图 像(805)。例如，被捕获的图像可以是从摄像机输出的视频图像(或视频帧)。此外，被捕 获的图像可以在被配置来(例如通过对被捕获的图像应用变形技术)执行失真校正处理的 应用中被接收。可以确定被捕获图像中的一个或多个配准点(registration point) (810)。 这一个或多个配准点可以被选择来便于被捕获图像与一个或多个另外的图像(例如基准 图像)对准。在一些实施例中，可以选择与眼角和嘴角相对应的四个配准点。在其他的一 些实施例中，可以选择更多的、更少的和/或其他的配准点。被捕获的图像中的这些配准点 可以被自动地或者手动地确定。例如，一个或多个配准点可以根据由OKAO视觉脸部检测技 术所产生的脸部位置信息而被自动确定。脸部位置信息包括表示所检测的脸部的点(例如 眼角、鼻子、嘴角)的数据。进一步，可以向用户呈现被捕获的图像，用户可以手动地提供标 识了一个或多个配准点的输入。例如，用户可以通过光标或者触摸屏接口指明一个或多个 配准点的位置。进一步，还可以访问基准图像(815)。基准图像可以被预先确定以用于执行失真校 正处理。例如，可以基于基准图像确定来对被捕获的图像的变形程度。也可以将基准图像 选择为具有与被捕获的图像可比拟的分辨率。例如，可以创建基准图像的多个版本，每个版 本具有不同的分辨率。与捕获图像具有最接近的分辨率的基准图像可以被访问。
在一些实施例中，基准图像可以是被捕获图像中描述的对象的图像。例如，可以在 视频捕获过程之前或在其发起时获得基准图像，作为校准的量度。基准图像可以在对象与 摄像机之间的对准处于预定范围内(例如相对于竖直面处于预定倾斜量以内)时被取得， 使得一定程度的基准图像的失真是可接受的。基准图像也可以由用户选择，作为代表了用 户喜爱的外观的优选图像。在其他一些实施例中，基准图像可以是这样的图像其描述了不与被捕获的图像 中的对象相对应的脸。例如，基准图像可以描述某个名人或者模特，该名人或模特是被捕获 的图像的对象可能希望更接近地模仿的。或者，基准图像可以与合成的脸部对应，所述合成 的脸部可以作为模版用于确定一个或多个变形参数。此外，在一些实施例中，基准图像可以 由2-D或者3-D基准模型取代。也可以在基准图像中确定一个或多个配准点(820)。这一个或多个配准点可以与 被捕获图像中的配准点相对应。基准图像中的这一个或多个配准点可以被自动地或者手动 地确定。进一步，被捕获的图像与基准图像可以被对准，并且一个或多个变形参数可以被确 定(82 。例如，可以确定变形参数以使被捕获的图像在一个或多个维度和/或特性方面更 接近基准图像。进一步，与产生被捕获图像的摄像机相对应的方向信息可以被访问(830)。该方向 信息可以基于下述一项或多项传感器数据、优选方向数据、历史方向数据。方向信息可以 用于校验或者微调所确定的变形参数，或者用于确定一个或多个另外的变形参数。可选择 的，在一些实施例中，可以使用基于基准图像而确定的变形参数，而不考虑方向信息。在一 些实施例中，也可以分析被捕获的图像以识别该图像的背景中的一个或多个主体，所述主 题应当由平行线来表征，例如墙、门、框架和建筑。所识别的主体可以被分析，例如用于识别 失真或者弯曲的程度，并可以用来确定、验证或者微调与被捕获的图像相关联的一个或多 个变形参数。可以基于所确定的变形参数来对被捕获的图像应用变形技术(835)。应用变形技 术可以至少部分地校正与被捕获的图像相关联的失真，以产生经过失真校正的图像。进一 步，所得的经过失真校正的图像可以被输出(840)。例如，经过失真校正的图像可以被输出 到显示接口，以呈现在相关联的显示设备上(例如作为预览图像)和/或输出到通信接口 以传输到远程设备(例如在视频会议中使用)。使用基准图像的失真校正处理可以对于一 系列被捕获的图像实时地或者近似实时地执行。图9A和图9B说明了由被捕获图像的对象和摄像机之间的角度引起的透视失真的 例子。在图9A中，摄像机905中的投影图像包括与物体915对应的物体代表910。摄像机 905向上倾斜并且以角度a位于物体915以下。此外，χ轴与Y-Z平面垂直，物体915包括 坐标为(ΡΧ，ΡΥ，ΡΖ)的点。摄像机和物体之间的角度在投影图像中引起特定量的失真。在图9Β中，摄像机905被示出为重新映射到可以产生不失真图像的位置处，从而 表明可由摄像机905和物体915之间的角度(即角度a)引起的透视失真量。物体代表910 中的点(Qx, QY, Qz)可以被映射到经过移位的代表物体915中的点920，其坐标为(Px, Py, PZ2)。Pz2的值随着角度a的增加而从0度增加到90度。因此，对于中心位置为(0，0，PZ2) 的脸部，失真将引起脸的上部变小而脸的下部变大。但是，通过将失真的坐标反过来映射到 相应的未失真坐标，该失真可以被校正。例如，物体代表925的经过重新映射的位置的坐标值Qx和Qy可以表示为
_ Qx=Q^2 = Q2PySin(/+xPzSQC{a)Q =Q^ = Q π . 1^cT ,、因此，变形技术可以被应用到由摄像机905捕获的图像，以校正由摄像机905相对 于物体915的角度所引起的失真。图10是示例性移动计算装置体系结构框图。移动计算装置1000可以是移动电话 105的实现形式，可以包括存储器接口 1002、一个或多个数据处理器、图像处理器和/或中 央处理器1004、以及外围设备接口 1006。存储器接口 1002、一个或多个处理器1004和/或 外围设备接口 1006可以是分开的组件，也可以集成在一个或多个集成电路中。移动计算装 置1000中的各个组件可以通过一个或多个通信总线或者信号线耦合在一起。传感器、装置和子系统可以耦合到外围设备接口 1006以便于多种功能。例如，运 动传感器1010 (例如陀螺仪和/或加速计)、光传感器1012和接近度传感器1014可以耦合 到外围设备接口 1006，以便于方向、光照和接近度功能。位置处理器1015(例如GPS接收 器)可以连接到外围设备接口 1006以提供地理定位。磁罗盘集成电路1016也可以连接到 外围设备接口 1006以提供方向，例如确定正北方向。摄像机子系统1020和光传感器1022(例如电荷耦合器件(CXD)或者互补金属氧 化物半导体(CMOS)光传感器)可以用来以便于摄像机功能，例如捕获图像和/或视频数据。可以通过一个或多个无线通信子系统IOM来便于通信功能，该子系统可以包括 射频的接收器和发送器和/或光学(例如红外的)接收器和发送器。通信子系统IOM的 具体设计和实施方式可以取决于由希望移动通信装置1000的操作所用的(一个或多个) 通信网络。例如，移动通讯装置1000可以包括这样的通信子系统IOM 该子系统被设计 成在下列中的一项或多项上工作GSM网络、GI3RS网络、EDGE网络、Wi-Fi或WiMax网络、 Bluetooth 网络。特别的，无线通信子系统IOM可以包括主机协议，使得移动通信装置 1000可以被配置成作为其他无线设备的基站。进一步，音频子系统10 可以与扬声器10 和麦克风1030耦合以便于语音能力 功能，例如语音识别、语音复制、数字记录和电话功能。另外，I/O子系统1040可以包括触 摸屏控制器1042和/或(一个或多个)其他输入控制器1044。例如，I/O子系统1040可 以包括麦克风(内部的和/或外部的)、扬声器和语音命令识别引擎。I/O子系统1040可 以通过全双工信道接收语音命令和呈现音频输出。例如，可以实现除常规的蜂窝语音通信 之外的传送技术，例如IP上的语音(voice over IP)。触摸屏控制器1042可以直接或者间接地耦合到触摸屏1046。触摸屏1046和触摸 屏控制器1042例如可以适于使用任何多点触摸传感技术(包括但不限于电容的、电阻的、 红外的和表面声波的技术)以及其他接近度传感器阵列或者用于确定与触摸屏1046的一 个或多个触膜点的其他元件，来检测接触、移动、或者移动中断。(一个或多个)其他输入控制器1044可以耦合到其他输入/控制装置1048，例如 一个或多个按钮、摇杆开关、拇指轮、红外端口、USB端口和/或指点装置(例如触笔)。这一个或多个按钮(未示出)可以包括上/下按钮，用于控制扬声器10 和/或麦克风1030
的音量。在一个实施例中，按压按钮达第一时间长度可以解除与触摸屏1046相关联的锁 定，而按压按钮第二(例如更长的)时间长度可以被配置成将能量运转到移动计算装置 1000。此外，一个或多个按钮的功能可以定制。触摸屏1046例如也可以用于实现虚拟的或 者“软”的按钮和/或键盘。在一些实施例中，移动计算装置1000可以呈现所记录的音频和/或视频文件，例 如MP3、AAC和MPEG文件。在一些实施例中，移动计算装置1000可以包括MP3播放器的功 能，例如 iPod Touch ο存储器接口 1002可以耦合到存储器1050，存储器可以包括高速随机存取存储器 和/或非易失性存储器，例如一个或多个磁盘存储装置、一个或多个光存储装置，和/或闪 存(例如NAND, NOR)。存储器1050可以存储操作系统1052，例如Darwin、RTXC, LINUX、 UNIX、OS X、WINDOWS或嵌入式操作系统(例如VxWorks)。操作系统1052可以包括用于处 理基本系统服务和执行取决于硬件的任务的指令。在一些实施例中，操作系统1052可以是 内核，例如UNIX内核。存储器1050也可以存储通信指令10M以便于与一个或多个额外的设备、一个 或多个计算机和/或一个或多个服务器通信。存储器1050可以包括图形用户接口指令 1056，以便于图形用户接口处理；传感器处理指令1058，以便于与传感器相关的处理和功 能；电话指令1060，以便于与电话相关的处理和功能；电子消息指令1062，以便于与电子消 息相关的处理和功能；网页浏览指令1064，以便于与网页浏览相关的处理和功能；媒体处 理指令1066，以便于与媒体处理相关的处理和功能；GPS/导航指令1068，以便于与GPS和 导航相关的处理和指令；摄像机指令1070，以便于与摄像机相关的处理和功能；音频命令 指令1072，以便于使用语音命令的移动计算装置1000操作。存储器1050也可以存储其他软件指令(未示出)，例如视频会议(或者视频聊 天)指令，以便于视频会议处理和功能；网络视频指令，以便于与网络视频相关的处理和功 能；和/或网络购物指令，以便于与网络购物相关的处理和功能。在一些实施例中，媒体处 理指令1066被分割成音频处理指令和视频处理指令，以分别便于与音频相关的处理和功 能以及与视频处理相关的处理和功能。激活记录和国际移动设备身份码(IMEI) 1074或者 类似的硬件标识符也可以被存储在存储器1050中。上述指令和应用中的每一者可以对应于用于执行上述一个或多个功能、特性和/ 或处理的一组指令。这些指令不一定要以单独的软件程序、过程或者模块的形式来实现。 存储器1050可以包括更多的指令或者更少的指令。此外，移动计算装置1000的各种功能 可以以包括在一个或多个信号处理电路和/或专用集成电路中的硬件和/或软件方式来实 现。本文公开的技术和功能操作可以以数字电子电路的形式实现、或者以包括本发明 所述结构化装置及其结构化等同物的计算机软件、固件或硬件的形式实现，或者以它们的 结合形式来实现。这些技术可以用一个或多个计算机程序产品来实现，所述产品例如以实 体形式的存储于计算机可读介质上的机器可读指令，以由一个或多个可编程处理器或计算 机来执行或对其操作进行控制。进一步，可编程处理器和计算机可以被包括在移动装置中或者封装成移动装置。本文描述的处理和逻辑流程可以通过由一个或多个可编程处理器执行一个或多 个指令来接收、操纵和/或输出数据来执行。这些处理和逻辑流程也可以由可编程逻辑电 路执行，所述电路包括一个或多个FPGA(现场可编程门阵列)，PLD(可编程逻辑器件)和/ 或ASIC (专用集成电路)。通用和/或专门的处理器(包括任意种类数字计算机的处理器) 可以用于执行计算机程序以及存储在计算机可读介质中的其他经编程的指令，所述计算机 可读介质包括非易失性存储器(例如只读存储器)、易失性存储器(例如随机访问存储器) 或者两者上。另外，数据和计算机程序可以从一个或多个海量存储设备接收或向其传输，该 设备包括硬盘驱动器、闪存驱动器和光存储设备。进一步，通用和专用的计算设备和存储设 备可以通过通信网络互联。这些通信网络可以包括有线的和无线的设施。通信网络还可以 是公共的、私有的或者二者的结合。已经公开了多种实施例。然而，可以理解在不脱离权利要求的精神和范围的情况 下可以存在各种修改形式。因而，其他实施例也在所附权利要求的范围内。
权利要求
1.一种降低图像失真的方法，该方法包括 接收被捕获的图像；确定用于产生所述被捕获的图像的摄像机的方向； 基于所确定的摄像机的方向来计算变形参数；和基于所计算的变形参数，对所述被捕获的图像应用一个或多个变形技术以产生经过失 真校正的图像。
2.如权利要求1所述的方法，其中，确定方向的步骤进一步包括 根据默认的方向值来确定所述摄像机的方向。
3.如权利要求1所述的方法，其中，确定方向的步骤进一步包括 基于传感器数据来确定所述摄像机的方向。
4.如权利要求3所述的方法，进一步包括从与所述摄像机相关联的陀螺仪接收所述传感器数据。
5.如权利要求3所述的方法，其中，所述被捕获的图像对应于视频序列。
6.如权利要求5所述的方法，进一步包括对所述传感器数据和所计算的变形参数中的一者或两者进行滤波。
7.如权利要求3所述的方法，进一步包括接收与对应于所述视频序列的另一图像相关联的传感器数据；和 根据所接收的传感器数据，更新所计算的变形参数以用于所述另一图像。
8.如权利要求1所述的方法，进一步包括接收在所述被捕获的图像中标识了脸部位置的输入。
9.如权利要求8所述的方法，进一步包括根据所标识的脸部位置，对所述被捕获的图像应用所述一个或多个变形技术。
10.如权利要求8所述的方法，其中，接收标识了脸部位置的输入的步骤进一步包括 从用户接收定义了与所述脸部位置相对应的边界的输入。
11.一种计算机程序产品，被编码于计算机可读介质上，可操作以使数据处理设备执行 包括下述内容的操作接收描述脸部的被捕获的图像，所述被捕获的图像由摄像机产生；分析传感器数据以确定所述摄像机的方向；基于所确定的摄像机的方向，计算一个或多个变形参数；和基于所计算的一个或多个变形参数，使所述被捕获的图像的至少一部分变形，以产生 经过失真校正的图像。
12.如权利要求11所述的计算机程序产品，其中 所述摄像机的定位包括相对于基准平面的倾斜角度。
13.如权利要求11所述的计算机程序产品，进一步可操作以使数据处理设备执行包括 下述内容的操作从加速计接收所述传感器数据。
14.如权利要求11所述的计算机程序产品，进一步可操作以使数据处理设备执行包括 下述内容的操作从脸部检测算法接收输入，所述输入标识了所描述的脸部的位置。
15.如权利要求14所述的计算机程序产品，进一步可操作以使得数据处理设备执行包 括下述内容的操作根据所标识的所描述的脸部位置，使所述被捕获的图像的至少 部分变形。
16.如权利要求11所述的计算机程序产品，进一步可操作以使得数据处理设备执行包 括下述内容的操作分析与用户佩戴的耳机相关联的传感器数据，以确定所述摄像机相对于所述用户的脸 部的方向；和根据所确定的摄像机相对于用户的脸部的方向，计算一个或多个变形参数。
17.一种系统，包括摄像机，被配置以捕获视频图像； 位置传感器；和与所述摄像机和所述位置传感器耦合的计算系统，所述计算系统包括一个或多个处理 器，所述处理器被配置成执行包括下述内容的操作 从所述摄像机接收被捕获的视频图像； 从所述位置传感器接收传感器数据； 分析所接收的传感器数据以确定所述摄像机的方向； 基于所确定的摄像机的方向，来计算变形参数；和基于所计算的变形参数，对所述被捕获的视频图像应用一个或多个变形技术以产生经 过失真校正的图像。
18.如权利要求17所述的系统，其中，所述一个或多个处理器被进一步配置以执行包 括下述内容的操作实时地产生所述经过失真校正的图像。
19.如权利要求17所述的系统，其中，所述位置传感器包括一个或多个位置传感器，所 述一个或多个位置传感器包括陀螺仪、加速计或者它们的组合。
20.如权利要求17所述的系统，其中，所述计算系统进一步包括 触摸屏显示器，其被配置以接收来自用户的触摸输入。
21.如权利要求20所述的系统，其中，所述一个或多个处理器被进一步配置以执行包 括下述内容的操作通过所述触摸屏显示器从用户接收输入，所述输入在所述被捕获的视频图像中描述的 脸部上标识了一个或多个位置。
22.如权利要求21所述的系统，其中，所述一个或多个处理器被进一步配置以执行包 括下述内容的操作根据所述脸部上所标识的一个或多个位置，对所述被捕获的视频图像应用一个或多个 变形技术。
23.如权利要求21所示的系统，其中与所述位置传感器相关联的一个或多个传感器数 据偏移能够由用户手动配置，以允许所述用户将所述位置传感器调整到不同的位置。
24.一种降低图像中失真的方法，该方法包括 接收被捕获的图像；标识与所述被捕获的图像相关联的一个或多个配准点；基于所标识的一个或多个配准点，将所述被捕获的图像与基准图像进行比较； 响应于所述比较，确定一个或多个变形参数；和基于所确定的一个或多个变形参数，对所述被捕获的图像应用一个或多个变形技术以 产生经过失真校正的图像。
25.如权利要求M所述的方法，进一步包括从与用于产生所述被捕获图像的摄像机相关联的位置传感器接收传感器数据。
26.如权利要求25所述的方法，进一步包括基于所接收的传感器数据，来调节所确定的所述一个或多个变形参数。
27.如权利要求M所述的方法，进一步包括基于所述被捕获的图像的分辨率，来选择所述基准图像。
28.如权利要求M所述的方法，进一步包括将所述经过失真校正的图像传输到远程计算系统。
29.如权利要求M所述的方法，其中，标识一个或多个配准点的步骤进一步包括 基于面部检测处理，自动地标识所述一个或多个配准点。
30.如权利要求M所述的方法，其中，标识一个或多个配准点的步骤进一步包括 接收标识了所述一个或多个配准点的用户输入。
31.如权利要求M所述的方法，其中，所述基准图像进一步包括 三维(3-D)基准模型。
32.—种计算机程序产品，被编码于计算机可读介质上，可操作以使数据处理设备执行 包括下述内容的操作接收被捕获的图像，该图像描述了脸部；标识与所述被捕获的图像相关联的一个或多个配准点；基于所标识的一个或多个配准点，将所述被捕获的图像与基准图像进行比较；响应于所述比较，确定一个或多个变形参数；和基于所确定的一个或多个变形参数，对所述被捕获的图像应用一个或多个变形技术以 产生经过失真校正的图像。
33.如权利要求32所述的计算机程序产品，其中所述基准图像包括描述了与所述被捕获的图像相对应的脸部不同的脸部。
34.如权利要求32所述的计算机程序产品，进一步可操作以使数据处理设备执行包括 下述内容的操作向用户显示所述经过失真校正的图像，作为预览图像。
35.如权利要求32所述的计算机程序产品，进一步可操作以使数据处理设备执行包括 下述内容的操作实时地产生所述经过失真校正的图像。
全文摘要
本发明涉及具有透视失真校正的脸部姿势改进。提供了方法、系统和仪器以降低图像(例如视频图像)中的失真。视频图像可以被图像捕获装置捕获，例如在视频会议会话期间。失真校正处理(例如应用一个或多个变形技术)可以被应用到被捕获的图像以产生经过失真校正的图像，该图像可以被传送到一个或多个参与者。变形技术可以根据一个或多个变形参数来执行，这些参数指定了对于被捕获的图像的转换。变形参数还可以根据图像捕获设备的方向来产生，该方向可以基于传感器数据确定，也可以是固定值。另外的或者可选的，可以根据基准图像或模型来确定变形参数，所述基准图像或模型是被捕获图像应当被变形到的。
文档编号H04N7/15GK102104767SQ20101054634
公开日2011年6月22日 申请日期2010年9月25日 优先权日2009年10月16日
发明者史小瑾, 吴锡荣, 詹姆斯·诺迈尔, 郑裕仓 申请人:苹果公司