专利名称：使用加速计信息来确定图片和视频图像的方向的制作方法
技术领域：
本发明设计确定图片和视频图像的方向，尤其涉及使用加速计信息来确定图片和视频图像的方向。
背景技术：
合并数字相机和位置感测技术的移动设备正变得日益常见。由于当这样的移动设备捕捉图片或视频时能以任意方向旋转，当图片或视频被保存在设备时缺乏图片或视频图像在方向上的统一性。例如，用户可使用稍微向右或向左旋转的移动设备拍照。有时这样的旋转是有意的(其表示理想的图片合成)，但有时不是的。不管旋转是否是有意的，用户可能想要在稍后调整图片。图片或图像的旋转通常是手动过程(诸如使用照片编辑应用)， 并可能是困难以及不准确的。当处理公共图像处理任务时，图片或视频图像之间方向上的不同是有问题的。例如，当将一图片与一个或多个其他图片进行比较时，诸如旋转等方向上的差异能增加寻找匹配图片或寻找图片内匹配特征的困难度。类似地，当在将图片缝合到马赛克或全景视图期间在两个或两个图片之间匹配特征时，方向上的不同能使得任务成功并准确地执行变得更为困难。因此，存在对与图片和图像捕捉以及使用方向信息处理有关的技术的改进的充分机会。
发明内容
能应用关于图片和图像捕捉以及使用方向信息处理的各种技术。例如，提供了一种用于捕捉并处理视频数据的方法。该方法包括，为多个视频图像的各个视频图像，获得捕捉视频图像的计算设备的方向信息，并基于该方向信息调整被捕捉的视频图像，该方向信息指示计算设备在捕捉视频图像时的方向。能显示(例如，在视频捕捉期间实时地、或在稍后)调整后的被捕捉的视频图像。能使用三轴加速计来捕捉方向信息。在某些实现中，方向信息包括三个值执行捕捉的计算设备的X-轴上的加速度、y-轴上的加速度以及ζ-轴上的加速度。作为另一示例，提供了一种用于捕捉并处理视频数据的移动设备。移动设备包括三轴加速计、存储、数字相机、以及处理单元。移动设备被配置以为多个视频图像的各个视频图像，获得指示移动设备在捕捉视频图像时的方向的方向信息，并存储被捕捉的视频以及关联的方向信息。关联的方向信息能被存储在与捕捉视频图像相同的文件或不同的文件里，并且能被存储为加速度值、旋转角度值或按另一表示的值。在某些情况下，方向信息以及视频图像数据(具有或不具有根据方向信息的调整)从移动设备流传输到网络服务器。或者，能使用二轴加速计(例如，而不是三轴加速计)来捕捉方向信息(例如，两个轴上的加速度值)，其能被用以确定并补偿一个平面内的旋转。作为另一示例，提供了一种用于匹配图像数据的方法。该方法包括获得由数字相机捕捉的第一图像的图像数据以及关联的方向信息，并获得由数字相机捕捉的第二图像的图像数据以及关联的方向信息。方向信息能例如表示在图像捕捉期间获得的三轴加速计信息。接着，使用方向信息来调整第一和第二被捕捉的图像中的至少一个以补偿沿着至少一个旋转平面的数字相机的方向上的差异。通过匹配如经调整的第一和第二图像之间的兴趣点来执行图像匹配。参考附图阅读以下详细描述，将更清楚本发明的前述和其他特征和优点。附图简述
图1是显示用于捕捉视频数据并使用方向信息处理该视频数据来显示的示例性方法的流程图。图2是显示用于捕捉视频数据并使用方向信息存储该视频数据的示例性方法的流程图。图3是显示包括加速计的示例移动设备的图示，其中移动设备通常与由X轴和Y 轴定义的平面对齐，并垂直于Z轴。图4是示出包括加速计的示例移动设备的框图。图5是示出示例使用方向信息的图像匹配操作的图示。图6是显示用于使用方向信息来匹配图像数据的示例性方法的流程图。图7是示出示例移动设备细节的框图。图8是示出示例实现环境的图示。示例性实施例的详细描述以下描述针对用于使用方向信息的图像处理的技术和方案。各种技术和方案可组合或单独使用。不同的实施例可实现所描述的技术和方案的一个或多个。I.示例方向信息在此描述的技术和方案中，方向信息被用于各种图像处理任务。如在此使用的，方向信息指能够描述诸如移动设备等设备的方向的信息。例如，方向信息包括能够描述设备在至少一个平面上的旋转的信息。在某些实现中，从三轴加速计(有时称为g_传感器)获得方向信息。三轴加速计提供三个值，各个值表示沿着一不同轴的加速。具体的，三轴加速计提供表示沿着χ-轴的加速度的值、表示沿着y-轴的加速度的值以及表示沿着ζ-轴的加速度的值。按照惯例， 加速计返回的值具有m/s2(米/秒2)单位(其中大约9.80665m/s2的值等于一个重力，或 Ig)。如在此使用的，术语“ax”、“ay”以及“az”指从三轴加速计获得的关于χ-轴、y_轴以及ζ-轴方向的加速度值。在某些实现中，方向信息包括从三轴加速计获得的三个加速度值(ax，ay以及 az)。在其他实现中，方向信息包括从加速度值计算出的值(例如，左/右滚转角度和/或向前/向后倾斜角度)。在又一其它实现中，只获得两轴加速度值(例如，只有ax和ay或只有az和ay)，其能被用以确定一个平面内的旋转(例如，只是左/右滚转或只是向前/向后倾斜)。图3是示出包括加速计的示例移动设备300的图示。加速计提供描述移动设备 300方向的方向信息。通过三轴加速计，能获得x、y以及ζ-轴的方向信息。移动设备300 内的加速计的位置将确定各个轴的方向。在移动设备300的示例中，加速计已经被定向使得当移动设备300保持竖直和水平时加速计的y-轴指向下(朝向地球)。χ-轴从移动设备300向左和向右延伸，并且ζ-轴从移动设备300向前和向后延伸。加速计能在设备内被不同地定向(例如，当设备保持竖直和水平时ζ-轴指向下)，其将需要对于用于在此描述的各种操作的轴的对应更改。当移动设备300被竖直和水平地定向时(如在图中描绘的)，三轴加速计将提供 y-轴大约9. 80665m/s2的值、χ-轴0. Om/s2的值(表示左-右滚转O度)、以及ζ-轴0. Om/ S2 (表示向前-向后倾斜O度)。如果移动设备300被稍微向右旋转，那么y_轴加速度值将减小并且χ-轴加速度值将增大，这指示(y，x)平面内的旋转(如果设备300不是向前或向后旋转，那么ζ-轴值将保持不变)。类似地，如果移动设备300被稍微向前旋转，那么y_轴加速度值将减小并且ζ-轴加速度值将增大，这指示(y，z)平面内的旋转(如果设备300不是向左或向右旋转，那么χ-轴值将保持不变)。左/右以及向前/向后旋转的结合将导致 x、y以及ζ-轴加速度值的对应改变。然而，不管设备如何旋转，向量(aX，ay，aZ)的大小理论上是9. 80665m/s2 (当设备静止或具有恒定速度)。移动设备300可以是任何类型的移动计算设备。例如，移动设备300可以是移动电话、个人数字助理(PDA)、智能电话、图形输入板计算机、膝上型计算机、数字相机、数字录像机等等。尽管图3描述了移动设备300，在此描述的技术和方案不限于移动设备。通常， 包括加速计和成像设备的任何类型的计算设备(例如，数字相机和/或摄像机)能实现在此描述的技术和方案。例如，具有加速计和集成摄像头(或具有加速计的附连的摄像头) 的台式计算机能获得在图片或视频图像的捕捉期间的方向信息。II.示例关联方向信息在此描述的技术和方案中，方向信息能与静态图片和视频图像关联。当捕捉图片或视频图像时，能获得执行该捕捉的设备(例如，移动设备或另一类型的计算设备)的方向信息并将其与被捕捉的图片或视频图像关联。例如，方向信息被保存在与图片或视频相同的文件中(例如，在图片或视频的头部)或被保存在与图片或视频文件关联的单独的文件中。例如，具有相机和加速计的智能电话被用以拍摄静态图片。当图片被拍摄时，获得来自加速计的方向信息并将其与被捕捉的图片关联。方向信息描述在图片被拍摄时智能电话的方向。在一具体的实现中，静态图片的方向信息(例如，从三轴加速计获得的ax、ay以及az值)根据信息互换模型(IIM) (IIM模型由国际新闻电信会议(IPTC)提供)被保存在图片文件的IPTC头部。或者，方向信息被存储在单独的元数据文件中。在另一示例中，使用具有相机(其支持视频捕捉)和加速计的智能电话来记录视频。在记录视频期间，获得来自加速计的方向信息并将其与被捕捉的各个单独的视频图像关联(例如，各个单独的视频帧或半帧)。方向信息描述在各个单独的视频图像的捕捉期间，智能电话的方向。方向信息能与视频图像一起保存在一文件中，或被保存在单独的关联文件(例如，包括将各个被捕捉的方向信息值(诸如ax、ay以及az值)集合与它们对应的视频图像关联的信息)中。除了保存视频图像和方向信息之外，或者作为其替代，能将视频图像和方向信息从智能电话流传输到一个或多个目的地(例如，到网络服务器用于存储或到另一设备用于显示)。在一具体的实现中，使用实时传输协议(RTP)来流传输视频图像和方向信息。具
权利要求
1.一种至少部分地由计算设备实现的用于捕捉并处理视频数据的方法，所述方法包括为多个视频图像中的每一个通过所述计算设备获得在捕捉所述视频图像时所述计算设备的方向信息(110)，其中所述计算设备包括三轴加速计，并且其中所述方向信息是从所述三轴加速计获得的； 通过所述计算设备基于所述方向信息来调整被捕捉的视频图像(120)；以及通过所述计算设备输出以供显示经调整的被捕捉的视频图像(130)。
2.如权利要求1所述的方法，其中所述方向信息包括 表示沿着所述计算设备的χ-轴的加速度的第一值； 表示沿着所述计算设备的y_轴的加速度的第二值；以及表示沿着所述计算设备的ζ-轴的加速度的第三值。
3.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括补偿所获得的被捕捉的视频图像的方向信息与参考方向之间的差异。
4.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括 使用被捕捉的视频图像的所述方向信息来计算第一平面内的旋转角度；确定所计算的第一平面内的旋转角度与第一平面内参考旋转角度之间的旋转角度上的差异；以及调整被捕捉的视频图像以补偿旋转角度上的差异。
5.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括 使用被捕捉的视频图像的所述方向信息来计算第一平面内的旋转角度；使用被捕捉的视频图像的所述方向信息来计算第二平面内的旋转角度，其中第一平面与第二平面不同；确定所计算的第一平面内的旋转角度与第一平面内参考旋转角度之间的旋转角度上的差异；确定所计算的第二平面内的旋转角度与第二平面内参考旋转角度之间的旋转角度上的差异；以及调整被捕捉的视频图像以补偿第一平面内旋转角度上的差异以及第二平面内旋转角度上的差异。
6.如权利要求1所述的方法，其中为所述多个视频图像中的每一个，在通过所述计算设备记录所述多个视频图像期间实时地执行所述获得、所述调整以及所述显示。
7.如权利要求1所述的方法，其特征在于，还包括 为所述多个视频图像中的每一个通过所述计算设备存储经调整的被捕捉的视频图像。
8.如权利要求7所述的方法，其特征在于，还包括 为所述多个视频图像中的每一个通过所述计算设备存储与所存储的经调整的被捕捉的视频图像关联的方向信息，其中所述方向信息被存储为表示沿着所述计算设备的轴的加速度的多个值或被存储为所述计算设备的多个旋转角度。
9.一种具有用于使得所述计算设备被编程从而执行权利要求1-8中任意一项的方法的计算机可执行指令的计算机可读介质。
10.一种用于捕捉并处理视频数据的移动设备G10)，所述移动设备包括 加速计G50)；存储(430)； 数字相机G60)；以及处理单元G10)，所述处理被配置以执行操作包括 为多个视频图像中的每一个通过所述处理单元从所述加速计获得所述移动设备的方向信息O10)，所述方向信息指示在捕捉视频图像时所述移动设备的方向；通过所述处理单元将被捕捉的视频图像和所述方向信息存储在存储中O20)，其中所述方向信息与其相应的被捕捉的视频图像相关联。
11.如权利要求10所述的移动设备，其中多个被捕捉的视频图像存储在第一数据文件中，并且其中所述方向信息被存储在不同于所述第一数据文件的第二数据文件中。
12.如权利要求10所述的移动设备，其中所述加速计是三轴加速计，其中多个被捕捉的视频图像以及所述方向信息被存储在相同的数据文件中，并且其中所述方向信息被存储为表示沿着计算设备的轴的加速的多个值或被存储为所述计算设备的多个旋转角度。
13.如权利要求10所述的移动设备，其特征在于，还包括 为所述多个视频图像中的每一个将所获得的方向信息和被捕捉的视频图像从所述移动设备流传输到网络服务器。
14.如权利要求10所述的移动设备，其特征在于，还包括 为所述多个视频图像中的每一个通过所述移动设备基于所述方向信息来调整被捕捉的视频图像；以及将经调整的被捕捉的视频图像从所述移动设备流传输到网络服务器。
15.如权利要求10所述的移动设备，其中所述加速计是三轴加速计，并且其中所述方向信息包括表示沿着所述移动设备的χ-轴的加速度的第一值； 表示沿着所述移动设备的y-轴的加速度的第二值；以及表示沿着所述移动设备的Z-轴的加速度的第三值。
全文摘要
描述了使用加速计信息来确定图片和视频图像的方向。诸如移动设备等的计算设备能使用数字相机捕捉图片或视频图像并使用加速计获得关联的方向信息。方向信息能被用以调整被捕捉的图片或视频图像中的一个或多个以补偿一个或多个旋转平面内的旋转。方向信息能与被捕捉的图片或视频图像一起保存。方向信息也能与被捕捉的图片或视频图像一起传送或流化。能使用已经通过使用方向信息调整的图片或视频图像来执行图像匹配操作。
文档编号G01P13/02GK102314679SQ201110079470
公开日2012年1月11日 申请日期2011年3月21日 优先权日2010年3月22日
发明者A·E·阿拉巴怀, A·卡赫尔, M·厄尔-萨班, M·巴拉迪, M·里法特 申请人:微软公司