专利名称：根据单个相机和运动传感器的3d信息推导的制作方法
根据单个相机和运动传感器的3D信息推导 ^^随着手持电子设备技术的改进，各种类型的功能被组合到单个设备，且这些设 备的形状因数变小。这些设备可具有大规模的处理能力、虚拟键盘、用于蜂窝电话和因 特网服务的无线连接性以及相机等。相机尤其成为流行的附件，但包括在这些设备中的 相机通常限于低分辨率快照和短视频序列。这些设备的小尺寸、轻重量和便携性要求阻 止了相机的许多更复杂用途被包括于其中。例如，可通过从物理上分离的位置获取同一 物体的两张照片、由此给出同一场景的略微不同的视觉透视图来实现3D照相术。用于这 种立体成像算法的技术通常需要精确知晓获取两张照片的两个位置的相对几何条件。具 体地，分离两个相机的距离和光轴的会聚角是从图像提取深度信息时的必要信息。常规 技术一般要求两个相机相对于彼此从严格固定的位置同时获取照片，这会需要昂贵且笨 重的设置。这种方法对于小型且相对便宜的手持设备是不实用的。附图简述通过参照以下描述和用于示出本发明的实施例的附图可以理解本发明的一些实 施例。在附图中
图1示出根据本发明的实施例的具有内置相机的多功能手持用户设备。图2A和2B示出根据本发明的实施例用于参照线性运动和角运动的框架。图3示出根据本发明的实施例从不同位置在不同时间获取同一物体的两张照片 的相机。图4示出根据本发明的实施例描绘在偏心位置中的物体的图像。图5示出根据本发明的实施例利用单个相机提供物体的3D信息的方法的流程 图。详细描述在以下描述中，陈述了众多特定细节。然而，应该理解本发明的实施例可在没 有这些特定细节的情况下实施。在其它情况下，没有详细示出公知的电路、结构和技 术，以免使本说明书的理解困难。对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等的引用指 示所述的本发明的实施例可包括特定的特征、结构或特性，但并非每个实施例都必需包 括该特定的特征、结构或特性。此外，一些实施例可具有关于其它实施例描述的特征中 的一些、全部或不具有这些特征。在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其衍生词。应 该理解这些术语并非旨在指彼此同义。相反，在特定实施例中，“连接”用于指示两个 或多个元件相互直接物理或电接触。“耦合”用于指示两个或多个元件彼此合作或相互 作用，但它们可能或可能不直接物理或电接触。如权利要求中所使用，除非明确说明，否则用于描述普通元件的序数词“第 一”、“第二”、“第三”等仅仅指示参照类似元件的不同实例，且不旨在暗示如此描 述的这些元件必须在时间、空间、按等级或按任意其它方式在给定序列中。
3
本发明的各实施例可以硬件、固件、软件中的一个或其任意组合实现。本发明 还可被实现为包含在机器可读介质内或之上的指令，其可由一个或多个处理器读取和执 行以实现本文所述的操作的执行。计算机可读介质可包括用于按由一个或多个计算机可 读形式存储信息的任意机构。例如，计算机可读介质可包括有形存储介质，诸如但不限 于只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储媒体；光存储媒体；闪存设 备等。本发明的各实施例通过在不同时间从不同位置获取同一一般场景的两张照片， 将相机移动到照片之间的不同位置来使单个相机能导出一个或多个物体的三维(3D)信 息。线性运动传感器可用于确定相机已经在照片之间移动多远，由此提供用于分离距离 的基线。角运动传感器可用于确定相机方向的变化，由此提供所需的会聚角。尽管这种 位置和角信息可能不会像两个固定安装的相机可能做到的那样准确，但该准确度足够用 于很多应用，且对于那种更笨重方法，成本和尺寸的减小可能是相当大的。各种形式的运动传感器是可用的。例如，彼此处于正交角的三维线性运动加速 度计可提供三维空间中的加速度信息，该信息可转换成三维空间中的线性运动信息，进 而可转换成三维空间中的位置信息。类似地，角运动加速度计可提供关于三个正交轴的 旋转加速度信息，该信息可转换成三维空间中角方向的变化。可使具有合理准确度的 加速度计相当便宜且具有紧凑的形状因数，尤其是当它们仅需要在短时间段上提供测量 时。可按各种方式使用从两张照片导出的信息，诸如但不限于1)可确定场景中一个或多个物体的相机至物体距离。2)多个物体的相机至物体距离可用于导出分层描述和物体距离相机的相对距离 和/或物体彼此间的相对距离。3)通过获取周围区域的一系列照片，可自动构造整个区域的3D地图。取决于 线和角测量设备的长期准确度，这可使地理上广大的区域的地图能够简单地通过移动通 过该区域并获取照片来制作，只要每张照片具有至少一个物体与至少一张其它照片相同 即可，从而可进行适当的三角测量计算。图1示出根据本发明的实施例的具有内置相机的多功能手持用户设备。示出设 备110具有显示器120和相机镜头130。相机的其余部分以及处理器、存储器、无线电 和其它硬件和软件功能可包含在该设备中且在该图中不可见。用于确定运动和方向的设 备——包括机械组件、电路和软件——可在实际相机之外，但物理地且电子地耦合到该 相机。尽管所示的设备110被描述为具有特定形状、比例和外观，但这仅仅是实例，且 本发明的实施例可能不限于该特定的物理构造。在一些实施例中，设备110可以主要是 相机设备，而没有很多附加功能。在一些实施例中，设备110可以是多功能设备，且很 多其它功能与相机无关。为了便于说明，将显示器120和相机镜头130示出在设备的同 一侧，但在很多实施例中，镜头在设备上与显示器相对的一侧上，从而显示器可充当用 户的取景器。图2A和2B示出根据本发明的实施例用于参照线性运动和角运动的框架。假设 三个相互垂直的轴X、Y和Z，图2A示出如何将线性运动描述为沿各个轴的线性向量， 而图2B示出如何将角运动描述为关于每个轴的旋转。这六个运动度合起来可描述三维
4空间中诸如相机之类的物体的任何位置或旋转运动。然而，当与周围区域的XYZ框架相 比较时，关于相机的XYZ框架可改变。例如，如果诸如加速度计之类的运动传感器固定 地安装到相机上，则为这些传感器提供基准的XYZ轴将来自相机的基准点，且XYZ轴将 随相机旋转而旋转。但是如果所需的运动信息是关于诸如地球之类的相机外部的固定基 准的运动，则变化的内部XYZ基准可能需要转换成相对固定的外部XYZ基准。幸运的 是，用于这一转换的算法是已知的，且此处将不会进一步详细描述。一种用于测量运动的技术是使用相对于相机以固定定向耦合到相机的加速度 计。当相机从一个位置运动到另一个位置时，各自的测量轴与三个轴X、Y和Z中不同 的一个轴平行的三个线性加速度计可检测三维中的线性加速度。假设相机的初速度和位 置是已知的(诸如在已知位置处从静止开始)，由加速度计检测到的加速度可用于计算沿 每个轴的速度，该速度进而可用于及时计算给定点处位置的变化。因为可将重力检测为 垂直方向的加速度，所以这可从计算中减去。如果相机在测量期间不处于水平位置，则 X和/或Y加速度计可检测重力分量，且这也可从计算中减去。类似地，与线性运动无关，各自的旋转轴平行于三个轴X、Y和Z的三个角加速 度计可用于检测三维中相机的旋转加速度(即，相机可旋转到任何方向上的点)。这可转 换成角速度然后是角位置。因为测量加速度时的微小误差可导致速度和位置的连续增加的误差，所以加速 度计的周期校准可能是必需的。例如，如果假设在获取第一照片时相机是静止的，则可 假设恰好在该点处的加速度计读数表示静止相机，且仅将从这些读数的变化解释为运动 的指示。可将其它技术用于检测运动。例如，全球定位系统(GPS)可用于在任何给定 时间相对于地球坐标定位相机，因此可直接确定不同照片的位置信息。电子罗盘可用于 确定相机在任何给定时间同样相对于地球坐标所指向的方向，且可从罗盘直接确定不同 照片的光轴的方向信息。在一些实施例中，在获取照片时需要用户尽最其大努力使相机 水平(例如，可在相机上提供气泡水平仪或来自电子倾斜传感器的指示)，以将线性传感 器的数量减少到二(X和Y水平传感器)并将方向传感器的数量减少到一(围绕垂直Z 轴)。如果使用电子倾斜传感器，则可向相机提供水平信息，以防止在相机不水平时获 取照片，或者在获取照片时提供校正信息以补偿非水平相机。在一些实施例中，可将位 置和/或方向信息从外部源输入到相机，诸如通过用户或通过本文档范围以外的方法确 定该信息并将该信息无线发射到相机的运动检测系统的本地定位器系统。在一些实施例 中，可提供可视指示符以帮助用户按正确方向旋转相机。例如，在观察屏幕中的指示符 (例如，箭头、圆圈、偏斜盒等)可向用户显示向哪个方向旋转相机(左右和/或上下)以 便在第二照片中视觉上获取期望的物体。在一些实施例中，可使用各种技术的组合(例 如，用于线性运动的GPS坐标和用于旋转运动的角加速度计)。在一些实施例中，相机 可将这些技术中的多种用于该相机，且用户或相机可自动地或通过手动选择从可用技术 中进行选择和/或可按各种方式组合多种技术。图3示出根据本发明的实施例从不同位置在不同时间获取同一物体的两张照片 的相机。在所示实例中，在相机的光轴(即，相机指向的方向，等价于照片的中心)指向 方向1的情况下，相机30获取物体A和B的第一照片。用虚线示出物体A和B相对于光轴的方向。在将相机30移动到第二位置之后，在相机的光轴指向第二方向的情况下， 相机30获取物体A和B的第二照片。如图中所指示的，相机可沿某种间接路径在第一 和第二位置之间移动。在最终计算中重要的是实际的第一和第二位置，而非它们之间随 行的路径，但在一些实施例中，复杂的路径可使确定第二位置的过程变复杂。正如能够看到的，在该示例中，物体都不直接处于照片的中心，但可基于相机 的光轴和物体相对于该光轴出现在照片中的位置来计算从相机至每个对象的方向。图4 示出根据本发明的实施例描绘在偏心位置中的物体的图像。如图4所指示的，相机的光 轴将处于所获取的任何照片的图像的中心。如果物体A离心地位于图像中，图像中光轴 和该物体位置之间的水平差‘d’可容易地转换成与光轴的角度差，不管物体距离相机的 物理距离如何这都应该是相同的。尺寸‘d’示出水平差，但如果需要的话，还可按类 似方式确定垂直差。因此，可通过获取相机指向的方向并基于照片中物体的布置调节该方向，以计 算从每个相机位置至每个物体的方向。假设在该描述中相机将相同视场用于两张照片 (例如，在第一照片和第二照片之间没有缩放)，从而在两张照片的图像中的相同位置将 提供相同的角度差。如果使用不同的视场，则需要使用不同的转换值来计算每张照片的 角度差。但如果物体在两张照片中都与光轴对齐，则可以不需要偏心计算。在这种情形 中，第一和第二照片之间的光学缩放是可以接受的，因此不管视场如何光轴都是相同的。代替本文档的其它位置描述的特征或除这些特征之外，各实施例还可具有其它 特征。例如，在一些实施例中，如果相机不水平和/或不稳定，则相机可不允许获取照 片。在一些实施例中，一旦用户将相机移动到附近的第二位置并且相机水平且稳定，则 相机可自动获取第二照片。在一些实施例中，在移动到第二位置并获取相同物体的以 物体为中心的照片之前，可在每个位置获取若干不同的照片，每张照片以不同物体为中 心。同一物体的每对照片可按如关于两张照片所述的相同方式被处理。基于从相机至每个物体的位置变化和方向变化，可针对物体A和B中的每一个 计算各种3D信息。在图中，第二相机位置比第一位置更接近物体，且还可计算该差值。 在一些实施例中，如果物体在一张照片中呈现出与另一张照片不同的尺寸，则相对尺寸 可有助于计算距离信息或至少相对的距离信息。还可基于可用信息计算其它几何关系。图5示出根据本发明的实施例利用单个相机提供物体的3D信息的方法的流程 图。在流程图500中，在一些实施例中，在510，可以根据需要通过校准位置和方向传感 器开始过程。在520，如果运动感测通过加速度计来执行，则可能需要刚好在获取第一照 片之前、刚好之后或与之同时对第一位置建立零速度读数。如果不需要校准，则可跳过 操作510，并且在520通过获取第一照片开始过程。然后在530，相机移动到第二位置， 在该位置获取第二照片。取决于所使用的传感器的类型，在540，可在运动期间监视并计 算线性和/或旋转运动(例如，对于加速度计)，或者可在获取第二照片的时候简单地确 定第二位置/方向(例如，对于GPS和/或罗盘读数)。在550，获取第二照片。基于 位置信息的变化和方向信息的变化，在560，可计算各种类型的3D信息，且可将该信息 用于各种用途。上述描述旨在说明性而非限制性。本领域的技术人员将想到变形。这些变形旨 在包括在仅由所附权利要求的范围限制的本发明的各实施例中。
权利要求
1.一种用于获取和处理照片的装置，包括相机，用于在第一时间从第一位置获取物体的第一照片，且用于在第二时间从第二 位置获取所述物体的第二照片；耦合到所述相机的运动测量设备，所述运动测量设备用于确定对于所述第一和第 二照片所述相机角方向的变化以及在所述第一和第二位置之间所述相机的线性位置的变 化；以及处理设备，用于基于所述角方向的变化和所述线性位置的变化确定与所述相机有关 的所述物体的三维信息。
2.如权利要求1所述的装置，其特征在于，所述运动测量设备包括线性加速度计。
3.如权利要求1所述的装置，其特征在于，所述运动测量设备包括至少一个角加速度计。
4.如权利要求1所述的装置，其特征在于，所述运动测量设备包括用于确定所述第一 和第二位置之间的线性距离的全球定位系统。
5.如权利要求1所述的装置，其特征在于，所述运动测量设备包括用于确定所述第一 和第二照片之间所述相机的角方向变化的方向罗盘。
6.—种用于获取和处理照片的方法，包括在第一时间从第一位置利用相机获取物体的第一照片；将所述相机从所述第一位置移动到第二位置；在第二时间从所述第二位置利用所述相机获取所述物体的第二照片；以及通过耦合到所述相机的电子设备确定所述第一和第二位置之间的线性距离和所述第 一和第二时间之间所述相机的光轴的角度变化。
7.如权利要求6所述的方法，其特征在于，还包括基于所述线性距离和所述角度变化 确定所述物体相对于所述第一和第二位置的位置。
8.如权利要求6所述的方法，其特征在于，所述确定包括沿多个垂直轴测量加速度以确定所述线性距离；以及测量围绕至少一个旋转轴的角加速度以确定角度变化。
9.如权利要求6所述的方法，其特征在于，所述确定包括在获取所述第一照片之前第 一次使所述相机水平，以及在获取所述第二照片之前第二次使所述相机水平。
10.如权利要求6所述的方法，其特征在于，所述确定角度变化包括部分地基于所述 物体在所述第一照片中的位置确定对于所述第一照片所述物体的角方向，以及部分地基 于所述物体在所述第二照片中的位置确定对于所述第二照片所述物体的角方向。
11.如权利要求6所述的方法，其特征在于，所述确定所述线性距离包括使用全球定 位系统确定所述第一和第二位置。
12.如权利要求6所述的方法，其特征在于，所述确定所述角度变化包括使用罗盘确 定在所述第一时间和所述第二时间所述光轴的方向。
13.一种计算机系统，包含用于执行权利要求6-12的操作的装置。
全文摘要
本申请涉及根据单个相机和运动传感器的3D信息推导。在各实施例中，相机从两个不同的相机位置获取至少一个物体的照片。耦合到相机的测量设备测量相机从一个位置至另一个位置的位置变化和方向变化，并且根据该信息且在一些实施例中根据照片中的图像导出关于物体的三维信息。
文档编号G03B35/02GK102012625SQ20101020862
公开日2011年4月13日 申请日期2010年6月13日 优先权日2009年6月16日
发明者C·B·霍普 申请人:英特尔公司