用于捕获与构造全景或立体图像流的方法与装置的制造方法
【技术领域】
[0001] 本发明是关于一种用于捕获并构造立体或全景图像流的方法与装置。此全景或立 体图像流可为按如电影方式所储存、转发或发布，或者是进行处理以自该全景或立体图像 流获取其一或多张静态图像。
【背景技术】
[0002] 在"单拍"式全景图像捕获领域，已知有多款图像捕获设备，例如CCD或CMOS类型 的相机，而各个图像捕获设备含有图像传感器，例如是CCD或CMOS类型的图像传感器，这些 传感器耦接于光学装置（透镜）藉以将某场景的图像投射至该图像传感器上。图像捕获设 备的光轴的指向会在不同的方向上，并且图像捕获的光学视域可针对于该图像的完整全景 视域而重迭。国际专利申请WO 2012/032236公开一种光学装置，此装置极为紧凑，并且含 有三个经标注为"光学群组"的图像捕获设备，同时使得能够以360°视域进行"单拍"式全 景图像捕获。
[0003] 在本文中，该词汇"全景图像"应依其广泛意义所解读，不限于捕获单一 360°视域 的图像，而是更广泛地适用于依照延伸视域构造的图像，此延伸视域相较于该全景图像捕 获所使用之图像捕获设备中的每一个所覆盖的光学视域更为宽广。
[0004] 利用这项全景图像捕获方法，图像捕获设备中的每一个可在有限光学视域内依像 素矩阵的形式获取一场景的图像，然后将这些图像转发至外部的数字处理装置，此数字处 理装置使得能够在它们的重迭区域处进行数字方式的图像"缝合"，藉此产生最终的全景图 像。
[0005] 各个像素矩阵代表由一图像捕获设备所捕获的图像，这是来自于一球形区域之3D 表面被该图像捕获设备所观看到的二维投射。此二维投射依据各个图像捕获设备而定， 并且尤其按照图像捕获透镜的光学特性，以及图像捕获设备在图像捕获过程中的空间指向 (即偏指（Yaw)、俯仰（Pitch)和横滚（Roll))，而定。
[0006] 在现有技术里，要将图像经数字缝合以构成一全景图像，可例如在当并行排置由 这些图像传感器所送出的图像时进行，而且是通过在它们的重迭区域处进行图像数字缝 合，藉此方式来得到最终全景图像。在此情况下，实施数字缝合并不对像素的二维投射进行 修改，同时该最终全景图像的像素会保留所源自之图像传感器的二维投射。
[0007] 此数字缝合可为自动地执行，如在国际专利申请W02011/037964或美国专利申请 2009/0058988中所公开那样；或者可通过手动辅助而以半自动的方式执行，即如在国际专 利申请W02010/01476中所公开那样。
[0008] 以下文献中亦提议一种用于全景图像构造的数字图像缝合解决方案，其标题为： "Image Alignment and Stitching:A Tutorial"，作者Richard Szeliski，2005 年 1 月 26 日。此文中是对所储存图像静态地，然非以动态方式，执行数字缝合，因此在该文章中所公 开的数字缝合解决方案确无法使得构造动态的全景图像流，更别提在当正进行图像捕获时 按照实时方式构造动态的全景图像流。
[0009] 而在立体图像捕获的领域里，已知该方法可包含捕获某场景的两个平面图像，随 后是数字处理这两张平面图像藉以产生一使得能够感知深度与廓形的立体3D图像。
[0010] 前述的全景或立体图像捕获及构造方法会有如下缺点，即利用由具备分别或独立 光学装置之传感器所获取的图像以构造一全景或立体图像，这会在最终数字图像里出现均 质性的问题（无论是全景或立体图像皆然），特别是在相对色度、白平衡、曝光时间与自动 增益方面尤甚。
[0011] 此外，前述的图像数字缝合方法需要计算时间，这会不利于如电影般依实时方式 进行全景图像的捕获及构造操作。
[0012] 在美国专利申请2009/0058988中，为改善处理时间并使得能够以实时数字缝合 来进行全景图像捕获，例如提议一种基于低分辨率映射的数字缝合解决方案。
[0013] 发明目的
[0014] 广义而言，本发明之目的为提议一种利用一或多台图像捕获设备来进行全景或立 体图像流捕获及构造的新技术解决方案。
[0015] 尤其，根据本发明的第一具体方面，此新解决方案使得能够加快数字处理速度，并 因而有助于实时地捕获并构造全景或立体图像流。
[0016] 更进一步，根据本发明的另一具体方面，此新解决方案使得能够修补前述归因于 分别或独立光学装置之传感器实施方式的不便性，并且特别是使得能够更简易地获得高质 量的全景或立体图像。
[0017] 在本发明中，全景或立体图像流可为例如按照电影方式所储存、转发或发布，或者 是使得能够稍后处理以自该流静态地提取一或多个全景或立体图像。
【发明内容】
[0018] 根据本发明之第一方面，本发明的主要目的为一种用于捕获与构造场景之全景或 立体图像流的方法，其中利用至少一个图像捕获设备（C i)，按照像素格式对该场景的至少 两个不同图像进行多次相继捕获操作，这些图像重迭或不重迭，这些相继捕获操作是依一 频率（F)进行，而此频率定义在两次相继捕获操作的开始间的捕获时间（T);并且对于各次 捕获操作，（a)对各个捕获图像的像素进行数字处理，以便利用所述像素使用短于或等于该 捕获时间（T)的处理时间以形成一最终全景或立体图像，以及（b)在短于或等于该捕获时 间（T)之时段上产生先前形成的最终全景或立体图像；并且各个所捕获图像之各个像素的 数字处理（a)至少包含保留或抛弃该像素，并且当保留该像素时，利用对于该最终全景或 立体图像上之各个位置的预定加权因子（W)向该像素分配在该最终全景或立体图像上的 一个或更多个位置。
[0019] 本发明之另一目的为一种用于捕获与构造全景或立体图像流的装置。该装置含 有一个或更多图像捕获设备（C i)，使得能够按像素集格式捕获至少两个不同图像；以及电 子处理装置，使得能够利用这些所捕获图像以构造全景或立体图像；这些电子处理装置利 用所述图像捕获设备使得能够按照像素格式对一场景的至少两个不同图像进行多次相继 捕获操作，这些图像为重迭或不重迭，这些相继捕获操作是依一频率（F)进行，而此频率定 义在两次相继捕获操作之开始间的捕获时间（T);并且这些电子处理装置适于针对各次捕 获操作，（a)对各个所捕获图像的像素进行数字处理，以便利用这些像素使用短于或等于该 捕获时间（T)的处理时间来形成一最终全景或立体图像，以及（b)在短于或等于该捕获时 间（T)之时间间隔期间产生一先前形成的最终全景或立体图像；而且利用这些电子处理装 置对各个图像之各个像素的数字处理至少包含保留或抛弃该像素，并且在保留像素的情况 下，使用对于该最终全景或立体图像上之各个位置的预定加权因子（W)为该像素分配该最 终全景或立体图像上的一个或多个不同位置。
[0020] 根据本发明的第二方面，本发明之目的亦在于一种用于捕获与构造一场景之全景 或立体图像流的方法，其特征在于利用至少一图像捕获设备（C i),按照像素格式对该场景 的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，并且，在这些图像 捕获操作的过程中，这些所捕获图像的像素经数字处理以形成全景或立体图像，并且产生 一全景或立体图像流，并且各个所捕获图像之各个像素的数字处理至少包含保留或抛弃该 像素，并且当保留该像素时，使用对于该最终全景或立体图像上之各个位置的预定加权因 子（W)为该像素分配该最终全景或立体图像上的多个不同位置。
[0021] 根据本发明的该项第二方面，本发明之目的亦在于一种用于捕获与构造全景或立 体图像流的装置，其特征在于该装置包括：一个或更多图像捕获设备（C i),使得能够按像素 集格式捕获至少两个不同图像；以及电子处理装置，使得能够利用这些图像捕获设备（Ci) 按照像素格式执行场景的至少两个不同图像的多个相继捕获操作，这些图像重迭或不重 迭，并且适于在捕获操作期间对所捕获图像的像素进行数字处理，以便形成一最终全景或 立体图像并且生成全景或立体图像流，对各个捕获图像之各个像素的数字处理至少包含保 留或抛弃该像素，并且在保留像素的情况下，使用对于该最终全景或立体图像上的各个位 置的预定加权因子（W)为该像素分配该最终全景或立体图像上的一个或多个不同位置。
[0022] 根据本发明的第三方面，本发明之目的亦在于一种用于捕获与构造一场景之全景 或立体图像流的方法，其中，利用至少一个图像捕获设备，按照像素格式对该场景的至少两 个不同图像进行多次相继捕获操作，这些图像为重迭或不重迭，其中这些图像捕获设备中 的每一个使得能够按像素集格式捕获图像，并且送出至少依照第一时钟信号OLsensor) 而同步化的像素流作为对于各个所捕获图像的输出。各个所捕获图像的各个像素被数字处 理，以便利用这些像素产生最终全景或立体图像作为按照至少第二时钟信号（H)而同步化 的像素流。
[0023] 根据本发明的该项第三方面，本发明之目的亦在于一种用于捕获与构造全景或立 体图像流的装置，所述装置包括：一个或更多图像捕获设备，所述图像捕获设备使得能够 按照像素格式对场景的至少两个不同图像进行多次相继捕获操作，这些图像为重迭或不重 迭；以及电子处理装置，使得能够利用这些所捕获图像构造全景或立体图像流。各个图像捕 获设备适于送出至少依照一第一时钟信号OLsensor)所同步化的像素流作为对于各个所 捕获图像的输出。这些电子处理装置被设计为对所捕获图像的各个像素进行数字处理，以 便利用这些像素以产生最终全景或立体图像作为按照至少一个第二时钟信号（H)所同步 化的像素流。
[0024] 根据本发明的第四方面，本发明之目的亦在于一种用于捕获或构造场景的至少一 个全景或立体图像的方法，其中利用至少一个图像捕获设备（C i)以捕获该场景的至少两个 不同图像，这些图像可为重迭或不重迭，各个图像捕获设备使得能够对按照像素集格式的 图像进行捕获，并且对于各个所捕获图像送出一像素流作为输出；其中各个所捕获图像的 像素流经数字处理，以便利用这些像素形成至少一个最终全景或立体图像，并且对应于各 个所捕获图像的像素流之各个像素的数字处理至少包含保留或抛弃该像素，而且当保留该 像素时，利用对于该最终全景或立体图像上之各个位置的预定加权因子（W)向该像素分配 在该最终全景或立体图像上的一个或更多个位置。
[0025] 根据本发明的该项第四方面，本发明之目的亦在于一种用于捕获与构造至少一全 景或立体图像的装置，该装置含有一个或更多个图像捕获设备（C i)，使得能够捕获至少两 个不同图像，这些图像为重迭或不重迭，各个图像传感器（Ci)适于送出对于各个所捕获图 像的像素流；以及电子处理装置，使得能够在图像捕获操作的过程中利用各个所捕获图像 的像素流构造一全景或立体图像。这些电子处理装置被设计为通过保留或抛弃像素来处理 各个所捕获图像之像素流的各个像素，而且当保留该像素时，利用对于该最终全景或立体 图像上之各个位置的预定加权因子（W)向该像素分配在该最终全景或立体图像上的一个 或更多个不同位置。
【附图说明】
[0026] 经阅览后文中本发明之一或更多优选实施例的详细说明，并参照于附图，将能知 晓本发明的特征和优点，此等说明系经提供作为本发明的非限制或穷举性范例，而其中：
[0027] -图1为一根据本发明之装置的电子架构范例略图。
[0028] 一图2为图1装置之主要电子信号的定时器范例。
[0029] 一图3表示一"鱼眼"透镜的捕获区域之光学/像素视域间的对应性范例。
[0030] 一图4为在一最终全景图像之一部分中利用图像传感器所捕获的像素矩阵的重 映射范例。
[0031] 一图5说明在该最终全景图像之像素 Pi，j与利用图像传感器所捕获之像素矩阵 间的几何对应性范例。
[0032] 一图6A至61表示对于RAW类型图像之特定情况的不同重映射图式。
[0033] 一图7A至7D说明一传感器线至一全景图像上之重映射的不同范例。
[0034] -图8说明对于三张图像为形成一最终全景图像之重映射的特定范例。
【具体实施方式】
[0035