立体成像装置和立体图像生成方法
【专利摘要】本发明提供一种立体成像装置和立体图像生成方法。立体成像装置包括：生成图像的成像单元；立体适配器，该立体适配器安装在成像单元的前方并且将来自对象的光沿着视差方向分成第一光通量和第二光通量以及引导第一光通量和第二光通量，以使得第一光通量和第二光通量在垂直于视差方向的方向上并排入射到成像单元上；以及立体图像生成单元，该立体图像生成单元基于图像生成立体图像。立体图像生成单元包括：划分单元，该划分单元沿着垂直于视差方向的方向将图像划分成两个子图像；水平方向校正单元，该水平方向校正单元对两个子图像中的对象的任意旋转进行校正；及梯形失真校正单元，该梯形失真校正单元对两个子图像中的对象的任意梯形失真进行校正。
【专利说明】立体成像装置和立体图像生成方法
【技术领域】
[0001] 文中所讨论的实施方式涉及用于通过使用能够从两个不同方向捕捉对象的图像 的立体适配器来生成立体图像的立体成像装置和立体图像生成方法。
【背景技术】
[0002] 针对再现立体像的研究已经进行了许多年。在一种已知的再现立体像的方法中， 并排显示从不同方向对对象进行成像而捕捉的两个图像，将一个图像呈现给观看者的左眼 并且将另一图像呈现给观看者的右眼。在这种方法中使用的图像对被称为立体图像。
[0003] 为了生成立体图像，已知的是使用安装在单目摄像机的成像透镜的前方的立体适 配器，以使得从不同方向观看的相同对象的两个图像分别聚焦到摄像机的像平面的左半部 分和右半部分（例如，参考日本公开特许公报No. H01-279235)。例如，立体适配器包括在水 平方向上关于立体适配器的中心对称设置的两个镜对，以使得从两个不同视点捕捉的对象 的图像可以形成在摄像机的图像传感器上。在每个镜对中，内侧镜位于成像透镜的前方，以 及内侧镜的反射面面向成像透镜并且相对于成像透镜的光轴朝向水平方向倾斜。然后，来 自对象的被在水平方向上相对于成像透镜设置在内侧镜的外侧并且具有被取向以面向对 象的反射面的外侧镜反射的光通量被内侧镜反射并且重新导向到成像透镜。以此方式，从 各外侧镜的位置处观看的对象的图像分别形成在成像传感器的像平面的左半部分和右半 部分上。可以根据通过使用立体适配器拍摄对象而获得的图像的左半部分和右半部分对包 含对象的图像的区域进行修整以获得构成立体图像对的左眼图像和右眼图像。
[0004] 然而，当使用在日本公开特许公报No. H01-279235中所公开的立体适配器来创建 立体图像时，在其中出现视差的视差方向上的左眼图像和右眼图像中的每个图像的视角变 为成像透镜的水平视角的一半。因此，在视差方向上的包含在每个图像中的空间的范围很 小。解决这个问题的一种可能的方法是通过使用两个摄像机分别创建左眼图像和右眼图 像。然而，当对象是运动物体时，如果在两个摄像机之间的拍摄定时是不同步的，则包含在 左眼图像中的对象的位置可能与包含在右眼图像中的对象的位置或取向不匹配。如果出现 这种情况，则根据左眼图像和右眼图像不能正确地再现立体像。特别地，当使用立体图像来 测量距运动物体的距离时，不能正确地再现立体像将显著地降低测量的精度。因此，当使用 两个摄像机创建立体图像时，就需要提供一种用于对两个摄像机之间的拍摄定时进行同步 的机构。
[0005] 另一方面，为了在用于立体图像拍摄的附接物中使用，提出以下技术：以在垂 直于视差方向的方向上使光通量并排布置的方式通过将针对左眼的光通量和针对右眼 的光通量引导至成像透镜来增大在视差方向上的视场（例如，参考日本公开特许公报 No. H07-134345、2000-81331、H08-171151、H08-234339 和 2004-4869)。
【发明内容】
[0006] 如果在垂直于视差方向的方向上针对左眼的光通量和针对右眼的光通量是并排 布置的，则在垂直于视差方向的方向上的对象的位置变成位于左眼图像与右眼图像之间。 因此，采用上述专利文献中公开的技术，用于补偿位置位移的附接物的光学系统是复杂的， 不仅增大了附接物的大小，而且增加了附接物的成本。
[0007] 例如，在日本公开特许公报No. H07-134345所公开的技术中，使用棱镜以对针对 左眼的光通量与针对右眼的光通量之间的垂直位置位移进行补偿。
[0008] 另一方面，在日本公开特许公报No. 2000-81331所公开的技术中，通过使用掺杂 棱镜使针对左眼的光通量和针对右眼的光通量中的每个转过90°，并且被并排聚焦到图像 传感器上。
[0009] 此外，在日本公开特许公报No. H08-171151、H08-234339和2004-4869所公开的技 术中，因为针对左眼的光学器件和针对右眼的光学器件中的每个包括聚焦透镜，所以附接 物实际上具有双目配置。因此，如果附接物被安装在成像光学器件的前方使用，则需要设置 会聚透镜以用于当被聚焦透镜会聚时将光通量重新转换成平行的光通量。这增大了附接物 的大小，使得用户难以操控附接物。此外，因为光学器件是复杂的，所以还增加了附接物的 成本。
[0010] 因此，本发明的目的是提供一种可以简化立体适配器的光学系统同时确保在视差 方向上的视角和成像透镜的视角近似相同的立体成像装置。
[0011] 根据一个实施方式，提供了一种立体成像装置。立体成像装置包括：成像单元，该 成像单元通过拍摄对象来生成图像；立体适配器，该立体适配器安装在成像单元的前方，以 及该立体适配器将来自对象的光沿着视差方向分成第一光通量和第二光通量并且引导第 一光通量和第二光通量，以使得第一光通量和第二光通量在垂直于视差方向的方向上并排 入射到成像单元上，并且使得在第一光通量中任何当进入立体适配器时平行于成像单元的 光轴的光线通过与当其离开立体适配器时相对于光轴形成第一角度以更接近于第二光通 量，并且在第二光通量中任何当进入立体适配器时平行于光轴的光线通过与当其离开立体 适配器时相对于光轴形成第一角度以更接近于第一光通量；以及立体图像生成单元，该立 体图像生成单元基于图像生成立体图像。立体图像生成单元包括：划分单元，该划分单元沿 着垂直于视差方向的方向将图像划分成第一光通量入射到其上的第一区域和第二光通量 入射到其上的第二区域，并且该划分单元输出第一区域作为立体图像的针对一只眼睛的第 一子图像和输出第二区域作为立体图像的针对另一只眼睛的第二子图像；水平方向校正单 元，该水平方向校正单元对出现在第一子图像和第二子图像中的与第一角度成比例的对象 的任意旋转进行校正；及梯形失真校正单元，该梯形失真校正单元对出现在第一子图像和 第二子图像中的与第一角度成比例的对象的任意梯形失真进行校正。
【专利附图】
【附图说明】
[0012] 图1是示意性地示出了结合立体图像生成装置的立体成像装置的配置的图。
[0013] 图2A是立体适配器的光学系统的平面图。
[0014] 图2B是从图2A中的箭头A的方向观看的立体适配器的光学系统的侧视图。
[0015] 图2C是从图2A中的箭头B的方向观看的立体适配器的光学系统的侧视图。
[0016] 图3是示出了构成立体适配器中的一个镜对的镜之间的位置关系的一个示例的 图。
[0017] 图4是示出了反射面上的入射光线的入射角与反射光线的反射角之间的关系的 图。
[0018] 图5是示出了对于构成立体适配器中的一个镜对的镜中的每个镜的光线的入射 角与反射角之间的关系的一个示例的图。
[0019] 图6A示出了当外侧镜既不向前倾斜也不向后倾斜时通过成像单元生成的图像的 一个示例。
[0020] 图6B示出了当外侧镜分别向前倾斜和向后倾斜时通过成像单元生成的图像的一 个示例。
[0021] 图7是示出了根据一个实施方式的立体图像生成装置的配置的图。
[0022] 图8是用来说明由于立体适配器中的外侧镜引起的对象的图像的旋转的图。
[0023] 图9是示出了不会引起任何梯形失真的像平面和物平面的布置的图。
[0024] 图10是示出了平面投影变换模型的图。
[0025] 图11是示出了平面投影变换模型的修改示例的图。
[0026] 图12是立体图像生成处理的操作流程图。
[0027] 图13是示出了根据每个实施方式或其修改示例通过执行用于实现构成立体图像 生成装置的各种单元的功能的计算机程序作为立体图像生成装置操作的计算机的配置的 图。
【具体实施方式】
[0028] 将参照附图在下面描述根据一个实施方式的立体图像生成装置和结合立体图像 生成装置的立体成像装置。立体成像装置使用具有两个镜对的立体适配器根据通过拍摄对 象而获得的图像来生成立体图像，镜对将针对左眼的光通量和针对右眼的光通量引导朝向 单目摄像机的成像光学器件，以使得相应的光通量在垂直于视差方向的方向上并排入射到 成像光学器件上。立体适配器对针对左眼的光通量进行引导，以使得任何当进入立体适配 器时平行于成像光学器件的光轴的光线通过与当其离开立体适配器时相对于光轴形成指 定角度更接近于针对右眼的光通量。类似地，立体适配器对针对右眼的光通量进行引导，以 使得任何当进入立体适配器时平行于成像光学器件的光轴的光线通过与当其离开立体适 配器时相对于光轴形成指定角度更接近于针对左眼的光通量。立体成像装置沿着垂直于视 差方向的方向将图像划分为左眼图像（第一子图像）和右眼图像（第二子图像）。然后，立 体图像生成装置对由于指定角度而引起的出现在左眼图像和右眼图像中的对象的任意旋 转和梯形失真进行校正。
[0029] 在本实施方式中，立体图像生成装置被结合到可附接有立体适配器的数字摄像 机、配备有摄像机的移动电话或配备有摄像机的便携式信息终端中。
[0030] 图1是示意性地示出了结合立体图像生成装置的数字摄像机的配置的图。
[0031] 如图1所示，数字摄像机1是立体成像装置的一个示例，除了立体图像生成装置6 以外包括成像单元2、操作单元3、显示单元4、存储单元5、控制单元7以及立体适配器8。 数字摄像机1还可以包括符合诸如通用串行总线的串行总线标准的接口电路（未示出），以 将数字摄像机1连接至诸如计算机或电视接收机的其他装置。例如，控制单元7经由总线 连接至数字摄像机1的其他组成元件。
[0032] 成像单元2包括具有布置成二维的固态成像设备阵列的图像传感器，以及用于将 通过立体适配器8捕捉的对象的图像分别聚焦到图像传感器的上半部分和下半部分的成 像光学器件。成像单元2分别在上半部分图像区域和下半部分图像区域上形成对象的图 像。每当生成图像时，成像单元2将生成的图像发送给立体图像生成装置6。
[0033] 例如，操作单元3包括各种类型的操作按钮或拨盘开关以供用户操作数字摄像机 1。然后，响应于用户的操作，操作单元3给控制单元7发送用于开始拍摄、聚焦、或其他动 作的控制信号，或者用于设置快门速度、孔径开口等的设置信号。
[0034] 例如，显示单元4包括诸如液晶显示设备的显示设备，并且对从控制单元7接收的 各种类型的信息或由成像单元2生成的图像进行显示。例如，使用触摸面板显示器可以将 操作单元3和显示单元4组合成一个单元。
[0035] 例如，存储单元5包括可读/可写易失性或非易失性半导体存储器电路。存储单 元5存储由立体图像生成装置6生成的立体图像。存储单元5还可以存储从成像单元2接 收的图像。如果立体图像生成装置6的功能是通过执行结合在控制单元7中的处理器上的 计算机程序来实现的，则计算机程序可以被存储在存储单元5中。
[0036] 立体图像生成装置6根据通过使用立体适配器8拍摄对象而捕捉的图像来修整包 含与被捕捉的图像的上半部分对应的对象的图像的区域来生成左眼图像，以及根据被捕捉 的图像来修整包含与被捕捉的图像的下半部分对应的对象的图像的区域来生成右眼图像。 为了简单起见，左眼图像在下文中被称为左图像，以及右眼图像被称为右图像。立体图像生 成装置6对由于立体适配器8中的镜对的布置而引起的出现在左图像和右图像中的对象的 任意旋转和梯形失真进行校正。将在后面描述立体图像生成装置6的细节。
[0037] 控制单元7包括至少一个处理器及其外围电路。控制单元7对数字摄像机1的整 个操作进行控制。
[0038] 立体适配器8可拆卸地安装在成像单元2的成像透镜系统的前方。为此，立体适 配器8包括用于将立体适配器8安装到成像单元2的前方的安装机构（未示出）。立体适 配器8还包括用于将从两个不同方向观看的对象的图像形成到成像单元2的像平面上的两 个镜对。立体适配器8和成像单元2可以集成到一个透镜镜筒中。
[0039] 在本实施方式中，立体适配器8安装在成像单元2上，以使得视差方向与水平方向 一致，以及垂直于视差方向的方向与垂直方向一致。因此，在视差方向上左图像和右图像中 的每个图像的视角与成像单元2的水平视角大致上相同。
[0040] 图2A是立体适配器8的光学系统的平面图。图2B是从图2A中的箭头A的方向 观看的立体适配器的光学系统的侧视图。图2C是从图2A中的箭头B的方向观看的立体适 配器的光学系统的侧视图。如图2A至图2C所示，立体适配器8包括针对左眼的一对镜81a 和镜82a以及针对右眼的一对镜81b和镜82b。在本实施方式中，每个镜都是没有光学放 大率的平面镜。设置针对左眼的一对镜81a和镜82a以及针对右眼的一对镜81b和镜82b 以使其当被安装到数字摄像机1上时在立体适配器8的水平方向上关于成像单元2的光轴 OA彼此对称。镜81a和镜81b位于成像单元2的成像光学器件的前方并且在立体适配器8 的垂直方向（即，垂直于视差方向的方向）上并排布置。包括成像单元2的光轴OA的水平 面对镜81a与镜81b之间的边界进行了限定。
[0041] 镜82a和镜82b从对象200接收光通量Bl和光通量B2并且将其朝向相应的镜 81a和镜81b反射。然后，光通量BI和光通量B2被相应的镜81a和镜81b反射到成像单 元2的成像光学器件中。对每个镜的取向进行调节，以使得对象200的图像分别聚焦到成 像单元2中的图像传感器的上半部分区域和下半部分区域上。
[0042] 更特别地，对镜81a进行取向，以使其反射面面向成像单元2并且相对于成像单元 2的入射光瞳面绕垂直轴线旋转-Θ角，例如旋转-45°角。另一方面，对镜81b进行取向， 以使其反射面面向成像单元2并且相对于成像单元2的入射光瞳面在与镜81a的方向相反 的方向上绕垂直轴线旋转Θ角，例如，旋转45°角。当镜相对于入射光瞳面沿着逆时针方 向旋转时，角度Θ的符号为正。
[0043] 镜82a和镜82b被设置在相应的镜81a和镜81b的外部。对镜82a和镜82b的反 射面进行取向以使其面向对象。设置镜82a以使其反射面相对于其图像被聚焦到成像单元 2的像平面上的物平面绕垂直轴线旋转θ°。更特别地，镜82a相对于成像单元2的入射 光瞳面绕垂直轴线旋转（π-Θ)角，例如，135°角。另一方面，设置镜82b以使其反射面相 对于物平面在与镜82a的方向相反的方向上绕垂直轴线旋转-Θ °。更特别地，镜82b相对 于成像单元2的入射光瞳面绕垂直轴线旋转（θ-π)角，例如，-135°角。
[0044] 如果镜被布置成其反射面平行于垂直方向，则光通量Bl通过包含成像单元2的光 轴的水平面的上面，以及光通量Β2通过水平面的下面。因此，包含在由成像单元2生成的 图像的上半部分中的图像和包含在下半部分中的图像彼此不交叠，从而使得立体图像生成 装置6不能根据所生成的图像来创建立体图像。
[0045] 因此，在本实施方式中，镜82a的反射面绕垂直于垂直轴线且平行于反射面的轴 线向前倾斜Φ角，以使得光通量Bl和光通量B2在相较于立体适配器8更靠近物体的区域 中至少部分地彼此交叠。类似地，镜82b的反射面绕垂直于垂直轴线且平行于反射面的轴 线向后倾斜Φ角。因此，平行于光轴OA的入射光线201相对于包含光轴OA的水平面被镜 82a向下反射与向前倾斜角成比例的一定角度。相反地，平行于光轴OA的入射光线202相 对于包含光轴OA的水平面被镜82b向上反射与向后倾斜角成比例的一定角度。
[0046] 接下来，将参照图3详细描述各镜之间的位置关系，图3示出了针对右眼的一对镜 81b和镜82b的布置。在图3中，平行于成像单元2的成像光学器件的入射光瞳面的方向 作为X轴，平行于成像单元2的光轴的方向作为z轴。另外，垂直方向作为y轴。在y = 0 处的水平面与针对左眼的一对镜81a和镜82a与针对右眼的一对镜81b和镜82b之间的边 界平面对应。设Φ表示成像单元2的水平视角，以及Θ (a = tan Θ)表示镜81b相对于 X轴的倾斜角。此外，设Hi1代表沿着成像单元2的光轴从入射光瞳面到镜81b的距离，以及 1代表沿着光轴从入射光瞳到立体适配器8的物体侧上的孔径面的长度。
[0047] 在这种情况下，具有Θ角的切断面301从入射光瞳面的顶点穿过由扩展水平视角 Φ的长度1的三角形所代表的主光线通量B的物体侧孔径面上的端点以线对称的方式相 对于内侧镜81b的反射面移动到的位置是外侧镜82b的位置。镜81b的反射面由直线z = aX+mi来表示。从上面可以看出，基线长度BI ( S卩，左眼视点与右眼视点之间的距离）以及立 体适配器8中的每个镜的左边缘与右边缘之间的距离是明确表示的。更特别地，可以根据 相对于直线z = ax+n^以线对称方式设置的点A和点B的坐标（Itan Φ/2, 1)和（0, nV ) 来计算镜82b的右边缘的坐标（χκ，ζκ)和平行于成像单元2的光轴的主光线与镜82b的反 射面相交处的点的坐标（x〇，z Q)。
[0048] 更特别地，镜82b的右边缘的坐标（χκ，ζκ)如下给出：
【权利要求】
1. 一种立体成像装置，包括： 成像单元，所述成像单元通过拍摄对象来生成图像； 立体适配器，所述立体适配器安装在所述成像单元的前方，并且所述立体适配器将来 自所述对象的光沿着视差方向分成第一光通量和第二光通量W及引导所述第一光通量和 所述第二光通量，W使得所述第一光通量和所述第二光通量在垂直于所述视差方向的方向 上并排入射到所述成像单元上，并且使得在所述第一光通量中，任何当进入所述立体适配 器时平行于所述成像单元的光轴的光线通过当离开所述立体适配器时相对于所述光轴形 成第一角度来更接近于所述第二光通量，并且在所述第二光通量中，任何当进入所述立体 适配器时平行于所述光轴的光线通过当离开所述立体适配器时相对于所述光轴形成所述 第一角度来更接近于所述第一光通量；W及 立体图像生成单元，所述立体图像生成单元基于所述图像生成立体图像，W及其中，所 述立体图像生成单元包括： 划分单元，所述划分单元沿着所述垂直于所述视差方向的方向将所述图像划分成所述 第一光通量入射到上面的第一区域和所述第二光通量入射到上面的第二区域，并且所述划 分单元输出所述第一区域作为所述立体图像的针对一只眼睛的第一子图像W及输出所述 第二区域作为所述立体图像的针对另一只眼睛的第二子图像； 水平方向校正单元，所述水平方向校正单元对出现在所述第一子图像和所述第二子图 像中的、与所述第一角度成比例的所述对象的任意旋转进行校正；及 梯形失真校正单元，所述梯形失真校正单元对出现在所述第一子图像和所述第二子图 像中的、与所述第一角度成比例的所述对象的任意梯形失真进行校正。
2. 根据权利要求1所述的立体成像装置，其中，所述立体适配器包括： 沿着所述垂直于所述视差方向的方向布置在所述成像单元的前方的第一反射面和第 二反射面； 设置成沿着所述视差方向比所述第一反射面更远离所述成像单元的第H反射面； 设置成沿着所述视差方向比所述第二反射面更远离所述成像单元并且相对于所述成 像单元的所述光轴位于所述第H反射面的相对侧上的第四反射面，W及其中： 所述第一反射面相对于所述成像单元的入射光瞳面绕垂直于所述视差方向和所述光 轴两者的第一轴线旋转第二角度，W面向所述成像单元和所述第H反射面； 所述第H反射面相对于物平面绕所述第一轴线旋转所述第二角度，所述物平面的图像 要聚焦到所述成像单元的像平面上W面向所述对象和所述第一反射面，并且所述第H反射 面绕平行于所述第H反射面且垂直于所述第一轴线的轴线倾斜第H角度，W使得入射到所 述第H反射面的中也且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成 所述第一角度更接近于所述光轴； 所述第二反射面相对于所述成像单元的所述入射光瞳面在与所述第一反射面的所述 旋转相反的方向上绕所述第一轴线旋转所述第二角度，W面向所述成像单元和所述第四反 射面； 所述第四反射面相对于所述物平面在与所述第H反射面的旋转相反的方向上绕所述 第一轴线旋转所述第二角度W面向所述对象和所述第二反射面，并且绕平行于所述第四反 射面且垂直于所述第一轴线的轴线倾斜所述第H角度，W使得入射到所述第四反射面的中 也并且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成所述第一角度更 接近于所述光轴； 所述第一光通量首先由所述第H反射面反射并且然后由所述第一反射面反射W进入 所述成像单元，而所述第二光通量首先由所述第四反射面反射并且然后由所述第二反射面 反射W进入所述成像单元。
3. 根据权利要求1或2所述的立体成像装置，其中，所述第一角度是在所述垂直于所述 视差方向的方向上测量的所述成像单元的视角的四分之一。
4. 根据权利要求1或2所述的立体成像装置，其中，所述水平方向校正单元旋转所述第 一子图像W消除出现在所述第一子图像中的所述对象的任意旋转量，所述对象的任意旋转 量与所述第一角度成比例、W及与由于所述第二角度而出现在被所述第H反射面上在所述 视差方向上彼此隔开的不同位置处反射的两条光线分别从所述第H反射面来回移动至所 述成像单元的光学路径长度之间的光学路径长度差成比例。
5. 根据权利要求1或2所述的立体成像装置，其中，所述梯形失真校对单元通过下述方 式对所述第一子图像中的所述对象的所述梯形失真进行校正：给针对所述对象的所述旋转 进行校正的所述第一子图像应用正交投影变换，所述正交投影变换用于从垂直于在所述第 H反射面和所述第一反射面上反射而变得平行于所述光轴的光线的平面变换至垂直于所 述光轴的平面。
6. -种用于根据由成像装置生成的图像来生成立体图像的立体图像生成方法，所述成 像装置包括；成像单元，所述成像单元通过拍摄对象来生成图像；和立体适配器，所述立体 适配器安装在所述成像单元的前方，并且所述立体适配器将来自所述对象的光沿着视差方 向分成第一光通量和第二光通量W及引导所述第一光通量和所述第二光通量，W使得所述 第一光通量和所述第二光通量在垂直于所述视差方向的方向上并排入射到所述成像单元 上，并且使得在所述第一光通量中，任何当进入所述立体适配器时平行于所述成像单元的 光轴的光线通过当离开所述立体适配器时相对于所述光轴形成第一角度来更接近于所述 第二光通量，并且在所述第二光通量中任何当进入所述立体适配器时平行于所述光轴的光 线通过与当其离开所述立体适配器时相对于所述光轴形成所述第一角度来更接近于所述 第一光通量，所述立体图像生成方法包括： 沿着所述垂直于所述视差方向的方向将所述图像划分成所述第一光通量入射到上面 的第一区域和所述第二光通量入射到上面的第二区域，并且输出所述第一区域作为所述立 体图像的针对一只眼睛的第一子图像W及输出所述第二区域作为所述立体图像的针对另 一只眼睛的第二子图像； 对出现在所述第一子图像和所述第二子图像中的与所述第一角度成比例的所述对象 的任意旋转进行校正；W及 对出现在所述第一子图像和所述第二子图像中的、与所述第一角度成比例的所述对象 的任意梯形失真进行校正。
【文档编号】H04N13/00GK104460011SQ201410469995
【公开日】2015年3月25日 申请日期:2014年9月15日 优先权日:2013年9月17日
【发明者】佐藤辉幸, 觉幸典弘 申请人:富士通株式会社