一种立体视频共光心成像系统及其成像方法
【专利摘要】本发明公开了一种立体视频共光心成像系统及其成像方法，系统包括共光心镜头模块和摄像机模块；所述共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透射镜面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射；所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄像机接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射镜面透射的光线，所述至少两个第二摄像机的虚拟光心位置重合在一点。本系统能够实现宽视角、全景的立体视频采集，获取更大视角的立体视频画面。
【专利说明】一种立体视频共光心成像系统及其成像方法
【技术领域】
[0001] 本发明涉及信息处理【技术领域】，尤其涉及一种立体视频共光心成像系统及其成像 方法。
【背景技术】
[0002] 随着信息处理技术的发展，视频成像与远程呈现技术拓展了人的视觉认知能力。 但在当前，人们已经不满足对场景画面的简单感知，在图像细节方面追求更佳的色彩还原， 在空间维度上追求有深度距离的感知，在观看视野上追求全景呈现的能力，甚至在光谱维 度上追求能够超越人眼观测的极限。然而现有的单一摄像头成像以及传统的监控方式无法 实现远程呈现在视觉宽度、深度的需求。只有在成像端应用更宽视角、更多视点的视频采集 及图像处理方法，才能形成新型的远程呈现技术。
[0003] 人眼对场景深度距离的感知，是通过左右眼从两个具有微小差异的视角观看的结 果。立体视频成像技术相比传统平面视觉技术，能够更加完整地进行视觉信息呈现，获得真 实的视觉效果。在立体视频成像中，至少需要两个视点的成像设备对场景进行同步拍摄，同 时根据场景的变化，调整设备之间光心的距离和汇聚角等参数，从而与人眼的立体视觉效 果保持一致。由于拍摄设备自身结构的限制，传统的立体拍摄设备光心距离会聚角等参数 很难做到与人眼视觉一致，突出表现在光心距离较大，很难将光心距离缩小。这种缺点导致 采集设备采集的立体影像立体效果不强，同时加重用户不适感。
[0004] 宽视角视频成像系统的特点在于对场景的全景采集。传统通过阵列式相机拍摄与 图像融合的方法，由于相机的光心并没有重合，所得到图像的重叠区域存在视差问题，无法 将具有一定景深范围内的图像进行完整的融合拼接。
【发明内容】
[0005] 本发明目的在于提出一种立体视频共光心成像系统及其成像方法，以解决上述现 有技术存在的不能同时满足图像具有宽视角和优秀的深度感知的技术问题。
[0006] 为此，本发明提出一种立体视频共光心成像系统，包括共光心镜头模块和摄像机 模块；其中：
[0007] 所述共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放 置的反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透 射镜面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射；
[0008] 所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄 像机接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射 镜面透射的光线，所述至少两个第二摄像机的虚拟光心位置重合在一点。
[0009] 优选地，所述成像系统还包括机械控制模块，用于改变所述第一摄像机虚拟光心 与所述第二摄像机的虚拟光心之间的距离，以得到不同的视觉效果。
[0010] 优选地，所述成像系统还包括颜色处理模块，用于检测所述摄像机模块中的不同 摄像机获得的视频中的特定区域，获取所述不同摄像机获得的视频之间颜色的差异，并对 所述不同摄像机获得的视频进行颜色补偿处理。
[0011] 优选地，所述成像系统还包括几何处理模块，用于检测所述摄像机模块中的不同 摄像机获得的视频所对应成像几何关系，获得所述不同摄像机获得的视频之间的摄像机参 数，并对所述不同摄像机获得的视频进行几何补偿处理。
[0012] 优选地，所述成像系统还包括渲染输出模块，用于将所述摄像机模块中的不同摄 像机获得的视频融合拼接，形成立体视频数据。
[0013] 优选地，所述共光心镜头模块中的反射镜面和半反射镜面为整体的棱镜。
[0014] 优选地，所述预设比例为50%，所述半反射半透射镜面将入射光按照反射：投射 为50% :50%的比例射出。
[0015] 本发明还提出一种使用上述的立体视频共光心成像系统的成像方法，包括：一部 分入射光线经过所述反射镜面的反射进入相应的所述第一摄像机，另一部分入射光线经过 所述半反射半透射镜面进入相应的所述第二摄像机。
[0016] 优选地，改变所述第一摄像机与所述第二摄像机的虚拟光心的距离，以得到不同 的视觉效果。
[0017] 本发明提出的宽视角立体视频共光心成像系统能够实现宽视角、全景的立体视频 采集，获取更大视角的立体视频画面，提高远程呈现的观测能力及真实还原能力。
【专利附图】
【附图说明】
[0018] 图1是本发明实施方式一的同一视向不同视点的摄像机结构示意图；
[0019] 图2是本发明实施方式一的同一视点不同视向的摄像机结构示意图；
[0020] 图3是本发明实施方式一的反射镜面与半反射半透射镜面组合形成的镜头结构；
[0021] 图4是本发明实施方式一的不同摄像机获得的视频的同步控制与实施获取示意 图；
[0022] 图5是本发明实施方式二的不同摄像机获得的视频颜色处理流程示意图；
[0023] 图6是本发明实施方式二的不同摄像机获得的视频几何处理流程示意图；
[0024] 图7是本发明实施方式二的宽视角立体视频渲染处理流程示意图。
【具体实施方式】
[0025] 为便于准确理解，以下是后文中将出现的技术术语的准确定义：
[0026] "不同视向"是指：光心在同一个位置，但光轴方向（视野方向）不同。
[0027] "不同视点"是指：光轴方向平行，但光心不在同一位置。
[0028] 下面结合【具体实施方式】并对照附图对本发明作进一步详细说明。应该强调的是， 下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
[0029] 参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示 相同的部件，除非另外特别说明。
[0030] 实施例一：
[0031] 本发明提出一种宽视角立体视频共光心成像系统，包括：
[0032] 1、立体共光心成像单元，用于对所拍摄场景的数字成像，得到多个视点的共光心 拍摄的立体视频画面，该立体共光心成像单元包括共光心镜头模块和摄像机模块：
[0033] 1. 1、共光心镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放 置的反射镜面和半反射半透射镜面，形成不同视向与不同视点的成像光路系统。入射光线 经过反射镜面后，到达半反射半透射镜面，由于半反射半透射镜面上镀有半反射半透射膜， 在半反射半透射膜作用下，入射光按照一定比例将入射光分为两部分，部分通过反射改变 原有的方向，部分通过透射继续传播；
[0034] 1.2、摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，与共光心镜 头模块对应，第一摄像机接收从半反射半透射镜面反射的光线，第二摄像机接收从半反射 半透射镜面透射的光线，至少两个第二摄像机的光心位置重合在一点；摄像机模块中所有 摄像机通过特定的方式进行同步控制，驱动不同摄像机同时拍摄；
[0035] 1. 3、机械控制模块，在本发明的具体实施例中，成像系统还包括机械控制模块，用 于摄像机模块中摄像机的安装固定与位置调节，调节摄像机模块中的第一摄像机和第二摄 像机的虚拟光心之间的距离，以得到不同的视觉效果；位置调节可以通过机械控制模块的 手动与电动方式实现，位置调整的自由度与精度按照光学系统设计的要求设定。
[0036] 本发明实施例提出的立体共光心成像单元包含了同一视向不同视点成像光路与 同一视点不同视向的成像光路。
[0037] 其中，同一视向不同视点的成像光路能够实现在相同视觉方向上多视点的差异化 观测，是获得立体视觉效果的关键技术，参见图1是本发明实施方式一的同一视向不同视 点的摄像机结构示意图。光线经过半反射半透射镜面101后，在镜面上所镀的半反射半透 射膜的作用下，入射光按照一定比例，部分通过反射改变原有的方向，部分通过透射继续传 播。通过反射的光线进入与之对应的摄像机102,通过透射的光线进入与之对应的摄像机 103,摄像机102、103分别将反射和透射光线采集，形成多路视频图像输出。摄像机104为 摄像机103在反射光路中的等效虚像位置，该位置的特点为：在高度y方向与深度z方向 上，摄像机104与摄像机102相同；在x方向上，摄像机104与摄像机102具有水平的距离 差，且该距离差大于等于0,可以通过机械机构调整摄像机102与摄像机104的位置来实现 调节。
[0038] 另外，同一视点不同视向的成像光路能够实现同一个视点在共光心基础上改变观 看方向的差异化观测，是获得宽视角或全景图像的关键技术，参见图2是本发明实施方式 一的同一视点不同视向的摄像机结构示意图。包括：
[0039] 反射镜面201、202和203,用于将对应视向的光线进行完全反射，其中，反射镜面 202所对应的视向与反射镜面201有第一夹角，反射镜面203所对应的视向与反射镜面202 有第二夹角，可选地，第一夹角和第二夹角都为60° ;
[0040] 半反射半透射镜面204、205和206,分别对应反射镜面201、202和203 ;
[0041] 摄像机207、208和209,分别与同一视点不同视向光路对应，将同一个视点在不同 视觉方向上的光线采集，形成多路视频图像输出；摄像机207-209的光心位置重合在该点 路中的虚像位置211处；
[0042] 摄像机210为与摄像机207在同一视向不同视点光路中所配对的摄像机，进行立 体拍摄。
[0043] 优选地，反射镜面与半反射半透射镜面可为一个整体的棱镜，参见图3是本发明 实施方式一的反射镜面与半反射半透射镜面组合形成的镜头结构，镜头结构为菱形棱镜 301，该菱形棱镜包括反射镜面303以及半反射半透射镜面304。反射镜面303能将入射光 完全反射；半反射半透射镜面304能将入射光按比例部分反射部分透射，本发明的具体实 施例中，该比例值取50%，即50%反射，50%透射。由图3可看出，当场景的入射光线方向 302为沿菱形棱镜301底面方向入射时，光依次经过反射镜面303、半反射半透射镜面304 的作用后，一部分光进入透射光线对应的摄像机305,另一部分光进入反射光线对应的摄像 机306,摄像机305、306采集入射光线形成多路视频图像。
[0044] 2、立体共光心图像处理单元，用于成像的源图像数据进行同步变换处理及输出视 频的渲染处理，源图像数据包含了不同视向的共光心视频图像和同一视向上的不同视点图 像。在本发明的具体实施例中，立体共光心图像处理单元包括：
[0045] 2. 1、源视频图像获取模块，用于接收摄像机模块中的不同摄像机输出的视频数 据，实现对不同摄像机输出的视频的同步控制与实时获取。在本发明的具体实施例中，采用 硬件触发与单服务器并发采集的方式，参见图4为本发明实施方式一的不同摄像机输出的 视频的同步控制与实施获取示意图，包括：
[0046] 2. la、控制装置，用于上电后MCU向摄像机的控制接口发送脉冲信号，摄像机按照 控制信号持续以设定的帧率（25fps)进行同步采集，直到MCU断开电源；
[0047] 2. lb、采集装置，包括4张1394b双总线采集卡（PCI-E接口，带宽可达160MB/S)， 与4个视向2个视点共8台摄像机的数据口进行串联，用于采集高清视频图像。
[0048] 2. 2、颜色处理模块：用于检测不同摄像机输出的视频图像中的特定区域，获取不 同视频之间颜色差异，并对视频图像进行颜色补偿处理。特定区域为视频中由算法设定的 画面区域，可以是不同视频在图像边缘的重叠区域。不同视频包含了不同视向的共光心视 频图像和同一视向上的不同视点图像。颜色差异为算法中设定的指标，可以是亮度、色度等 表征颜色的变量；
[0049] 2. 3、几何处理模块：用于检测不同摄像机输出的视频图像所对应成像几何关系， 获得不同视频之间的摄像机参数，并对视频图像进行几何补偿处理。不同视频包含了不同 视向的共光心视频图像和同一视向上的不同视点图像。摄像机参数包含了摄像机光心的三 维坐标、光轴的三维矢量坐标和光心间基线的三维矢量坐标。几何补偿处理为根据实际的 摄像机参数与理想的摄像机参数的差异，对源视频图像进行几何变换，使得变换后图像的 参数与理想参数一致。理想的摄像机参数，包含了全景拼接中的共光心模型，和立体视频的 多视点模型；
[0050] 2. 4、渲染输出模块：用于将不同摄像机输出的视频图像融合拼接，形成宽视角的 立体视频数据，并按照输出要求设定，选取相应的图像内容输出。融合拼接，将不同视向同 一视点的视频画面，对边缘的重合部分进行融合，从而得到完整的宽视角视频画面。选取相 应的图像内容输出，包括单一视点的宽视角视频、宽视角立体视频画面中的部分画幅内容 等形式。
[0051] 本发明实施例提出一种立体视频共光心成像系统，通过该系统能够实现对场景的 全景立体拍摄，获得不同方向的共光心图像以及同方向的立体图像，经过图像的融合处理 方法，形成具有宽视角的立体视频图像，提供给相应的立体显示设备进行立体呈现，从而满 足观众在宽观测视角、有深度感的视觉感知需求。
[0052] 实施例二：
[0053] 本发明还提出一种立体视频共光心的成像方法，包括以下步骤：
[0054] S1、入射光线经过实施例一中描述的成像系统后按比例分为两部分射出，一部分 光线经过反射镜面进入相应的第一摄像机，另一部分光线经过半反射半透射镜面进入相应 的第二摄像机；
[0055] S2、对摄像机模块中的不同摄像机获得的视频数据进行处理并按需求输出视频， 不同摄像机获得的视频数据视频数据包含了不同视向的共光心视频图像和同一视向上的 不同视点图像。在本发明的具体实施例中，包括以下步骤：
[0056] S21、对不同摄像机获得的视频数据图像的同步控制与实时获取。本发明具体实施 方式的不同摄像机获得的视频数据的同步控制与实施获取流程包括：
[0057] MCU发送脉冲信号控制摄像机采集动作。具体的，上电后MCU开始向摄像机的控制 接口发送脉冲信号，摄像机按照控制信号持续以设定的帧率（25fps)进行同步采集，直到 为MCU断开电源；
[0058] 采集服务器通过4张1394b双总线采集卡（PCI-E接口，带宽可达160MB/S)，与4 个视向2个视点共8台摄像机的数据口进行串联，采集高清视频图像。
[0059] S22、对图像进行颜色、几何补偿处理，获得理想状态下的共光心立体采集数据；
[0060] 本发明实施例提出的不同视向与不同视点视频之间的颜色与几何处理，包含了系 统的参数标定以及实时补偿两个部分，参见图5和图6所示的方法，包括：
[0061] S221、系统对不同视向与不同视点视频的自检。在设备启动时，对采集到的画面进 行自检。本发明实施例中的自检，通过对不同视向相邻视频之间的特征点匹配，理论上匹配 特征点的颜色与坐标应该保持一致。因此通过颜色与坐标与理论值的差异，设定阈值进行 判断。
[0062] S222、当设备处于初始化系统，以及当前自检不合格时，需要进行参数标定。步骤 如下：
[0063] (1)对每个摄像机进行几何标定，获得摄像机的内、外参矩阵；
[0064] 具体的，几何标定用以获取各摄像机的内、外参矩阵{K，R，T}，可通过张正友几何 标定法获得。下文中各摄像机n(n G {1，? ? ?，N})的参数以{Kn，Rn，TJ表示（其中Rn=
[Xn，Yn，Zn]T)，虚拟参数以！ H &表示。
[0065] (2)确定虚拟基线方向f及虚拟光心位置&与虚拟内参矩阵;
[0066] 本发明实施例中，虚拟基线方向X为两个虚拟视点对应光心之间的连线，基线位 于反射镜面组所形成的多边形横切面中心，基线中点与多边形横切面中心重合，基线两端 光心（关于多边形对称分布；
[0067] 如果用fu，fv表示在光学水平轴和竖直轴上的归一化焦距。f m，f?表示第n个摄 像机在光学水平轴和竖直轴上的归一化焦距，（1^%)表示光学中心，即摄像机光轴与图像 平面的交点坐标。表示第n个摄像机的光学中心。本发明实施例中所有摄像机的 虚拟内参矩阵f保持一致，记为f 取f的 为所 II 八 o J\.
【权利要求】
1. 一种立体视频共光屯、成像系统，其特征在于，包括共光屯、镜头模块和摄像机模块； 其中： 所述共光屯、镜头模块，包括若干组镜头单元，每组镜头单元包括按照设定角度放置的 反射镜面和半反射半透射镜面，入射光线经过所述反射镜面反射到达所述半反射半透射镜 面，所述半反射半透射镜面将入射光按照预设比例进行反射和透射； 所述摄像机模块，包括至少两个第一摄像机和至少两个第二摄像机，所述第一摄像机 接收从所述半反射半透射镜面反射的光线，所述第二摄像机接收从所述半反射半透射镜面 透射的光线，所述至少两个第二摄像机的虚拟光屯、位置重合在一点。
2. 如权利要求1所述的立体视频共光屯、成像系统，其特征在于，所述成像系统还包括 机械控制模块，用于改变所述第一摄像机虚拟光屯、与所述第二摄像机的虚拟光屯、之间的距 离，W得到不同的视觉效果。
3. 如权利要求1或2所述的立体视频共光屯、成像系统，其特征在于，所述成像系统还包 括颜色处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频中的特定区域，获 取所述不同摄像机获得的视频之间颜色的差异，并对所述不同摄像机获得的视频进行颜色 补偿处理。
4. 如权利要求1或2所述的立体视频共光屯、成像系统，其特征在于，所述成像系统还包 括几何处理模块，用于检测所述摄像机模块中的不同摄像机获得的视频所对应成像几何关 系，获得所述不同摄像机获得的视频之间的摄像机参数，并对所述不同摄像机获得的视频 进行几何补偿处理。
5. 如权利要求1或2所述的立体视频共光屯、成像系统，其特征在于，所述成像系统还包 括擅染输出模块，用于将所述摄像机模块中的不同摄像机获得的视频融合拼接，形成立体 视频数据。
6. 如权利要求1所述的立体视频共光屯、成像系统，其特征在于，所述共光屯、镜头模块 中的反射镜面和半反射镜面为整体的棱镜。
7. 如权利要求1所述的立体视频共光屯、成像系统，其特征在于，所述预设比例为50%， 所述半反射半透射镜面将入射光按照反射；投射为50% ;50%的比例射出。
8. -种使用如权利要求1所述的立体视频共光屯、成像系统的成像方法，其特征在于， 包括；一部分入射光线经过所述反射镜面的反射进入相应的所述第一摄像机，另一部分入 射光线经过所述半反射半透射镜面进入相应的所述第二摄像机。
9. 如权利要求8所述的立体视频共光屯、成像系统的成像方法，其特征在于，改变所述 第一摄像机与所述第二摄像机的虚拟光屯、的距离，W得到不同的视觉效果。
【文档编号】H04N13/02GK104469340SQ201410717260
【公开日】2015年3月25日 申请日期:2014年12月1日 优先权日:2014年12月1日
【发明者】张新, 柯家琪, 廖智宏 申请人:深圳凯澳斯科技有限公司