一种光栅立体印刷图像合成方法
【技术领域】
[0001] 本发明属于印刷技术领域，涉及一种光栅立体印刷图像合成方法，特别涉及一种 基于深度传感器与光学相机多视成像的光栅立体印刷图像合成方法，输出的光栅立体图 像，用裸眼即可看到较好的立体效果。
【背景技术】
[0002] 立体印刷技术是在人眼双目视差原理和光栅折射分像的光学原理基础上，结合印 刷工艺技术，使平面二维图像内容呈现三维立体感的一种特种印刷技术。光栅立体印刷的 一般工艺流程为：原稿制作、制版、印刷和印后加工。其中原稿的获取和制作越来越多样化， 例如使用单镜头相机获取单幅图像，依靠HumanEyes或PsdTo3d等专业软件人为的为图像 中的景物赋予三维深度信息，再进行光栅立体图像合成，但是，单幅图像立体合成技术具有 制作难度大，周期长，专业性强等缺点；利用双目相机获取双目视图制作光栅立体图像，需 要对双目视图进行立体匹配获得视差图，再根据几何投影关系获取序列视差图像，最后进 行合成，但由于立体匹配算法难以获得足够精度的深度图像，以及序列图源自于初始获得 的两个观察角度图像，容易因视场遮挡而丢失场景信息，形成视差断层，进而最终影响光栅 立体图像的三维视觉效果；利用序列视差图像制作光栅立体印刷图像的难度相对单幅图像 和双目图像制作立体图像的难度要小很多，但序列视差图像获取时对摄影设备有较高的要 求，需要使用多镜头相机，或单镜头相机配合导轨进行摄影。多镜头相机对制作工艺要求非 常高，这使得相机造价相当高，同时由于多镜头基线较小且不能改变，使其拍摄远景或大幅 面照片时受到一定限制；而单镜头移动拍摄需要借助导轨，要求导轨精度较高，且导轨携带 不方便。
【发明内容】
[0003] 为了克服单幅图像立体合成需人为赋予深度信息，双目图像立体合成时三维视觉 效果较差，以及序列视差图像立体合成时所需多镜头相机造价高，或依赖导轨拍摄不方便 等问题，本发明提供了一种基于深度传感器与光学相机多视成像的光栅立体印刷图像合成 方法。
[0004] 本发明所采用的技术方案是：一种光栅立体印刷图像合成方法，是基于深度传感 器与光学相机多视成像的光栅立体印刷图像合成方法；其特征在于：首先用配置有深度传 感器的单镜头相机按一定次序从不同角度拍摄场景得到N幅二维光学图像和对应的深度 图像，且要求拍摄的相邻光学图像之间至少存在30%的重合区域，其中N > 2 ;
[0005] -定次序包含从左至右次序和从右至左次序，以下仅通过从左至右的次序获得二 维光学图像及深度图像，并进行光栅立体印刷图像合成来阐述本方法的原理，从右至左的 次序获得二维光学图像及深度图像、并进行光栅立体印刷图像合成的原理与此相同；方法 的具体实现包括以下步骤：
[0006] 步骤1 :将不同视点下的深度图像转换到三维空间，获得不同坐标系下的场景的 三维点云；
[0007] 步骤2 :将不同坐标系下的三维点云统一到同一个坐标系下，并进行精确配准，删 除冗余空间点，获得整个拍摄场景的深度信息；
[0008] 步骤3 :构建图像序列，根据光栅立体图像合成所需要的序列视差图像张数设置 虚拟视点个数，在三维场景的拍摄端按一定轨迹设置等间隔的虚拟视点，分别从场景深度 信息中获取每个视点下场景的二维图像，依次得到所需的序列视差图像，图像序列构建完 成；
[0009] 步骤4 :根据图像序列合成光栅立体图像；
[0010] 步骤5 :调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将 光栅立体图像输出。
[0011] 作为优选，步骤1中所述的将不同视点下的深度图像转换到三维空间，获得不同 坐标系下的场景的三维点云，其实现公式为：
[0012]
【主权项】
1. 一种光栅立体印刷图像合成方法，是基于深度传感器与光学相机多视成像的光栅立 体印刷图像合成方法；其特征在于：首先用配置有深度传感器的单镜头相机按一定次序从 不同角度拍摄场景得到N幅二维光学图像和对应的深度图像，且要求拍摄的相邻光学图像 之间至少存在30%的重合区域，其中N彡2 ; 一定次序包含从左至右次序和从右至左次序，以下仅通过从左至右的次序获得二维光 学图像及深度图像，并进行光栅立体印刷图像合成来阐述本方法的原理，从右至左的次序 获得二维光学图像及深度图像、并进行光栅立体印刷图像合成的原理与此相同；方法的具 体实现包括以下步骤： 步骤1 :将不同视点下的深度图像转换到三维空间，获得不同坐标系下的场景的三维 点云； 步骤2 :将不同坐标系下的三维点云统一到同一个坐标系下，并进行精确配准，删除冗 余空间点，获得整个拍摄场景的深度信息； 步骤3 :构建图像序列，根据光栅立体图像合成所需要的序列视差图像张数设置虚拟 视点个数，在三维场景的拍摄端按一定轨迹设置等间隔的虚拟视点，分别从场景深度信息 中获取每个视点下场景的二维图像，依次得到所需的序列视差图像，图像序列构建完成； 步骤4 :根据图像序列合成光栅立体图像； 步骤5 :调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅 立体图像输出。
2. 根据权利要求1所述的光栅立体印刷图像合成方法，其特征在于：步骤1中所述的 将不同视点下的深度图像转换到三维空间，获得不同坐标系下的场景的三维点云，其实现 公式为：
其中，u、v分别为深度图像中对应的横坐标与纵坐标；U(I、V(I为二维光学图像原点（0,0) 坐标位于深度图像中的坐标位置；f为相机的焦距；ZW为深度传感器测量得到的深度信息， 即深度图中（u，v)点对应的像素值；X w，Yw分别为世界坐标系中的横坐标和纵坐标。
3. 根据权利要求1所述的光栅立体印刷图像合成方法，其特征在于：步骤2的具体实 现包括以下子步骤： 步骤2. 1 :从最左边拍摄的二维光学图像开始，对前两幅二维光学图像提取匹配点对； 步骤2. 2 :利用匹配点对获取对应的匹配空间点对； 步骤2. 3 :通过匹配的空间点对获取点对之间的关系矩阵，对关系矩阵进行奇异值分 解，求解点云粗配准的旋转矩阵和平移矩阵，将左边第一幅二维光学图像对应的点云转换 到第二幅二维光学图像对应的点云坐标系中，完成粗配准； 步骤2. 4 :根据匹配点对所在的区域获取一定数量的样本点，进一步对样本点进行随 机取样并进行空间点匹配，使用四元数法通过多次迭代获取精准匹配的旋转矩阵和平移矩 阵，完成第一幅二维光学图像对应点云与第二幅二维光学图像对应点云的精确配准； 步骤2. 5 :对配准后的点云进行冗余空间点的删除，S卩如果第一幅光学图像对应点云 中的空间点在第二幅光学图像对应点云中有互相匹配的空间点，则删除第一幅图像对应点 云中的该空间点； 步骤2. 6 :使用上述步骤2. 1-步骤2. 5的方法，依次配准第二幅二维光学图像和第三 幅二维光学图像对应的点云，将第一幅二维光学图像和第二幅二维光学图像对应的点云分 别转换到第三幅二维光学图像对应的点云坐标系下，并删除冗余空间点，以此类推，直到最 右边两幅二维光学图像对应的点云配准完成，最终所有点云都统一到同一个坐标系下，并 删除冗余空间点，获得整个拍摄场景的深度信息。
4. 根据权利要求1所述的光栅立体印刷图像合成方法，其特征在于：步骤3的具体实 现包括以下子步骤： 步骤3. 1 :根据光栅立体合成所需序列视差图像张数获得所需虚拟视点的个数，在场 景三维点云所在的三维坐标系中，模拟镜头拍摄端设置虚拟视点的轨迹，视点轨迹可设为 一条直线或一条弧线，且相邻虚拟视点等间隔设置； 步骤3. 2 :设定序列视差图像的尺寸，获得每个虚拟视点处观察场景的二维图像信息， 完成图像序列构建。
5. 根据权利要求1所述的光栅立体印刷图像合成方法，其特征在于：步骤4的具体实 现方法为： 设图像序列中的序列视差图像共有η张，按获取顺序从左至右依次排列，首先对各序 列视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素；设第k张序列视差图 像的第i行第j列的像素为GikU)，合成的光栅立体图像的第i行j列的像素为F i(J)，则 有
其中 η, width-1，O < j < height-Ι，且 k、i、j 为整数，width 是以 像素为单位的序列视差图像的宽度，height是以像素为单位的序列视差图像的高度，k用 如下公式来确定， k = j+l-[j/n]*n。
6. 根据权利要求1、2、3、4或5所述的光栅立体印刷图像合成方法，其特征在于：步骤5 中所述的调整光栅立体图像分辨率根据下式实现， dpi = r氺η ; 其中，dpi为光栅立体图像调整后的分辨率，r为输出的柱镜光栅的光栅线数，η为序列 视差图像的张数。
7. 根据权利要求1所述的光栅立体印刷图像合成方法，其特征在于：所述的深度传感 器包括红外传感器、激光雷达等能够获得场景深度数据的测距设备。
【专利摘要】本发明公开了一种光栅立体印刷图像合成方法，是基于深度传感器与光学相机多视成像的光栅立体印刷图像合成方法；本发明首先通过配置有深度传感器的单镜头相机获得多视角下的场景光学图像及对应深度图像，然后对多视角下的三维点云进行配准，删除冗余空间点，获得拍摄场景的深度信息，利用在三维空间中虚设多个等间隔视点的方法，得到多幅序列视差图像，最后通过一种光栅立体编码方式合成光栅立体印刷图像。本发明只需用以上技术进行图像处理，就可以依次得到场景的深度信息、序列视差图、以及最终要打印的光栅立体合成图像，整个过程方便、快捷，且最终输出的光栅立体图的立体效果较好，该技术对光栅立体图像的推广也具有重要意义。
【IPC分类】H04N13-00, H04N13-04, G02B27-22, H04N13-02
【公开号】CN104539928
【申请号】CN201510003660
【发明人】李治江, 冯谨强, 曹文冬
【申请人】武汉大学
【公开日】2015年4月22日
【申请日】2015年1月5日