3d照片生成系统及方法
【专利摘要】本发明涉及一种3D照片生成系统及方法，其中3D照片生成系统包括：立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像；深度估算模块，用于估算所述立体图像的深度信息并生成深度图；多视点图像重建模块，用于根据所述深度图和所述立体图像生成多视点图像；图像隔行扫描模块，用于对所述多视点图像进行调整并形成混合图像。本发明的3D照片生成系统及方法，显著的简化了3D照片生成过程，提高了3D照片的质量。本发明的3D照片生成系统及方法可以广泛应用于各种主题公园、旅游景点以及照相馆。将会使更多的消费者享受3D照片带来的乐趣。
【专利说明】3D照片生成系统及方法
【技术领域】
[0001]本发明涉及照片处理系统及方法，更具体地说，涉及一种3D照片处理系统及方法。
【背景技术】
[0002]3D照片通常采用微透镜技术来生成。微透镜的透镜为放大镜阵列，该放大镜阵列设计成当从稍微不同的角度观察时，放大不同的图像。为了生成3D照片，首先需要生成多视点图像，比如说12或更多视点图像，接着多视点图像会混合成混合图像。混合多视点图像是一个从多视点图像中提取合适的像素合并成一个新图像的过程，新图像包含原始图像的多视点信息。微透镜的透镜用来在不同的视角显示这些多视点的视角。最后，透过微透镜板观看，观看者的左眼和右眼可以看到不同的图像，从而产生3D的效果。
[0003]目前，有一些生成3D照片的不同方法，其中，最常用的方法是采用手动将2D图像转换成多视点图像，这种方法需要数小时甚至数天的时间。通常操作者需要通过创建蒙皮从目标图像中提取对象，然后根据自己的判断给这些蒙皮确定深度信息。深度信息是和原始2D图像具有同样尺寸的单独的灰度图像，灰度图像用灰色表示图像的每个部分的深度。手动创建的深度信息用来引导计算机移动原始2D图像的像素以形成新的视点图。深度图可以产生强烈3D显示效果。
[0004]另外一种方法是从多视点拍摄物体，但是，对于运动物体，这种方法并不是一种可行的方法。这种方法需要布置一台或多台摄像机来获取多视点图像。图像获取装置需要小心定位以使输出图像的视角不会过宽。
[0005]多视点图像是用来重构混合图像，大多数系统将从多视点图像中提取的数据直接构建混合图像。由于最终图像是每个多视点图像的子样本，这种方法得到的图像不能保持原始图像的质量。
[0006]综上所述，现有的3D照片生成方法及系统具有处理时间长、照片的质量低等缺点。
【发明内容】
[0007]本发明的目的在于提供一种处理速度快、照片质量高的3D照片生成系统及方法。
[0008]本发明的3D照片生成系统包括:立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像；
[0009]深度估算模块，用于估算所述立体图像的深度信息并生成深度图；
[0010]多视点图像重建模块，用于根据所述深度图和所述立体图像生成多视点图像；
[0011]图像隔行扫描模块，用于对所述多视点图像进行调整并形成混合图像。
[0012]在本发明所述的3D照片生成系统中，所述深度估算模块包括:
[0013]像素匹配模块，用于比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素，根据光流约束方程估算出像素的光流；[0014]深度信息确定模块，用于根据所述左眼图像和右眼图像的光流，找出像素位移来确定像素的深度信息；
[0015]深度图生成模块，用于根据所述深度信息生成深度图。
[0016]在本发明所述的3D照片生成系统中，所述多视点图像重构模块包括:
[0017]基础图像选择模块，用于选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；
[0018]图像数目确定模块，用于根据需求确定所需图像的数目和视差；
[0019]像素移动模块，用于根据所述深度图移动所述基础图像的像素以形成新图像；
[0020]填洞模块，用于填充所述新图像中由于像素丢失形成的孔洞；
[0021]多视点图像生成模块，用于生成多视点图像。
[0022]在本发明所述的3D照片生成系统中，所述图像隔行扫描模块包括:
[0023]图像调整模块，用于调整所述多视点图像的尺寸；
[0024]对比度调整模块，用于调整所述图像调整模块输出的调整后的多视点图像的对比度；
[0025]图像合成模块，用于将经过对比度调整后的多视点图像合并形成混合图像；
[0026]混合图像输出模块，用于输出所述混合图像。
[0027]填洞模块采用插值法填充所述新图像中由于像素丢失形成的孔洞。
[0028]本发明的3D照片生成方法，包括如下步骤:
[0029]SI输入立体图像，所述立体图像包括左眼图像和右眼图像；
[0030]S2估算所述立体图像的深度信息并生成深度图；
[0031]S3根据所述深度图和所述立体图像生成多视点图像；
[0032]S4对所述多视点图像进行调整并形成混合图像。
[0033]在本发明所述的3D照片生成方法中，所述步骤S2包括如下步骤:
[0034]S21比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素，根据光流约束方程估算出像素的光流；
[0035]S22根据所述左眼图像和右眼图像的的光流，找出像素位移来确定像素的深度信息；
[0036]S23根据所述深度信息生成深度图。
[0037]在本发明所述的3D照片生成方法中，所述步骤S3包括:
[0038]S31选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；
[0039]S32根据需求确定所需图像的数目和视差；
[0040]S33根据所述深度图移动所述基础图像的像素以形成新图像；
[0041]S34填充所述新图像中由于像素丢失形成的孔洞；
[0042]S35生成多视点图像。
[0043]在本发明所述的3D照片生成方法中，所述步骤S4包括:
[0044]S41调整所述多视点图像的尺寸；
[0045]S42调整经所述步骤S41调整后的多视点图像的对比度；
[0046]S43将经过对比度调整后的多视点图像合并形成混合图像；[0047]S44输出所述混合图像。
[0048]在本发明所述的3D照片生成方法中，所述步骤34中采用插值法填充所述新图像中由于像素丢失形成的孔洞。
[0049]实施本发明的3D照片生成系统及方法，具有以下有益效果:本发明的3D照片生成系统及方法，显著的简化了 3D照片生成过程，提高了 3D照片的质量。本发明的3D照片生成系统及方法可以广泛应用于各种主题公园、旅游景点以及照相馆。将会使更多的消费者享受3D照片带来的乐趣。
【专利附图】
【附图说明】
[0050]下面将结合附图及实施例对本发明作进一步说明，附图中:
[0051]图1是本发明的3D照片生成系统的系统框图；
[0052]图2是本发明的3D照片生成系统中深度估算模块的框图；
[0053]图3是本发明的3D照片生成系统中多视点图像重建模块的框图；
[0054]图4是本发明的3D照片生成系统中图像隔行扫描模块的框图；
[0055]图5是本发明的3D照片生成方法的流程图；
[0056]图6是本发明的3D照片生成方法中步骤S2的流程图；
[0057]图7是本发明的3D照片生成方法中步骤S3的流程图；
[0058]图8是本发明的3D照片生成方法中步骤S4的流程图；
[0059]图9是本发明的3D照片生成系统所输入的立体图像的示意图；
[0060]图10是本发明的3D照片生成系统所形成的深度图与原始图像对比的示意图；
[0061]图11是调整后的多视点图像；
[0062]图12是混合图像的示意图。
【具体实施方式】
[0063]为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的【具体实施方式】。
[0064]如图1至图4所示，为本发明的3D照片生成系统的一个实施例的系统框图，该3D照片生成系统包括立体图像输入模块1、深度估算模块2、多视点图像重构模块3和图像隔行扫描模块4。其中，立体图像输入模块I用于输入立体图像，立体图像包括左眼图像和右眼图像；深度估算模块2用于估算立体图像的深度信息并生成深度图；多视点图像重建模块3用于根据深度图和立体图像生成多视点图像；图像隔行扫描模块4用于对多视点图像进行调整并形成混合图像。
[0065]在本发明的3D照片生成系统中，深度估算模块2进一步包括:像素匹配模块21、深度信息确定模块22和深度图生成模块23。其中，像素匹配模块21用于比较立体图像的左眼图像和右眼图像并找出左眼图像和右眼图像之间的相对像素，根据光流约束方程估算出像素的光流；其中，相对像素是指左眼图像和右眼图像的同一像素位置的像素。深度信息确定模块22用于根据左眼图像和右眼图像的光流找出像素位移来确定像素的深度信息；深度图生成模块23用于根据深度信息生成深度图。
[0066]在本发明的3D照片生成系统中，多视点图像重构模块3进一步包括:基础图像选择模块31、图像数目确定模块32、像素移动模块33、填洞模块34和多视点图像生成模块35。其中，基础图像选择模块31用于选择立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；图像数目确定模块32用于根据需求确定所需图像的数目和视差；像素移动模块33用于根据深度图移动基础图像的像素以形成新图像；填洞模块34用于填充新图像中由于像素丢失形成的孔洞；多视点图像生成模块35用于生成多视点图像。
[0067]在本发明的3D照片生成系统中，图像隔行扫描模块4进一步包括:图像调整模块41、对比度调整模块42、图像合成模块43和混合图像输出模块44。其中，图像调整模块41用于调整多视点图像的尺寸；对比度调整模块42用于调整图像调整模块输出的调整后的多视点图像的对比度；图像合成模块43，用于将经过对比度调整后的多视点图像合并形成混合图像；混合图像输出模块44，用于输出混合图像。
[0068]如图5至图8所示，为本发明的3D照片生成方法的流程图，其包括如下步骤:
[0069]SI输入立体图像，立体图像包括左眼图像和右眼图像；
[0070]S2估算立体图像的深度信息并生成深度图；
[0071]S3根据深度图和立体图像生成多视点图像；
[0072]S4对多视点图像进行调整并形成混合图像。
[0073]其中，步骤S2进一步包括如下步骤:
[0074]S21,比较立体图像的左眼图像和右眼图像并找出左眼图像和右眼图像之间的相对像素，根据光流约束方程估算出像素的光流；
[0075]S22根据左眼图像和右眼图像的光流，找出像素位移来确定像素的深度信息；
[0076]S23根据深度信息生成深度图。
[0077]步骤S3进一步包括:
[0078]S31选择立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；
[0079]S32根据需求确定所需图像的数目和视差；
[0080]S33根据深度图移动基础图像的像素以形成新图像；
[0081]S34填充新图像中由于像素丢失形成的孔洞；
[0082]S35生成多视点图像。
[0083]步骤S4进一步包括:
[0084]S41调整多视点图像的尺寸；
[0085]S42调整经步骤S41调整后的多视点图像的对比度；
[0086]S43将经过对比度调整后的多视点图像合并形成混合图像；
[0087]S44输出混合图像。
[0088]以上介绍了本发明的3D照片生成系统的构成以及本发明的3D照片生成方法的具体步骤，下面结合一个具体的例子详述本发明的3D照片生成系统和方法是如何工作的。本发明的3D照片生成系统采用立体图像作为输入，根据立体图像自动进行比较并计算3D信息(也称之为深度图)。然后基于深度信息移动原始输入图像的像素来生成多视点图像。为了提高最终混合图像的质量，本发明的3D照片生成系统会对生成的图像进行调整以形成合适尺寸，然后将调整后的图像合并在一起。最后形成的混合图像可以显示在免带眼镜的3D显示装置上，或者合成在微透镜板上形成3D照片。
[0089]在本发明的3D照片生成系统中，立体图像输入装置I用于输入立体图像，立体图像也即立体图，可以产生三维视觉效果，它可以是任何能够向通过双目立体观察的观察者传达深度感知体验的图像，该立体图可以通过一种或多种技术获得，立体图像也可以直接采用3D图像。在本例中，输入的立体图像为包含左眼图像和右眼图像的立体图像，具体图像如图9所示。
[0090]深度估算模块2用于分析由立体图像输入模块I输入的立体图像的深度信息，以重建多视点图像，深度估算的步骤如图6所示。深度估算模块2包括像素匹配模块21、深度信息确定模块22和深度图生成模块23。其中，像素匹配模块21用于比较输入的立体图像的左眼图像和右眼图像以找出二者的相对像素，也即左眼图像和右眼图像的同一像素位置的像素。物体在立体图像的左眼图像中和右眼图像中存在位移，也称之为视差。为了提取视差，通常採用光流和立体匹配等匹配方法找出左眼图像和右眼图像之间的像素位移。光流是由观察者(例如眼镜或摄像机)和场景之间的相对运动所引起的可视场景中的对象、表面或边缘的视运动的模式。光流估算是根据光流约束方程估算光流。为了找出匹配像素，需要比较图像，并遵循着名的光流约束方程:
【权利要求】
1.一种3D照片生成系统，其特征在于，包括: 立体图像输入模块，用于输入立体图像，所述立体图像包括左眼图像和右眼图像； 深度估算模块，用于估算所述立体图像的深度信息并生成深度图； 多视点图像重建模块，用于根据所述深度图和所述立体图像生成多视点图像； 图像隔行扫描模块，用于对所述多视点图像进行调整并形成混合图像。
2.根据权利要求1所述的3D照片生成系统，其特征在于，所述深度估算模块包括: 像素匹配模块，用于比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素，根据光流约束方程而找出像素的光流； 深度信息确定模块，用于根据所述左眼图像和右眼图像的光流，找出像素位移来确定像素的深度信息； 深度图生成模块，用于根据所述深度信息生成深度图。
3.根据权利要求2所述的3D照片生成系统，其特征在于，所述多视点图像重构模块包括: 基础图像选择模块，用于 选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像； 图像数目确定模块，用于根据需求确定所需图像的数目和视差； 像素移动模块，用于根据所述深度图移动所述基础图像的像素以形成新图像； 填洞模块，用于填充所述新图像中由于像素丢失形成的孔洞； 多视点图像生成模块，用于生成多视点图像。
4.根据权利要求3所述的3D照片生成系统，其特征在于，所述图像隔行扫描模块包括: 图像调整模块，用于调整所述多视点图像的尺寸； 对比度调整模块，用于调整所述图像调整模块输出的调整后的多视点图像的对比度； 图像合成模块，用于将经过对比度调整后的多视点图像合并形成混合图像； 混合图像输出模块，用于输出所述混合图像。
5.根据权利要求3所述的3D照片生成系统，其特征在于，所述填洞模块采用插值法填充所述新图像中由于像素丢失形成的孔洞。
6.一种3D照片生成方法，其特征在于，包括如下步骤: SI输入立体图像，所述立体图像包括左眼图像和右眼图像； S2估算所述立体图像的深度信息并生成深度图； S3根据所述深度图和所述立体图像生成多视点图像； S4对所述多视点图像进行调整并形成混合图像。
7.根据权利要求6所述的3D照片生成方法，其特征在于，所述步骤S2包括如下步骤: S21比较所述立体图像的左眼图像和右眼图像并找出所述左眼图像和右眼图像之间的相对像素，根据光流约束方程估算出像素的光流； S22根据所述左眼图像和右眼图像的光流，找出像素位移来确定像素的深度信息； S23根据所述深度信息生成深度图。
8.根据权利要求7所述的3D照片生成方法，其特征在于，所述步骤S3包括: S31选择所述立体图像的左眼图像、右眼图像或左眼图像和右眼图像作为基础图像；S32根 据需求确定所需图像的数目和视差； S33根据所述深度图移动所述基础图像的像素以形成新图像； S34填充所述新图像中由于像素丢失形成的孔洞； S35生成多视点图像。
9.根据权利要求8所述的3D照片生成方法，其特征在于，所述步骤S4包括: S41调整所述多视点图像的尺寸； S42调整经所述步骤S41调整后的多视点图像的对比度； S43将经过对比度调整后的多视点图像合并形成混合图像； S44输出所述混合图像。
10.根据权利要求8所述的3D照片生成方法，其特征在于，所述步骤34中采用插值法填充所述新图像中由于像素丢失形成的孔洞。
【文档编号】H04N13/02GK103974055SQ201410029673
【公开日】2014年8月6日 申请日期:2014年1月22日 优先权日:2013年2月6日
【发明者】邓澍新 申请人:城市图像科技有限公司