一种大幅面自由表面多投影自动拼接方法
【专利摘要】本发明公开了一种大幅面自由表面多投影自动拼接方法。使用本发明能够在凹凸不平的大幅面自由表面上进行自动投影拼接融合。本发明根据有效投影区域和待投影区域的位置，建立相机图像空间与显示图像空间之间的对应关系；使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系；进而得到各投影机图像空间与显示图像空间之间的对应关系，由此可以将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。本发明能够广泛应用于大型演出、大型活动、城市形象宣传等领域，解决了传统手动自由表面拼接系统对人员要求高、调整时间长等弊端，能够代替国外的纯手动自由表面拼接系统，大大降低文化演出产品的制作成本。
【专利说明】一种大幅面自由表面多投影自动拼接方法
【技术领域】
[0001]本发明涉及投影拼接显示技术，具体涉及一种大幅面自由表面多投影自动拼接方法。
【背景技术】
[0002]随着工程投影机技术的进步以及人们对视觉体验要求的不断地提升，大幅面投影技术在大型活动、展览展示、新产品发布等领域得到了广泛的应用。大幅面自由表面凹凸不平，目前其投影完全靠人工调整，对人员要求高、调整时间长。一个大型的户外建筑投影项目实施需要两三个月，手动拼接融合的时间就需要一周以上的时间。大幅面自由表面投影的软件基本由国外垄断，售价高昂，且大幅面自由表面投影技术刚刚起步，具有非常高的科研和商业价值，因此急切需要一套应用于大幅面自由表面投影的自动投影拼接方法。
【发明内容】
[0003]有鉴于此，本发 明提供了一种大幅面自由表面多投影自动拼接方法，能够在凹凸不平的大幅面自由表面上进行自动投影拼接融合。
[0004]本发明的大幅面自由表面多投影自动拼接方法包括以下步骤:
[0005]步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域；
[0006]步骤2，在观众的观看位置设置一个相机，该相机能拍摄到整个大幅面自由表面；
[0007]步骤3，投影区域由各投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd ；
[0008]步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系；
[0009]步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系Mi, i=l,2,…，N，N为投影机数量；
[0010]步骤6，对待投影图像进行颜色校正以及融合区域亮度衰减；
[0011]步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。
[0012]其中，所述步骤3中有效投影区域获取方法为:首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化方法求取投影区域，将投影区域的最大内接矩形作为有效投影区域。
[0013]所述步骤4中，采用的应用于大幅面自由表面投影拼接的编码结构光扫描方法，具体步骤如下:
[0014]步骤4.1，控制投影机先后投射白色和黑色的图像，通过图像差分以及二值化图像处理得到有效编码区域；
[0015]步骤4.2，对有效编码区域进行纵向编码和横向编码；
[0016]步骤4.3，使用随机抽样一致算法除去错误编码点，即外点排除；
[0017]步骤4.4，网格化以及网格点拟合:将相机图像空间划分为mXn个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在投影图像空间中的对应点位置。
[0018]有益效果:
[0019]本发明提出的大幅面自由表面投影拼接技术能够广泛应用于大型演出、大型活动、城市形象宣传等领域，解决了传统手动自由表面拼接系统对人员要求高、调整时间长等弊端，能够代替国外的纯手动自由表面拼接系统，大大降低文化演出产品的制作成本。
【专利附图】
【附图说明】
[0020]图1为本发明实施的系统构成图。
[0021]图2为编码结构光扫描方法流程图。
[0022]其中，101-大幅面自由表面；102-投影机；103-相机；104-融合服务器，105-自动投影拼接服务器，106-渲染控制服务器。 【具体实施方式】
[0023]下面结合附图并举实施例，对本发明进行详细描述。
[0024]本发明提供了一种大幅面自由表面多投影自动拼接方法，包括以下步骤:
[0025]步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域；并且，根据投影表面的材质、现场光照条件以及投影亮度要求等确定投影机型号、投影机镜头以及所使用的投影机数量。
[0026]步骤2，在观众的观看位置设置相机，选择合适的相机镜头及镜头焦距，使相机能够拍摄到整个大幅面自由表面投影区域。
[0027]步骤3，投影区域由投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd ;其中有效投影区域获取方法为:首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化求取投影区域，即对上述两张照片对应位置的像素做差值，对差值图像进行二值化处理，白色部分为投影区域，黑色部分为非投影区域。将投影区域的最大内接矩形作为有效投影区域。
[0028]步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，在自动投影拼接服务器上使用编码结构光扫描的方法建立各投影机图像空间与相机图像之间的对应关系。
[0029]使用如图2所示的Gray Code+Phase Shifting编码结构光扫描方法求取第i台投影机图像空间与相机图像空间之间的对应关系Gi, i=l,2,…，N，N为投影机数量，其中，投影机每次投射图像后，均用相机进行拍照。编码结构光扫描方法步骤如下:
[0030]步骤4.1，有效编码区域获取:测量过程中由于物体表面的部分遮挡，存在测量死角，投影机的光线打不到这些区域，同时测量过程中相机拍到目标实物的同时也会拍到无关背景，这部分背景和测量死角均可能造成后期的错误匹配，同时增加系统的计算量。本发明使用投影机先后投射一副白色和黑色的图像，通过简单的图像差分以及二值化图像处理即可得到有效编码区域；[0031]步骤4.2，分别对每台投影机的有效投影区域进行纵向编码:
[0032]步骤4.2.1，二值化编码图像获取:由于投影不是在全黑环境下进行，受环境光和实物本身颜色影响，投影在实物上的黑白条纹区分度不是很高，造成边缘模糊，图像识别有难度，采用差分法可有效解决边缘模糊问题，对黑白条纹进行有效识别。接着采用图像二值化方法(例如最大类间差(OTSU)方法、自动阈值方法、固定阈值方法等)对差分图像进行二值化；
[0033]步骤4.2.2，编码:图像编码是对于投影上任意一点，如果在某一时刻处于该时刻二值化差分图像的黑色区域，则编码为0，反之则编码为1，经过9次Gray code编码之后就形成了 9位二进制编码，把整个屏幕区域分成512个区域。之后通过4次Phase Shifting编码最终把屏幕分为1024个区域。
[0034]步骤4.3，同步骤4.2，对图像进行横向编码，从而使每个投影图像空间中任意处于有效投影区域内的点都完成编码操作。
[0035]步骤4.4，外点排除:经过上述操作得到的编码可能出现很多错误的编码点，即外点，通过使用随机抽样一致(RANSAC)算法等方法除去外点。
[0036]步骤4.5，网格化以及网格点拟合:网格化是通过将相机图像空间划分为mXn个网格，通过上述编码找到网格交点在投影图像空间中的对应点。对网格内的点使用双线性差值的方法计算其对应点位置。
[0037]步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系吣，1=1，2，…，N，N为投影机数量，即求取需要显示的图像中每个像素在各投影机图像中的位置。
[0038]步骤6，对待投影图像进行颜色校正，并使用非线性权值分配方法进行融合区域亮度衰减。
[0039]步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了大幅面自由表面投影的自动拼接。其中，映射过程如下:通过渲染控制服务器渲染整个显示图像空间中的图像，通过Mi找到显示图像空间中的点(xd，yd)在每台投影机图像空间中的位置(x’pi，y’pi)，使用三维渲染引擎的Shader直接对(x’pi，y’pi)赋值为显示图像空间中(xd，yd)位置的颜色值，其中(xd，yd)与(x’pi，y’pi)均采用归一化坐标。
[0040]步骤8，渲染需要投影的视频，进行现场投影展示。使用融合服务器自动投影拼接服务器中生成的校正数据，并根据该数据高效地生成及显示扭曲之后的图像，同时使用渲染控制服务器，利用TCP/IP协议同步所有融合服务器播放的视频从而实现大幅面自由表面投影。
[0041]综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种大幅面自由表面多投影自动拼接方法，其特征在于，包括以下步骤: 步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域； 步骤2，在观众的观看位置设置一个相机，该相机能拍摄到整个大幅面自由表面； 步骤3，投影区域由各投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd; 步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系； 步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系Mi, i=l，2，…，N，N为投影机数量； 步骤6，对待投影图像进行颜色校正以及融合区域亮度衰减； 步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。
2.如权利要求1所述的一种大幅面自由表面多投影自动拼接方法，其特征在于，所述步骤3中有效投影区域获取方法为:首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化方法求取投影区域，将投影区域的最大内接矩形作为有效投影区域。
3.如权利要求1所 述的一种大幅面自由表面多投影自动拼接方法，其特征在于，所述步骤4中，采用的应用于大幅面自由表面投影拼接的编码结构光扫描方法，具体步骤如下: 步骤4.1，控制投影机先后投射白色和黑色的图像，通过图像差分以及二值化图像处理得到有效编码区域； 步骤4.2，对有效编码区域进行纵向编码和横向编码； 步骤4.3，使用随机抽样一致算法除去错误编码点，即外点排除； 步骤4.4，网格化以及网格点拟合:将相机图像空间划分为mXn个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在投影图像空间中的对应点位置。
【文档编号】H04N5/74GK103533278SQ201310495590
【公开日】2014年1月22日 申请日期:2013年10月21日 优先权日:2013年10月21日
【发明者】刘越, 李翔, 翁冬冬, 杨涛, 陈锋 申请人:北京理工大学