裸眼多视真三维显示系统的校正系统及实现方法
【专利摘要】本发明公开一种裸眼多视真三维显示系统的校正系统及实现方法，其中，校正系统包括：图像采集装置、固定装置和处理装置，所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集的方式采集投影阵列中每个投影单元的投影图像；所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内侧；所述处理装置用于接收所述图像采集装置采集到的投影图像，进行校正预处理后，计算并根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在同一块矩形屏幕上。本发明从背面逆向自动采集每个投影单元投影出的原始图像进行校正，且每次校正不需要再调整图像采集装置位置，使用便捷，易于商业化。
【专利说明】裸眼多视真三维显示系统的校正系统及实现方法
【技术领域】
[0001] 本发明涉及真三维显示领域，特别涉及一种基于投影阵列的裸眼多视真三维显示 系统的校正系统及实现方法。
【背景技术】
[0002] 真三维显示技术可以同时为多个观众提供具有三维观感的物体或场景。裸眼多视 真三维显示技术作为真三维显示技术的一个重要发展领域，已被国内外研究人员作为重点 进行研究。裸眼多视真三维显示技术提供了符合人眼自然观察习惯的三维感知特征提示 (Cue)，同时以投影阵列为主的显示方式简化了系统内显示部件中机械部件和显示屏幕的 设计，增加了显示复杂纹理和大尺度真彩色三维内容的技术可能性，使显示系统更接近目 前商用的平面显示器。
[0003] 具体而言，基于投影阵列的裸眼多视真三维显示技术的基本概念如图1所示（图 中以三个投影单元的情况为例进行说明）：假设三个观察位置观察到的图像分别为1〇〇、 101、102,具有各向异性全息膜的屏幕103分别接收来自三个不同位置投影单元投影出的 三幅图像104、105、106,这三幅图像每幅依次分别由Al、Bl、Cl，A2、B2、C2, A3、B3、C3三条 图像带组成。由于各向异性全息膜表面具有特殊的微结构，使得不同方向投影过来的光线 透过全息膜后会各自沿着不同的方向传播。这样理想情况下，可以使104、105、106这三幅 投影图像经过屏幕103后重组的三幅图像100、101、102中的每幅依次分别由A1、B2、C3，A2、 B3、Cl，A3、B1、C2组成，这样如果事先准备好Al、B1、Cl，A2、B2、C2，A3、B3、C3这三幅投影 图像的内容，使得观察到的Al、B2、C3，A2、B3、Cl，A3、B1、C2这三幅重组后图能准确地反应 出被渲染物体或者场景在该位置应该被观察到的景象时，即可在观察者脑海中产生观察到 物体或场景三维信息的感知。
[0004] 实际情况下，由于向屏幕103投影图像的投影单元所处位置不同，即使三幅图中 心点与103重合，其实际投影图像107、108、109呈现不规则四边形，都无法与103的矩形区 域重合，且互相之间亦无法互相重合，如图2左边所示，这样无法满足裸眼多视真三维显示 的图像生成条件。
[0005] 因此需要引入校正系统，使其投影出的图像成为能够互相重合的矩形104、105、 106,且其分别都与屏幕103的矩形区域相吻合，如图2右边所示。
[0006] -般而言，校正系统采用游离于系统之外的外置图像采集装置，设置在观众所站 位置对投影单元原始图像采集后进行校正，每次校正需要调整图像采集装置的位置，如图3 所示。而随着真三维显示技术的快速发展和真三维显示技术理论成果转化的市场化要求， 迫切需要一种适用于裸眼多视真三维显示系统且易于集成的紧凑型校正系统。
【发明内容】
[0007] 本发明要解决的技术问题就是克服现有技术的校正系统游离于裸眼多视真三维 显示系统之外，且每次校正需要调整图像采集装置的位置的问题，提供一种内置一体化的 校正系统及实现方法，以满足市场化需求。
[0008] 为了解决上述问题，本发明提供一种裸眼多视真三维显示系统的校正系统，包括： 图像采集装置、固定装置和处理装置，其中，
[0009] 所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集 的方式采集投影阵列中每个投影单元的投影图像；
[0010] 所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内 侧；
[0011] 所述处理装置与所述图像采集装置和投影阵列相连，用于接收所述图像采集装置 采集到的投影图像，进行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影 变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多 视真三维显示系统的屏幕上。
[0012] 优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空 间布局时，所述图像采集装置设置在裸眼多视真三维显示系统的屏幕下方边缘处，朝向位 于裸眼多视真三维显示系统后侧的反射镜，用于采集投影阵列通过反射镜投影到屏幕上的 投影图像。
[0013] 优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述图像采 集装置设置在投影阵列一侧，朝向屏幕。
[0014] 优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装 置进一步用于，进行预处理时，对采集到的投影图像进行左右翻转处理。
[0015] 优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空 间布局时，所述处理装置进一步用于，进行预处理时，对采集到的投影图像进行上下翻转和 左右翻转处理。
[0016] 优选地，所述处理装置进一步用于，进行预处理时，对采集到的投影图像进行直方 图均衡化或采集多幅图像再进行亮度均一化处理。
[0017] 为了解决上述问题，本发明还提供一种裸眼多视真三维显示系统的校正系统的实 现方法，包括：
[0018] 图像采集装置通过逆向采集的方式采集投影阵列中每个投影单元的投影图像，发 送至处理装置；
[0019] 所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投 影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使 校正后的图像重合在裸眼多视真三维显示系统的屏幕上。
[0020] 优选地，当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装 置将接收到的投影图像进行校正预处理的步骤包括：
[0021 ] 对采集到的投影图像进行左右翻转处理。
[0022] 优选地，当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空 间布局时，所述处理装置将接收到的投影图像进行校正预处理的步骤包括：
[0023] 对采集到的投影图像进行上下翻转和左右翻转处理。
[0024] 优选地，所述处理装置将接收到的投影图像进行校正预处理的步骤还包括：
[0025] 对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。
[0026] 本发明将外置的校正系统移入系统内部固定位置，从背面逆向自动采集每个投影 单元投影出的原始图像进行校正，且每次校正不需要再调整图像采集装置位置，使用便捷， 易于商业化。
【专利附图】
【附图说明】
[0027] 图1是由投影阵列提供图像的一种典型裸眼三维显示原理示意图；
[0028] 图2是基于投影阵列的裸眼多视真三维校正示意图；
[0029] 图3现有技术的基于投影阵列的裸眼多视真三维显示系统的外置分立式校正系 统示意图；
[0030] 图4是本发明实施例一的基于投影阵列的裸眼多视真三维显示系统的内置一体 化校正系统示意图；
[0031] 图5是本发明实施例二的基于投影阵列的裸眼多视真三维显示系统的内置一体 化校正系统示意图；
[0032] 图6是校正角点数据对示意图；
[0033] 图7是校正像素重新定位示意图。
【具体实施方式】
[0034] 下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0035] 投影单元中的投影仪投影出的图像是随着光程增大而扩展的，因此若投影镜头平 面与投影屏幕平面不平行，则投影图像会发生畸变，由矩形变成不规则矩形。因此需要增加 校正系统对投影单元的图像进行逐个校正。校正系统需要知道每个投影单元投影出的未 经校正图像和屏幕实际位置关系，再以屏幕所在矩形为标准将投影图像校正到与其完全吻 合。
[0036] 校正系统中一般包含一个图像采集装置、固定图像采集装置的固定装置和处理装 置，图像采集装置采集投影图像，处理装置根据采集到的投影图像识别出屏幕四个角点，并 判断出其在投影图像中的坐标，即可利用图像坐标系中四个边角的坐标和屏幕四个边角在 图像坐标系中的坐标，通过投影变换算法将不规则的四边形投影图像变换到规则的投影屏 幕矩形中。由于屏幕四个边角在空间中的位置固定，所以不同投影单元按照上面方法进行 校正，最终得到的校正后投影图像不仅和屏幕所在矩形吻合，互相之间也相互吻合，即达到 图2右边的效果。
[0037] 如图3所示，一般图像采集装置采集用于识别屏幕角点的投影图像时被置于系统 屏幕的正前方，这样进行校正时方便调整，采集图像。但每次需要采集时，需要重新设置调 整校正系统；且校正系统游离于整个系统之外，无法集成成为一体。
[0038] 本发明提出一种裸眼多视真三维显示系统的内置一体化校正系统，在系统内部设 置摄像头，合理利用系统内部有限的空间，在不干涉投影光路的前提下，以从内向外的拍摄 路径获取每个投影仪投影出的大致重合在显示屏幕上的四边形区域，运用投影阵列校正算 法将每个投影单元投影出的不规则矩形校正为能够全部准确重合在显示屏幕上的规则矩 形，以解决前述裸眼多视真三维显示系统中的几个问题。
[0039] 本发明将校正系统置于整个系统内部，在不遮挡内部投影阵列光路的情况下，从 内部反向采集图像，如图4和图5所示，本发明实施例的校正系统包括：图像采集装置200、 固定装置205和处理装置（图中未示出），其中，图像采集装置200位于裸眼多视真三维显 示系统的屏幕103内侧，通过逆向采集的方式采集投影阵列中每个投影单元的投影图像； 固定装置205与图像采集装置200相连，将图像采集装置200固定在屏幕103内侧；处理装 置与图像采集装置200和投影阵列202相连，接收图像采集装置200采集到的投影图像，进 行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影变换系数矩阵对每个 的投影单元的投影图像进行逐帧校正，使校正后的图像重合在同一块矩形屏幕103上。
[0040] 其中，图像采集装置200 -般指小型摄像头，通过USB或网线与处理装置相连。处 理装置可以是电脑或者其他处理平台。
[0041] 实施例一
[0042] 如图4所示，系统为了达到较高的裸眼三维多视显示效果，采用依靠反射镜折叠 光路的紧凑式小空间布局，即在裸眼多视真三维显示系统201中增加反射镜203,图4中给 出了反射镜203 -个典型的放置位置。
[0043] 系统201内部狭小的空间会限制内置式的校正系统的摆放位置，一般难以使图像 采集装置200直接对准屏幕103进行校正图像的采集而不遮挡投影阵列202的成像光路。 因此可以考虑利用反射镜203折叠采集路径，这样也可以方便地将图像采集装置固定在系 统201的边缘，不对投影阵列202的成像路径产生遮挡。图4给出了一种典型的集成化的 裸眼多视真三维显示系统中内置式校正系统的固定方式：图像采集装置200固定在裸眼多 视真三维显示系统的屏幕下方边缘处，固定装置205可以通过螺丝和系统201外壳进行连 接，并把图像采集装置200朝向位于系统201后侧的反射镜203,用于采集投影阵列202通 过反射镜203投影到103上的投影图像，同时图像采集装置200和固定装置205不会对投 影阵列202的成像光路产生遮挡。
[0044] 实施例二
[0045] 如图5所示，裸眼多视真三维显示系统采用不翻折光路的布局，系统占用较大空 间，使投影阵列202在不翻折光路的情况下进行投影显示，此时校正系统中的固定装置205 可以将采集装置200置于投影阵列202的一侧，朝向屏幕103,以获得足够的距离采集到投 影到屏幕103上的校正图像。
[0046] 在这两种采集方式下，校正系统的采集方向是从系统201内部向外进行逆向采 集，同时在紧凑布局下图像还经过了镜像，因此需要对原始图像进行校正预处理，再按照之 前的校正步骤进行校正。
[0047] 具体地，裸眼多视真三维显示系统的校正系统的实现方法，包括如下步骤：
[0048] 图像采集装置200通过逆向采集的方式采集投影阵列202中每个投影单元的投影 图像，发送至处理装置；
[0049] 所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投 影变换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使 校正后的图像重合在裸眼多视真三维显示系统的屏幕上。
[0050] 我们所采用的校正算法需要知道每个投影单元投影出的未经校正图像和屏幕实 际位置关系，这里采用屏幕的四个角点和图像边缘的四个角点作为比较的参照点组。如图 6所示，以投影图像的坐标系XY为基准，那么未经校正的投影图像边缘四个角点Iu = 1， 2,3,4的坐标(^|.5，||)51 = 152,354按照逆时针方向排序分别为：
[0051]
【权利要求】
1. 一种裸眼多视真三维显示系统的校正系统，包括：图像采集装置、固定装置和处理 装置，其特征在于， 所述图像采集装置位于裸眼多视真三维显示系统的屏幕内侧，用于通过逆向采集的方 式采集投影阵列中每个投影单元的投影图像； 所述固定装置与所述图像采集装置相连，用于将所述图像采集装置固定在屏幕内侧； 所述处理装置与所述图像采集装置和投影阵列相连，用于接收所述图像采集装置采集 到的投影图像，进行校正预处理后，计算每个投影单元的投影变换系数矩阵，根据投影变换 系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正后的图像重合在裸眼多视真 三维显示系统的屏幕上。
2. 如权利要求1所述的校正系统，其特征在于， 当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所 述图像采集装置设置在裸眼多视真三维显示系统的屏幕下方边缘处，朝向位于裸眼多视真 三维显示系统后侧的反射镜，用于采集投影阵列通过反射镜投影到屏幕上的投影图像。
3. 如权利要求1所述的校正系统，其特征在于， 当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述图像采集装置设置在 投影阵列一侧，朝向屏幕。
4. 如权利要求1所述的校正系统，其特征在于， 当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置在进行预处 理时，对采集到的投影图像进行左右翻转处理。
5. 如权利要求1所述的校正系统，其特征在于， 当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所 述处理装置在进行预处理时，对采集到的投影图像进行上下翻转和左右翻转处理。
6. 如权利要求1?5中任意一项所述的校正系统，其特征在于， 所述处理装置在进行预处理时，对采集到的投影图像进行直方图均衡化或采集多幅图 像再进行亮度均一化处理。
7. -种裸眼多视真三维显示系统的校正系统的实现方法，包括： 图像采集装置通过逆向采集的方式采集投影阵列中每个投影单元的投影图像，发送至 处理装置； 所述处理装置将接收到的投影图像进行校正预处理，然后计算每个投影单元的投影变 换系数矩阵，根据投影变换系数矩阵对每个的投影单元的投影图像进行逐帧校正，使校正 后的图像重合在裸眼多视真三维显示系统的屏幕上。
8. 如权利要求7所述的实现方法，其特征在于， 当所述裸眼多视真三维显示系统采用不翻折光路的布局时，所述处理装置将接收到的 投影图像进行校正预处理的步骤包括： 对采集到的投影图像进行左右翻转处理。
9. 如权利要求7所述的实现方法，其特征在于， 当所述裸眼多视真三维显示系统采用依靠反射镜折叠光路的紧凑式小空间布局时，所 述处理装置将接收到的投影图像进行校正预处理的步骤包括： 对采集到的投影图像进行上下翻转和左右翻转处理。
10.如权利要求8或9所述的实现方法，其特征在于， 所述处理装置将接收到的投影图像进行校正预处理的步骤还包括： 对采集到的投影图像进行直方图均衡化或采集多幅图像再进行亮度均一化处理。
【文档编号】G09G3/00GK104299548SQ201410594570
【公开日】2015年1月21日 申请日期:2014年10月29日 优先权日:2014年10月29日
【发明者】张赵行, 耿征, 李托拓, 曹煊, 张骁 申请人:中国科学院自动化研究所