增强现实集成成像3d显示图像畸变的消除方法
【技术领域】
[0001] 本发明涉及集成成像技术和增强现实技术，特别涉及增强现实集成成像三维(3D) 显示图像畸变的消除方法。
【背景技术】
[0002] 增强现实是一种将真实世界信息和虚拟世界信息"无缝"集成的新技术，它将计算 机生成的图形叠加到真实世界中，不仅展现了真实世界的信息，而且将虚拟的信息同时显 示出来，两种信息相互补充、叠加。增强现实技术已广泛应用于医疗、军事、工业、电视转播、 娱乐、旅游等领域。现有的增强现实技术通常显示二维（2D)图像或采用助视3D方式显示3D 图像，显示的2D图像缺少了 3D信息，而助视3D方式显示的3D图像被叠加到空间中的真实3D 物体上时缺少了正确的深度线索，因此产生了调节与集合的差异，从而导致了视觉疲劳。集 成成像3D显示采用微透镜阵列重建出原3D物体的真实光场信息，再现的全真3D图像能为观 看者提供正确的深度线索，因此是一种真3D显示技术，而受到人们的重视。将集成成像3D显 示与增强现实技术有机结合已成为一种趋势，微型集成成像3D显示装置紧凑、小巧，非常适 合用于穿戴式的增强现实技术。然而微型集成成像重建的3D图像需进行放大才能与真实3D 物体结合，这就需要对重建3D图像的畸变进行有效的消除。
【发明内容】
[0003] 本发明提出增强现实集成成像3D显示图像畸变的消除方法。如附图1所示的增强 现实集成成像3D显示重建的3D图像包含垂轴畸变和深度畸变，本发明对微型集成成像显示 单元进行节距缩放来消除垂轴畸变，对微型集成成像拍摄单元进行深度缩放来消除深度畸 变，重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率，消除了图像畸变， 同时通过分光棱镜的反射和透射作用，将放大的3D图像与真实3D物体进行叠加显示，实现 高质量的增强现实集成成像3D显示。
[0004] 所述对微型集成成像显示单元进行节距缩放来消除垂轴畸变，如附图2所示。微型 集成成像显示单元包含微透镜阵列和微图像阵列，微透镜阵列与微图像阵列的节距分别为 P^pe，将微图像阵列的节距pe进行缩放，使其满足
其中F为凸透镜的焦距，UdPue分别为微透镜阵列和微图像阵列与凸透镜的距离。微 透镜阵列和微图像阵列经凸透镜的放大率分别为M4PMe，由下式表示：
微型集成成像显示单元经凸透镜放大后形成放大的集成成像显示单元，其中放大的微 透镜阵列和放大的微图像阵列的节距分别为p/和p/，由下式表示：
因此在放大的集成成像显示单元中，放大的微透镜阵列和放大的微图像阵列具有相同 的节距，放大的3D图像的垂轴放大率等于^，消除了重建3D图像的垂轴畸变。
[0005] 所述对微型集成成像拍摄单元进行深度缩放来消除深度畸变，如附图3所示为微 型集成成像拍摄单元的深度示意图，3D物点的深度z为
其中g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距，Ax为同名点的视 差值。对微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距g进行缩放，使其满足
其中g'为微型集成成像显示单元中微图像阵列和微透镜阵列的间距。附图4所示为微 型集成成像显示单元的深度示意图，3D像点的深度ζ'为
因此，放大的3D图像的深度放大率Mz为
放大的3D图像的深度放大率等于垂轴放大率，从而消除了深度畸变。
[0006] 放大的3D图像的光线经过分光棱镜反射进入人眼，而真实3D物体的光线经过分光 棱镜透射进入人眼，在人眼视网膜上形成3D图像与真实3D物体叠加的影像，实现高质量的 增强现实集成成像3D显示。
【附图说明】
[0007] 附图1为增强现实集成成像3D显示的结构示意图 附图2为本发明提出的消除垂轴畸变的原理示意图 附图3为微型集成成像拍摄单元的深度示意图 附图4为微型集成成像显示单元的深度示意图 上述附图中的图示标号为： 1微图像阵列，2微透镜阵列，3凸透镜，4分光棱镜，5微型3D图像，6放大的3D图像， 7真实3D物体，8人眼，9透射的光线，10反射的光线，11放大的微图像阵列，12放大的微 透镜阵列，13同名点，14 3D物点，15 3D像点。
[0008] 应该理解上述附图只是示意性的，并没有按比例绘制。
【具体实施方式】
[0009] 下面详细说明本发明的增强现实集成成像3D显示图像畸变的消除方法的一个典 型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发 明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述 本
【发明内容】
对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
[0010]本发明提出增强现实集成成像3D显示图像畸变的消除方法。如附图1所示的增强 现实集成成像3D显示重建的3D图像包含垂轴畸变和深度畸变，本发明方法对微型集成成像 显示单元进行节距缩放来消除垂轴畸变，对微型集成成像拍摄单元进行深度缩放来消除深 度畸变，重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率，消除了图像 畸变，同时通过分光棱镜的反射和透射作用，将放大的3D图像与真实3D物体进行叠加显示， 实现高质量的增强现实集成成像3D显示。
[0011] 所述对微型集成成像显示单元进行节距缩放来消除垂轴畸变，如附图2所示。微型 集成成像显示单元包含微透镜阵列和微图像阵列，凸透镜的焦距为F=115mm，微透镜阵列和 微图像阵列与凸透镜的距离分别为11] 11和11(3，11111=9〇111111，11(3=93.31]1111，微透镜阵列与微图像阵列 的节距分别为pdPpe，将微图像阵列的节距Pe进行缩放，使其满足
，微透 镜阵列与微图像阵列的节距取值分别为Pm=lmn^PPe=〇.868mm，微透镜阵列和微图像阵列经 凸透镜的放大率MjPMe3分别由
表示，计算出微透镜阵列和微 图像阵列经凸透镜的放大率分别为Mm=4.6和Me=5.3。微型集成成像显示单元经凸透镜放大 后形成放大的集成成像显示单元，其中放大的微透镜阵列和放大的微图像阵列的节距分别 为Pu/和p/，由
表示，计算得出在放大的集成成像显示单元 中，放大的微透镜阵列和放大的微图像阵列具有相同的节距，都为4.6mm，放大的3D图像的 垂轴放大率等于4.6，消除了重建3D图像的垂轴畸变。
[0012] 所述对微型集成成像拍摄单元进行深度缩放来消除深度畸变，如附图3所示为微 型集成成像拍摄单元的深度示意图，3D物点的深度z为
，其中Λχ为同名点的 视差值，g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距，对微型集成成像拍 摄单元中微透镜阵列和微图像阵列的间距g进行缩放，使其满足
，其中f为 微型集成成像显示单元中微图像阵列和微透镜阵列的间距。上述参数的取值为g'=3.3mm， Λχ=1 · 2mm，计算出g=0.717mm，3D物点的深度为ζ=16· 5mm。附图4所示为微型集成成像显示 单元的深度示意图，3D像点的深度Z7为__ ，计算出Z7 =75.9mm，放大的3D图像的 深度放大率为夂_^=4.6。因此得出放大的3D图像的深度放大率和垂轴放大率相等，都 为4.6，从而消除了深度畸变。
[0013]放大的3D图像的光线经过分光棱镜反射进入人眼，而真实3D物体的光线经过分光 棱镜透射进入人眼，在人眼视网膜上形成3D图像与真实3D物体叠加的影像，实现高质量的 增强现实集成成像3D显示。
【主权项】
1. 一种增强现实集成成像3D显示图像畸变的消除方法，其特征在于，本发明对微型集 成成像显示单元进行节距缩放来消除垂轴畸变，微型集成成像显示单元包含微透镜阵列和 微图像阵列，微透镜阵列与微图像阵列的节距分别为pjPp e，将微图像阵列的节距pe进行缩 放，使其满足其中F为凸透镜的焦距，u4Pue分别为微透镜阵列和微图 像阵列与凸透镜的距离，微透镜阵列和微图像阵列经凸透镜的放大率分别为1和1，满足，微型集成成像显示单元经凸透镜放大后形成放大的集成成 像显示单元，其中放大的微透镜阵列和放大的微图像阵列的节距分别为p/和p/，满足，因此在放大的集成成像显示单元中，放大的微透镜阵列和 放大的微图像阵列具有相同的节距，放大的3D图像的垂轴放大率等于1，消除了重建3D图 像的垂轴畸变;对微型集成成像拍摄单元进行深度缩放来消除深度畸变，3D物点的深度z为其中g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距，Λχ为 同名点的视差值，对微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距g进行缩放， 使其满足其中f为微型集成成像显示单元中微图像阵列和微透镜阵列的 间距，3D像点的深度z'为，放大的3D图像的深度放大率Mz)，放大 的3D图像的深度放大率等于垂轴放大率，从而消除了深度畸变;放大的3D图像的光线经过 分光棱镜反射进入人眼，而真实3D物体的光线经过分光棱镜透射进入人眼，在人眼视网膜 上形成3D图像与真实3D物体叠加的影像，实现高质量的增强现实集成成像3D显示。
【专利摘要】本发明提出增强现实集成成像3D显示图像畸变的消除方法，本发明对微型集成成像显示单元进行节距缩放来消除垂轴畸变，对微型集成成像拍摄单元进行深度缩放来消除深度畸变，重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率，消除了图像畸变，同时通过分光棱镜的反射和透射作用，将放大的3D图像与真实3D物体进行叠加显示，实现高质量的增强现实集成成像3D显示。
【IPC分类】H04N13/04
【公开号】CN105611279
【申请号】CN201510977380
【发明人】邓欢, 王琼华, 张汉乐, 熊召龙, 邢妍
【申请人】四川大学
【公开日】2016年5月25日
【申请日】2015年12月23日