一种基于双目视觉的图像采集与伪3d显示系统的制作方法
【专利摘要】本发明公开了一种基于双目视觉的图像采集与伪3D显示系统，由双目视觉图像采集系统、图像处理系统、伪3D显示系统、控制系统组成；其中，双目视觉图像采集系统通过双目摄像头采集不同角度的双目视觉图像；图像处理系统对双目视觉图像通过图像处理算法处理得到纵深图像；伪3D显示系统调整所得到的纵深图像并显示出来；控制系统控制支撑双目摄像头的支架和伪3D显示系统进行角度调整。本发明的有益效果是结构简单。
【专利说明】一种基于双目视觉的图像采集与伪3D显示系统
【技术领域】
[0001] 本发明属于图像处理【技术领域】，涉及一种基于双目视觉的图像采集与伪3D显示 系统。
【背景技术】
[0002] 当前，多媒体系统的研究与应用初步实现了跨地域的人们进行面对面的研讨与协 同工作，但是仍存在以下不足之处：（1)空间感与真实感：多媒体系统会议进行过程中缺乏 真实的会场氛围，不同会场的与会者对整个会议的感知没有空间感，无法构造真实的空间 环境，与会者无法对其他与会者的空间分布进行感知。（2)信息完整性：在多媒体系统中， 与会者无法在同一时刻获得所有与会者的视音频信息，同时多媒体系统无法表达与会者之 间的眼神接触、凝视感知等感知信息。（3)协同工作的支持力度：实际应用中，借助虚拟现 实技术，构造所有与会者能够共同体验的虚拟环境或仿真环境，才能更准确地进行交流与 合作。多媒体系统目前还缺乏这样的支持。
[0003] 为了解决多媒体系统存在的不足与局限，适应CSCW(计算机支持的协同工作）更 高的应用需求，虚拟空间会议Virtual Space Teleconferencing(简称VST)伴随着虚拟现 实技术的发展而被提出。它是为了研究实现一种能够支持不同地域的人们通过交互与协作 解决复杂问题的协作环境。虚拟空间会议系统是一种典型的协同虚拟现实系统，是在多媒 体会议系统基础上发展起来的一种新型虚拟现实系统。但是，现阶段的VST系统仍存在以 下几点不足：（1)VST系统对动态图像的处理不够完善，使得动态图像在表达的过程中不够 流畅，影响了人们的对三维图像感知，减弱了 VST系统给予人们的感知方便性。（2) VST系统 只是实现了三维图像的空间建立，并没有实现对已建立的三维图像的图像操作。当要对所 需图像进行图像处理时，必须要通过对计算机虚拟图像操作才可以完成。这样就为图像处 理增加了复杂性与繁琐性。（3)VST系统是基于大场景、多角度的空间三维成像，这就使得该 系统的细节处理不够完善且功耗较大。
【发明内容】
[0004] 本发明的目的在于提供一种基于双目视觉的图像采集与伪3D显示系统，解决了 解决了目前3D显示系统结构复杂的问题。
[0005] 本发明所采用的技术方案是由双目视觉图像采集系统、图像处理系统、伪3D显示 系统、控制系统组成；其中，
[0006] 双目视觉图像采集系统通过双目摄像头采集不同角度的双目视觉图像；
[0007] 图像处理系统对双目视觉图像通过图像处理算法处理得到纵深图像；
[0008] 伪3D显示系统调整所得到的纵深图像并显示出来；
[0009] 控制系统控制支撑双目摄像头的支架和伪3D显示系统进行角度调整。
[0010] 进一步，所述双目视觉图像采集系统包括若干个双目摄像头、球形支架、载物台、 第一遮光板；所述图像处理系统包括计算机、模数转换模块；所述伪3D显示系统包括投影 仪、伪3D六面体显示器、图像显示屏、第二遮光板；所述控制系统包括第一舵机云台和第二 舵机云台；
[0011] 其中每个双目摄像头都固定在球形支架上，每个双目摄像头镜头对准球形支架内 部球心设置的载物台，物体放在载物台上被双目摄像头拍摄，球形支架安装在第一舵机云 台上，球形支架周围安装有第一遮光板，所有双目摄像头通过信号线连接模数转换模块，模 数转换模块通过信号线连接计算机，投影仪通过信号线连接计算机，图像显示屏用于承接 投影图像，图像显示屏固定在第二遮光板上方，图像显示屏下方设有伪3D六面体显示器， 伪3D六面体显示器置于第二舵机云台上，第二舵机云台用于改变伪3D六面体显示器的角 度，从而将显示的立体图像调整位置。
[0012] 进一步，所述载物台采用透明亚克力材料方便摄像头拍摄图片；所述双目摄像头 直接通过紧固件安装。
[0013] 进一步，所述图像处理算法，由双目视觉算法、图像拼接算法、图像处理算法构成； 其中，双目视觉算法：用于处理双目摄像头所得图像，得到纵深立体图像；图像拼接算法： 用于拼接多个纵深图像，在虚拟空间中得到完整的3D立体图像；图像处理算法：用于对已 得到的3D立体图像进行大小变换、切割变换等图像处理。
[0014] 本发明的有益效果是结构简单。
【专利附图】
【附图说明】
[0015] 图1为本发明一种基于双目视觉的图像采集与伪3D显示系统双目视觉支架；
[0016] 图2为本发明伪3D六面体显示器；
[0017] 图3为本发明纵深图像输出计算步骤；
[0018] 图4为本发明图像处理中进行图像拼接流程；
[0019] 图5为本发明对伪3D图像强化流程。
[0020] 图中，1.双目摄像头，2.球形支架，3.载物台，4.第一舵机云台，5.第一遮光板， 6.计算机，7.模数转换模块，8.投影仪，9.伪3D六面体显示器，10.图像显示屏，11.第二 遮光板，12.第二舵机云台。
【具体实施方式】
[0021] 下面结合附图和【具体实施方式】对本发明进行详细说明。
[0022] 该系统包括双目摄像头，通过数据线与双目摄像头相连接的计算机，通过计算机 处理图像后，通过投影仪投射到伪3D金字塔，形成伪3D图像显示。其特征在于：通过双目 视觉图像采集与伪3D空间立体图像显示，可以真实地还原空间物体的三维特征。本发明不 仅结构简单、实现方便，而且成像精确度高、图像真实。因此，适合推广应用。
[0023] 双目视觉图像采集系统包括若干个双目摄像头1、球形支架2、载物台3、第一遮光 板5 ;所述图像处理系统包括计算机6、模数转换模块7 ;所述伪3D显示系统包括投影仪8、 伪3D六面体显示器9、图像显示屏10、第二遮光板11 ;所述控制系统包括第一舵机云台4和 第二舵机云台12 ;
[0024] 如图1所示，每个双目摄像头1都固定在球形支架2上，每个双目摄像头1镜头对 准球形支架2内部球心设置的载物台3,物体放在载物台3上被双目摄像头1拍摄，球形支 架2安装在第一舵机云台4上，可被第一舵机云台4控制活动，从而调整双目摄像头1对准 载物台3的角度。球形支架2周围安装有第一遮光板5,将外部强光遮挡有利于拍摄。使用 时，将被测物体存在于载物台3处，启动球形支架2上的各双目摄像头1。调整第一舵机云 台4,使得双目摄像头1从合适的角度采集被测物体的图像。
[0025] 所述图像处理系统包括计算机6和模数转换模块7,所有双目摄像头1通过信号线 连接模数转换模块7,模数转换模块7通过信号线连接计算机6,通过模数转换模块7将双 目摄像头1采集到的全方位立体图像转换为数字信号发送给计算机6,运用计算机6上的图 像处理算法对双目视觉图像采集系统采集到的图像进行处理。
[0026] 图像处理算法，由双目视觉算法、图像拼接算法、图像处理算法构成。其中，双目视 觉算法：用于处理双目摄像头所得图像，得到纵深立体图像；图像拼接算法：用于拼接多个 纵深图像，在虚拟空间中得到完整的3D立体图像；图像处理算法：用于对已得到的3D立体 图像进行大小变换、切割变换等图像处理。
[0027] 如图2所示，伪3D显示系统包括投影仪8、伪3D六面体显示器9和图像显示屏 10,投影仪8通过信号线连接计算机6,图像显示屏10用于承接投影图像，图像显示屏10固 定在第二遮光板11上方，第二遮光板11用于挡住强光不影响立体图像的显示。图像显示 屏10下方设有伪3D六面体显示器9,伪3D六面体显示器9可将图像显示屏10显示的3D 图像立体构建在其空间，形成伪全息立体图像，伪3D六面体显示器9置于第二舵机云台12 上，第二舵机云台12用于改变伪3D六面体显示器9的角度，从而将显示的立体图像调整位 置；
[0028] 其中，载物台3采用透明亚克力材料方便摄像头拍摄图片，双目摄像头1直接通过 紧固件安装。
[0029] 处理过程：如图1所示的纵深图形输出步骤，对摄像头拍摄的图像通过Canny算子 边缘检测提取图像边缘，优化检测图像，通过边缘点精确匹配后得到初步匹配对应点集，通 过非边缘点窗口自适应匹配后得到匹配对应点集，拍摄标定模板，用平面标定法标定平面， 计算出摄像机内外参数，通过内外参数计算出投影矩阵M1、M2,对应点集与投影矩阵计算出 空间三维点集，建立空间坐标显示点集得出纵深图像，通过物理物体得到纵深图像的现实 坐标与空间位置坐标，建立虚拟空间坐标，纵深图像匹配虚拟空间坐标，如图2所示，图像 标志点提取，图像拼接得到虚拟3D图像，显示图像，如图3所示，强化虚拟空间3D图像，划 分虚拟坐标空间，分割图像，得到各个伪3D图像后，强化图像，组合图像得到投影视频组， 投影图像与伪3D金字塔得到伪3D立体图像，调整舵机云台得到合适观测图像。建立虚拟 空间坐标，输入数据，在虚拟空间中建立空间图像，显示图像，强化虚拟空间3D图像，划分 虚拟坐标空间，分割图像，得到各个伪3D图像后，强化图像，组合图像得到投影视频组，投 影图像与伪3D金字塔得到伪3D立体图像，调整舵机云台得到合适观测图像。
[0030] 以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限 制，下面通过参考附图是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。凡 是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于 本发明技术方案的范围内。
【权利要求】
1. 一种基于双目视觉的图像采集与伪3D显示系统，其特征在于：由双目视觉图像采集 系统、图像处理系统、伪3D显示系统、控制系统组成；其中， 双目视觉图像采集系统通过双目摄像头采集不同角度的双目视觉图像； 图像处理系统对双目视觉图像通过图像处理算法处理得到纵深图像； 伪3D显示系统调整所得到的纵深图像并显示出来； 控制系统控制支撑双目摄像头的支架和伪3D显示系统进行角度调整。
2. 按照权利要求1所述一种基于双目视觉的图像采集与伪3D显示系统，其特征在于： 所述双目视觉图像采集系统包括若干个双目摄像头（1)、球形支架（2)、载物台（3)、第一遮 光板（5);所述图像处理系统包括计算机￠)、模数转换模块（7);所述伪3D显示系统包括 投影仪（8)、伪3D六面体显示器（9)、图像显示屏（10)、第二遮光板（11);所述控制系统包 括第一舵机云台（4)和第二舵机云台（12); 其中每个双目摄像头（1)都固定在球形支架（2)上，每个双目摄像头（1)镜头对准球 形支架⑵内部球心设置的载物台⑶，物体放在载物台⑶上被双目摄像头⑴拍摄，球 形支架（2)安装在第一舵机云台（4)上，球形支架（2)周围安装有第一遮光板（5)，所有双 目摄像头（1)通过信号线连接模数转换模块（7)，模数转换模块（7)通过信号线连接计算机 (6)，投影仪（8)通过信号线连接计算机（6)，图像显示屏（10)用于承接投影图像，图像显示 屏（10)固定在第二遮光板（11)上方，图像显示屏（10)下方设有伪3D六面体显示器（9)， 伪3D六面体显示器（9)置于第二舵机云台（12)上，第二舵机云台（12)用于改变伪3D六 面体显示器（9)的角度，从而将显示的立体图像调整位置。
3. 按照权利要求1所述一种基于双目视觉的图像采集与伪3D显示系统，其特征在于： 所述载物台（3)采用透明亚克力材料方便摄像头拍摄图片；所述双目摄像头（1)直接通过 紧固件安装。
4. 按照权利要求1所述一种基于双目视觉的图像采集与伪3D显示系统，其特征在于： 所述图像处理算法，由双目视觉算法、图像拼接算法、图像处理算法构成；其中，双目视觉算 法：用于处理双目摄像头所得图像，得到纵深立体图像；图像拼接算法：用于拼接多个纵深 图像，在虚拟空间中得到完整的3D立体图像；图像处理算法：用于对已得到的3D立体图像 进行大小变换、切割变换等图像处理。
【文档编号】H04N13/00GK104113747SQ201410331431
【公开日】2014年10月22日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】续拓, 吴小炼, 杨梅 申请人:续拓