立体显示系统的制作方法

立体显示系统的制作方法
【专利摘要】本实用新型属于立体显示技术领域，提供一种立体显示系统，包括显示单元、跟踪设备及分光单元。其中，该跟踪设备用于获取第一目标对象的位置信息，该分光单元位于该显示单元的显示侧，用于将该显示单元显示的图像空间上分成左视图和右视图。其中，该立体显示系统还包括图像播放处理单元，分别与该跟踪设备和该显示单元连接，该图像播放处理单元依据该第一目标对象的位置信息、该分光单元的光栅参数及该显示单元的显示参数实时处理待播放的立体图像，处理后发送该显示单元显示。上述立体显示系统实现实时显示立体图像，提升了用户体验。
【专利说明】
立体显示系统
技术领域
[0001] 本实用新型设及立体显示技术领域，特别设及一种立体显示系统。
【背景技术】
[0002] 近几年，立体显示技术发展迅速，成为人们研究的热点。立体显示技术已经越来越 广泛应用于医疗、广告、军事、展览、游戏及车载显示等各个领域。立体显示技术包括佩戴眼 镜式立体显示技术和无需眼镜的裸眼立体显示技术。其中，佩戴眼镜式立体显示技术发展 很早，目前已经技术比较成熟，在很多领域中仍在使用；而裸眼立体显示技术起步较晚，其 技术难度比佩戴眼镜式的难度要高，目前虽在相关领域有运用，但显示效果还不能满足人 们的需求。尤其是目前裸眼立体显示技术应用到如球赛实况转播、医疗手术现场等实时播 放的领域时，其实时播放的效果较差，无法满足观看的需要。因此，在运些领域，目前多数采 用佩戴眼镜式的立体显示技术，还没有裸眼立体显示技术的应用。
[0003] 此外，在目前的裸眼立体显示系统中，通常采用摄像头等人眼跟踪设备捕捉人眼 的位置，然后依据人的左右眼的位置自适应的调节分光单元或对显示面板的像素进行排 列，使得人在一定范围内自由移动，同时还不会影响到观看立体图像的显示效果。然而，现 有的摄像头等人眼跟踪设备需要对拍摄到的含有人眼位置的二维图像进行特征分析，W获 取人眼位置信息。采用运种方式，很难保证其稳定性和准确性。若没有获取到准确的人眼位 置信息，运将严重影响立体显示效果，带来较差的用户体验。尤其是在需要实时播放立体显 示图像的领域，比如在医疗领域，医生依据实时显示的立体显示图像进行手术时，医生需要 不时且观看实时的立体显示图像，如果跟踪的人眼位置信息不准确，将影响到医生的操作， 严重者，甚至会影响到手术的成功。又如在球赛实况转播时，对于实时性要求较高，图像在 传输和处理中出现延迟情况，不能实时实现转播，则用户体验非常差。
[0004] 因此，如何实现裸眼立体显示设备的实时显示成为亟待解决的问题。 【实用新型内容】
[0005] 本实用新型的目的是提供一种立体显示系统，旨在解决由现有技术的局限和缺点 引起的上述一个或多个技术问题。
[0006] 本实用新型提出一种立体显示系统，包括显示单元、分光单元及跟踪设备，所述跟 踪设备用于获取第一目标对象的位置信息，所述分光单元位于所述显示单元的显示侧，用 于将所述显示单元显示的图像空间上分成左视图和右视图，所述立体显示系统还包括图像 播放处理单元，分别与所述跟踪设备和所述显示单元连接，所述图像播放处理单元依据所 述第一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数实时处 理待播放的图像，处理后发送所述显示单元显示。
[0007] 相对于现有技术，本实用新型的有益效果是:本实用新型的系统及方法可W及时 获取到第一目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省去了现有 技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大大提高， 能满足实时立体显示的要求。
【附图说明】
[0008] 图1示出了本实用新型实施方式一的立体显示系统的结构示意图；
[0009] 图2示出了图1中的图像播放处理单元的结构示意图；
[0010] 图3是本实用新型实施方式一的立体显示系统中分光单元与显示单元贴合的结构 示意图；
[0011] 图4示出了本实用新型实施方式一的立体显示系统中跟踪设备的较佳实施例结构 示意图；
[0012] 图5示出了图4中的获取单元的具体结构示意图；
[0013] 图6示出了图4中的重新构建单元第一变形例的具体结构示意图；
[0014] 图7示出了图4中的重新构建单元第二变形例的具体结构示意图；
[0015] 图8示出了图4中的重新构建单元第S变形例的具体结构示意图；
[0016] 图9示出了图4的跟踪设备中对应第一目标对象设置标记点的定位支架的结构示 意图；
[0017] 图10是本实用新型实施方式二的立体显示方法的流程示意图；
[001引图11是图10中Sl的具体流程不意图；
[0019] 图12是图11中S12的具体流程示意图；
[0020] 图13是图10中S13的第一变形例的具体流程示意图；
[0021] 图14是图10中S13的第二变形例的具体流程示意图；
[0022] 图15是图10中S13的第S变形例的具体流程示意图；
[0023] 图16是图10中的S3的具体流程示意图；
[0024] 图17为本实用新型图像播放处理单元的一种结构示意图；
[0025] 图18为本实用新型图像播放处理单元的另一种结构示意图；
[0026] 图19为本实用新型图像获取单元的一种结构示意图；
[0027] 图20为本实用新型图像获取单元的另一种结构示意图；
[00%]图21为本实用新型跟踪设备的一种结构示意图；
[0029] 图22为本实用新型跟踪设备的另一种结构示意图。
【具体实施方式】
[0030] 有关本实用新型的前述及其他技术内容、特点及功效，在W下配合参考图式的较 佳实施例详细说明中将可清楚的呈现。通过【具体实施方式】的说明，当可对本实用新型为达 成预定目的所采取的技术手段及功效得W更加深入且具体的了解，然而所附图式仅是提供 参考与说明之用，并非用来对本实用新型加W限制。
[0031] 实施方式一
[0032] 请参见图1，图1为本实用新型立体显示系统的结构示意图。如图1所示，本实用新 型的立体显示系统包括:跟踪设备30、分光单元50及显示单元40,该跟踪设备30用于获取第 一目标对象的位置信息，该分光单元50位于所述显示单元40的显示侧，用于将该显示单元 40显示的图像空间上分成左视图和右视图。该立体显示系统还包括图像播放处理单元20， 分别与该跟踪设备30和该显示单元40连接，该图像播放处理单元20依据该第一目标对象的 位置信息、该分光单元50的光栅参数及显示单元40的显示参数实时处理待播放的图像，处 理后发送该显示单元40进行显示。
[0033] 由于跟踪设备30和显示单元40直接连接到图像播放处理单元20,图像播放处理单 元20及时获取到第一目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省 去了现有技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大 大提高，能满足实时立体显示的要求。上述光栅参数主要包括光栅的栅距(pitch)和光栅相 对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。运些光栅参数可W是直接 存储在图像播放处理单元内的存储器中，也可是其它检测设备实时检测并获取分光单元的 光栅参数，将光栅参数值发送给图像播放处理单元20。上述显示单元参数包括显示单元的 尺寸、显示单元的屏幕分辨率、显示单元的像素单元中子像素的排列顺序及排列结构等参 数。子像素排列顺序即子像素是按照RG抽巧喊者RB巧巧U，还是成BG巧巧U，还是成其他 序排列;子像素排列结构即子像素为竖直排列的还是横向排列的，如自上而下是按照RGB的 方式循环排列，或者从左至右依次是按照RGB的方式循环排列等。
[0034] 上述跟踪设备30可W是摄像头和/或者红外传感器，主要用于追踪第一目标对象 的位置，例如人的双眼或者人的头部或者人的脸部的位置或者人的上半身的位置。摄像头 或红外传感器的数量不限制，可W是一个，也可W是多个。摄像头或者红外传感器可W安装 在显示单元的边框上，或者单独放置在易于追踪到第一目标对象的位置。此外，如果采用红 外传感器作为跟踪设备，还可在对应第一目标对象的位置设置红外发射器，通过接收到红 外发射器发送的红外定位信号，利用红外发送器与第一目标对象的相对位置关系，计算出 第一目标对象的位置信息。
[0035] 上述分光单元50设于显示单元40的出光侧，将显示单元40显示的具有视差的左视 图和右视图分别发送到人的左眼和右眼，依据人的左眼和右眼合成立体图像，使人观看到 立体显示的效果。较佳地，上述分光单元可W是视差屏障或透镜光栅。该视差屏障可W是液 晶狭缝或固体狭缝光栅片或者电致变色狭缝光栅片等，该透镜光栅可W是液晶透镜、树脂 透镜或固体液晶透镜光栅。树脂透镜、固体液晶透镜光栅主要是通过紫外光将树脂或液晶 固化到薄片上，形成固态透镜，对光线进行分光后出射到人的左眼和右眼。较佳地，将上述 显示单元40和分光单元50作为一个集成的显示设备60,该显示设备60是整个立体显示系统 的显示部分，可W与前述图像播放处理单元及跟踪设备组装在一起，也可W是一个独立部 分单独存在。例如，可W依据观看需要，单独将显示设备60放置在便于观看的位置，而图像 播放处理单元20和跟踪设备30可W是各自具有独立功能的设备，使用时将运些设备组装起 来实现本实用新型的实时立体显示功能即可。例如，该图像播放处理单元20可W是VMR 3D 播放设备，其本身具有3D播放处理功能，使用时将其组装到本实用新型的立体显示系统中， 与其它设备建立连接。
[0036] 上述图像播放处理单元20,依据跟踪设备30跟踪到的该第一目标对象的位置信 息、该分光单元50的光栅参数及显示单的显示参数实时处理待播放的图像。请参见图2,图 像播放处理单元20进一步包括：
[0037] 立体图像获取模块204,获取所述图像获取单元10拍摄的所述立体图像的信息。
[0038] 排图参数确定模块201，依据获取到的所述第一目标对象的位置信息和所述分光 单元的光栅参数及显示单的显示参数计算出在显示单元上的排图参数；
[0039] 视差图像排列模块202,用于依据所述排图参数排列显示单元上的视差图像;该视 差图像是通过在空间上划分左眼图像W及右眼图像来生成的。
[0040] 视差图像播放模块203,播放所述视差图像。在接收到排列后的视差图像后，进行 播放，观看者在显示单元实时看到显示的立体图像。
[0041 ] 实施例1
[0042] 图像播放处理单元20可W通过软件处理的方式对待播放图像进行处理，除此之 夕h图像播放处理单元20也可W采用硬件处理的方式对待播放图像进行处理。
[0043] 所述硬件处理方式是指图像播放处理单元20可W包括硬件处理模块，而不单单是 软件功能模块，例如硬件处理模块可W是FPGA(FieId-Programmable Gate Array，现场可 编程口阵列）模块，或者也可W是ASIC(Application Specific Inte;rgrated Circuits,专 用集成电路)模块，请参见图17和图18，图17中的图像播放处理单元20包括FPGA模块205，图 18中的图像播放处理单元20包括ASIC模块206。而硬件处理模块具有更加强大的并行处理 能力，相比于软件的处理方式，硬件处理的方式可W加快处理速度，降低信号延迟。
[0044] 可W理解的是，前述图2中的立体图像获取模块204、排图参数确定模块201、视差 图像排列模块202及视差图像播放模块203所实现的全部或部分功能，可W由硬件处理模块 完成，而藉于硬件处理模块所具备的并行处理能力，可W更快地对图像信息进行处理，进而 大大提高排图的效率，提高立体成像的实时性。
[0045] 实施例2
[0046] 在本实用新型实施例2中，要得到较佳的实时立体显示效果，需要依据分光单元的 光栅参数和显示单元的显示参数对分光单元与显示单元进行光学设计，该光学设计依据W 下公式：
[0047] (1)
[0048] 技）
[0049] (3)m*t = p-pitch
[0050] 上述公式中，F为分光单元与显示单元之间的距离（即上述光栅参数中的光栅相对 显示面板的放置距离），L为观看者与显示单元的距离，IPD为匹配瞳距，通常的人双瞳之间 的距离，例如，一般取值为62.5mm，1-pitch为分光单元的节距(pitch)，p-pitch为显示单元 上的像素的排图节距，n为立体视图数量，m为分光单元所覆盖的像素数量，P为显示单元的 点距，运里的点距主要是指一个像素单元的尺寸（属于显示参数的一种），该像素单元通常 包括R、G、B =个子像素。为了消除摩尔纹，分光单元在贴合的时候一般会旋转一定的角度 (即分光单元相较于显示单元有一定的倾斜角度），因此，实际上的分光单元的节距由W下 公式给出：
[0化1] (4)Wiens = l-pitch*sin 白
[0052] 其中，Wlens为分光单元的实际节距，0为分光单元相对显示面板的倾斜角度（即上 述光栅参数之一）。
[0053] 如上所述，对于分光单元与显示单元之间的距离F，当显示单元与分光单元之间的 介质是空气时，F就等于分光单元与显示单元之间的实际距离；当显示单元与分光单元之间 的介质是折射率为n(n大于1)的透明介质时，F等于分光单元与显示单元之间的实际距离除 W该折射率n;当显示单元与分光单元之间存在不同的介质时，且介质的折射率分别为nl、 n2、n3 ? ? ?(折射率均大于或等于 l)，F=sl/nl + s2/n2 + s3/n3 ? ? ?，其中 sl、s2、 S3 - ??为相应介质的厚度。
[0054] 通过上述光学计算公式，对分光单元和显示单元进行设置，可W减小摩尔纹，提高 实时观看的立体显示效果。
[0055] 此外，在一个变形实施例中，在分光单元与显示单元之间设置贴合单元，请参见图 3,图3是本实用新型实施方式一的立体显示系统中分光单元与显示单元的贴合结构示意 图。如图3所示，在分光单元50和显示单元40之间设有贴合单元，=者类似于"立明治结构"， 贴合单元包括第一基板42和第二基板43, W及位于第一基板42与第二基板43之间的空气层 41。该空气层41在第一基板42与第二基板43之间处于密封状态，防止空气逸出。第一基板42 与显示面板贴合，可W是透明玻璃材料构成，也可W是透明树脂材料等构成。第二基板43与 第一基板42相对设置，其背离第一基板42的一侧用于贴合分光单元50。由于在分光单元50 和显示单元40之间设置贴合单元，且贴合单元采用上述结构，对于大屏幕的立体显示装置， 既保证了光栅贴合的平整度，又减轻了整个立体显示装置的重量，防止采用纯玻璃时因过 重而导致屏幕坠裂的风险。但是，需指明的是，在使用不同尺寸显示屏及不同观看距离情况 下，根据不同贴合工艺，第一基板42,第二基板43,空气层41 =部分也可W整合成一整炔基 板，其背离显示单元40的一侧用于贴合分光单元50,其靠近显示单元40的一侧与显示单元 40贴合，也即是说，贴合单元也可W是由一整块透明的材料构成，所述透明的材料可W是玻 璃或者树脂等。
[0056] 实施例3
[0057] 请继续参见图1，在前述实施方式和实施例的基础上，该立体显示系统进一步包括 图像获取单元10,该图像获取单元10用于拍摄第二目标对象，并实时将拍摄到的该第二目 标对象的图像发送给该图像播放单元20。运里的第二目标对象主要是指由摄像机拍摄记录 的各种场景，如拍摄球赛的现场，手术的现场，病人的体内影像等等。通过图像获取单元10 实时地拍摄立体图像，并将拍摄到的立体图像实时显示在显示单元上，及时并真实地显示 拍摄到的各种场景，满足了用户对实时显示的需求，提高了用户体验。图像获取单元10可W 包括单目摄像机、双目摄像机或者多目摄像机中的至少一种。
[0058] 当该图像获取单元10包括单目摄像机时，依据该单目摄像机拍摄并获取第二目标 对象的立体图像。较佳地，该单目摄像机可W采用液晶透镜成像装置或者液晶微透镜阵列 成像装置。在一个具体实施例中，该单目摄像机在不同时刻从不同角度获得被测物的两幅 数字图像，并基于视差原理恢复出物体的=维几何信息，重建物体=维轮廓及位置。
[0059] 当该图像获取单元10包括双目摄像机时，包括两个摄像机或者是一个摄像机有两 个摄像头，通过双目摄像机对第二目标对象进行拍摄并形成立体图像。具体地，双目摄像机 主要是基于视差原理并由多幅图像获取物体=维几何信息。双目立体视觉系统一般由双摄 像机从不同角度同时获得被测物(第二目标对象)的两幅数字图像，并基于视差原理恢复出 物体的=维几何信息，重建物体=维轮廓及位置。
[0060] 当该图像获取单元10包括多目摄像机时，即=个W上（包括=个）的摄像机，运些 摄像机呈矩阵排列，用于获取立体图像。由上述=个W上的摄像机从不同角度同时获取第 二目标对象的多幅数字图像，基于视差原理恢复出物体的=维几何信息，重建物体=维轮 廓及位置。
[0061] 该图像获取单元10还包括采集单元，该采集单元用于采集该第二目标对象的立体 图像，并从该立体图像中提取出左视图信息和右视图信息。该采集单元一端与上述单目摄 像机、双目摄像机或者上述多目摄像机连接，另一端连接到图像播放处理单元20上。通过采 集单元在边拍摄立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理 的速度，保证了实时进行立体显示的显示效果。
[0062] 相对应地，该图像播放处理单元20所包括的立体图像获取模块204,获取所述图像 获取单元10拍摄的立体图像信息，即立体图像的左视图和右视图信息。立体图像包括左视 图和右视图，因此，对待播放的立体图像，需要先获得左视图和右视图的图像信息，才能进 行排图处理。
[0063] 实施例4
[0064] 图像获取单元10可W通过软件处理的方式对拍摄到的左、右视图图像进行处理。 例如，可W通过图像采集卡将拍摄到的两幅左视图和右视图分开的立体图像导入系统，通 过软件的方法来合成单幅画面包含左、右视图的立体图像，再通过显卡来输出该合成后的 立体图像。合成后的立体图像中左、右视图内容的排列方式可W是左、右格式，上、下交错格 式，上、下格式等。
[0065] 除此之外，图像获取单元10也可W通过硬件处理方式对所述第二目标对象的立体 图像进行合成处理。具体来说，图像获取单元10采集到的左、右视图独立的两路视频信号可 W通过硬件模块如FPGA模块或ASI对莫块将两路视频信号合成成一路含有左、右视图信息的 视频信号。而硬件处理的方式具有更加强大的并行处理能力，相比于软件的处理方式，硬件 处理的方式可W加快处理速度，提高信号处理速度，降低信号延迟。
[0066] 请参见图19和图20。图19所绘示的图像获取单元10包括FPGA模块103。图20所绘示 的图像获取单元10包括ASIC模块104。图19中的FPGA模块103和图20中的ASIC模块104都是 用于利用其本身的硬件处理能力对立体图像进行合成处理。
[0067] 实施例5
[0068] 在本实施例5中，该跟踪设备30包括摄像机，该摄像机拍摄该第一目标对象。摄像 机的数量可W是一个或多个，可W设置在显示单元上，也可W单独设置。还有，摄像机可W 是单目摄像机、双目摄像机或者多目摄像机。
[0069] 另外，该跟踪设备30还可W是包括红外接收器，相应地，对应第一目标对象设置有 红外发射器，该红外发射器可设置在第一目标对象的相应位置，也可W设置在其它与第一 目标对象位置相对固定的物体上，该红外接收器接收来自对应第一目标对象所设置的红外 发射器发送的红外信号。通过常见的红外定位方法实现对第一目标对象的定位。
[0070] 此外，上述跟踪设备30还可W采用GPS定位模块，由GPS定位模块发送定位信息至 图像播放处理单元20。
[0071 ] 实施例6
[0072]请参见图4,图4示出了本实用新型实施方式一的立体显示系统中跟踪设备的较佳 实施例结构示意图。如图4所示，本实用新型实施例还提出另一种跟踪设备30,该跟踪设备 30包括：
[0073] 标记点设置单元I，用于对应第一目标对象的空间位置设置标记点；运里的标记点 可W设置第一目标对象上，也可W不设置于第一目标对象上，而是设置在与第一目标对象 有相对位置关系，与第一目标对象同步移动的物体上也可。例如，第一目标对象是人眼，贝U 可W在人眼的眼眶周围设置标记点；或者在人眼周围配置眼镜，将标记点设在眼镜的镜框 上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可W是发送信 号的红外发射传感器，L抓灯，GPS传感器，激光定位传感器等各种部件，也可W是其它能够 被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外 界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外Lm)灯作为标记 点，并使用只能通过红外Lm)所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外 界杂光多为不规则的形状且亮度分布不均匀，可W将标记点设置成可W发出规则形状的光 斑，发光强度较高，亮度均匀。另外还可W设置多个标记点，每个标记点对应一个光斑，各个 标记点组成规则的几何形状，如=角形，四边形等，从而易于跟踪到标记点，获得标记点的 空间位置信息，并提高光斑提取的准确性。
[0074] 获取单元2,用于获取该标记点的位置信息；运可W是通过接收标记点发出的信 号，来确定标记点的位置信息，也可W是采用摄像机来拍摄含有标记点的图像，对图像中的 标记点进行提取。通过图像处理算法来获得标记点的位置信息。
[0075] 重新构建单元3，用于依据该标记点的位置信息，重新构建该第一目标对象的空间 位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与 第一目标对象的相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例 如人的左右两眼的空间位置）。
[0076] 本实用新型实施例的跟踪设备30通过获取对应第一目标对象的标记点的位置信 息，并依据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作 为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼 虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，准确度高、成本低廉且 对跟踪设备与第一目标对象之间的距离远近没有要求的优点。
[0077] 请参见图5,图5示出了图4中的获取单元的具体结构示意图。前述获取单元进一步 包括：
[0078] 预设模块21，用于预设一标准图像，所述标准图像中设有参考标记点，并获取所述 参考标记点的空间坐标和平面坐标;标准图像例如可W是通过图像采集设备采集的一个标 准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构 光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。
[0079] 获取模块22,用于获取包含所述第一目标对象及所述标记点的当前图像，及所述 标记点在所述当前图像的平面坐标；
[0080] 匹配模块23,用于将所述当前图像中的标记点与所述标准图像的所述参考标记点 进行匹配。运里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面 坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。
[0081] 通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个 参照物，运进一步保证了本实用新型实施方式的目标跟踪装置的稳定性和准确性。
[0082] 进一步地，该跟踪设备30还包括：
[0083] 采集单元，用于采集所述标记点；
[0084] 筛选单元，从所述标记点中筛选目标标记点。
[0085] 具体来说，当标记点的数量为多个时，采用摄像机采集对应第一目标对象的所有 标记点，从所有标记点中选取与第一目标对象最相关的标记点，然后使用相应的图像处理 算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标 记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分 数，并筛选出特征值足够高的标记点。运里可W用下述公式归纳表示：
[0086] S(x,y)=H(I(x,y))
[0087] F={a;rg(x,y)(S(x，y)>sO)}
[0088] 上述式中，H是特征提取函数，I(x，y)是每一个像素(x，y)所对应的图像值，可W是 灰度值或=通道的颜色能量值等，S(x，y)是每一个像素(x，y)经过特征提取后的特征分数， sO是一个特征分数阔值，大于sO的S(x，y)可W被认为是标记点，F是标记点集合。较佳地，本 实用新型实施例使用红外标记点W及红外摄像机所成图像的能量特征较为明显。由于使用 窄带Lm)红外灯，W及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标 记点对应的像素具有高能量。因此相应的函数H(x，y)可W是对使用阔值分割算子后的图像 B(x，y)进行区域增长获取若干子图像，并对获得到的子图像进行重屯、提取。同时，根据环境 光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成 光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。
[0089] 当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图 像进行标记点匹配，从而为后续的标记点=维重建提供条件。标记点匹配的方法需要根据 特征提取函数H而定。我们可W使用一些经典的基于图像灰度梯度图的特征点提取算子和 与之相配的匹配方法如化rris，SIFT，FAST等方法获取并匹配标记点。也可W使用极限约 束，标记点的先验条件等方式进行标记点匹配。运里使用极限约束进行匹配筛选的方法是： 根据同一个点在两个不同摄像机图像上的投影都处于同一平面运个原理，对于某一个摄像 机CO中的某一个标记点pO,我们都可W在其他摄像机Cl中计算一条极线方程，标记点PO对 应于该其它摄像机Cl上的标记点Pl符合下述关系：
[0090] [口1;1]中[口0;1]=0
[0091] 上述式中，F是摄像机CO到摄像机Cl的基础矩阵。通过使用上述关系，我们可W大 大缩少标记点Pl的候选个数，提高匹配准确度。
[0092] 此外，我们可W使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比 如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个 像素在某一个维度比如y轴上相等，运个过程也被称为图像校准(rectification)。则此时 标记点的匹配也就可W根据标记点的X轴顺序执行，即最小X对应最小X，依次类推，最大的X 对应最大的X。
[0093] W下依据用于跟踪的摄像机数目的多少，来详细介绍本实用新型的目标跟踪装 置。
[0094] 请参见图6,图6示出了图4中的重新构建单元的具体结构示意图。如图6所示，在本 实施例中，该跟踪设备30跟踪的第一目标对象对应的标记点不超过四个，且采用单目摄像 机来获取标记点的位置信息时，重新构建单元进一步包括：
[00%]第一计算模块31，用于依据所述当前图像中的标记点的平面坐标与所述标准图像 的所述参考标记点的平面坐标W及所述第一目标对象所在场景的假定条件计算所述当前 图像与所述标准图像之间的单应变换关系;将当前图像的标记点与标准图像中的参考标记 点进行匹配，并根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。 所谓单应变换是对应几何中的单应性，是计算机视觉领域中常应用的一种变换方法。
[0096] 第一重构模块32,用于根据所述单应变换关系计算出所述标记点在拍摄所述标准 图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻 的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间 位置。
[0097] 具体来讲，对于场景的假定条件，我们可W假定场景中的标记点的刚性变换时的 某一维度的数值不变，比如=维空间场景中，空间坐标为x、y、z，x和y分别与摄像头的图像 坐标(平面坐标）中X轴和y轴平行，Z轴是垂直于摄像头的图像，假定条件可W是标记点在Z 轴上的坐标不变，也可W是标记点在X轴和/或y轴上的坐标不变。不同的场景假设条件，所 使用的推测方法也不尽相同。又例如，在另一种假定条件下，假设第一目标对象的朝向与摄 像头朝向之间的旋转角度在使用过程中始终保持不变，则可根据当前图像中的标记点互相 之间的距离与标准图像上的标记点互相之间的距离之间的比例推测第一目标对象当前的 空间位置。
[0098] 通过W上的计算方法，可W实现单目摄像机对标记点的数量不超过四个时重新构 建所述第一目标对象的空间位置，其操作简单，且跟踪结果也较准确，由于采用单目，降低 了第一目标对象跟踪的成本。
[0099] 上述使用单个摄像机采集图像来恢复物体=维坐标的方法中，由于获取的图像信 息较少，因此需要增加标记点的数目来提供更多的图像信息从而计算物体的=维坐标。根 据机器视觉理论，要从单幅图像推算出场景的立体信息，需要至少确定图像中的五个标定 点。因此，单目方案增加了标记点数量，也增加了设计的复杂性，但同时，只需要一个摄像机 从而降低了图像采集的复杂性，降低了成本。
[0100] 请参见图7,图7示出了图4中的重新构建单元的第二变形实施例的具体结构示意 图。如图7所示，在本实施例中，当所述标记点的数量为五个W上，且采用单目摄像机获取所 述标记点的位置信息时，所述重新构建单元进一步包括：
[0101] 第二计算模块33,用于依据所述当前图像中的标记点的平面坐标与所述标准图像 的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系。
[0102] 第二重构模块34,用于根据所述单应变换关系计算出所述标记点在拍摄所述标准 图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻 的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。
[0103] 首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件测量出参考 标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标）。
[0104] 在使用过程中，摄像机不断捕捉含有第一目标对象的当前图像中的所有标记点的 二维图像坐标，并根据此时二维图像坐标与标准图像参考标记点的二维坐标计算出当前状 态下的标记点与拍摄标准图像时的标记点之间的刚性变换，在假设标记点之间相对位置不 变的情况下，进而计算出出此时标记点相对于标准图像时的空间位置变换，从而计算出当 前标记点的空间位置。
[0105] 运里，使用五个点W上的点可W计算出当前标记点与拍摄标准图像时标记点的空 间位置刚性变换[R|T]，优选的，该五个W上的点不在一个平面上，且摄像头的投影矩阵P被 事先标定好。计算[R It]的具体方式如下：
[0106] 每一个标记点在标准图像和当前图像的齐次坐标分别为X0，Xi。二者满足极限约 束，即XOP- l[R|T]P = Xi。所有标记点组成一个未知参量为[RI T ]的方程组。当标记点数量大 于5时，可W对[R|T]求解；当标记点数量大于即寸，可W对[R|T]求最优解，其方法可W使用 奇异值分解SVD，和/或使用迭代的方法计算非线性最优解。当计算出标记点空间位置W后， 我们可W根据事先标定好的标记点与第一目标对象(例如人眼）之间的相互位置关系推测 出第一目标对象(如人眼）的空间位置。
[0107] 本实施例只用一个摄像机，使用五个或五个W上的标记点，就可W准确地构建出 第一目标对象的空间位置，不仅操作简单，而且成本低廉。
[0108] 请参见图8,图8示出了图4中的重新构建单元的第=变形实施例的具体结构示意 图。如图8所示，本实施例使用两个或两个W上的摄像机，一个或一个W上的标记点。采用双 目摄像机或多目摄像机获取所述标记点的位置信息时，所述重新构建单元进一步包括：
[0109] 第=计算模块35,采用双目或多目=维重建原理，计算每一个标记点在当前时刻 的空间位置;所谓双目或=目重建原理可W采用W下方法，例如采用左、右摄像头匹配的标 记点之间的视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见 方法来实现。
[0110] 第=重构模块36,根据所述标记点当前时刻的空间位置计算第一目标对象当前的 空间位置。
[0111] 具体地，首先使用多目摄像机校准的方法对每个摄像机之间的相互位置关系进行 标定。然后在使用过程中，对每个摄像机获取到的图像提取标记点坐标，并对每个标记点进 行匹配，即获取其在每个摄像机对应的标记点，然后使用匹配的标记点W及摄像机之间相 互位置关系计算出标记点的空间位置。
[0112] 在一个具体的例子中，使用多目摄像机（即摄像机数量大于等于2)来拍摄标记点， 实现立体重建。已知一个标记点在某一摄像机所拍摄图像上的坐标U和该摄像机参数矩阵 M，我们可W计算出一条射线，运个标记点在空间中处于此射线上。
[OW] aV=Mixj = l'''n(其中n为大于等于2的自然数）
[0114] 同理，依据上述公式，此标记点在其它摄像机上也可W计算出对应该其它摄像机 的射线。理论上讲，运两条射线汇聚在一个点上，即此标记点的空间位置。实际上由于摄像 机的数字化误差，摄像机内参和外参标定的误差等等，运些射线并不能汇聚于一点，因此需 要使用S角测量(triangululation)的方法近似计算出标记点的空间位置。比如可W使用 最小二乘判断准则确定距离所有光线最近的点作为物点。
[0115]
[0116] 当计算出标记点空间位置W后，我们可W根据事先标定好的标记点与第一目标对 象(如人眼)之间的相互位置关系推测出第一目标对象(人眼）的空间位置。
[0117] 在上述使用多目摄像机实现立体重建的方法中，较佳的方法是使用双目相机计 算。其原理与前述多目摄像机重建原理一样，都是根据两摄像机的相互位置关系W及标记 点在两摄像机成像的二维坐标计算标记点空间位置。其微小差别是双目摄像机平行摆放， 根据简单的标定后对两个摄像机的图像做如前文所述的图像校准，使得两个互相匹配的二 维标记点在y(或X巧由上相等，则此时标记点距摄像机的深度可由校准后的二维标记点在X (或y巧由上的差距计算得出。此方法可看成是多目立体重建在双目情况下的特殊方法，其简 化了立体重建的步骤且在设备硬件上较容易实现。
[011引实施例7
[0119] 跟踪设备30可W通过软件处理的方式获取第一目标对象的位置信息，也可W采用 硬件处理的方式获取第一目标对象的位置信息。
[0120] 所述硬件处理方式是指跟踪设备30可W包括硬件处理模块，例如硬件处理模块可 W是FPGA模块，或者也可W是ASIC模块，请参见图21和图22，图21中的跟踪设备30包括FPGA 模块301，图22中的跟踪设备30包括ASIC模块302。而硬件处理模块具有更加强大的并行处 理能力，相比于软件的处理方式，硬件处理的方式可W加快处理速度，降低信号延迟。
[0121] 可W理解的是，前述实施例中跟踪设备30所设及到的功能模块或功能单元实现的 功能，均可W由硬件处理模块完成，而藉于硬件处理模块所具备的并行处理能力，可W更快 地对信息进行处理，进而大大提高获取第一目标对象的位置信息的效率，提高立体成像的 实时性。
[0122] 实施例8
[0123] 请参见图9,图9示出了图4的跟踪装置中对应第一目标对象设置标记点的定位支 架的结构示意图。如图9所示，本实用新型提供一种定位支架，该定位支架位于人眼(第一目 标对象)前方，结构与眼镜相似，其佩戴类似于眼镜，包括:横梁11、固定部12、支撑部13W及 控制部14,横梁11设置有标记点111;支撑部13设置于横梁11上；固定部12与横梁11的端部 枢轴连接。其中标记点111设置的位置与人眼(第一目标对象)的位置相对应，通过获取标记 点111的空间位置信息，然后据此计算人眼的空间位置信息。当人的头部发生移动时，相应 地，与人眼对应的标记点111也发生移动，摄像机跟踪标记点111的移动，然后采用前述实施 方式一的目标对象跟踪方法的方案获取标记点111的空间位置信息，利用标记点111与人眼 的相对空间位置关系，重新构建出人眼（第一目标对象）的空间位置（即在空间中的=维坐 标)。
[0124] 在本实施例中，横梁11为一长条形，且具有一定的弧度，其弧度与人的额头弧度近 似，W方便使用。横梁11包括上表面112、与其相对的下表面、设置在上表面112与下表面之 间的第一表面114W及第二表面。
[0125] 在本实施例中，标记点111为S个Lm)灯，其间隔均匀地设置在横梁11的第一表面 114上。可W理解的是，标记点111也可W为一个、两个或者更多个，且可W为任意光源，包括 L邸灯、红外灯或紫外灯等。并且，所述标记点111的排列方式与设置位置也可W根据需要进 行调整。
[0126] 可W理解的是，横梁11也可W根据需要设计成直线形或者其他形状。
[0127]本实施例中，固定部12有两个，分别与横梁11的两端通过枢轴连接，且两个固定部 12可相对向内折叠，同时，两个固定部12可分别向外展开至与横梁11呈100°左右的内角，具 体的，可W根据实际操作需求调整内角的大小。可W理解的，固定部12也可W为一个。
[01%]固定部12远离横梁11的一端沿支撑部13的延伸方向弯折设置，W用于将固定部12 的端部固定于人的耳朵上。
[0129] 本实施例中，支撑部13呈条状，设置在横梁11的下表面113的中部且向下延伸。进 一步，支撑部13远离横梁11的端部设置有鼻托131，W用于将定位装置配合鼻梁，并将定位 装置设置于人眼上方。可W理解的，在其他实施例中，若不设置鼻托131，则支撑部13可设置 成倒"Y"型，并沿横梁11的中部且向下延伸，用W将定位装置配合鼻梁，并将定位装置设置 于人眼上方。
[0130] 控制部14呈圆角长方体，设置在固定部12上。控制部14用于给所述Lm)灯，红外灯 或紫外灯提供电源、及/或者控制所述L邸灯，红外灯或紫外灯的使用状态，其包括电源开关 141、电源指示灯和充电指示灯。可W理解的是，控制部14不限定形状，其可W为任意形状， 也可W为一集成忍片。并且，控制部14也可W设置在其他位置，如横梁11上。
[0131] 使用时，打开电源开关141，电源指示灯显示L邸处于供电状态，L邸灯被点亮；当电 量不足时，充电指示灯提示电量不足;关闭电源开关，电源指示灯焰灭，表示LED处于关闭状 态，LH)灯焰灭。
[0132] 由于人的瞳距范围为58mm~64mm，可近似认为人的瞳距为定值，本实用新型提供 的定位支架类似于眼镜架，且固定于人眼上方，类似于眼镜架，根据需要，将标记点设置在 定位装置的预定位置，从而可W简单方便地根据标记点的位置确定人眼的位置。定位装置 结构简单，设计与使用方便。
[0133] 实施方式二
[0134] 请参见图10至图13,图10是本实用新型实施方式二的立体显示方法的流程示意 图，图11是图10中Sl的具体流程示意图，图12是图11中S12的具体流程示意图，图13是图10 中的S3的具体流程示意图。如图10至图13所示，本实用新型实施方式二的立体显示方法，主 要包括W下步骤：
[0135] Sl获取第一目标对象的位置信息；利用跟踪设备跟踪第一目标对象的位置，例如 观看者所在的位置信息。特别的，可W通过硬件处理方式获取第一目标对象的位置信息，例 如可W通过FPGA模块或者ASIC模块来获取第一目标对象的位置信息。具体来说，跟踪设备 会拍摄第一目标对象的图像，或者接收第一目标对象处发出的信号等，而FPGA模块或者 ASIC模块对运些数据或信号进行处理，从而计算出第一目标对象的位置信息。由于硬件处 理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可W加快 处理速度，降低信号延迟，更快地对信息进行处理，进而大大提高获取第一目标对象的位置 信息的效率，提高立体成像的实时性。
[0136] S2获取立体显示装置的分光单元的光栅参数及显示单元的显示参数;分光单元的 光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面 板的放置距离等参数。
[0137] S3依据该位置信息和该光栅参数及显示单元的显示参数实时处理待播放的图像。 在待播放立体图像前，需要预先结合人眼的位置信息和光栅参数及显示单元的显示参数， 对图像进行处理，W便提供给观看者最佳的立体显示效果。特别的，可W通过硬件处理方式 实时处理待播放的图像，例如可W通过FPGA模块或者ASIC模块来实时处理待播放的图像。 由于硬件处理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方 式可W加快处理速度，降低信号延迟，可W更快地对图像信息进行处理，进而大大提高排图 的效率，提高立体成像的实时性。
[0138] S4显示该待播放的图像。
[0139] 本实用新型的立体显示方法，通过及时获取到第一目标对象的位置信息及光栅参 数，并据此直接进行图像处理，提高了图像播放的速度，能满足实时立体显示的要求。
[0140] 进一步地，在该Sl之前还包括:SO图像拍摄步骤，拍摄第二目标对象的立体图像， 并实时发送拍摄到的所述第二目标对象的立体图像的信息，包括左视图信息和右视图信 息。运里的第二目标对象主要指摄像机拍摄到的各种场景，可W是实际的人，或者正在直播 的球赛或者借助一些设备拍摄的病人体内的影像等。通过实时地拍摄立体图像，并将拍摄 到的立体图像实时显示在显示单元上，无需经过额外的图像处理，及时并真实地显示拍摄 到的各种场景，满足了用户对实时显示的需求，提高了用户体验。
[0141] 在一个具体的变形实施例中，上述步骤SO还包括：图像采集步骤，采集所述第二目 标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。通过在边拍摄 立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理的速度，保证了 实时进行立体显示的显示效果。
[0142] 进一步的，在图像采集步骤中，可W通过硬件处理方式对所述第二目标对象的立 体图像进行合成处理。例如采集单元可W使用FPGA模块或者ASI对莫块来对立体图像进行合 成处理。而硬件处理的方式具有更加强大的并行处理能力，相比于软件的处理方式，硬件处 理的方式可W加快处理速度，提高信号处理速度，降低信号延迟。
[0143] 实施例9
[0144] 请参见图11，本实用新型实施例主要是对Sl如何获取第一目标对象的位置信息作 详细描述。运些第一目标对象例如为人眼、人的头部、人的面部或者人体的上半身等与人观 看相关的部位。上述"SI获取第一目标对象的位置信息"主要包括W下步骤：
[0145] Sll对应第一目标对象的空间位置设置标记点；运里的标记点可W设置第一目标 对象上，也可W不设置于第一目标对象上，而是设置在与第一目标对象有相对位置关系，并 与第一目标对象同步移动的物体上也可。例如，目标对象是人眼，则可W在人眼的眼眶周围 设置标记点;或者在人眼周围配置定位支架，将标记点设在定位支架的框上，又或者将标记 点设在与人眼位置关系相对固定的人的耳朵上。该标记点可W是发送信号的红外发射传感 器，L抓灯，GPS传感器，激光定位传感器等各种部件，也可W是其它能够被摄像机捕捉的物 理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高 标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外L邸灯作为标记点，并使用只能通过红 夕化抓所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的 形状且亮度分布不均匀，可W将标记点设置成可W发出规则形状的光斑，发光强度较高，亮 度均匀。另外还可W设置多个标记点，每个标记点对应一个光斑，各个标记点组成规则的几 何形状，如=角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高 光斑提取的准确性。
[0146] S12获取该标记点的位置信息;运可W是通过接收标记点发出的信号，来确定标记 点的位置信息，也可W是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提 取。通过图像处理算法来获得标记点的位置信息。
[0147] S13依据该标记点的位置信息，重新构建该第一目标对象的空间位置。当获得到该 标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与第一目标对象的 相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例如人的左右两眼 的空间位置）。
[0148] 本实用新型实施方式二的通过获取对应第一目标对象的标记点的位置信息，并依 据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作为人眼 捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反 射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，捕捉人眼的位置信息的准确 度高、成本低廉且对跟踪设备与第一目标对象之间的距离远近没有要求等优点。
[0149] 请参见图12,上述步骤S12进一步包括：
[0150] S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点 的空间坐标和平面坐标;标准图像例如可W是通过图像采集设备采集的一个标准图像，获 取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪 (如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。
[0151] S122获取包含所述目标对象及所述标记点的当前图像，及所述标记点在所述当前 图像的平面坐标；
[0152] S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。运 里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建 立对应关系，然后将标记点与参考标记点进行匹配。
[0153] 通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个 参照物，运进一步保证了本实用新型实施方式的目标跟踪方法的稳定性和准确性。
[0154] 进一步地，在上述步骤Sll之前还包括：SlO对用于获取所述标记点的位置信息的 摄像机进行标定。
[0K5]上述标定有分W下几种情况：
[0156] (1)所述SlO的摄像机为单目摄像机时，可W采用常见的张氏棋盘格标定算法，例 如采用W下公式进行标定：
[0157] sm'=A[R|t]M' (1)
[015引式（1)中，A为内部参数，R为外部参数，t为平移向量，m'像点在图像中的坐标，M'为 物点的空间坐标(即在空间中的S维坐标）；其中A、R和t分别由W下公式确定：
[0159]
[0160] 当然对于摄像机的标定算法有很多种，还可W采用其它业界常用的标定算法，本 实用新型不作限定，主要是运用标定算法，W提高本实用新型的第一目标对象跟踪方法的 准确性。
[0161 ] (2)所述SlO的摄像机为双目摄像机或多目摄像机时，采用W下步骤进行标定：
[0162] SlOl先对所述双目摄像机或多目摄像机中的任一目摄像机进行标定，也是采用常 见的张氏棋盘格标定算法，例如采用W下公式：
[0163] sm'=A[R|t]M' (1)
[0164] 式（1)中，A为内部参数，R为外部参数，t为平移向量，m'像点在图像中的坐标，M'为 物点的空间坐标;其中A、R和t分别由W下公式确定：
[01 化]
[0166] S102计算所述双目摄像机或所述多目摄像机之间的相对旋转矩阵和相对平移量， 采用W下公式：
[0167] 相对旋转矩阵
[0168] 当然上述针对双目摄像机或多目摄像机的标定算法只是其中较常见的一种，还可 W采用其它业界常用的标定算法，本实用新型不作限定，主要是运用标定算法，W提高本实 用新型的第一目标对象跟踪方法的准确性。
[0169] 进一步地，在上述Sll与S12之间还包括：
[0170] S14采集所述标记点；
[0171 ] S15从所述标记点中筛选目标标记点。
[0172] 具体来说，当标记点的数量为多个时，采用摄像机采集对应第一目标对象的所有 标记点，从所有标记点中选取与第一目标对象最相关的标记点，然后使用相应的图像处理 算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标 记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分 数，并筛选出特征值足够高的标记点。运里可W用下述公式归纳表示：
[0173] S(x,y)=H(I(x,y))
[0174] F={a;rg(x,y)(S(x，y)>sO)}
[0175] 上述式中，H是特征提取函数，I(x，y)是每一个像素(x，y)所对应的图像值，可W是 灰度值或=通道的颜色能量值等，S(x，y)是每一个像素(x，y)经过特征提取后的特征分数， SO是一个特征分数阔值，大于SO的S(x，y)可W被认为是标记点，F是标记点集合。较佳地，本 实用新型实施例使用红外标记点W及红外摄像机所成图像的能量特征较为明显。由于使用 窄带Lm)红外灯，W及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标 记点对应的像素具有高能量。因此相应的函数H(x，y)可W是对使用阔值分割算子后的图像 B(x，y)进行区域增长获取若干子图像，并对获得到的子图像进行重屯、提取。该特征提取函 数H( X，y )，可W是化rri S，SIFT，FAST等特征点函数，也可W是圆形光斑提取等图像处理函 数。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添 加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记 点进行筛选。
[0176] 当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图 像进行标记点匹配，从而为后续的标记点=维重建提供条件。标记点匹配的方法需要根据 特征提取函数H而定。我们可W使用一些经典的基于图像灰度梯度图的特征点提取算子和 与之相配的匹配方法如化rris，SIFT，FAST等方法获取并匹配标记点。也可W使用极限约 束，标记点的先验条件等方式进行标记点匹配。运里使用极限约束进行匹配筛选的方法是： 根据同一个点在两个不同摄像机图像上的投影都处于同一平面运个原理，对于某一个摄像 机CO中的某一个标记点pO,我们都可W在其他摄像机Cl中计算一条极线方程，标记点PO对 应于该其它摄像机Cl上的标记点Pl符合下述关系：
[0177] [pl;l]中[p0;l]=0
[0178] 上述式中，F是摄像机CO到摄像机Cl的基础矩阵。通过使用上述关系，我们可W大 大缩少标记点Pl的候选个数，提高匹配准确度。
[0179] 此外，我们可W使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比 如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个 像素在某一个维度比如y轴上相等，运个过程也被称为图像校准(rectification)。则此时 标记点的匹配也就可W根据标记点的X轴顺序执行，即最小X对应最小X，依次类推，最大的X 对应最大的X。
[0180] W下依据用于跟踪的摄像机数目的多少，来详细介绍本实用新型的目标跟踪方 法。
[0181] 请参见图13,是图10中S13的第一变形例的具体流程示意图。如图13所示，在本实 施例中，该第一目标对象跟踪方法跟踪的第一目标对象对应的标记点不超过四个，且采用 单目摄像机来获取标记点的位置信息时，前述步骤S13进一步包括：
[0182] S131依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记 点的平面坐标W及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准 图像之间的单应变换关系；将当前图像的标记点与标准图像中的参考标记点进行匹配，并 根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。所谓单应变换是 对应几何中的单应性，是计算机视觉领域中常用的一种变换方法。
[0183] S132根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间 位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并 根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。
[0184] 具体来讲，对于场景的假定条件，我们可W假定场景中的标记点的刚性变换时的 某一维度的数值不变，比如=维空间场景中，空间坐标为x、y、z，x和y分别与摄像头的图像 坐标(平面坐标）中X轴和y轴平行，Z轴是垂直于摄像头的图像，假定条件可W是标记点在Z 轴上的坐标不变，也可W是标记点在X轴和/或y轴上的坐标不变。不同的场景假设条件，所 使用的推测方法也不尽相同。又例如，在另一种假定条件下，假设第一目标对象的朝向与摄 像头朝向之间的旋转角度在使用过程中始终保持不变，则可根据当前图像中的标记点互相 之间的距离与标准图像上的标记点互相之间的距离之间的比例推测第一目标对象当前的 空间位置。
[0185] 通过W上的计算方法，可W实现单目摄像机对标记点的数量不超过四个时重新构 建所述第一目标对象的空间位置，其操作简单，且跟踪结果也较准确，由于采用单目，降低 了第一目标对象跟踪的成本。
[0186] 上述使用单个摄像机采集图像来恢复物体=维坐标的方法中，由于获取的图像信 息较少，因此需要增加标记点的数目来提供更多的图像信息从而计算物体的=维坐标。根 据机器视觉理论，要从单幅图像推算出场景的立体信息，需要至少确定图像中的五个标定 点。因此，单目方案增加了标记点数量，也增加了设计的复杂性，但同时，只需要一个摄像机 从而降低了图像采集的复杂性，降低了成本。
[0187]请参见图14，是图10中S13的第二变形例的具体流程不意图。如图14所不，在本实 施例中，当所述标记点的数量为五个W上，且采用单目摄像机获取所述标记点的位置信息 时，所述Sl 3进一步包括：
[0188] S133依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记 点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；
[0189] S134根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间 位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并 根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。
[0190] 具体来说，首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件 测量出参考标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标）。
[0191] 在使用过程中，摄像机不断捕捉含有第一目标对象的当前图像中的所有标记点的 二维图像坐标，并根据此时二维图像坐标与标准图像参考标记点的二维坐标计算出当前状 态下的标记点与拍摄标准图像时的标记点之间的刚性变换，在假设标记点之间相对位置不 变的情况下，进而计算出出此时标记点相对于标准图像时的空间位置变换，从而计算出当 前标记点的空间位置。
[0192] 运里，使用五个点W上的点可W计算出当前标记点与拍摄标准图像时标记点的空 间位置刚性变换[R|T]，优选的，该五个W上的点不在一个平面上，且摄像头的投影矩阵P被 事先标定好。计算[R It]的具体方式如下：
[0193] 每一个标记点在标准图像和当前图像的齐次坐标分别为X0，Xi。二者满足极限约 束，即XOP- l[R|T]P = Xi。所有标记点组成一个未知参量为[RI T ]的方程组。当标记点数量大 于5时，可W对[R|T]求解；当标记点数量大于即寸，可W对[R|T]求最优解，其方法可W使用 奇异值分解SVD，和/或使用迭代的方法计算非线性最优解。当计算出标记点空间位置W后， 我们可W根据事先标定好的标记点与第一目标对象(例如人眼）之间的相互位置关系推测 出第一目标对象(如人眼）的空间位置。
[0194] 本实施例只用一个摄像机，使用五个或五个W上的标记点，就可W准确地构建出 第一目标对象的空间位置，不仅操作简单，而且成本低廉。
[01M]请参见图15，图15图10中Sl3的第=变形例的具体流程示意图。如图15所示，本实 施例3使用两个或两个W上的摄像机，一个或一个W上的标记点。采用双目摄像机或多目摄 像机获取所述标记点的位置信息时，所述S13进一步包括：
[0196] S135采用双目或多目S维重建原理，计算每一个标记点在当前时刻的空间位置； 所谓双目或=目重建原理可W采用W下方法，例如采用左、右摄像头匹配的标记点之间的 视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见方法来实现。
[0197] S136根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。
[0198] 具体地，首先使用多目摄像机校准的方法对每个摄像机之间的相互位置关系进行 标定。然后在使用过程中，对每个摄像机获取到的图像提取标记点坐标，并对每个标记点进 行匹配，即获取其在每个摄像机对应的标记点，然后使用匹配的标记点W及摄像机之间相 互位置关系计算出标记点的空间位置。
[0199] 在一个具体的例子中，使用多目摄像机（即摄像机数量大于等于2)来拍摄标记点， 实现立体重建。已知一个标记点在某一摄像机所拍摄图像上的坐标U和该摄像机参数矩阵 M，我们可W计算出一条射线，运个标记点在空间中处于此射线上。
[0200] aV=MiXj = l-n(其中n为大于等于2的自然数）
[0201] 同理，依据上述公式，此标记点在其它摄像机上也可W计算出对应该其它摄像机 的射线。理论上讲，运两条射线汇聚在一个点上，即此标记点的空间位置。实际上由于摄像 机的数字化误差，摄像机内参和外参标定的误差等等，运些射线并不能汇聚于一点，因此需 要使用S角测量(triangululation)的方法近似计算出标记点的空间位置。比如可W使用 最小二乘判断准则确定距离所有光线最近的点作为物点。
[0202]
[0203] 当计算出标记点空间位置W后，我们可W根据事先标定好的标记点与第一目标对 象(如人眼)之间的相互位置关系推测出第一目标对象(人眼）的空间位置。
[0204] 在上述使用多目摄像机实现立体重建的方法中，较佳的方法是使用双目相机计 算。其原理与前述多目摄像机重建原理一样，都是根据两摄像机的相互位置关系W及标记 点在两摄像机成像的二维坐标计算标记点空间位置。其微小差别是双目摄像机平行摆放， 根据简单的标定后对两个摄像机的图像做如前文所述的图像校准，使得两个互相匹配的二 维标记点在y(或X巧由上相等，则此时标记点距摄像机的深度可由校准后的二维标记点在X (或y巧由上的差距计算得出。此方法可看成是多目立体重建在双目情况下的特殊方法，其简 化了立体重建的步骤且在设备硬件上较容易实现。
[0205] 实施例10
[0206] 请参见图16,图16是图10中的S3的具体流程示意图。如图16所示，基于前述实施方 式二及前述实施例，本实用新型的立体显示方法的步骤S3进一步包括：
[0207] S301排图参数确定步骤，依据获取到的所述第一目标对象的位置信息和所述分光 单元的光栅参数及显示单元的显示参数计算出在显示单元上的排图参数；
[0208] S302视差图像排列步骤，依据所述排图参数排列所述显示单元上的视差图像；
[0209] S303视差图像播放步骤，播放所述视差图像。
[0210] 通过上述的步骤，对待播放的立体图像进行重新排列，提高了立体显示的效果。
[0211] 进一步地，在步骤S301之前还包括:S30位体图像获取步骤，获取实时拍摄到的所 述立体图像的信息。在边播放视差图像的同时，边获取实时拍摄到的立体图像信息，提高了 图像处理的效率，不仅保证了实时播放，而且同时减少了因立体显示图像占用的数据存储 量非常大而要求大内存的要求，降低了成本。
[0212] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到本实用新型实 施例可W通过硬件实现，也可W借助软件加必要的通用硬件平台的方式来实现。基于运样 的理解，本实用新型实施例的技术方案可W W软件产品的形式体现出来，该软件产品可W 存储在一个非易失性存储介质（可W是CD-ROM,U盘，移动硬盘等）中，包括若干指令用W使 得一台计算机设备(可W是个人计算机，服务器，或网络设备等)执行本实用新型实施例各 个实施场景所述的方法。
[0213] W上所述，仅是本实用新型的较佳实施例而已，并非对本实用新型作任何形式上 的限制，虽然本实用新型已W较佳实施例掲露如上，然而并非用W限定本实用新型，任何熟 悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述掲示的技术内容作 出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本 实用新型的技术实质对W上实施例所作的任何简单修改、等同变化与修饰，均仍属于本实 用新型技术方案的范围内。
【主权项】
1. 一种立体显示系统，包括显示单元、分光单元及跟踪设备，所述跟踪设备用于获取第 一目标对象的位置信息，所述分光单元位于所述显示单元的显示侧，用于将所述显示单元 显示的图像空间上分成左视图和右视图，其特征在于，所述立体显示系统还包括图像播放 处理单元，分别与所述跟踪设备和所述显示单元连接，所述图像播放处理单元依据所述第 一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数实时处理待 播放的图像，处理后发送所述显示单元显示;所述跟踪设备进一步包括硬件处理模块，用于 通过硬件处理方式获取第一目标对象的位置信息；或者，所述图像播放处理单元包括硬件 处理模块，用于通过硬件处理方式实时处理待播放的图像。2. 如权利要求1所述的立体显示系统，其特征在于，所述立体显示系统还包括图像获取 单元，所述图像获取单元用于拍摄第二目标对象，并实时将拍摄到的所述第二目标对象的 立体图像信息发送给所述图像播放处理单元。3. 如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括单目摄像 机，用一个摄像头拍摄并获取所述第二目标对象的立体图像。4. 如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括双目摄像 机，用两个摄像头拍摄并获取所述第二目标对象的立体图像。5. 如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括多目摄像 机，由三个以上的摄像头呈矩阵排列来拍摄并获取所述第二目标对象的立体图像。6. 如权利要求2至5任一项所述的立体显示系统，其特征在于，所述图像获取单元进一 步包括采集单元，所述采集单元用于采集所述第二目标对象的立体图像，并从所述立体图 像中提取出左视图信息和右视图信息。7. 如权利要求6所述的立体显示系统，其特征在于，所述图像获取单元通过硬件处理方 式对所述第二目标对象的立体图像进行合成处理，合成后的单幅立体图像同时包含左、右 视图ig息。8. 如权利要求7所述的立体显示系统，其特征在于，所述图像获取单元中实现立体图像 合成功能的模块为现场可编程门阵列处理模块。9. 如权利要求7所述的立体显示系统，其特征在于，所述图像获取单元中实现立体图像 合成功能的模块为专用集成电路处理模块。10. 如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括摄像机，所述摄 像机跟踪所述第一目标对象的位置变化。11. 如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括红外接收器，所 述红外接收器接收来自于对应所述第一目标对象所设置的红外发射器发送的红外定位信 号。12. 如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括： 标记点设置单元，对应所述第一目标对象的空间位置设置标记点； 获取单元，获取所述标记点的位置信息； 重新构建单元，依据所述标记点的位置信息，重新构建所述第一目标对象的空间位置。13. 如权利要求12所述的立体显示系统，其特征在于，所述获取单元进一步包括： 预设模块，预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点 在所述标准图像中的空间坐标和平面坐标； 获取模块，获取包含所述第一目标对象与所述标记点的当前图像，及所述标记点在所 述当前图像的平面坐标； 匹配模块，将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。14. 如权利要求13所述的立体显示系统，其特征在于，当所述标记点的数量不超过四 个，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括： 第一计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述 参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与 所述标准图像之间的单应变换关系； 第一重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时 刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间 位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。15. 如权利要求13所述的立体显示系统，其特征在于，当所述标记点的数量为五个以 上，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括： 第二计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述 参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系； 第二重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时 刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间 位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。16. 如权利要求13所述的立体显示系统，其特征在于，当采用双目摄像机或多目摄像机 获取所述标记点的位置信息时，所述重新构建单元还包括： 第三计算模块，用于采用双目或多目三维重建原理，计算每一个标记点在当前时刻的 空间位置； 第三重构模块，用于根据所述标记点当前时刻的空间位置计算第一目标对象当前的空 间位置。17. 如权利要求1所述的立体显示系统，其特征在于，所述硬件处理模块为现场可编程 门阵列处理模块。18. 如权利要求17所述的立体显示系统，其特征在于，所述硬件处理模块为专用集成电 路处理模块。19. 如权利要求2~5任一项所述的立体显示系统，其特征在于，所述图像播放处理单 元包括： 排图参数确定模块，依据获取到的所述第一目标对象的位置信息和所述分光单元的光 栅参数计算出在所述显示单元上的排图参数； 视差图像排列模块，用于依据所述排图参数排列所述显示单元上的视差图像； 视差图像播放模块，播放所述视差图像。20. 如权利要求19所述的立体显示系统，其特征在于，所述图像播放处理单元包括： 立体图像获取模块，获取所述图像获取单元拍摄的所述立体图像的信息。21. 如权利要求1所述的立体显示系统，其特征在于，所述分光单元为视差屏障或透镜 光栅。22. 如权利要求21所述的立体显示系统，其特征在于，所述透镜光栅为液晶透镜光栅。23. 如权利要求1~5、10~18和21~22任一项所述的立体显示系统，其特征在于，所述 分光单元与所述显示单元之间设有贴合单元，通过所述贴合单元将所述分光单元贴合到所 述显示单元上。24. 如权利要求23所述的立体显示系统，其特征在于，所述贴合单元由一整块透明材质 构成。25. 如权利要求23所述的立体显示系统，其特征在于，所述贴合单元包括第一基板、第 二基板，以及位于所述第一基板与所述第二基板之间的空气层。26. 如权利要求12所述的立体显示系统，其特征在于，所述跟踪设备还包括一定位支 架，所述定位支架设置有所述标记点。27. 如权利要求26所述的立体显示系统，其特征在于，所述定位支架包括：横梁、固定 部、支撑部，所述横梁上设置有所述标记点;所述支撑部设置于横梁上，支撑所述横梁;所述 固定部与所述横梁的端部枢轴连接。28. 如权利要求26或27所述的立体显示系统，其特征在于，所述标记点为可发光的光 源。
【文档编号】H04N13/02GK205610834SQ201521106711
【公开日】2016年9月28日
【申请日】2015年12月25日
【发明人】包瑞, 李统福, 周峰
【申请人】深圳超多维光电子有限公司