专利名称：光标处理方法、装置及系统的制作方法
技术领域：
本发明涉及图像处理技术，尤其涉及对三维场景中的光标进行处理的方 法、装置及系统。
背景技术：
立体视图或称3D视图是指由用户的左右眼独立获取图像而得到的具有场 景深度感的视图。现有基于立体视图的三维场景呈现技术主要基于人的双目 视差原理，即由于两只眼晴位置的不同，因而可以分别获得同一场景但略有 差异的两幅图像，通过相隔一定间距的两台照相装置获取同一场景但略有差 异的两幅图像，分别显示给人的左眼和右眼，从而使观看者获得具有纵深感 和层次感的场景景象，形成一种身临其境的效果，带来更好的用户体验。
现有技术缺陷在于现有计算机用户图形界面是基于平面二维光标进 行操作的，用户通过鼠标在平面二维的平面上移动光标即可选定用户图形 界面上的某一界面元素。但在三维立体显示场景中，由于平面二维光标仅 能在平面二维平面内移动，因此不能满足三维立体显示场景中对有着不同 深度的立体界面元素的操作要求。
例如，如图1所示为一个三维立体显示场景的示意图。其中，A窗口、 B窗口、 C窗口分别处于三维立体显示场景中的不同深度层次，当用户需要 对A窗口上的界面元素进行操作时，需要控制光标显示在A窗口所在的深 度层次，如图中A位置；当用户需要对C窗口上的界面元素操作时就需要 控制光标显示在C窗口所在的深度层次，如图中C位置上。但现有的平面 二维光标无法实现这样的操作。现有的3D鼠标的概念，是指能够同时输出3种或多种位移信息的鼠标。 这类设备中用于位移检测和输出方式有很多，除通过鼠标球或光电等方式产 生上下、左右等位移信息外，还可利用滚轮、摇杆、按键、微机电系统(以下 简称MEMS)装置等技术产生第三维或更多的位移信息。但这种3D鼠标仍然 是工作在平面二维场景中的，只是解决了位移信息的产生和输入的问题，而 并没有解决在三维立体显示场景中显示在不同深度层次的问题。
发明内容
本发明实施例要解决的问题是在三维立体显示场景中将鼠标等控制操 作设备的指示光标根据深度位移信息的变化实时显示在三维立体场景中的不 同深度层次中。
为了解决上述问题，本发明的一个实施例提供了一种光标处理方法， 其中包括
产生三个维度的位移信息，所述三个维度包括平面两个维度及深度维度；
根据所述位移信息实时调整所述光标对应两眼视图的视差；
将视差调整后的光标对应的两眼视图输出到三维显示设备。
为了解决上述问题，本发明的另 一 个实施例提供了 一种光标处理系统，
其中包括光标产生装置和光标调整装置，其中
所述光标产生装置用于产生三个维度的位移信息，所述三个维度包括平
面两个维度及深度维度；
所述光标调整装置用于根据光标产生装置产生的所述位移信息实时调整
所述光标对应两眼视图的视差，并将视差调整后的光标对应的两眼视图输出
到三维显示设备。
为了解决上述问题，本发明的又一个实施例提供了一种光标处理装置， 其中包括光标产生单元和光标调整单元，其中
所述光标产生单元用于产生三个维度的位移信息，所述三个维度包括平面两个维度及深度维度；
所述光标调整单元用于根据光标产生单元产生的所述位移信息实时调整 所述光标对应两目艮视图的视差，并将视差调整后的光标对应的两眼视图输出 到三维显示设备。
通过本发明实施例，使三维立体显示场景中的光标能够根据深度维度的 位移信息进行相应变化，从而实时显示在三维立体场景中的不同深度层次中； 方便了用户在三维立体显示场景中的操作，使三维立体显示场景具有更强的 真实感。
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
图1为现有三维立体显示场景的举例示意图2A为本发明方法实施例1所述光标处理方法的流程图2B为本发明方法实施例1所述步骤102的具体流程图2C为本发明方法实施例1所述双目摄像机的拍摄原理示意图2D为本发明方法实施例1所述基于阈值的迭代算法的流程图3A为本发明方法实施例2所述立体图像对获取方法的流程图3B为本发明方法实施例2所述由照相装置拍摄目标场景的示意图3C为本发明方法实施例2所述重新设置最大视差的流程图4A为本发明方法实施例3所述立体图像对获取方法的流程图4B为本发明方法实施例3所述3D场景建^t的示意图5为本发明系统实施例所述光标处理系统的结构示意图6为本发明装置实施例所述光标处理装置的结构示意图。
具体实施方式
方法实施例1
本发明实施例提供了一种三维场景中的光标处理方法，如图2A所示包
括
步骤IOI,光标产生装置根据其位移产生三个维度的位移信息，所述三个 维度包括平面两个维度及深度维度。
其中，光标产生装置是指如鼠标等用于控制光标的装置。具体地，平面 两个维度的位移信息可以通过控制光标产生装置的上下左右移动获得，而深 度维度的位移信息可以通过安装在光标产生装置上的深度控制单元产生。其 中的深度控制单元是用于在深度方向上控制光标移动的单元，例如可以为滚 轮、按键或MEMS装置。
步骤l 02, ^f艮据所述位移信息实时调整所述光标对应两眼—见图的;f见差。
具体在本发明实施例中，所述光标采用的是平面二维图像，因此需要将 平面二维图像转换成具有视差的三维立体图像，具体转换过程如图2B所示包 括
步骤102A，生成所述平面二维图像的深度图。具体地，可以先分割获取 所述平面二维图像的前景图和背景图；再根据所述三维场景中的参考基准深 度，为所述前景图和背景图分别设置不同的深度信息。
其中，深度信息的设置可以采用双目摄像机的原理进行。如图2C所示， 相距B的焦距为f两台摄像机对场景中深度为Z的目标点M进行拍摄，则 目标点M在左右摄像机的成像分别为rih和mr,则根据图像匹配获得成像点 iih和mr，视差为d的情况下，可根据如下关系式得到目标点的深度信息。
^(附,，》0 =》一、=垂(^-^) = *
x,和;c,分别表示成像m,和nu在x轴上的坐标；Z,和Z,表示双目摄像机 的两个镜头在x轴上的坐标。
其中，参考基准深度是指场景中深度Z^的位置所表示的深度；前景图是指整个光标图片，如箭头图案等；背景图是指处于参考基准深度的显示背景， 如设为显示屏幕所在的平面的背景等。对于一个普通的平面二维图像，其前 景图和背景图可以釆用采用基于阈值的迭代算法分割获得。具体的迭代算法 如图2D所示，主要包括如下步骤
1) 求得平面二维图像的最大灰度值和最小灰度值，分别记为ZMAX和Z,， 令初始阈值T产(ZMAX+ZMIN) /2;
2) 才艮据阈值TK将图象分割为前景和背景，分别求出两者的平均灰度值
Zo和Zb'，
3) 求出新阅值TV产(Z。+ZB)/2;
4) 若T产Tw，则所得值即为阈值，结束迭代过程；否则转2),进行迭 代计算。
通过上述迭代算法所得到的阈值分割的图像效果良好。基于迭代的阈值 能区分出平面二维图像的前景图和背景图的主要区域所在，但在平面二维图 像的细微处还没有很好的区分度。为了得到更加准确的平面二维图像的前景 图和背景图，可以采用现有的 一种基于图论的图像分割算法。
步骤102B,根据所述深度维度的位移信息调整所述深度图的视差。具 体为调整所述深度图中的前景图和背景图的视差。
立体图像中的目标深度用于使用户获得三维显示场景下的深度感和层 次感，深度设置的精度要求相比目标重构和目标识别所要求的精度低。因 此可以采用粗粒度的深度设置场景的前景图和背景图的深度，为前景图设 置较小的深度，而为背景图设置较大的深度。深度的设置以在重构时可以 保证立体图像显示时观看者可以显著感受到场景中的前景图和背景图的关 系为准。
步骤10 3 ，将视差调整后的光标所对应的两眼视图输出到三维场景显示设 备中。
有视差的立体图像在显示时被分别显示给观看者的左眼和右眼，观看者通过左右眼有差异的图像感受到图像内容的深度信息，从而使用户获得 光标的深度感。
通过本发明实施例所述方法，实现了在三维立体显示场景中使采用平面 二维图像的光标能够根据深度维度的位移信息进行相应变化，从而实时显示 在三维立体场景中的不同深度层次中。方便了用户在三维立体显示场景中的 操作，使三维立体显示场景具有更强的真实感。
方法实施例2
本发明实施例提供了另一种三维场景中的光标处理方法，该方法与方法 实施例1的不同之处在于，在所述步骤102中，根据所述位移信息实时调 整所述光标对应两眼视图的视差时，方法实施例l所述光标采用的是平面 二维图像，而本发明实施例所述光标采用的是已经具有视差的立体图像， 因此，可以直接根据在步骤101中得到的所述深度维度的位移信息对立体 图像的视差进行调整。
以下详细介绍作为光标的立体图像的获取方法，如图3A所示包括
步骤201，从第一位置拍摄得到第一图像。
其中，如图3B所示，照相装置的焦距为f,对距离为Z的M点进行拍摄。利 用照相装置先在某一位置拍4聂目标场景得到M的第一图<象。
步骤202,移动到第二位置后拍摄得到M的第二图像，从而获得目标场景 的两幅有视差的图像，即立体图像对，第一图像和第二图像的视差为d。具 体地，照相装置移动的距离可以为人眼双目间距的距离B。 步骤203，对所述立体图像对进行图像扫描线对齐处理。 由于拍摄拍摄得到的第 一 图像和第二图像这一对图像在移动照相装置 时的间距、角度和垂直方向的位置无法精确控制，因此需要以其中一幅图 像为准，对另一幅图像进行扫描线对齐处理。
由于人的双眼水平位置高度相同，因此所观看的场景内容在双眼上成像 时不存在垂直方向的差异。而在移动照相装置的移动过程中，可能会存在垂直方向的不一致的问题。通过图像扫描线对齐处理可以实现左右立体图^(象对
场景内容的垂直方向对齐。具体可以采用以下方式
在立体图像对的场景重叠区，分别在第一图像和第二图像中创建两个或 多个搜索栏；将图像的各搜索栏根据颜色分量分解成多个灰度子图像；采用 匹配算法对每个子图像搜索栏中的每个点进行匹配并计算垂直偏移量，利用 这些垂直偏移量外推到整个图像从而调整对齐两幅图像。
步骤204，对完成图像扫描线对齐处理后的立体图像对重新设置最大 视差。
重新设置立体图像的最大视差是因为在移动照相装置到另一角度拍摄的 移动过程中，由于移动的间距可能过小，使得两幅图像的视差较小，导致立 体图显示时立体感不强；或者由于移动的间距过大，导致视差过大，容易引 起观看疲劳。重新设置最大视差如图3C所示，过程如下
首先对扫描线对齐后的两幅图像进行立体匹配，获得第 一图像对应的视 差图；统计视差图中的最大视差值；将预设的最佳视差值除以得到的最大视 差值，从而得到视差的缩放系数；利用该缩放系数对视差图中每一点的视差 进行缩放调整；利用缩放后的视差和第一图像重构第二图像，从而完成重新 设置最大视差，使观看者在观看立体图像显示时，可以获得更加舒适的立体 观看效果。
步骤205,将所述第一图像和第二图像形成为立体图，用作所述光标。 通过本发明实施例所述方法，采用双照相装置进行左右拍摄的方式获得 的立体图像作为三维立体显示场景中的光标，并使光标能够根据深度维度的 位移信息进行相应变化，从而实时显示在三维立体场景中的不同深度层次中。 方便了用户在三维立体显示场景中的操作，使三维立体显示场景具有更强的 真实感。
方法实施例3
发明实施例提供了另 一 种三维场景中的光标处理方法，该方法与方法实施例2类似，都采用立体图像作为光标，因此，可以直接根据在步骤101 中得到的所述深度维度的位移信息对立体图像的视差进行调整。但本发明 实施例中作为光标的立体图像的获取方法与方法实施例2不同。
以下详细介绍本发明实施例中作为光标的立体图像的获取方法，如图 4A所示包括
步骤301，对三维场景中使用的光标进行3D场景建模。 如图4B所示，显示了一个采用双照相装置的场景投影模型。其中A、 B为场景中的两个点，A和A分别为互相平行的左右照相装置的光心。A 和^之间的距离为c;照相装置到成像平面的距离为D。 4和^分别为点 A对于左右照相装置在投影平面上的投影点；A和^分别为点B对于左右 照相装置在投影平面上的投影点。假设照相装置位于A和^连线的中点 上，则根据简单的几何关系可以得到空间中某 一 点(x，少，z)在投影平面上的
D — z
对于左右照相装置，可以将X轴的坐标进行相应的偏移，从而得到空
间中某一点Oc,;;,z)在左右照相装置视点上的投影分别为
<formula>formula see original document page 12</formula>
其中，(^，vj表示空间中某一点在左照相装置视点上的投影坐标；("k，、)表 示空间中某 一 点在右照相装置视点上的投影坐标。根据上述计算得到的投 影关系，最终可以得到空间中某一物体在投影平面上的立体图像对。
从图4B中可以看出，视差为正时， 一个物体看上去位于投影平面的后 方；视差为零时，左右照相装置在投影平面上的成像点的坐标正好重合； 视差为负时，则一个物体看上去位于投影平面的前方。
投影坐标("，v)为"步骤302，在得到光标模型后对光标模型进行渲染。 具体地，可以采用如OpenGL或DirectX 3D等软件进行渲染。由于在 真实世界中人是通过双眼观察物体的，因此在泫染时需设置左右两个视点 得到左右眼的渲染图像。在具体实现时，用户可以采用图形应用程序接口 Application Programming Interface,简称API )提供的视点变换和投 影变换功能来设置左右照相装置的位置和观察范围。例如对于OpenGL软 件，可以使用gluLookAt方法设置观察视点，即设置照相装置的位置；并 使用glFrustum方法计算透视投影变换。
通过本发明实施例所述方法，釆用3D建模方法获得的立体图像作为三维 立体显示场景中的光标，并使光标能够根据深度维度的位移信息进行相应变 化，从而实时显示在三维立体场景中的不同深度层次中。方^l了用户在三维 立体显示场景中的操作，使三维立体显示场景具有更强的真实感。 系统实施例
本发明实施例提供了一种光标处理系统，如图5所示包括光标产生 装置10和光标调整装置20。其工作原理如下
光标产生装置10可以为普通的鼠标等用于控制光标的装置。用户移动光 标产生装置10时，光标产生装置10中的深度控制单元11在深度方向上控制光 标移动。其中深度控制单元ll可以为滚轮、按4建或MEMS装置等。
光标产生装置10中的位移信息产生单元12根据所述深度控制单元11 控制光标在深度方向上移动的结果，以及所述光标产生装置10的位移产生 三个维度的位移信息，所述三个维度包括平面两个维度及深度维度。其中， 深度维度的位移信息可以根据深度控制单元11对光标在深度方向上进行 控制的信息得到。
光标调整装置2 0中的光标视差调整单元21根据由光标产生装置10得到的 所述位移信息，实时调整所述光标对应两眼视图的视差，具体的调整过程可 参见方法实施例l、 2和3所述，此处不再赘述。
完成视差调整后，光标调整装置20中的光标输出单元22将视差调整后的光标所对应的两目艮视图输出到三维场景显示设备中。
通过本发明实施例所述系统，实现了使光标能够根据深度维度的位移信息
进行相应变化，从而实时显示在三维立体场景中的不同深度层次中；方便了 用户在三维立体显示场景中的操作，使三维立体显示场景具有更强的真实感。
本发明实施例还提供了一种光标处理装置，如图6所示包括光标产 生单元4Q和光标调整单元50。其工作原理如下
光标产生单元40可以为普通的鼠标等用于控制光标的单元。用户移动光 标产生单元40时，光标产生单元40中的深度控制模块41在深度方向上控制光 标移动。
光标产生单元40中的位移信息产生模块42根据所述深度控制模块41 控制光标在深度方向上移动的结果，以及所述光标产生单元40的位移产生 三个维度的位移信息，所述三个维度包括平面两个维度及深度维度。其中， 深度维度的位移信息可以根据深度控制模块41对光标在深度方向上进行 控制的信息得到。
光标调整单元5 0中的光标视差调整模块5 l根据由光标产生单元4 O得到的 所述位移信息，实时调整所述光标对应两眼视图的视差，具体的调整过程可 参见方法实施例l、 2和3所述，此处不再赘述。
完成视差调整后，光标调整单元50中的光标输出模块52将视差调整后的 光标所对应的两眼一见图输出到三维场景显示设备中。
通过本发明实施例所述装置，实现了使光标能够根据深度维度的位移信 息进行相应变化，从而实时显示在三维立体场景中的不同深度层次中；方便 了用户在三维立体显示场景中的操作，使三维立体显示场景具有更强的真实 感。最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技
术方案的本质脱离本发明各实施例技术方案的精神和范围。
权利要求
1、一种光标处理方法，其特征在于包括产生三个维度的位移信息，所述三个维度包括平面两个维度及深度维度；根据所述位移信息实时调整所述光标对应两眼视图的视差；将视差调整后的光标对应的两眼视图输出到三维显示设备。
2、 根据权利要求l所述的光标处理方法，其特征在于根据所述位移信 息实时调整所述光标对应两眼视图的视差包括选取平面二维图像作为所述光标； 生成所述平面二维图像的深度图； 根据所述深度维度的位移信息调整所述深度图的视差。
3、 根据权利要求2所述的光标处理方法，其特征在于生成所述平面二 维图像的深度图包括获取所述平面二维图像的前景图和背景图；根据三维场景中的参考基准深度，为所述前景图和背景图分别设置不同 的深度信息。
4、 根据权利要求3所述的光标处理方法，其特征在于获取所述平面二 维图像的前景图和背景图包括采用基于阈值的迭代算法分割获取所述平 面二维图像的前景图和背景图。
5、 根据权利要求l所述的光标处理方法，其特征在于根据所述位移信 息实时调整所述光标对应两眼视图的视差包括获取立体图像对，并将所述立体图像对作为所述光标； 根据所述深度维度的位移信息调整所述立体图像对的视差。
6、 根据权利要求5所述的光标处理方法，其特征在于所述获取立体图 像对包括从第 一位置拍摄得到第 一 图像； 移动后从第二位置拍摄得到第二图像；将所述第 一 图像和第二图像形成为所述立体图像对。
7、 根据权利要求6所述的光标处理方法，其特征在于还包括对所述 立体图像对进行图像扫描线对齐处理。
8、 根据权利要求7所述的光标处理方法，其特征在于进行所述图像扫 描线对齐处理之后还包括对所述立体图像对重新设置最大视差。
9、 根据权利要求5所述的光标处理方法，其特征在于所述获取立体 图像对包括对三维场景中的光标进行3D场景建模得到光标模型； 对所述光标模型进行渲染得到两眼的立体渲染图像。
10、 一种光标处理系统，其特征在于包括光标产生装置和光标调整装 置，其中所述光标产生装置用于产生三个维度的位移信息，所述三个维度包括平 面两个维度及深度维度；所述光标调整装置用于根据光标产生装置产生的所述位移信息实时调整 所述光标对应两眼视图的视差，并将视差调整后的光标对应的两眼视图输出 到三维显示设备。
11、 根据权利要求10所述的光标处理系统，其特征在于所述光标产 生装置包括深度控制单元，用于在深度方向上控制光标移动；位移信息产生单元，用于根据所述深度控制单元控制光标在深度方向 上移动的结果，以及所述光标产生装置的位移，产生三个维度的位移信息， 所述三个维度包括平面两个维度及深度维度。
12、 根据权利要求11所述的光标处理系统，其特征在于所述深度控制 单元包括滚轮、按键或微机电系统装置。
13、 根据权利要求11所述的光标处理系统，其特征在于所述光标调 整装置包括光标视差调整单元，用于根据光标产生装置得到的所述位移信息，实时调整所述光标对应两眼视图的视差；光标输出单元，用于将视差调整后的光标所对应的两眼视图输出到三维 场景显示设备中。
14、 一种光标处理装置，其特征在于包括光标产生单元和光标调整单 元，其中所述光标产生单元用于产生三个维度的位移信息，所述三个维度包括平 面两个维度及深度维度；所述光标调整单元用于根据光标产生单元产生的所述位移信息实时调整 所述光标对应两眼视图的视差，并将视差调整后的光标对应的两眼视图输出 到三维显示设备。
15、 根据权利要求14所述的光标处理系统，其特征在于所述光标产 生单元包括深度控制模块，用于在深度方向上控制光标移动；位移信息产生模块，用于根据所述深度控制模块控制光标在深度方向 上移动的结果，以及所述光标产生模块的位移，产生三个维度的位移信息， 所述三个维度包括平面两个维度及深度维度。
16、 根据权利要求15所述的光标处理系统，其特征在于所述光标调 整单元包括光标视差调整模块，用于根据光标产生模块得到的所述位移信息，实时 调整所述光标对应两眼视图的视差；光标输出模块，用于将视差调整后的光标所对应的两眼视图输出到三维场景显示设备中。
全文摘要
本发明涉及一种光标处理方法、装置及系统，其中方法包括光标产生装置根据其位移产生三个维度的位移信息，所述三个维度包括平面两个维度及深度维度；根据所述位移信息实时调整所述光标对应两眼视图的视差；将视差调整后的光标所对应的两眼视图输出到三维场景显示设备中。系统包括光标产生装置和光标调整装置。通过本发明，使三维立体显示场景中的光标能够根据深度维度的位移信息进行相应变化，从而实时显示在三维立体场景中的不同深度层次中；方便了用户在三维立体显示场景中的操作，使三维立体显示场景具有更强的真实感。
文档编号G06F3/048GK101587386SQ200810100670
公开日2009年11月25日 申请日期2008年5月21日 优先权日2008年5月21日
发明者树贵明 申请人:深圳华为通信技术有限公司