一种全景拼接图与局部视频或图像融合显示的方法与流程

本发明涉及一种全景拼接图与局部视频或图像融合显示的方法。
背景技术：
：常用的监控摄像机中，有一种PTZ像机如图1，虽然镜头的拍摄范围有限，但由于装在可旋转的云台上，可以实现水平和俯仰的转动，拓展监控范围。为了实现对周围环境的概括了解，拼接技术经常出现在这类PTZ像机的应用领域，通过将像机在不同角度拍摄的图片进行拼接，得到一张覆盖范围极大甚至是全景的图片。如图2。但拼接的图像是静止的，不可能实时更新，因而仍然需要接个像机视频综合使用。视频图像与全景拼接图像的配合使用，需要使用者切换，并抽象定位融合视频在全景拼接图像的内容。人机体验上仍然有诸多不便。目前运用于PTZ像机的拼接模型多包括柱面模型，球面模型等，通过特征匹配，球坐标变换等方法，实现PTZ像机图片序列在模型上的拼接组合。如图3,为PTZ相机通过柱面模型拼接的环带全景图。全景拼接图可以直接2D显示，也可以通过3D引擎进行变换，变成虚拟PTZ显示。如图4，由3D引擎获取的4个方向上的虚拟PTZ图像。除此以外，也有一种在PTZ装置中加入全景镜头的产品，直接由辅助镜头生成全景图。技术实现要素：为了解决上述的技术问题，本发明的目的是提供一种全景拼接图与局部视频或图像融合显示的方法，该方法改善解决这种分离式的人机体验。为了实现上述的目的，本发明采用了以下的技术方案：一种全景拼接图与局部视频或图像融合显示的方法，该方法包括以下的步骤：a)根据全景拼接的算法，得到全景拼接图像素坐标系Rpano与拼接模型坐标系Rmodel的对应关系Fp-m；b)获取PTZ像机视频当前帧或某张截图的拍摄角度Pan和Tilt；c)根据PTZ像机拍摄范围和变倍，获取当前帧或某张截图的水平方向拍摄角度范围Rangepan以及垂直方向上的Rangetilt，以及分辨率(Widv,Heiv)；d)根据Pan、Tilt、Rangepan和Rangetilt，获取模型坐标系Rmodel与PTZ像机的像素坐标系Rpt的对应关系Fm-pt；e)选定显示方式，在显示全景拼接图的同时，根据对应关系Fp-m和Fm-pt计算全景图中各个位置是否在PTZ像机的当前拍摄范围内，如果在范围内，则通过内容替换、内容覆盖和/或内容融合方法，显示PTZ像机的当前视频帧或截图；如果在范围外，则显示原始拼接图的内容。作为优选，本发明的的全景拼接图为2D显示全景拼接图或3D显示全景拼接图。作为优选，全景拼接图为2D显示全景拼接图时，Rpano为笛卡尔坐标系Rmodel为归一化极坐标系Fp-m:Pm=xpano*Pmax-PminWidpano+PminTm=ypano*Tmax-TminHeipano+Tmin.]]>作为进一步改进，全景拼接图为2D显示全景拼接图时，步骤d)中，Fm-pt:xpt=Dis*tan(ΔPan)+Widv*0.5ypt=Dis*tan(ΔTilt)+Heiv*0.5,]]>其中：Dis＝Widv*0.5/tan(Rpan*0.5)或者Dis＝Heiv*0.5/tan(Rtilt*0.5)，ΔPan=Pm-PvΔTilt=Tm-Tv.]]>作为优选，全景拼接图为3D显示全景拼接图时，Rpano为笛卡尔坐标系Rmodel为笛卡尔坐标系Pm=arccos(xm||xdmydm||):ym>0180+arccos(xm||xdmydm||):ym<0Tm=arcsin(zm||xmymzm||)1,]]>Fm-p:xpano=(Pm-Pmin)*Widpano/(Pmax-Pmin)ypano=(Tm-Tmin)*Heipano/(Tmax-Tmin);]]>作为进一步改进，全景拼接图为3D显示全景拼接图时，步骤d)中，m00m01m02m10m11m12m20m21m22*xdydzd=xmymzm,]]>xdydzd=m00m01m02m10m11m12m20m21m22-1*xmymzm,]]>Fm-pt:xpt=Dis*yd/||xdyd||+Widv*0.5ypt=Dis*zd/||xdydzd||+Heiv*0.5,]]>其中：m00m01m02m10m11m12m20m21m22=cos(Tv)sin(Tv)0-sin(Tv)cos(Tv)0001*cos(Pv)0-sin(Pv)010sin(Pv)0cos(Pv).]]>本发明由于采用了上述的技术方案，通过PTZ像机当前视频或某张截图的拍摄角度(水平角Pan，俯仰角Tilt)，以及拍摄范围(镜头视场角、变倍Zoom)，计算图像区域在全景拼接模型的具体位置，然后更新全景图像中相应区域内的内容，当拍摄角度和范围改变时，更改全景图像中的相应区域，而原先视频覆盖的区域还原回全景拼接图。该方法改善解决全景拼接图与局部视频或图像融合显示的人机体验。附图说明图1为PTZ摄像机图像。图2为PTZ摄像机拼接图像。图3为环带全景图。图4为多角度下虚拟PTZ技术图。图5为笛卡尔坐标系视频投影图。图6为环带拼接图和摇头机视频帧内容图。图7为视频帧所在范围图。图8为2D显示全景拼接与视频帧融合结果图。图9为3D显示全景拼接与视频帧融合结果图。具体实施方式下面结合附图对本发明的具体实施方式做一个详细的说明。本发明的涉及到参数解释如下：xpano：全景拼接图像素坐标值X分量，左上角为0，右下角为Widpanoypano：全景拼接图像素坐标值Y分量，左上角为0，右下角为HeipanoWidpano：全景拼接图宽Heipano：全景拼接图高Pm：极坐标系拼接模型的水平角分量Tm：极坐标系拼接模型的俯仰角分量Pv：摇头机云台的水平角分量Tv：摇头机云台的俯仰角分量Rpan：视频图像水平方向的视场角度Rtilt：视频图像垂直方向的视场角度Widv：视频图像宽Heiv：视频图像水高xpt：视频图像素坐标值X分量，左上角为0，右下角为Widvypt：视频图像素坐标值X分量，左上角为0，右下角为Heivxm：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的X分量ym：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的Y分量zm：3D显示时，笛卡尔坐标系拼接模型的归一化方向向量的Z分量xm：3D显示时，笛卡尔坐标系视频投影的归一化方向向量的X分量ym：3D显示时，笛卡尔坐标系视频投影的归一化方向向量的Y分量zm：3D显示时，笛卡尔坐标系视频投影的归一化方向向量的Z分量笛卡尔坐标系视频投影图5，镜头光轴为X轴。实施例12D显示全景拼接与摇头机视频的融合摇头机只有Pan、Tilt两个自由度，没有Zooma)获取柱面全景环带与拼接模型坐标系转换关系Fp-mRpano为笛卡尔坐标系Rmodel为归一化极坐标系Pm|∈(Pmin,Pmax)Tm|∈(Tmin,Tmax)1,]]>Fp-m:Pm=xpano*Pmax-PminWidpano+PminTm=ypano*Tmax-TminHeipano+Tmin;]]>b)通过私有信息或协议，获取摇头机视频当前帧的拍摄角度c)获取摇头机拍摄范围以及视频分辨率其中必须满足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan*0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；d)获取模型坐标系Rmodel与摇头机视频像素坐标系Rpt的对应关系Fm-pt，Fm-pt:xpt=Dis*tan(ΔPan)+Widv*0.5ypt=Dis*tan(ΔTilt)+Heiv*0.5;]]>其中：Dis＝Widv*0.5/tan(Rpan*0.5)或者Dis＝Heiv*0.5/tan(Rtilt*0.5)；ΔPan=Pm-PvΔTilt=Tm-Tv;]]>如果xpt∈(0,Widv)并且ypt∈(0,Heiv)，则全景拼接图中该位置内容被融合替换成视频当前帧的响应内容。如下图：图6显示全景拼接图和摇头机当前视频帧；图7显示计算出的摇头机当前视频所在位置；图8为融合最终结果。实施例23D显示全景拼接与摇头机视频的融合摇头机只有Pan、Tilt两个自由度，没有Zoom。而3D显示，有模型坐标系为原始坐标系，分别计算模型不同位置对应的球面拼接图位置和摇头机视频位置。a)获取球面拼接模型与拼接图的坐标系转换关系Fm-pRpano为笛卡尔坐标系Rmodel为笛卡尔坐标系Pm=arccos(xm||xdmydm||):ym>0180+arccos(xm||xdmydm||):ym<0Tm=arcsin(zm||xmymzm||)1,]]>Fm-p:xpano=(Pm-Pmin)*Widpano/(Pmax-Pmin)ypano=(Tm-Tmin)*Heipano/(Tmax-Tmin);]]>b)通过私有信息或协议，获取摇头机视频当前帧的拍摄角度c)获取摇头机拍摄范围以及视频分辨率其中必须满足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；d)获取模型坐标系Rmodel与摇头机视频像素坐标系Rpt的对应关系Fm-ptxuyuzu=cos(Pv)cos(Tv)sin(Pv)cos(Tv)sin(Tv),]]>m00m01m02m10m11m12m20m21m22*xdydzd=xmymzm,]]>xdydzd=m00m01m02m10m11m12m20m21m22-1*xmymzm,]]>Fm-pt:xpt=Dis*yd/||xdyd||+Widv*0.5ypt=Dis*zd/||xdydzd||+Heiv*0.5,]]>其中：m00m01m02m10m11m12m20m21m22=cos(Tv)sin(Tv)0-sin(Tv)cos(Tv)0001*cos(Pv)0sin(Pv)010sin(Pv)0cos(Pv).]]>如果xpt∈(0,Widv)并且ypt∈(0,Heiv)，则全景拼接图中该位置内容被融合替换成视频当前帧的响应内容。如图9为融合最终结果。当前第1页1 2 3