虚拟视点深度图处理方法、设备、装置及存储介质与流程
本发明涉及图像处理领域，尤其涉及一种虚拟视点深度图处理方法、设备、装置及存储介质。
背景技术：
基于深度图的图像绘制(dibr)是虚拟视点合成领域中一项重要技术，该项技术利用参考视点的纹理图和深度图经过三维坐标变换即可得到任意虚拟视点的视图。利用dibr技术在合成虚拟视点纹理图的过程中，部分背景纹理图在参考视点中由于被前景物体遮挡是不可见的，而在虚拟视点中是可见的，在这种情况下，虚拟视点纹理图中可能会存在空洞区域，深度图中存在的深度不连续区域是导致空洞产生的原因，而利用基于高斯滤波、均值滤波、中值滤波等深度图平滑处理的方法填补空洞时，没有保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影的现象，因此虚拟视点深度图的质量较差。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
技术实现要素：
本发明的主要目的在于提供一种虚拟视点深度图处理方法、设备、装置及存储介质，旨在解决现有的深度图平滑处理的方法无法保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影现象，虚拟视点深度图的质量较差的技术问题。
为实现上述目的，本发明提供一种虚拟视点深度图处理方法，所述虚拟视点深度图处理方法包括：
将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
可选地，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：
根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
可选地，所述根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：
将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
可选地，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：
确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
根据所述第一位置与所述第二位置的位置关系，确定第一权重；
确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
可选地，所述确定所述虚拟相机位置的深度值置信度的步骤，包括：
从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
可选地，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理的步骤，包括：
从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
可选地，所述确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记的步骤，包括：
选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
此外，为实现上述目的，本发明还提供一种虚拟视点深度图处理装置，所述虚拟视点深度图处理装置，包括：
前向映射模块，用于将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
后处理模块，用于对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
反向映射模块，用于根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
融合处理模块，用于对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
本发明实施例提出的一种虚拟视点深度图处理方法、设备、装置及存储介质，与现有技术中，利用现有算法对深度图进行平滑处理和填补空洞时，无法保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影的现象，进而导致虚拟视点深度图的质量较差相比，本申请通过将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，对所述虚拟视点深度图进行双边滤波平滑处理，可以有效平滑所述虚拟视点深度图并保留边缘信息，根据平滑后的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，不仅有效平滑虚拟视点深度图，还保留了深度图的边缘信息，在填补了虚拟视点纹理图中的空洞后，对纹理图的前景边缘进行滤波处理，提高了虚拟视点纹理图的质量，进而提高了虚拟视点深度图的质量。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本发明虚拟视点深度图处理方法第一实施例的流程示意图；
图3为图2中步骤s40的细化流程示意图；
图4为本发明虚拟视点深度图处理方法的装置示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明实施例轴动作组态终端(又叫终端、设备或者终端设备)可以是pc，也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟视点深度图处理方法的程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的虚拟视点深度图处理方法的程序，所述虚拟视点深度图处理方法的程序被处理器执行时实现下述实施例提供的虚拟视点深度图处理方法中的操作。
基于上述设备硬件结构，提出了本发明虚拟视点深度图处理方法的实施例。
参照图2，本发明第一实施例提供一种虚拟视点深度图处理方法，所述虚拟视点深度图处理方法包括：
步骤s10，将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
步骤s20，对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
步骤s30，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
步骤s40，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
具体地，步骤s10，将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
所述预设参考视点可以是真实相机实际的拍摄视点，所述虚拟视点可以是虚拟相机的拍摄视点，所述虚拟相机可以是通过所述真实相机的拍摄视角转换的，所述真实相机在所述预设参考视点实际拍摄到的图像为参考视点图像，所述参考视点图像的深度图即为所述参考视点深度图，所述参考视点图像可以是所述真实相机拍摄的原始图像的深度图。本实施例中，图像与图像中的像素点的映射都是基于坐标系的映射，以所述参考视点深度图和所述虚拟视点深度图为参考建立平面坐标系，以所述虚拟相机和所述参考相机为参考系，建立三维空间坐标系，图像和像素点的映射可以看做基于坐标系的坐标变换。所述将所述参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图。所述前向映射是指，将所述参考视点深度图上的像素点从二维坐标系下映射到所述真实相机的三维坐标系下，再经过平移旋转，从所述真实相机的坐标系下映射到所述虚拟相机的坐标系下，最后进行反变换，从三维空间坐标系映射到二维坐标系下，即从所述虚拟相机的坐标系下映射到所述虚拟视点的位置。
所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，包括步骤a1-a4：
步骤a1，根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
所述参考相机的内部参数包括焦距、光心坐标等，根据所述参考相机的内部参数，建立第一空间坐标系，所述第一空间坐标系为三维空间坐标系，包含所述参考相机的位置，所述第一空间坐标系可以是以所述参考相机的位置为原点建立的，所述参考视点深度图可以建立平面坐标系，由此得到所述参考视点深度图的二维坐标，将所述参考视点深度图的图像坐标映射到所述第一空间坐标系内，以得到所述参考视点深度图的第一空间坐标，例如，将所述参考视点深度图的图像坐标(u,v)变换到参考相机坐标系下的坐标[x，y，z]t，映射变换公式可以如下列所示(公式1)：
其中，[u，v，1]t是参考视点深度图的像素点的齐次坐标，z为像素点的深度值，所述深度值可以通过所述真实相机的内部参数和位置确定，[x，y，z]t为(u,v)对应的真实物体在所述第一空间坐标系中的坐标，fx、fy、cx、cy是所述真实相机的内部参数，fx、fy分别是x，y方向的焦距，cx、cy分别是x,y方向的光心坐标。
步骤a2，根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
所述虚拟相机的内部参数可以与所述真实相机的内部参数一致，参考所述第一空间坐标系，根据所述虚拟相机的内部参数，建立第二空间坐标系，所述第二空间坐标系包含所述虚拟相机的位置，将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标，映射变换公式如下(公式2-4)：
t＝rv×(tc-tv)(4)
其中，r为3x3的旋转矩阵，t为平移向量，[x，y，z]t是像素点在所述第一空间坐标系的坐标，即所述第一空间坐标，[x1,y1,z1]t是所述第一空间坐标映射到所述第二空间坐标系后的第二空间坐标，rc和tc是所述预设参考视点的旋转矩阵和平移矩阵，rv和tv是所述虚拟视点的旋转矩阵和平移矩阵。
步骤a3，对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
对所述第二空间坐标进行变换，即将所述第二空间坐标从三维空间坐标系映射到二维坐标系，将所述第二空间坐标映射到所述虚拟视点深度图上，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系，即所述虚拟视点的图像与所述虚拟相机的映射关系，反变换的映射变换公式如下(公式5)：
其中，z1为像素点的深度值，所述深度值可以通过所述虚拟相机的内部参数和位置确定，fx、fy、cx、cy为所述虚拟相机的内部参数，可以与所述真实相机的内部参数一致，[u1,v1,1]t为所述虚拟视点的图像坐标系中的像素点(u1,v1)的齐次坐标。
步骤a4，根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
根据所述第一映射关系，可以得到所述参考视点深度图映射到所述虚拟视点的前向映射关系，即点(u,v)到点(u1,v1)的映射关系，从而可以将所述参考视点深度图上的点映射到所述虚拟视点的位置，也即，根据所述前向映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
步骤s20，对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
利用预设算法对所述虚拟视点深度图进行双边滤波平滑处理，所述参考视点中的部分背景纹理图若被前景物体遮挡，在参考视点纹理图中是不可见的，而在虚拟视点纹理图中是可见的，在这种情况下，虚拟视点纹理图中可能会存在空洞区域，深度图中存在的深度不连续区域是导致空洞产生的原因，因此要对深度图进行平滑处理来减少空洞区域。所述预设算法中的一种优选方法为双边滤波算法，双边滤波算法的公式所示(公式6)：
其中，d(i,j)为像素点(x,y)的邻域内的像素点的深度值，(i,j)的大小由滤波半径确定，所述滤波半径可以是通过实验确定，并自定义设置的，例如设置滤波半径为7个像素点，则(i,j)为以(x,y)为圆心，以7个像素点为半径确定的范围内的像素点，
步骤s30，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
所述反向映射是指，根据所述虚拟视点的深度，将所述虚拟视点深度图上的像素点映射到所述虚拟相机的坐标系下，再经过平移旋转，从所述虚拟相机的坐标系下映射到所述真实相机的坐标系下，经过反变换从三维空间坐标系映射到二维坐标系下，即从所述真实相机的坐标系下映射到参考视点的坐标系下，所述反向映射的过程如下列公式所述(公式7-9)：
根据所述虚拟视点的深度将所述虚拟视点深度图上的像素点映射到所述虚拟相机的坐标系下：
其中，公式7与公式5相同，[u1,v1,1]t是像素点(u1,v1)的齐次坐标，z1为像素点的深度值，[x1,y1,z1]t为像素点(u1,v1)对应的真实物体在所述虚拟相机坐标系中的坐标，fx、fy、cx、cy为所述虚拟相机的内部参数，分别是x,y方向的焦距和光心坐标。
从所述虚拟相机的坐标系下映射到所述真实相机的坐标系下：
其中，r'为3x3的旋转矩阵，t'为平移向量，[x1,y1,z1]t是像素点在所述虚拟相机坐标系下的坐标，[x',y',z']t是像素点在所述真实相机坐标系下的坐标。
从所述真实相机的坐标系下映射到所述参考视点的坐标系下：
其中，z'为所述真实相机的深度值，(u',v')为像素点在所述参考视点坐标系下的坐标。
所述将根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图，包括步骤b1-b2：
步骤b1，将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
将所述平滑的虚拟视点深度图进行反向映射，可以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系，所述参考相机即所述真实相机，通过反向映射，得到所述参考视点与所述虚拟视点的空间坐标系的第二映射关系，即根据所述虚拟视点与所述预设参考视点分别建立空间坐标系，通过反向映射，找到所述预设参考视点的空间坐标系与所述虚拟视点的空间坐标系之间的映射关系。
步骤b2，根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
根据所述第二映射关系，可以得到所述虚拟视点图像上的点(u1,v1)到所述参考视点上的点(u',v')的反向映射关系，根据所述反向映射关系，将所述参考视点纹理图映射到所述虚拟视点的位置，进而得到所述虚拟视点纹理图。所述参考视点和参考相机可以是多个，由于每一个参考视点都对应一张所述参考视点纹理图，因此每一个参考视点对应的所述参考视点纹理图都可以通过反向映射，得到虚拟视点纹理图，从而得到基于不同预设参考视点的虚拟视点纹理图。
步骤s40，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
将所述虚拟视点纹理图进行加权融合，从不同的参考视点得到的纹理图质量及对物体拍摄的侧重方位不同，以及被前景物体遮挡的部分也不同，因此需要对基于不同预设参考视点得到的理图赋予不同的权重后，再进行融合，得到的目标虚拟视点深度图保留了深度图的边缘信息。在所述虚拟视点纹理图加权融合后，对融合后的纹理图进行空洞填补处理和前景边缘滤波处理，对深度图中存在的空洞进行填补，并对前景边缘进行滤波，以平滑所述前景边缘，保证边缘信息的完整性。
在本实施例中将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，利用预设滤波方法对所述虚拟视点深度图进行平滑处理，得到平滑的虚拟视点深度图并保留了深度图的边缘信息，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，合成基于不同预设参考视点的虚拟视点纹理图，并对所述虚拟视点纹理图进行加权融合，对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，减少了合成的纹理图边缘区域的重影现象，进而提高了虚拟视点纹理图的质量。
进一步的，参照图3，本发明第二实施例提供一种虚拟视点深度图处理方法，基于上述图2所示的实施例，本实施例是对第一实施例中步骤s40的细化。
具体地，步骤s40中，对所述虚拟视点纹理图进行加权融合，包括步骤s41-s44：
步骤s41，确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
同样地，在本实施例中，图像与图像中的像素点的映射也都是基于坐标系的映射，以所述参考视点深度图和所述虚拟视点深度图为参考建立平面坐标系，以所述虚拟相机和所述参考相机为参考系，建立三维空间坐标系，图像和像素点的映射可以看做基于坐标系的坐标变换。所述虚拟视点纹理图的权重包含两部分，其中第一部分权重由所述虚拟相机和所述参考相机的位置确定，因此，需要确定所述参考相机的位置，即所述第一位置，以及所述虚拟相机的位置，即所述第二位置。
步骤s42，根据所述第一位置与所述第二位置的位置关系，确定第一权重；
根据所述第一位置与所述第二位置的位置关系，确定所述参考相机与所述虚拟相机之间的距离，由所述参考相机与所述虚拟相机之间的距离确定第一权重，例如，当所述参考相机和所述虚拟相机之间的距离为di时，所述第一权重可以与di成反比，以此来确定所述第一权重。
步骤s43，确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
所述虚拟视点纹理图的权重还包含第二权重，所述第二权重由所述虚拟相机位置的深度值置信度确定，先确定所述虚拟相机位置的深度值置信度，根据所述深度值置信度确定所述第二权重。
所述确定所述虚拟相机位置的深度值置信度，包括步骤c1-c3：
步骤c1，从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
从虚拟视点深度图上确定一个像素点作为所述第一参考点，所述虚拟视点深度图可以作为一个平面坐标系，所述第一参考点可以是(x,y)，将所述第一参考点映射到所述第一位置所在的空间坐标系中，所述第一位置所在的空间坐标系即为所述第一空间坐标系，根据所述虚拟相机的深度值，将所述第一参考点(x,y)映射到所述参考相机的位置，得到所述第二参考点，所述第二参考点可以是(u,v)。
步骤c2，根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，所述第二位置是所述参考相机的位置，所诉第二位置所在的空间坐标系即为所述第二空间坐标系，根据所述参考相机的位置深度值，将所述第二参考点(u,v)映射到所述第二空间坐标系中，得到第三参考点，所述第三参考点可以是(x_1,y_1)。
步骤c3，根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
利用第一预设算法，由所述第一参考点和所述第三参考点，得到所述深度值置信度，所述第一预设算法可以是下列公式(公式10)：
其中，dist为所述深度值置信度，在确定所述深度值置信度后，可以确定所述第二权重，所述第二权重可以通过下列公式确定(公式11)：
conf_depth(x,y)＝e-dist/5(11)
步骤s44，根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
确定两部分权重后，对基于不同预设参考视点的所述虚拟视点纹理图进行加权后进行融合，具体加权融合过程可以是下列公式(公式12)：
其中，fi(x,y)为所述虚拟视点纹理图的像素点的值，f(x,y)为加权融合后与所述虚拟视点纹理图中fi(x,y)对应的像素点的值，confi(x,y)为相应的权重，包括两部分，因此i的取值为i＝1,2，权重的计算方式可以是下列公式(公式13)：
confi(x,y)＝conf_cami(x,y)*conf_depthi(x,y)(13)
其中，conf_cami(x,y)为第一权重，由所述参考相机与所述虚拟相机的距离确定，conf_depthi(x,y)为第二权重，由所述深度值置信度确定，这里的i可以是所述虚拟相机的数量，所述第一权重的计算方法可以是下列公式(公式14)：
其中，di是第i个所述虚拟相机与所述参考相机之间的距离。
步骤s40中，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，包括步骤s45-s49：
步骤s45，从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
对所述融合后的虚拟视点纹理图进行空洞填补处理，一种优选的空洞填补处理方法可以是联合双边滤波方法，选取一个像素点作为所述第一中心像素点，也可以称所述第一中心像素点为当前像素点，以当前像素点为中心，建立一个预设大小的窗口，如创建一个n*n大小的第一窗口，所述第一窗口内包含有n*n个像素点，n可以是30或40，除所述第一中心像素点外，所述第一窗口内的其它像素点为所述第一中心像素点的邻域像素点。
步骤s46，利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
利用第二预设算法，对所述第一窗口内的像素点进行计算，以进行空洞填补，通过计算，可以找出深度图中的不连续点，然后通过计算，补齐所述像素点，补齐方式可以是利用空洞邻域的像素点的平均值，或邻域像素点的加权平均值作为该空洞像素点的深度值进行填补，所述第二预设算法可以是下列公式(公式15-18)：
disp(i,j)＝fb/depth(i,j)(16)
drange＝maxdisp-mindisp+1(17)
maxdisp＝fb/depth，mindisp＝fb/depth(18)
其中，img(x,y)为所述第一窗口内的像素点，disp(i,j)为像素点(i,j)的视差值，depth(i,j)为像素点(i,j)的深度值，fb的值根据所述参考相机的内部参数以及位置确定，drange是最大最小视差值范围，由最大最小视差值确定，最大最小视差值由对应的所述参考相机的fb值确定，最大最小深度值根据拍摄场景确定，其中dtr是一个用于缩小视差范围的参数，取值可以是自定义设置的，例如设置dtr的值为0.01666667。
步骤s47，确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
在对所述虚拟视点纹理图进行空洞填补后，要确定所述虚拟视点纹理图的边缘区域，并对所述边缘区域进行标记，标记所述边缘区域是为了对所述边缘区域进行滤波平滑处理，防止所述边缘区域存在重影或缺损。
所述确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记，包括步骤d1-d3：
步骤d1，选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
在所述虚拟视点深度图的边缘位置上选取参考像素点，并确定所述参考像素点的梯度值，可以从水平和垂直两个方向入手，确定所述参考像素点的水平梯度值和垂直梯度值，并计算出水平梯度值和垂直梯度值的绝对值，例如，如果所述虚拟视点深度图是连续的，可以通过对边缘区域求导得到所述梯度绝对值，若所述虚拟视点纹理图存在不连续，可以通过向前差商、向后差商或者中间差商等得到所述梯度绝对值。
步骤d2，若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点，所述预设阈值是由最大最小视差值范围drange以及dtr参数确定的，可以由下列公式(公式19)计算得到：
dthresh＝dtr*drange(19)
其中，dthresh为所述预设阈值。
步骤d3，向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
确定所述参考像素点为边缘像素点后，向所述参考像素点的周围扩展预设数量的像素点，例如，向水平方向和垂直方向各扩展4个像素点，扩展后的区域即为前景边缘区域，对所述前景边缘区域进行标记。
步骤s48，从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
从所述前景边缘区域选取第二中心像素点，以所述第二中心像素点为中心，创建预设大小的第二窗口，例如，以所述第二中心像素点为中心，向周围扩展4个像素点，创建一个5*5的窗口为所述第二窗口，创建所述第二窗口是为了对所述前景边缘区域进行滤波处理。
步骤s49，利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
利用第三预设算法对所述第二窗口内的像素点进行计算，以对所述前景边缘区域进行滤波处理，可以是利用某个像素点邻域窗口内的像素点的平均值或加权平均值代替该像素点的值，以达到滤波的目的。以利用邻域窗口内的像素点的加权平均值代替该像素点的值为例，所述第三预设算法的公式可以是(公式20)：
其中，(x,y)是选取的应该被替换的像素点，f(x,y)是被替换的像素点的像素值，f(i,j)是点(x,y)邻域内的像素点的像素值。
在本实施例中，通过确定所述虚拟相机和所述参考相机的位置关系，确定第一权重，通过所述虚拟相机的深度值置信度确定第二权重，根据所述第一权重和所述第二权重对所述虚拟视点纹理图进行加权融合，并从融合后的所述虚拟视点纹理图中选取中心像素点，以创建预设大小的第一窗口和第二窗口，从而确定所述中心像素点的邻域像素点，利用预设算法对所述邻域像素点的值进行计算，以对所述融合后虚拟视点纹理图进行空洞填补和前景边缘滤波处理，减少了所述虚拟视点纹理图的空洞和重影现象，提高了所述虚拟视点纹理图的主客观质量。
参照图4，本发明第一实施例提供一种虚拟视点深度图处理装置，所述虚拟视点深度图处理装置包括：
前向映射模块10，用于将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
后处理模块20，用于对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
反向映射模块30，用于根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
融合处理模块40，用于对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
可选地，所述前向映射模块10，包括：
第一映射单元，用于根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
第二映射单元，用于根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
反变换单元，用于对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
第三映射单元，用于根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
可选地，所述反向映射模块30，包括：
反向映射单元，用于将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
第四映射单元，用于根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
可选地，所述融合处理模块40，包括：
确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
第一确定单元，用于根据所述第一位置与所述第二位置的位置关系，确定第一权重；
第二确定单元，用于确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
融合单元，用于根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
可选地，所述第二确定单元，包括：
第一映射子单元，用于从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
第二映射子单元，用于根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
计算子单元，用于根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
可选地，所述融合处理模块40，还包括：
创建单元，用于从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
计算单元，用于利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
标记单元，用于确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
第二创建单元，用于从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
滤波单元，用于利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
可选地，所述标记单元，包括：
第一确定子单元，用于选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
第二确定子单元，用于若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
标记子单元，用于向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！