虚拟视点合成方法、装置、电子设备及存储介质

1.本发明涉及视频技术领域，尤其涉及一种虚拟视点合成方法、装置、电子设备及存储介质。


背景技术：

2.自由视点视频可以利用虚拟视点合成方法将单一视点的彩色加深度视频合成多个视角的彩色视频，让人观看视频的角度更加自由，是三维视频的重要发展方向。
3.基于深度图的虚拟视点合成方法是在参考图像和对应深度图的基础上，利用几何映射的方法计算得到像素点在三维几何空间的坐标，然后再通过重投映的方法，投射到指定的虚拟平面上，从而获得新视点(虚拟视点)下的图像。
4.该方法主要局限于对单帧图像的处理，而忽略了帧与帧之间的连续性，导致虚拟视点视频出现时域不稳定的现象，在静态区域尤为明显。
5.现有技术主要通过时域中值滤波等方法提取整个场景的静态背景图像，再基于静态背景进行深度图优化和空洞填补。但是基于背景重建的时域稳定性改善方法需要预先获取足够帧数的视频序列，才能完整地提取出场景的静态背景，无法做到实时地改善虚拟视点视频的时域稳定性，应用场景有一定的局限性。


技术实现要素：

6.针对现有技术存在的问题，本发明提供一种虚拟视点合成方法、装置、电子设备及存储介质。
7.第一方面，本发明提供一种虚拟视点合成方法，包括：
8.根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
9.将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
10.根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
11.根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
12.根据本发明提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：
13.根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；
14.对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。
15.根据本发明提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前
一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，包括：
16.计算所述当前帧参考视点纹理图中第一位置的像素与所述前一帧参考视点纹理图中第一位置的像素之间的像素距离；其中，所述第一位置表示当前帧参考视点纹理图或前一帧参考视点纹理图中的任意一个位置；
17.将所述像素距离与预先设置的阈值进行比较，当所述像素距离小于所述阈值时，所述第一位置的像素不属于动态区域，当所述像素距离大于或等于所述阈值时，所述第一位置的像素属于动态区域。
18.根据本发明提供的一种虚拟视点合成方法，所述对所述动态区域中的像素进行邻域扩展，包括：
19.对所述动态区域中的任意一个像素，将其周围的(2n+1)
×
(2n+1)个像素均标记为属于动态区域；其中，所述n为大于或等于1的自然数。
20.根据本发明提供的一种虚拟视点合成方法，所述根据所述第二动静标记图，对不属于动态区域的像素在所述当前帧虚拟视点深度图中的深度值进行修正，包括：
21.根据第二动静标记图，判断当前帧虚拟视点纹理图中的第二位置的像素是否属于动态区域；
22.当所述第二位置的像素不属于动态区域时，将所述当前帧虚拟视点深度图中第二位置的像素的深度值修改为前一帧虚拟视点深度图中第二位置的像素的深度值；
23.当所述第二位置的像素属于动态区域时，保持所述当前帧虚拟视点深度图中第二位置的像素的深度值不变；其中，
24.所述第二位置为所述当前帧虚拟视点纹理图或所述当前帧虚拟视点深度图或所述前一帧虚拟视点深度图中的任意一个位置。
25.根据本发明提供的一种虚拟视点合成方法，方法还包括：
26.将当前帧参考视点深度图转换为当前帧虚拟视点深度图；具体包括：
27.根据参考相机的内部参数，将当前帧参考视点深度图中的坐标变换到参考相机坐标系下的坐标；
28.根据三维空间中的坐标变换，将所述参考相机坐标系下的坐标，变换到虚拟视点所在相机的坐标系下的坐标；
29.对所述虚拟视点所在相机坐标系下的坐标进行反变换，得到当前帧虚拟视点深度图的坐标。
30.根据本发明提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图，包括：
31.根据优化后的当前帧虚拟视点深度图，确定与所述当前帧虚拟视点纹理图中的第三位置相对应的所述当前帧参考视点纹理图中的第四位置；
32.将所述第四位置的像素值作为所述第三位置的像素值；其中，所述第三位置为所述当前帧虚拟视点纹理图中的任意一个位置。
33.第二方面，本发明提供一种虚拟视点合成装置，包括：
34.第一动静标记图确定模块，用于根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
35.转换模块，用于将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
36.深度图修正模块，用于根据所述第二动静标记图，对当前帧虚拟视点深度图中不属于动态区域的像素的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
37.虚拟视点合成模块，用于根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
38.第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面所述虚拟视点合成方法的步骤。
39.第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面所述虚拟视点合成方法的步骤。
40.本发明实施例提供的虚拟视点合成方法、装置、电子设备及存储介质，通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性，使得最终合成得到的虚拟视点视频序列的时域稳定性得以改善。本发明提供的虚拟视点合成方法只需要当前帧参考视点纹理图、前一帧参考视点纹理图以及当前帧参考视点深度图、前一帧参考视点深度图，就能够确定当前帧虚拟视点纹理图，较现有技术中的方法在实时性上有显著提高。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明提供的虚拟视点合成方法的流程图；
43.图2为本发明提供的虚拟视点合成装置的示意图；
44.图3为本发明所涉及的电子设备的实体结构示意图。
具体实施方式
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.图1为本发明提供的虚拟视点合成方法的流程图，如图1所示，本发明提供的虚拟视点合成方法，包括：
47.步骤101、根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图。
48.视点原本是绘画上的概念。在绘画时，将作者(即观察者)所处的位置定为一点，即视点，画中的其他物体的主线都根据视点进行排布。
49.在本发明中，引入了视点的概念。参考视点是与虚拟视点相对应的概念，参考视点一般为真实的视点，如用户通过摄像设备拍摄视频时的视点。虚拟视点则不是真实的视点，而是一个假设的视点，即假设用户处于某一位置时所对应的视点。
50.参考视点纹理图是在参考视点所拍摄的图像。根据参考视点的定义可以知道，参考视点纹理图一般是用户实际拍摄的图像，如从用户所拍摄的视频中所截取的图像。由于视频是由连续多帧图像组成的，因此从视频中截取参考视点纹理图时，可以得到连续多帧参考视点纹理图。
51.在本发明中，将当前所要处理的参考视点纹理图称为当前帧参考视点纹理图，将当前帧参考视点纹理图的前一帧称为前一帧参考视点纹理图。
52.与参考视点纹理图的定义相类似，在虚拟视点所拍摄的图像被称为虚拟视点纹理图。虚拟视点纹理图与参考视点纹理图之间存在对应关系。与当前帧参考视点纹理图相对应的虚拟视点纹理图是当前帧虚拟视点纹理图，与前一帧参考视点纹理图相对应的虚拟视点纹理图是前一帧虚拟视点纹理图。
53.当前帧参考视点纹理图与前一帧参考视点纹理图，都可以基于现有技术直接获取。如从用户所拍摄的视频中获取。而虚拟视点纹理图并不能通过图像采集设备直接采集得到，而是在参考视点纹理图的基础上，通过虚拟视点合成方法得到的。
54.从视频中获取参考视点纹理图时，还可同时得到参考视点深度图。
55.深度图(depth image)也被称为距离图像(range image)，是指将从图像采集器(如相机)到场景中各点的距离(深度)作为像素值的图像。本领域技术人员都知道，每一帧参考视点纹理图都存在对应的深度图，参考视点纹理图上的每个像素点与所对应的深度图中的像素点存在一一对应的关系。例如，深度图中坐标为(x,y)的点描述了所对应的参考视点纹理图上坐标为(x,y)的像素点的深度值。
56.在本发明中，将当前帧参考视点纹理图所对应的深度图称为当前帧参考视点深度图。类似的，将前一帧参考视点纹理图所对应的深度图称为前一帧参考视点深度图。
57.当前帧参考视点深度图与前一帧参考视点深度图，都可以基于现有技术直接获取。
58.不仅是参考视点纹理图存在对应的深度图，虚拟视点纹理图也存在对应的深度图。在本发明中，将当前帧虚拟视点纹理图所对应的深度图称为当前帧虚拟视点深度图。类似的，将前一帧虚拟视点纹理图所对应的深度图称为前一帧虚拟视点深度图。
59.第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域。
60.本领域技术人员都知道，视频的某一帧图像中的一些像素在前后相邻帧中不会发生变化，如图像中诸如山、树等静态背景的像素，另一些像素在前后相邻帧中会发生变化，如图像中诸如行驶中的汽车、行走的人等运动物体的像素。在本发明中，将图像分为动态区域与静态区域，图像中在预设时间段内不会发生变化的像素归为静态区域，图像中在预设时间段内会发生变化的像素归为动态区域。
61.在本发明中，通过对当前帧参考视点纹理图与前一帧参考视点纹理图的比较，可确定第一动静标记图。在其他实施例中，将对第一动静标记图的具体确定过程进行说明。
62.步骤102、将所述第一动静标记图转换为第二动静标记图。
63.在之前的描述中，已经对第一动静标记图的含义做了说明。
64.第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域。
65.将第一动静标记图转换为第二动静标记图需要参考当前帧参考视点深度图中的像素点与当前帧虚拟视点深度图中的像素点之间的变换关系。因此，在本实施例中，首先将当前帧参考视点深度图转换为当前帧虚拟视点深度图的实现过程进行说明。
66.基于图像采集器的内部参数以及三维空间中的坐标变换，可将当前帧参考视点深度图转换为当前帧虚拟视点深度图。具体包括：
67.步骤1021、根据参考视点所在图像采集器(如参考相机)的内部参数，将当前帧参考视点深度图中的坐标(u,v)变换到参考视点所在图像采集器坐标系下的坐标[x,y,z]
t
，变换公式为：
[0068][0069]
其中，f
x
,f
y
,c
x
,c
y
是参考视点所在图像采集器的内部参数，f
x
,f
y
分别是x，y方向的焦距，c
x
,c
y
分别是x,y方向的光心坐标，z为当前帧参考视点深度图中的像素点的深度值。
[0070]
步骤1022、在得到了当前帧参考视点深度图中的坐标到参考视点所在图像采集器坐标系下的坐标的转换后，可以根据三维空间中的坐标变换，将参考视点所在图像采集器坐标系下的坐标，变换到虚拟视点所在图像采集器的坐标系下的坐标。变换公式为：
[0071][0072]
其中，r为3x3的旋转矩阵，t为平移向量，[x1,y1,z1]
t
是像素点在虚拟视点所在图像采集器坐标系的坐标。
[0073]
步骤1023、对虚拟视点所在图像采集器坐标系下的坐标[x1,y1,z1]
t
进行反变换，得到当前帧虚拟视点深度图的坐标(u1,v1)。变换公式为：
[0074][0075]
其中，z1当前帧虚拟视点深度图中的像素点的深度值。由于虚拟视点所在图像采集器与参考视点所在图像采集器只是拍摄角度发生了变化，两者的内部参数是一样的，因此仍然用f
x
,f
y
,c
x
,c
y
表示虚拟视点所在图像采集器的内部参数，f
x
,f
y
分别是x,y方向的焦距，c
x
,c
y
分别是x,y方向的光心坐标。
[0076]
对当前帧参考视点深度图中的各个像素点均执行上述操作，即可将当前帧参考视点深度图转换为当前帧虚拟视点深度图。
[0077]
综合上述的变换公式，可以直接建立参考视点图像中的坐标(包括参考视点纹理图和参考视点深度图)与虚拟视点图像中的坐标(包括虚拟视点纹理图和虚拟视点深度图)之间的映射关系。因此，基于该映射关系，还可以将当前帧参考视点纹理图中各个位置的像素的标记映射到当前帧虚拟视点纹理图中的对应像素，从而实现了当前帧参考视点纹理图的动静标记图到当前帧虚拟视点纹理图的动静标记图之间的转换。例如，当前帧参考视点
纹理图中的坐标为(x,y)的像素，与当前帧虚拟视点纹理图中的坐标为(x’,y’)的像素相对应。若所述坐标为(x,y)的像素属于动态区域，那么所述坐标为(x’,y’)的像素也属于动态区域。
[0078]
步骤103、根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图。
[0079]
在之前的步骤中，已经对当前帧虚拟视点深度图的含义做了说明。当前帧虚拟视点深度图是由当前帧参考视点深度图转换而来，在之前的步骤中，已经对当前帧参考视点深度图转换当前帧虚拟视点深度图的一种具体实现方式做了描述。在其他实施例中，也可采用本领域技术人员公知的其他方法将当前帧参考视点深度图转换为当前帧虚拟视点深度图。
[0080]
在之前的步骤中，已经得到了第二动静标记图，根据该动静标记图中对当前帧虚拟视点纹理图的各个位置像素是否属于动态区域的标记，确定对当前帧虚拟视点深度图的优化过程。
[0081]
具体的说，根据第二动静标记图，判断当前帧虚拟视点纹理图中的第二位置的像素是否属于动态区域。
[0082]
当所述第二位置的像素不属于动态区域时，将所述当前帧虚拟视点深度图中第二位置的像素的深度值修改为前一帧虚拟视点深度图中第二位置的像素的深度值；
[0083]
当所述第二位置的像素属于动态区域时，保持所述当前帧虚拟视点深度图中第二位置的像素的深度值不变。
[0084]
其中，所述第二位置为所述当前帧虚拟视点纹理图或所述当前帧虚拟视点深度图或所述前一帧虚拟视点深度图中的任意一个位置。显然，当前帧虚拟视点纹理图中的第二位置，当前帧虚拟视点深度图中的第二位置以及前一帧虚拟视点深度图中的第二位置的坐标值相同。
[0085]
上述过程可用如下公式表示：
[0086][0087]
其中，depth
t
(x,y)为当前帧虚拟视点深度图中(x,y)位置的深度值，depth
t
‑1(x,y)为前一帧虚拟视点深度图中(x,y)位置的深度值。label_v为第二动静标记图。由此得到了优化后的当前帧虚拟视点深度图。
[0088]
需要说明的是，由于虚拟视点合成是一个连续的过程，因此前一帧虚拟视点深度图在对前一帧做虚拟视点合成时已经生成，因此在本步骤中可直接获取。
[0089]
在本步骤中，通过对当前帧虚拟视点图中属于静态区域的像素在对应的当前帧虚拟视点深度图中的深度值进行修正，即将当前帧虚拟视点纹理图中属于静态区域的像素的深度值替换为前一帧虚拟视点深度图中对应位置的深度值，保证了虚拟视点纹理图的时域一致性，进而使得后续步骤中合成的虚拟视点视频序列的时域稳定性得以改善。
[0090]
和现有技术中局限于单帧图像合成的方法相比，本发明的方法得到的虚拟视点视频更加稳定，尤其是在静态区域。此外，现有技术中基于背景重建的时域稳定性改进方法需要预先获取完整的视频序列进行背景提取，应用范围比较局限，而本发明的方法仅需要参考视点前一帧的纹理图和虚拟视点前一帧的深度图就可以达到同样的效果，可以做到实时
改善时域效果，应用范围更加广泛。
[0091]
步骤104、根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0092]
在本步骤中，根据优化之后的当前帧虚拟视点深度图以及当前帧参考视点纹理图，可以得到当前帧虚拟视点纹理图。当前帧虚拟视点纹理图是本发明提供的虚拟视点合成方法所希望获得的结果。
[0093]
具体的说，利用优化后的当前帧虚拟视点深度图，通过步骤102中所描述的坐标映射公式，将当前帧虚拟视点纹理图中的第三位置(x,y)映射到当前帧参考视点纹理图中的第四位置(x1,y1)。在生成当前帧虚拟视点纹理图时，将当前帧参考视点纹理图中的第四位置(x1,y1)的像素值作为当前帧虚拟视点纹理图中的第三位置(x,y)的像素点的像素值。
[0094]
本实施例中所描述的第三位置为所述当前帧虚拟视点纹理图中的任意一个位置。第四位置是根据优化后的当前帧虚拟视点深度图所确定的与第三位置相对应的位置。
[0095]
本发明提供的虚拟视点合成方法通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性，使得最终合成得到的虚拟视点视频序列的时域稳定性得以改善。本发明提供的虚拟视点合成方法只需要当前帧参考视点纹理图、前一帧参考视点纹理图以及当前帧参考视点深度图、前一帧参考视点深度图，就能够确定当前帧虚拟视点纹理图，较现有技术中的方法在实时性上有显著提高。
[0096]
基于上述任一实施例，在本实施例中，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：
[0097]
根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；
[0098]
对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。
[0099]
根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，具体包括：
[0100]
计算当前帧参考视点纹理图与前一帧参考视点纹理图中每个位置的像素距离，然后将计算得到的像素距离与阈值进行比较，根据比较结果确定当前帧参考视点纹理图中各个位置的像素是属于动态区域还是属于静态区域。
[0101]
假设当前帧参考视点纹理图用t表示，前一帧参考视点纹理图用t
‑
1表示，则像素距离的计算公式为：
[0102][0103]
其中，diff(x,y)为当前帧参考视点纹理图的(x,y)位置的像素与前一帧参考视点纹理图的(x,y)位置的像素之间的像素距离，r
t
、g
t
、b
t
分别为当前帧参考视点纹理图的(x,y)位置的像素的rgb三通道的值，r
t
‑1、g
t
‑1、b
t
‑1为前一帧参考视点纹理图的(x,y)位置的像素的rgb三通道的值。
[0104]
在得到当前帧参考视点纹理图与前一帧参考视点纹理图中每个位置的像素距离后，设置一个阈值threshold划分静态区域和动态区域，像素距离小于threshold的像素为静态区域，其余像素为动态区域，可采用如下公式表示：
[0105][0106]
确定当前帧参考视点纹理图中各个位置的像素是否属于动态区域后，可以为各个位置的像素分别设置标记。所述标记用于描述对应的像素是否属于动态区域。
[0107]
之前通过将像素距离与阈值进行比较的方式，初步描述了当前帧参考视点纹理图中各个位置的像素是属于动态区域还是属于静态区域。
[0108]
但对于动态前景区域，由于当前帧和前一帧的运动幅度比较小，对应位置的像素值距离可能小于指定阈值threshold，因此会被误标记为静态区域，导致合成结果的错误。在本步骤中，需要将所述动态区域中的像素进行邻域扩展，即：对于所述动态区域中的像素，将其周围的(2n+1)
×
(2n+1)个像素均标记为属于动态区域。完成邻域扩展后，即可得到当前帧参考视点纹理图的动静标记图。所述动静标记图用于记录当前帧参考视点纹理图的各个位置的像素是否属于动态区域。
[0109]
在本实施例中，n的取值为30，但在其他实施例中，可根据场景的不同对n的取值进行调整。n的值应为大于或等于1的自然数。
[0110]
本发明提供的虚拟视点合成方法基于当前帧参考视点纹理图中的像素与前一帧参考视点纹理图中的像素之间的像素距离，动态地标记出动态区域与静态区域，并对动态区域中的像素做了邻域扩展，有助于区分动态区域与静态区域，为后续操作提供了保证。
[0111]
图2为本发明提供的虚拟视点合成装置的示意图，如图2所示，本发明提供的虚拟视点合成装置，包括：
[0112]
第一动静标记图确定模块201，用于根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0113]
转换模块202，用于将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0114]
深度图修正模块203，用于根据所述第二动静标记图，对当前帧虚拟视点深度图中不属于动态区域的像素的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0115]
虚拟视点合成模块204，用于根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0116]
本发明提供的虚拟视点合成装置通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性，使得最终合成得到的虚拟视点视频序列的时域稳定性得以改善。
[0117]
图3为本发明所涉及的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：
[0118]
根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0119]
将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0120]
根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0121]
根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0122]
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为pc机，还可以为其他设备，只要其结构中包括如图3所示的处理器310、通信接口320、存储器330和通信总线340，其中处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，且处理器310可以调用存储器330中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
[0123]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0124]
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
[0125]
根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0126]
将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0127]
根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0128]
根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0129]
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
[0130]
根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；
[0131]
将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；
[0132]
根据所述第二动静标记图，对不属于动态区域的像素在所述当前帧虚拟视点深度
图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；
[0133]
根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。
[0134]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0135]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0136]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。