预测图像生成方法和装置制造方法
【专利摘要】本发明公开了一种预测图像生成方法和装置，其中，该方法包括：根据参数信息确定参考矩形像素块，其中，参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过参考视点的深度信息将参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从投影矩形像素块中获取预测图像。本发明解决了现有技术中在生成预测图像的过程中需要同时用到目标视点的深度图像和参考视点的深度图像而造成的对数据的依赖性较大的技术问题，达到了减少对数据的依赖和提高编解码效率的技术效果。
【专利说明】预测图像生成方法和装置
【技术领域】
[0001]本发明涉及通信领域，具体而言，涉及一种预测图像生成方法和装置。
【背景技术】
[0002]图像预测，是指在视频编/解码过程中，通过运动矢量、参考帧索引等信息，从已经编/解码完成的图像中直接拷贝或者通过亚像素插值等方法获取部分图像，作为当前编/解码图像块的预测图像。在编码端，将该预测图像与原始图像相减，可以得到图像残差并编码写入码流；在解码端，将该预测图像与码流中解码得到的图像残差相加，可以得到重建图像，通过这种预测图像的方式进行编解码可以有效提升编解码的效率。
[0003]目前，常用的生成预测图像的方式是采用前向投影的方式，即指利用参考视点中的每个像素点或者每个像素块的深度信息，将参考视点的图像投影至目标视点得到目标视点的图像。目前，常用的基于块的前向投影一般都是按照以下方式实现:
[0004]为了在目标视点中生成一个目标像素块Bt，在参考视点中用于生成Bt的参考像素块Br的大小以及位置是由Bt的大小、位置以及Bt中各像素点对应的深度值决定的，即，在该方法中需要通过目标视点的深度信息来确定参考像素块。
[0005]在上述方法中，通过统计Bt中各像素点对应的视差值中的最大值Dmax与最小值Dmin其中，视差值由各像素点对应的深度值转换而来，将Bt的左边界减去Dmax，Bt的右边界减去Dmin，保持上下边界不变，得到一组新的边界值，将该新的边界值作为Br的边界。将Br投影至目标视点并填充Bt内未被投影到的像素点，得到被投影的Bt，并将Bt作为预测图像，在投影的过程中需要用到参考视点的深度信息，从而生成所需的预测图像。
[0006]上述的空洞填充就是在图像中物体的边界区域等深度变化的地方，经过虚拟视投影以后会出现空洞。被投影视点的图像投影至目标视点以后，目标视点中未被投影到的单个点或者连续的点段被称为空洞。空洞的出现与深度、纹理的采样率有关，同时也是由于三维场景中物体的遮挡关系引起的。处于物体背后的场景在拍摄时无法被获取，经过投影以后就无法复现原本位于物体背后的图像。出现空洞时，需要采用空洞填充技术将整幅投影后的图像填充完整。空洞填充的方法通常是取空洞两侧的两个已投影像素中属于背景区域(基于两个像素的相对前景和背景之间的关系)的像素值填充整个空洞；若空洞只有一侧有已投影像素(一般出现在图像边界上)，则取这一仅有的已投影像素填充整个空洞。上述仅是空洞填充技术的一种方式，还可以采用其它多种方式实现。
[0007]由上述描述可知，现有技术中在进行前向投影时，需要利用参考视点的深度信息确定参考像素块，在进行投影时又需要用到目标视点的深度信息，因此，在生成预测图像的过程中需要同时用到目标视点的深度信息和参考视点的深度信息，对数据的依赖性比较大。
[0008]针对上述的问题，目前尚未提出有效的解决方案。
【发明内容】
[0009]本发明提供了一种预测图像生成方法和装置，以至少解决现有技术中在生成预测图像的过程中需要同时用到目标视点的深度信息和参考视点的深度信息而造成的对数据的依赖性较大的技术问题。
[0010]根据本发明的一个方面，提供了一种预测图像生成方法，包括:根据参数信息确定参考矩形像素块，其中，上述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过上述参考视点的深度信息将上述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从上述投影矩形像素块中获取预测图像。
[0011]优选地，上述参考视点的深度信息包括以下至少之一:上述参考视点的深度图像、上述参考视点的摄像机参数信息。
[0012]优选地，当上述参数信息包括目标矩形像素块的位置时，根据参数信息确定参考矩形像素块包括:将上述目标矩形像素块的左边界值减去第一预定偏移值后的值作为上述参考矩形像素块的左边界值；将上述目标矩形像素块的右边界值减去第二预定偏移值后的值作为上述参考矩形像素块的右边界值；将上述目标矩形像素块的上边界值作为上述参考矩形像素块的上边界值；将上述目标矩形像素块的下边界值作为上述参考矩形像素块的下边界值；将确定的参考矩形像素块的左边界值、右边界值、上边界值以及下边界值作为上述参考矩形像素块的边界信息以在参考视点中确定上述参考矩形像素块。
[0013]优选地，上述第一预定偏移值与上述第二预定偏移值是预先设定的一个不为O的数值。
[0014]优选地，当上述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据参数信息确定参考矩形像素块包括:根据上述目标矩形像素块的位置确定上述参考矩形像素块的第一组边界值；根据上述参考视点的深度信息对上述第一组边界值进行更新，将更新后得到的结果作为上述参考矩形像素块的第二组边界值，其中，上述第二组边界值对应的参考矩形像素块的面积小于上述第一组边界值对应的参考矩形像素块的面积；根据上述第二组边界值在参考视点中确定上述参考矩形像素块。
[0015]优选地，根据上述目标矩形像素块的位置确定上述参考矩形像素块的第一组边界值包括:将上述目标矩形像素块的左边界值减去第三预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的左边界值；将上述目标矩形像素块的右边界值减去第四预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的右边界值；将上述目标矩形像素块的上边界值作为上述第一组边界值中的上边界值；将上述目标矩形像素块的下边界值作为上述第一组边界值中的下边界值。
[0016]优选地，上述第三预定偏移值与上述第四预定偏移值是预先设定的一个不为O的数值。
[0017]优选地，上述第三预定偏移值包括:上述参考视点与上述目标视点之间的最大视差值，上述第四预定偏移值包括:上述参考视点与目标视点之间的最小视差值。
[0018]优选地，根据上述参考视点的深度信息对上述第一组边界值进行更新包括:根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个边界范围值，其中，上述边界范围值包括左边界范围值和/或右边界范围值；根据确定的一个或多个边界范围值对上述第一组边界值进行更新。
[0019]优选地，根据确定的一个或多个边界范围值对上述第一组边界值进行更新包括:从一个或多个左边界范围值中选择一个作为上述第一组边界值中的左边界值，其中，上述左边界范围值为上述目标矩形像素块左边界上的像素点对应的边界范围值；和/或从一个或多个右边界范围值中选择一个作为上述第一组边界值中的右边界值，其中，上述右边界范围值为上述目标矩形像素块右边界上的像素点对应的边界范围值。
[0020]优选地，根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个左边界范围值的步骤包括:从上述目标矩形像素块的左边界上选择一个像素点作为第一像素点；将上述第一组边界值中的左边界值作为第一像素点对应的左边界范围值；将上述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为上述参考视点中的第二坐标；根据上述第二坐标在上述参考视点中所对应的像素点的深度信息确定上述第二坐标所对应的像素点在上述目标视点中的第一投影坐标；当上述第一投影坐标的水平分量小于等于上述第一组边界值中的左边界值时，更新上述第一像素点对应的左边界范围值为上述第二坐标的水平分量；和/或根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个右边界范围值包括:从上述目标矩形像素块的右边界上选择一个像素点作为第二像素点；将上述第一组边界值中的右边界值作为上述第二像素点对应的右边界范围值；将上述第二像素点的坐标偏移一个默认视差后得到的第三坐标作为上述参考视点中的第四坐标；根据上述第四坐标在上述参考视点中所对应的像素点的深度信息确定上述第四坐标所对应的像素点在上述目标视点中的第二投影坐标；当上述第二投影坐标的水平分量大于等于上述第一组边界值中的右边界值时，更新上述第二像素点对应的右边界范围值为上述第四坐标的水平分量。
[0021]优选地，上述默认视差是上述参考视点与上述目标视点之间的一个深度值所对应的视差值。
[0022]优选地，在判断不满足上述第一投影坐标的水平分量小于等于上述第一组边界值中的左边界值的条件，或者更新上述第一像素点对应的左边界范围值为上述第二坐标的水平分量之后，上述方法还包括:对上述第一像素点对应的左边界范围值进行更新；和/或在判断不满足上述第二投影坐标的水平分量大于等于上述第一组边界值中的右边界值的条件，或者更新上述第二像素点对应的右边界范围值为上述第四坐标的水平分量之后，上述方法还包括:对上述第二像素点对应的右边界范围值进行更新。
[0023]优选地，对上述第一像素点对应的左边界范围值进行更新包括:将上述第二坐标更新为当前第二坐标偏移第五预定偏移值之后的坐标；根据当前上述第二坐标在上述参考视点中所对应的像素点的深度信息确定当前上述第二坐标所对应的像素点在上述目标视点中的第三投影坐标；当上述第三投影坐标的水平分量小于等于上述第一组边界值中的左边界值，且当前上述第二坐标的水平分量大于当前上述第一像素点对应的左边界范围值时，更新上述第一像素点对应的左边界范围值为当前的上述第二坐标的水平分量；和/或对上述第二像素点对应的右边界范围值进行更新包括:将上述第四坐标更新为当前第四坐标偏移第六预定偏移值之后的坐标；根据当前上述第四坐标在上述参考视点中所对应的像素点的深度信息确定当前上述第四坐标所对应的像素点在上述目标视点中的第四投影坐标；当上述第四投影坐标的水平分量大于等于上述第一组边界值中的右边界值，且当前上述第四坐标的水平分量大于当前上述第二像素点对应的右边界范围值时，更新上述第二像素点对应的右边界范围值为当前的上述第四坐标的水平分量。
[0024]优选地，重复执行预定次数遍对上述第一像素点对应的左边界范围值进行更新的步骤，和/或，重复执行预定次数遍对上述第二像素点对应的左边界范围值进行更新的步骤。
[0025]优选地，上述第五预定偏移值是由上述第一像素点坐标的水平分量和上述第二坐标所对应的像素点在上述目标视点中的投影坐标的水平分量之间的差值确定的，和/或，上述述第六预定偏移值是由上述第二像素点坐标的水平分量和上述第二坐标所对应的像素点在上述目标视点中的投影坐标的水平分量之间的差值确定的。
[0026]优选地，根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定多个左边界范围值包括:采用并行方式根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定多个左边界范围值；和/或根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定多个右边界范围值包括:采用并行方式根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定多个右边界范围值。
[0027]优选地，根据确定的一个或多个边界范围值对上述第一组边界值进行更新包括:将上述第一组边界值中的左边界值更新为上述的一个或多个左边界范围值中的最大值或最小值或中值；和/或将上述第一组边界值中的右边界值更新为上述的一个或多个右边界范围值中的最大值或最小值或中值。
[0028]优选地，上述方法应用于3D图像编解码技术中。
[0029]根据本发明的一个方面，提供了一种预测图像生成装置，包括:参考矩形像素块确定模块，用于根据参数信息确定参考矩形像素块，其中，上述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；投影模块，用于通过上述参考视点的深度信息将上述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；预测图像获取模块，用于从上述投影矩形像素块中获取预测图像。
[0030]优选地，上述参考矩形像素块确定模块包括:第一确定单元，用于当上述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据上述目标矩形像素块的位置确定上述参考矩形像素块的第一组边界值；更新单元，用于根据上述参考视点的深度信息对上述第一组边界值进行更新，将更新后得到的结果作为上述参考矩形像素块的第二组边界值，其中，上述第二组边界值对应的参考矩形像素块的面积小于上述第一组边界值对应的参考矩形像素块的面积；第二确定单元，用于根据上述第二组边界值在参考视点中确定上述参考矩形像素块。
[0031]优选地，上述第一确定单元包括:左边界值确定子单元，用于将上述目标矩形像素块的左边界值减去第三预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的左边界值；右边界值确定子单元，用于将上述目标矩形像素块的右边界值减去第四预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的右边界值；上边界值确定子单元，用于将上述目标矩形像素块的上边界值作为上述第一组边界值中的上边界值；下边界值确定子单元，用于将上述目标矩形像素块的下边界值作为上述第一组边界值中的下边界值。
[0032]优选地，上述更新单元包括:边界范围值确定子单元，用于根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个边界范围值，其中，上述边界范围值包括左边界范围值和/或右边界范围值；更新子单元，用于根据确定的一个或多个边界范围值对上述第一组边界值进行更新。
[0033]优选地，上述边界范围值确定子单元还用于按照以下方式确定一个或多个左边界范围值:从上述目标矩形像素块的左边界上选择一个像素点作为第一像素点；将上述第一组边界值中的左边界值作为第一像素点对应的左边界范围值；将上述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为上述参考视点中的第二坐标；根据上述第二坐标在上述参考视点中所对应的像素点的深度信息确定上述第二坐标所对应的像素点在上述目标视点中的第一投影坐标；当上述第一投影坐标的水平分量小于等于上述第一组边界值中的左边界值时，更新上述第一像素点对应的左边界范围值为上述第二坐标的水平分量；和/或上述边界范围值确定子单元还用于按照以下方式确定一个或多个右边界范围值:从上述目标矩形像素块的右边界上选择一个像素点作为第二像素点；将上述第一组边界值中的右边界值作为上述第二像素点对应的右边界范围值；将上述第二像素点的坐标偏移一个默认视差后得到的第三坐标作为上述参考视点中的第四坐标；根据上述第四坐标在上述参考视点中所对应的像素点的深度信息确定上述第四坐标所对应的像素点在上述目标视点中的第二投影坐标；当上述第二投影坐标的水平分量大于等于上述第一组边界值中的右边界值时，更新上述第二像素点对应的右边界范围值为上述第四坐标的水平分量。
[0034]在本发明中，提出了一种新的预测图像的生成方法，在生成参考矩形像素块时，仅需要采用目标矩形像素块的位置和/或参考视点的深度信息和/或目标视点的摄像机参数等信息，而并不需要通过目标视点的深度图像确定参考矩形像素块，在进行前向投影时同样通过参考视点的深度信息进行确定，在整个过程中都不需要知道目标视点的深度图像。通过上述方式解决了现有技术中在生成预测图像的过程中需要同时用到目标视点的深度图像和参考视点的深度图像而造成的对数据的依赖性较大的技术问题，达到了减少对数据的依赖和提高编解码效率的技术效果。
【专利附图】
【附图说明】
[0035]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0036]图1是根据本发明实施例的预测图像生成方法的一种优选流程图；
[0037]图2是根据本发明实施例的预测图像生成方法的另一种优选流程图；
[0038]图3是根据本发明实施例的预测图像生成方法的又一种优选流程图；
[0039]图4是根据本发明实施例的预测图像生成方法的又一种优选流程图；
[0040]图5是根据本发明实施例的预测图像生成装置的一种优选结构框图；
[0041]图6是根据本发明实施例的预测图像生成装置的另一种优选结构框图；
[0042]图7是本发明实施例基于块的预测图像生成装置的一种优选示意图；
[0043]图8是本发明实施例6基于块的预测图像生成装置的一种优选示意图；
[0044]图9是本发明实施例7基于块的预测图像生成装置中的Bound计算模块的一种优选示意图；
[0045]图10是本发明实施例7基于块的预测图像生成装置的一种优选示意图。【具体实施方式】
[0046]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0047]本发明实施例提供了一种优选的预测图像生成方法，如图1所示，包括以下步骤:
[0048]步骤S102:根据参数信息确定参考矩形像素块，其中，参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；
[0049]步骤S104:通过参考视点的深度信息将参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；
[0050]步骤S106:从投影矩形像素块中获取预测图像。
[0051]在上述优选实施方式中，提出了一种新的预测图像的生成方法，在生成参考矩形像素块时，仅需要采用目标矩形像素块的位置和/或参考视点的深度信息和/或目标视点的摄像机参数等信息，而并不需要通过目标视点的深度图像确定参考矩形像素块，在进行前向投影时同样通过参考视点的深度信息进行确定，在整个过程中都不需要知道目标视点的深度图像。通过上述方式解决了现有技术中在生成预测图像的过程中需要同时用到目标视点的深度图像和参考视点的深度图像而造成的对数据的依赖性较大的技术问题，达到了减少对数据的依赖和提高编解码效率的技术效果。
[0052]在上述优选实施方式中，参考视点的深度信息可以包括但不限于以下至少之一:参考视点的深度图像、参考视点的摄像机参数信息。
[0053]在本实施例中提供了一种简单的确定参考矩形像素块的方法，在该方法中仅需要依据特定的偏移值和目标矩形像素块的边界值即可确定出一个参考矩形像素块。在一个优选实施方式中，当参数信息包括目标矩形像素块的位置时，根据参数信息确定参考矩形像素块包括以下步骤:
[0054]步骤S1:将目标矩形像素块的左边界值减去第一预定偏移值后的值作为参考矩形像素块的左边界值；
[0055]步骤S2:将目标矩形像素块的右边界值减去第二预定偏移值后的值作为参考矩形像素块的右边界值；
[0056]步骤S3:将目标矩形像素块的上边界值作为参考矩形像素块的上边界值；
[0057]步骤S4:将目标矩形像素块的下边界值作为参考矩形像素块的下边界值；
[0058]步骤S5:将确定的参考矩形像素块的左边界值、右边界值、上边界值以及下边界值作为参考矩形像素块的边界信息以在参考视点中确定参考矩形像素块。
[0059]对于上述的第一预定偏移值与第二预定偏移值是预先设定的一个不为O的数值，例如可以取 100，200，150.5，-100，-200 等等。
[0060]S卩，仅按照目标矩形像素块的边界值确定参考矩形像素块对应的边界值即可，实现起来较为简单，可以提高编解码的效率。
[0061]为了使得预测图像更为准确，本发明实施例还提供了较为精确的确定参考矩形像素块的方法，在该方法中需要用到参考视点的深度信息，具体的实现方法如图2所示，包括:
[0062]步骤S202:根据目标矩形像素块的位置确定参考矩形像素块的第一组边界值；[0063]步骤S204:根据参考视点的深度信息对第一组边界值进行更新，将更新后得到的结果作为参考矩形像素块的第二组边界值，其中，第二组边界值对应的参考矩形像素块的面积小于第一组边界值对应的参考矩形像素块的面积；
[0064]步骤S206:根据第二组边界值在参考视点中确定参考矩形像素块。
[0065]即，通过参考视点的深度信息来对确定的参考矩形像素块进行调整，从而使得确定的编解码得到的图像更为精准。
[0066]在这个过程中可以将上述通过最简单的方法确定的参考矩形像素块作为调整的基础，即，按照上述的方式确定最基本的参考矩形像素块，将该最基本的参考矩形像素块的边界值作为第一组边界值。
[0067]然而，此时的第一预定偏移值可以是参考视点与目标视点之间的最大视差值，第二预定偏移值可以是参考视点与目标视点之间的最小视差值。
[0068]可以通过目标矩形像素块的左右边界上的像素点对第一组边界值进行调整。在一个优选实施方式中，根据参考视点的深度信息对第一组边界值进行更新包括:根据目标矩形像素块边界上的一个或多个像素点的位置信息和参考视点的深度信息确定一个或多个边界范围值，其中，边界范围值包括左边界范围值和/或右边界范围值；根据确定的一个或多个边界范围值对第一组边界值进行更新。即，可以选取目标矩形像素块边界上的多个点，然后为每个选取的边界上的点确定一个边界范围值，从中选择对第一组边界值进行更新的边界范围值，例如可以从左边界像素点对应的边界范围值中选择一个更新第一组边界值中的左边界值，可以从右边界像素点对应的边界范围值中选择一个更新第一组边界值中的右边界值，从而实现对第一组边界值的更新。
[0069]在一个优选实施方式中，根据确定的一个或多个边界范围值对第一组边界值进行更新包括:从一个或多个左边界范围值中选择一个作为第一组边界值中的左边界值，其中，左边界范围值为目标矩形像素块左边界上的像素点对应的边界范围值；和/或从一个或多个右边界范围值中选择一个作为第一组边界值中的右边界值，其中，右边界范围值为目标矩形像素块右边界上的像素点对应的边界范围值。
[0070]本发明实施例还给出了如何确定边界上的像素点所对应的边界范围值的方法，以左边界为例进行说明，如图3所示，根据目标矩形像素块边界上的一个或多个像素点的位置信息和参考视点的深度信息确定一个或多个左边界范围值的步骤包括:
[0071]步骤S302:从目标矩形像素块的左边界上选择一个像素点作为第一像素点；
[0072]步骤S304:将第一组边界值中的左边界值作为第一像素点对应的左边界范围值；
[0073]步骤S306:将第一像素点的坐标偏移一个默认视差后得到的第一坐标作为参考视点中的第二坐标；
[0074]步骤S308:根据第二坐标在参考视点中所对应的像素点的深度信息确定第二坐标所对应的像素点在目标视点中的第一投影坐标；
[0075]步骤S310:当第一投影坐标的水平分量小于等于第一组边界值中的左边界值时，更新第一像素点对应的左边界范围值为第二坐标的水平分量；上述的默认视差可以是参考视点与目标视点之间的一个深度值所对应的视差值，例如可以是深度值128对应的视差值。
[0076]为了进一步更新上述的边界范围值，无论上述步骤中对边界范围值的更新是否成功，都可以再重复执行以下操作对边界范围值进行更新，从而使得像素点对应的边界范围值最终确定的参考矩形像素块尽可能的小，从而提高图像编解码的精确度，如图4所示，包括以下步骤:
[0077]步骤S402:将第二坐标更新为当前第二坐标偏移第三预定偏移值之后的坐标，其中，第三预定偏移值可以由第一像素点坐标的水平分量和第二坐标所对应的像素点在目标视点中的投影坐标的水平分量之间的差值确定；
[0078]步骤S404:根据当前第二坐标在参考视点中所对应的像素点的深度信息确定当前第二坐标所对应的像素点在目标视点中的第三投影坐标；
[0079]步骤S406:当第三投影坐标的水平分量小于等于第一组边界值中的左边界值，且当前第二坐标的水平分量大于当前第一像素点对应的左边界范围值时，更新第一像素点对应的左边界范围值为当前的第二坐标的水平分量。
[0080]上述步骤S402至S406可以重复执行，即可以重复执行预定次数遍对第一像素点对应的左边界范围值进行更新的步骤从而使得该像素对应的边界范围值更为精准。
[0081]如果需要同时对多个边界上的像素点进行边界范围值的获取，既可以采用串行的方式也可以采用并行的方式，相应的采用串行的方式仅需要划分一个处理模块即可，如果采用并行的方式相应的就需要在系统中同时存在多个用于生成边界范围值的模块，便可以同时对多个边界像素点进行处理。
[0082]对于上述的根据确定的一个或多个边界范围值对第一组边界值进行更新可以包括:
[0083]将第一组边界值中的左边界值更新为的一个或多个左边界范围值中的最大值或最小值或者是大小位于最中间的那个数值。
[0084]以上描述主要是基于左边界进行描述的，优选地，右边界上像素点对应的范围值的确定方式与上述左边界上像素点对应的范围值的确定方式是相同的，在此不再赘述。
[0085]上述各个优选实施方式中所涉及的预测图像的获取方法可以应用于3D图像编解码技术中。
[0086]在本实施例中还提供了一种预测图像生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图5是根据本发明实施例的预测图像生成装置的一种优选结构框图，如图5所示，包括:参考矩形像素块确定模块502和投影模块504、以及预测图像获取模块506，下面对该结构进行说明。
[0087]I)参考矩形像素块确定模块502，用于根据参数信息确定参考矩形像素块，其中，参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；
[0088]2)投影模块504，用于通过参考视点的深度信息将参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；
[0089]3)预测图像获取模块506，用于从投影矩形像素块中获取预测图像。
[0090]在一个优选实施方式中，如图6所示，参考矩形像素块确定模块包括:第一确定单元602,用于当参数信息包括目标矩形像素块的位置和参考视点的深度信息时,根据目标矩形像素块的位置确定参考矩形像素块的第一组边界值；更新单元604，用于根据参考视点的深度信息对第一组边界值进行更新，将更新后得到的结果作为参考矩形像素块的第二组边界值，其中，第二组边界值对应的参考矩形像素块的面积小于第一组边界值对应的参考矩形像素块的面积；第二确定单元606，用于根据第二组边界值在参考视点中确定参考矩形像素块。
[0091]在一个优选实施方式中，第一确定单元包括:左边界值确定子单元，用于将目标矩形像素块的左边界值减去第三预定偏移值后的值作为参考矩形像素块的第一组边界值中的左边界值；右边界值确定子单元，用于将目标矩形像素块的右边界值减去第四预定偏移值后的值作为参考矩形像素块的第一组边界值中的右边界值；上边界值确定子单元，用于将目标矩形像素块的上边界值作为第一组边界值中的上边界值；下边界值确定子单元，用于将目标矩形像素块的下边界值作为第一组边界值中的下边界值。
[0092]在一个优选实施方式中，更新单元包括:边界范围值确定子单元，用于根据目标矩形像素块边界上的一个或多个像素点的位置信息和参考视点的深度信息确定一个或多个边界范围值，其中，边界范围值包括左边界范围值和/或右边界范围值；更新子单元，用于根据确定的一个或多个边界范围值对第一组边界值进行更新。
[0093]为了使得 本发明的目的、技术方案和优点更加清楚，下面将结合几个具体的实施例对本发明进行进一步的详细描述，然而值得注意的是这些优选的实施例仅是为了更好地说明本发明，并不构成对本发明的不当限定。
[0094]首先，对下述实施例可能用到的几个名词进行说明。
[0095]I)根据投影关系计算投影坐标:例如，现在有一个参考视点中的一个像素点PA以及该像素点对应的深度值，为了计算PA在另一个目标视点中的投影坐标ppA’，可以利用pA在参考视点中的位置信息、PA对应的深度信息以及两个视点(参考视点与目标视点)的摄像机参数等信息，根据PA在空间中的位置等信息计算得到投影至目标视点中的投影坐标。投影坐标的值通常是经过量化的，即投影坐标的值一般可以表示为Ι/t的整数倍。
[0096]2)深度值:一个像素点对应的深度值表示的可以是该点对应的物理空间中物体上的那一点与摄像机之间的距离，也可以是经过转换后的中间参数，如该像素点相对于一个视点的视差值(disparity)、深度级(depth level)等。
[0097]其中，视差值(disparity) —般可以通过如下公式转换得到:
[0098]
【权利要求】
1.一种预测图像生成方法，其特征在于，包括: 根据参数信息确定参考矩形像素块，其中，所述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息； 通过所述参考视点的深度信息将所述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块； 从所述投影矩形像素块中获取预测图像。
2.根据权利要求1所述的方法，其特征在于，所述参考视点的深度信息包括以下至少之一:所述参考视点的深度图像、所述参考视点的摄像机参数信息。
3.根据权利要求1所述的方法，其特征在于，当所述参数信息包括目标矩形像素块的位置时，根据参数信息确定参考矩形像素块包括: 将所述目标矩形像素块的左边界值减去第一预定偏移值后的值作为所述参考矩形像素块的左边界值； 将所述目标矩形像素块的右边界值减去第二预定偏移值后的值作为所述参考矩形像素块的右边界值； 将所述目标矩形像素块的上边界值作为所述参考矩形像素块的上边界值； 将所述目标矩形像素块的下边界值作为所述参考矩形像素块的下边界值； 将确定的参考矩形像素块的左边界值、右边界值、上边界值以及下边界值作为所述参考矩形像素块的边界信息以在参考视点中确定所述参考矩形像素块。
4.根据权利要求3所述的方法，其特征在于，所述第一预定偏移值与所述第二预定偏移值是预先设定的一个不为O的数值。
5.根据权利要求1所述的方法，其特征在于，当所述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据参数信息确定参考矩形像素块包括: 根据所述目标矩形像素块的位置确定所述参考矩形像素块的第一组边界值； 根据所述参考视点的深度信息对所述第一组边界值进行更新，将更新后得到的结果作为所述参考矩形像素块的第二组边界值，其中，所述第二组边界值对应的参考矩形像素块的面积小于所述第一组边界值对应的参考矩形像素块的面积； 根据所述第二组边界值在参考视点中确定所述参考矩形像素块。
6.根据权利要求5所述的方法，其特征在于，根据所述目标矩形像素块的位置确定所述参考矩形像素块的第一组边界值包括: 将所述目标矩形像素块的左边界值减去第三预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的左边界值； 将所述目标矩形像素块的右边界值减去第四预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的右边界值； 将所述目标矩形像素块的上边界值作为所述第一组边界值中的上边界值； 将所述目标矩形像素块的下边界值作为所述第一组边界值中的下边界值。
7.根据权利要求6所述的方法，其特征在于，所述第三预定偏移值与所述第四预定偏移值是预先设定的一个不为O的数值。
8.根据权利要求6所述的方法，其特征在于，所述第三预定偏移值包括:所述参考视点与所述目标视点之间的最大视差值，所述第四预定偏移值包括:所述参考视点与目标视点之间的最小视差值。
9.根据权利要求6所述的方法，其特征在于，根据所述参考视点的深度信息对所述第一组边界值进行更新包括: 根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个边界范围值，其中，所述边界范围值包括左边界范围值和/或右边界范围值； 根据确定的一个或多个边界范围值对所述第一组边界值进行更新。
10.根据权利要求9所述的方法，其特征在于，根据确定的一个或多个边界范围值对所述第一组边界值进行更新包括: 从一个或多个左边界范围值中选择一个作为所述第一组边界值中的左边界值，其中，所述左边界范围值为所述目标矩形像素块左边界上的像素点对应的边界范围值；和/或从一个或多个右边界范围值中选择一个作为所述第一组边界值中的右边界值，其中，所述右边界范围值为所述目标矩形像素块右边界上的像素点对应的边界范围值。
11.根据权利要求9或10所述的方法，其特征在于， 根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个左边界范围值的步骤包括: 从所述目标矩形像素块的左边界上选择一个像素点作为第一像素点； 将所述第一组边界值中的左边界值作为第一像素点对应的左边界范围值；· 将所述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为所述参考视点中的第二坐标； 根据所述第二坐标在所述参考视点中所对应的像素点的深度信息确定所述第二坐标所对应的像素点在所述目标视点中的第一投影坐标； 当所述第一投影坐标的水平分量小于等于所述第一组边界值中的左边界值时，更新所述第一像素点对应的左边界范围值为所述第二坐标的水平分量； 和/或 根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个右边界范围值包括: 从所述目标矩形像素块的右边界上选择一个像素点作为第二像素点； 将所述第一组边界值中的右边界值作为所述第二像素点对应的右边界范围值； 将所述第二像素点的坐标偏移一个默认视差后得到的第三坐标作为所述参考视点中的第四坐标； 根据所述第四坐标在所述参考视点中所对应的像素点的深度信息确定所述第四坐标所对应的像素点在所述目标视点中的第二投影坐标； 当所述第二投影坐标的水平分量大于等于所述第一组边界值中的右边界值时， 更新所述第二像素点对应的右边界范围值为所述第四坐标的水平分量。
12.根据权利要求11所述的方法，其特征在于，所述默认视差是所述参考视点与所述目标视点之间的一个深度值所对应的视差值。
13.根据权利要求11所述的方法，其特征在于， 在判断不满足所述第一投影坐标的水平分量小于等于所述第一组边界值中的左边界值的条件，或者更新所述第一像素点对应的左边界范围值为所述第二坐标的水平分量之后，所述方法还包括: 对所述第一像素点对应的左边界范围值进行更新； 和/或 在判断不满足所述第二投影坐标的水平分量大于等于所述第一组边界值中的右边界值的条件，或者更新所述第二像素点对应的右边界范围值为所述第四坐标的水平分量之后，所述方法还包括: 对所述第二像素点对应的右边界范围值进行更新。
14.根据权利要求13所述的方法，其特征在于， 对所述第一像素点对应的左边界范 围值进行更新包括: 将所述第二坐标更新为当前第二坐标偏移第五预定偏移值之后的坐标； 根据当前所述第二坐标在所述参考视点中所对应的像素点的深度信息确定当前所述第二坐标所对应的像素点在所述目标视点中的第三投影坐标； 当所述第三投影坐标的水平分量小于等于所述第一组边界值中的左边界值，且当前所述第二坐标的水平分量大于当前所述第一像素点对应的左边界范围值时，更新所述第一像素点对应的左边界范围值为当前的所述第二坐标的水平分量； 和/或 对所述第二像素点对应的右边界范围值进行更新包括: 将所述第四坐标更新为当前第四坐标偏移第六预定偏移值之后的坐标； 根据当前所述第四坐标在所述参考视点中所对应的像素点的深度信息确定当前所述第四坐标所对应的像素点在所述目标视点中的第四投影坐标； 当所述第四投影坐标的水平分量大于等于所述第一组边界值中的右边界值，且当前所述第四坐标的水平分量大于当前所述第二像素点对应的右边界范围值时，更新所述第二像素点对应的右边界范围值为当前的所述第四坐标的水平分量。
15.根据权利要求14所述的方法，其特征在于，重复执行预定次数遍对所述第一像素点对应的左边界范围值进行更新的步骤，和/或，重复执行预定次数遍对所述第二像素点对应的左边界范围值进行更新的步骤。
16.根据权利要求14所述的方法，其特征在于，所述第五预定偏移值是由所述第一像素点坐标的水平分量和所述第二坐标所对应的像素点在所述目标视点中的投影坐标的水平分量之间的差值确定的，和/或，所述述第六预定偏移值是由所述第二像素点坐标的水平分量和所述第二坐标所对应的像素点在所述目标视点中的投影坐标的水平分量之间的差值确定的。
17.根据权利要求11所述的方法，其特征在于， 根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定多个左边界范围值包括: 采用并行方式根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定多个左边界范围值； 和/或 根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定多个右边界范围值包括: 采用并行方式根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定多个右边界范围值。
18.根据权利要求11所述的方法，其特征在于，根据确定的一个或多个边界范围值对所述第一组边界值进行更新包括: 将所述第一组边界值中的左边界值更新为所述的一个或多个左边界范围值中的最大值或最小值或中值；和/或 将所述第一组边界值中的右边界值更新为所述的一个或多个右边界范围值中的最大值或最小值或中值。
19.根据权利要求1至18中任一项所述的方法，其特征在于，所述方法应用于3D图像编解码技术中。
20.一种预测图像生成装置，其特征在于，包括: 参考矩形像素块确定模块，用于根据参数信息确定参考矩形像素块，其中，所述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息； 投影模块，用于通过所述参考视点的深度信息将所述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块； 预测图像获取模块，用于从所述投影矩形像素块中获取预测图像。
21.根据权利要求20所述的装置，其特征在于，所述参考矩形像素块确定模块包括: 第一确定单元，用于当所述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据所述目标矩形像素块的位置确定所述参考矩形像素块的第一组边界值； 更新单元，用于根据所述参考视点的深度信息对所述第一组边界值进行更新，将更新后得到的结果作为所述参考矩形像素块的第二组边界值，其中，所述第二组边界值对应的参考矩形像素块的面积小于所述第一组边界值对应的参考矩形像素块的面积； 第二确定单元，用于根据所述第二组边界值在参考视点中确定所述参考矩形像素块。
22.根据权利要求21所述的装置，其特征在于，所述第一确定单元包括: 左边界值确定子单元，用于将所述目标矩形像素块的左边界值减去第三预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的左边界值； 右边界值确定子单元，用于将所述目标矩形像素块的右边界值减去第四预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的右边界值； 上边界值确定子单元，用于将所述目标矩形像素块的上边界值作为所述第一组边界值中的上边界值； 下边界值确定子单元，用于将所述目标矩形像素块的下边界值作为所述第一组边界值中的下边界值。
23.根据权利要求21所述的装置，其特征在于，所述更新单元包括: 边界范围值确定子单元，用于根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个边界范围值，其中，所述边界范围值包括左边界范围值和/或右边界范围值； 更新子单元，用于根据确定的一个或多个边界范围值对所述第一组边界值进行更新。
24.根据权利要求23所述的装置，其特征在于，所述边界范围值确定子单元还用于按照以下方式确定一个或多个左边界范围值: 从所述目标矩形像素块的左边界上选择一个像素点作为第一像素点； 将所述第一组边界值中的左边界值作为第一像素点对应的左边界范围值； 将所述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为所述参考视点中的第二坐标； 根据所述第二坐标在所述参考视点中所对应的像素点的深度信息确定所述第二坐标所对应的像素点在所述目标视点中的第一投影坐标； 当所述第一投影坐标的水平分量小于等于所述第一组边界值中的左边界值时，更新所述第一像素点对应的左边界范围值为所述第二坐标的水平分量； 和/或 所述边界范围值确定子单元还用于按照以下方式确定一个或多个右边界范围值: 从所述目标矩形像素块的右边界上选择一个像素点作为第二像素点； 将所述第一组边界值中的右边界值作为所述第二像素点对应的右边界范围值； 将所述第二像素点的坐标偏移一个默认视差后得到的第三坐标作为所述参考视点中的第四坐标； 根据所述第四坐标在所述参考视点中所对应的像素点的深度信息确定所述第四坐标所对应的像素点在所述目标视点中的第二投影坐标； 当所述第二投影坐标的水平分量大于等于所述第一组边界值中的右边界值时， 更新所述第二像素点对应的右边界范围值为所述第四坐标的水平分量。
【文档编号】H04N19/597GK103716641SQ201210376819
【公开日】2014年4月9日 申请日期:2012年9月29日 优先权日:2012年9月29日
【发明者】虞露, 张熠辰, 赵寅, 洪英杰, 李明 申请人:浙江大学, 中兴通讯股份有限公司