利用稀释卷积实现多尺度光流像素变换的方法和装置与流程

本发明总体上涉及图像处理领域，更特别地，涉及一种用于光流场金字塔的、利用稀释卷积实现多尺度光流像素变换的方法和装置、以及电子设备。

背景技术：

视频预测可广泛应用于多种领域，例如可以用于辅助驾驶中，基于当前的驾驶环境预测将来的驾驶环境，从而提前采取相应的驾驶策略。一种常用的视频预测方法包括使用光流场，光流场描述图像序列中相邻图像帧之间对应像素的位移矢量，图1a示出了示例性后验光流场，图1b示出了示例性先验光流场。如图1a所示，当已知了前一图像帧1和后一图像帧2时，即可确定图像帧1和图像帧2之间对应像素的光流场，其称为后验光流场，图1a中作为示例示出了圆形像素和三角形像素的位移矢量。如图1b所示，当已知图像帧1，但是并不知道下一图像帧2时，可以基于已知图像帧1估计先验光流场，其表示像素可能的位移矢量及其概率，根据光流场通过对相应的像素应用仿射变换，即可得到可能的图像帧2，例如图1b所示的具有概率a的可能的图像帧2和具有概率b的可能的图像帧2。因此，当根据若干已知图像帧预测出先验光流场时，即可通过像素的仿射变换来获得预测图像帧。

针对图像序列预测问题进行光流场的估计时，需要能够兼顾预测精度和输出的动态范围。图像中像素位移的大小可能因车辆移动速度而发生变化，同一帧图像中不同像素的位移也有可能彼此差异较大。为了能够在预测过程中兼顾不同速度的像素运动模式，对应光流场的矢量长度需要有很大的动态范围。另一方面，在同样的相对预测精度下，增大动态范围意味着绝对精度的降低；而保证绝对预测精度则意味着需要限制预测动态范围，这构成了一项需要调和的基本矛盾。现有的单一尺度下的光流场预测很难兼顾精度与动态范围，一般需要通过牺牲动态范围的方式来保证精度，例如通过限制光流场的最大长度，或通过数学方法平衡不同长度光流数据样本对于最终模型估计的贡献。

在更一般的光流估计问题中，已有工作提出了基于空间金字塔的光流场估计方法，其相对于单一空间尺度的光流场估计方法而言，能够更好地兼顾精度和动态范围。基于空间金字塔的光流场估计方法将光流场的估计问题拆解为多个空间尺度上子光流场估计问题的叠加，可以看做多个相对精度相似的光流场估计器的级联：金字塔的顶层估计粗糙空间尺度上的光流场，底层在粗糙空间尺度光流场的基础上估计空间尺度相对较小的残差光流场。在空间金字塔的各个层级中，多尺度的图像像素变换操作通过对原图像按尺度比例进行双线性插值缩放，并在缩放过后的图像上进行像素仿射变换，实现多尺度的光流图像变换操作。

但是，这些方法都是针对非预测类任务的后验估计方法(图1a所示)，与预测类任务的先验估计方法(图1b所示)有很大区别。具体来说，在后验估计中图像序列中所有图像帧在估计时均为已知，此时图像帧之间的光流场是确定性的；而在图像序列预测任务中光流场的估计是先验的，即需要预测未知图像帧之间的光流场。因为预测问题的不确定性，未知图像帧之间的光流场是随机的，需要估计光流场各种可能取值情况的概率分布。如何表达和估计一个空间金字塔上的随机光流场概率分布，以及如何利用得到的随机光流场进行预测推断，并高效地进行像素级图像变换，都是尚未解决的问题。目前，尚没有合适的方法将空间金字塔的思想应用于预测类任务的先验光流场估计中。

另一方面，为了实现多尺度光流金字塔，需要在金字塔的各个层级中首先对输入图像按光流场工作尺度进行缩放，然后在缩放过后的图像上基于光流场进行像素仿射变换，最后将变换后的图像缩放回原尺度或另一个目标尺度。例如，如果光流场工作尺度为原尺度的2倍，那么首先将输入图像缩小为原来的二分之一，在缩小后的图像上进行像素变换，最后将小图通过双线性插值等算法放大到原尺度。在这些图像缩放过程中，不可避免地会造成像素的模糊化，从而影响预测精度，不利于预测结果的后续利用。

因此，在图像序列预测任务中进行光流场估计时，仍需要解决上述问题。

技术实现要素：

本发明的一个方面在于提供一种利用光流场的图像预测方法，其能够确保期望的动态范围，并且提供改善的精度。

根据一示例性实施例，提供一种用于金字塔光流估计器的、利用稀释卷积实现多尺度光流像素变换的方法，所述金字塔光流估计器包括至少两层光流估计器，所述方法包括：每层光流估计器使用已知图像帧和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场，所述当前层光流场具有当前层工作尺度；确定与所述当前层光流场对应的当前层卷积核；对所述当前层卷积核进行稀释处理以获得当前层稀释卷积核；使用所述当前层稀释卷积核对所述上一层预测图像帧进行光流像素变换处理以获得当前层预测图像帧，其中，作为第一层光流估计器的输入的上一层预测图像帧为零，且其中，每层光流场的工作尺度彼此不同。

在一些示例中，所述已知图像帧和每层预测图像帧具有相同的图像尺寸。

在一些示例中，上一层光流场的工作尺度大于下一层光流场的工作尺度。

在一些示例中，上一层光流场的工作尺度是下一层光流场的工作尺度的两倍。

在一些示例中，最底层光流场的工作尺度对应于所述已知图像帧的图像尺寸，且最底层稀释卷积核的稀释倍数为1。

在一些示例中，每层光流估计器估计的当前层光流场是预测目标与上一层预测图像帧之间的残差光流场。

在一些示例中，使用所述当前层稀释卷积核对所述上一层预测图像帧进行光流像素变换处理的步骤还包括对所述上一层预测图像帧的边界进行扩展填充。

在一些示例中，所述扩展填充包括循环填充、镜像填充或固定值填充。

在一些示例中，所述金字塔光流估计器的每层光流估计器包括全卷积网络或循环卷积网络。

在一些示例中，所述金字塔光流估计器的每层光流估计器产生的光流场包括随机光流场概率分布，与每层光流场对应的当前层卷积核包括多个非零值。

在一些示例中，对当前层卷积核进行稀释处理包括在卷积核的行和列之间添加强制全零区。

根据另一示例性实施例，提供一种利用稀释卷积实现多尺度光流像素变换的装置，包括：金字塔光流估计器，包括至少两层光流估计器；以及卷积模块，包括卷积核确定单元、卷积核稀释单元和卷积执行单元，其中，所述金字塔光流估计器的每层光流估计器使用已知图像帧和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场，所述当前层光流场具有当前层工作尺度，所述卷积核确定单元确定与所述当前层光流场对应的当前层卷积核，所述卷积核稀释单元对所述当前层卷积核进行稀释处理以获得当前层稀释卷积核，所述卷积执行单元使用所述当前层稀释卷积核对所述上一层预测图像帧进行光流像素变换处理以获得当前层预测图像帧，其中，作为第一层光流估计器的输入的上一层预测图像帧为零，且其中，每层光流场的工作尺度彼此不同。

在一些示例中，所述卷积模块还包括图像扩展单元，所述图像扩展单元配置为在使用所述当前层稀释卷积核对所述上一层预测图像帧进行光流像素变换处理时对所述上一层预测图像帧的边界进行扩展填充。

根据另一示例性实施例，提供一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述方法。

根据另一示例性实施例，提供一种车辆，包括上述电子设备。

根据另一示例性实施例，提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述方法。

在本发明的上述实施例中，通过将空间金字塔的思想应用于预测类任务的先验光流场估计中，能兼顾预测精度和输出的动态范围，从而实现了良好的预测效果。而且，通过采用稀释卷积，可以在图像的原尺度上进行像素变换，避免了缩放过程造成的信息损失，从而能够提供改善的预测精度。

本发明的上述和其他特征和优点将从下面结合附图对示例性实施例的描述而变得显而易见。

附图说明

图1a示出后验光流场的示意图。

图1b示出先验光流场的示意图。

图2示出根据本发明一示例性实施例的图像预测方法的训练过程的示意图。

图3a和图3b分别示出示例性卷积核和稀释卷积核。

图4示出根据本发明一示例性实施例的图像预测方法的预测过程的示意图。

图5示出根据本发明一示例性实施例的图像预测装置的功能框图。

图6示出根据本发明一示例性实施例的电子设备的结构框图。

图7示出根据本发明一示例性实施例的配备有图6的电子设备的车辆的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。注意，附图不是按比例绘制的。

图2示出根据本发明一示例性实施例的图像预测方法的训练过程的示意图，图4示出根据本发明一示例性实施例的图像预测方法的预测过程的示意图。在本发明的图像预测方法中，采用了光流金字塔的思想。具体而言，在图2的示例中，采用了层1光流估计器10a、层2光流估计器10b和层3光流估计器10c，其构成金字塔光流估计器10。虽然这里示出了3层估计器，但是应理解，金字塔光流估计器10可包括例如2层估计器、4层估计器或更多层估计器等。

在训练时，已知图像帧1，其可包括多个已知图像帧，被提供给各层的光流估计器10a、10b和10c。各层光流估计器10a、10b和10c可包括卷积网络，例如可包括全卷积网络、循环卷积网络等。应注意，在这里，原始尺寸的已知图像帧1被提供给各层光流估计器10a、10b和10c，而各层光流估计器10a、10b和10c产生的当前层光流场11具有不同的工作尺度，光流场11的工作尺度可由其对应的光流估计器10决定。在图2中，作为最底层的层3估计器10c可产生与已知图像帧1的原始尺寸对应的光流场11c，此时可认为光流场11c的工作尺度为与原始图像帧1对应的基础尺度。层2估计器10b则产生与原始图像尺寸的二分之一大小对应的光流场11b，此时可认为光流场11b的工作尺度是光流场11c的工作尺度的2倍。层1估计器10a则产生与原始图像尺寸的四分之一大小对应的光流场11a，此时可认为光流场11a的工作尺度是光流场11b的工作尺度的2倍，是光流场11c的工作尺度的4倍。虽然这里示出了上层光流场的工作尺度是下层光流场的工作尺度的2倍，但是应理解，也可以是其他比例。一般而言，上层光流场的工作尺度大于下层光流场的工作尺度，但是也可以存在其他情况。例如，上层光流场的工作尺度等于下层光流场的工作尺度，从而通过重复计算来提高预测的准确性，或者甚至某一上层光流场的工作尺度可以小于下层光流场的工作尺度。

各层光流估计器10接收原始尺寸的已知图像帧1，并且还接收直接相邻的上一层光流估计器产生的上一层预测图像帧2，将二者作为输入，来估计当前层光流场11。对于最上层的光流估计器10a而言，其不接收上一层预测图像帧2，或者说其接收到的上一层预测图像帧2为零。下面来具体描述该过程。

如图2所示，层1估计器10a接收已知图像帧1，并且产生已知帧到未来帧之间的层1先验光流场分布11a，其工作尺度为4(即，基础尺度的4倍)。在一些实施例中，层1估计器10a(以及后面描述的估计器10b和10c)可产生随机光流场概率分布，然后通过平均、采样、取最大概率等方式，从随机光流场概率分布产生确定的先验光流场11a，或者可以直接将随机光流场概率分布用作先验光流场11a。然后，可确定与层1光流场11a对应的卷积核12a，其工作尺度与层1光流场11a相同，也为4。这里应用的原理是：当利用仅有一个非零项的卷积核对图像帧进行卷积操作时，等价于对该图像进行平移操作。但是应理解，每层的卷积核12可以具有多个非零项，因为卷积操作的线性性质，多个非零项等价于按照各项取值对各种平移操作作线性叠加，因此这样的卷积核可表达一个离散的概率分布，因此可以用于先验光流场11a是随机光流场概率分布的情况，高效地求取随机光流场概率分布的平均预测图像。

然后，可对层1卷积核12a进行稀释处理以获得层1稀释卷积核13a。这里，稀释卷积核13a应具有工作尺度1(即基础尺度)，因此需要将层1卷积核12a稀释4倍，稀释即在卷积核12a的行和列之间增加强制全零区，图3a和图3b示出了稀释的示例。

图3a示出了一个3*3的示例卷积核，可以理解，其可以将图像上的像素点在每个维度上移动一个像素。如果要将该3*3卷积核稀释2倍，使得其可以将像素点移动两个像素，则在该3*3卷积核的每行和每列之间增加一行或一列强制全零区(即该区域中的取值均未零)，从而得到5*5卷积核，如图3b所示。虽然未示出，但是应理解，如果要将该3*3卷积核稀释4倍，使得其可以将像素点移动四个像素，则在该3*3卷积核的每行和每列之间增加三行或三列强制全零区，从而得到9*9卷积核。与此类似，5*5卷积核可以将像素点移动两个像素，如果将5*5卷积核稀释2倍，使得其可以将像素点移动四个像素，则在该5*5卷积核的每行和每列之间增加一行或一列强制全零区。如果将5*5卷积核稀释4倍，使得其可以将像素点移动八个像素，则在该5*5卷积核的每行和每列之间增加三行或三列强制全零区。这里不再一一举例。

然后，利用层1稀释卷积核13a对原始尺寸的已知图像帧1进行光流像素变换(warpping)处理，产生层1预测图像帧2a。应理解，稀释卷积核13a的工作尺度为基础尺度，并且已知图像帧1具有原始尺寸，因此层1预测图像帧2a的图像尺寸也等于已知帧1的原始图像尺寸。在利用层1稀释卷积核13a进行光流像素变换处理时，为了避免像素被移动到图像边界之外而消失，还可以对已知图像帧1的边界进行扩展填充(padding)。典型的扩展填充方式包括循环填充、镜像填充、固定值(例如零或其他背景像素值)填充等。

然后，可以将层1预测图像帧2a与预测帧真值，即下一帧3进行比较，计算二者之间的误差。可以理解，下一帧3的图像尺寸也可以等于已知帧1的原始尺寸。以层1预测图像帧2a和下一帧3之间的误差为训练代价，来优化层1估计器10a。

类似地，层2估计器10b接收已知图像帧1，并且还接收上一层光流估计器10a产生的层1预测图像帧2a，产生层2先验光流场11b。这里，已知图像帧1和层1预测图像帧2a二者具有相同的原始尺寸，而层2先验光流场11b的工作尺度可以是基础尺度的2倍，即对应于原始图像尺寸的二分之一。相对于工作尺度为4的层1，层2可以在更精细的尺度上进行先验光流场估计。层2估计器10b产生来自上一层的粗糙尺度上的光流场与目标光流场之间的残差光流场作为层2先验光流场分布11b，目标光流场即已知图像帧1与预测目标帧之间光流场。或者说，层2估计器10b估计预测目标与上一层预测图像帧之间的残差光流场。应理解，实际上层1估计器10a也是产生预测目标与上一层预测图像帧之间的残差光流场，只是其收到的上一层预测图像帧为零。

类似地，产生与层2先验光流场11b对应的卷积核12b，并且对其进行稀释处理以得到层2稀释卷积核13b。这里，仅需要将层2卷积核12b稀释2倍，即可使得层2稀释卷积核13b的工作尺度为基础尺度。然后，利用层2稀释卷积核13b对层1预测图像帧2a进行光流像素变换处理，产生层2预测图像帧2b，其图像尺寸也等于已知帧1的原始图像尺寸。然后，可以将层2预测图像帧2b与预测帧真值，即下一帧3进行比较，计算二者之间的误差，以该误差为训练代价，来优化层2估计器10b。

与层2类似，层3估计器10c利用已知图像帧1和上一层预测图像帧2b产生层3先验光流场11c。在图2的示例中，层3为最底层，或者说基础层，层3光流场11c的工作尺度可以为基础尺度。因此，在确定与层3光流场11c对应的层3卷积核12c之后，对层3卷积核12c进行稀释处理时，稀释倍数为1，即稀释卷积核13c与卷积核12c相同，或者说可以不对层3卷积核12c进行稀释。然后，利用层3稀释卷积核13c对层2预测图像帧2b进行光流像素变换处理，产生层3预测图像帧2c，其图像尺寸也等于已知帧1的原始图像尺寸。然后，可以将层3预测图像帧2c与预测帧真值，即下一帧3进行比较，计算二者之间的误差，以该误差为训练代价，来优化层3估计器10c。

如上所述，光流分布11a、11b和11c为不同尺度下的光流分布，其构成了光流金字塔11。利用稀释卷积，实现了不同尺度下的光流变换操作，使得预测图像帧2a、2b和2c都具有与已知帧1相同的原始尺寸，避免了因为图像缩放而带来的图像像素信息损失和预测精度下降，而且有助于训练过程产生更准确的预测模型。

上面结合图2描述了无监督的训练方式，应理解，在图2所示的框架下，还可以进行有监督训练或者其他方式的无监督训练。例如，作为有监督训练的示例，训练数据集可包括图像帧之间的光流场真值，此时可以将部分图像帧当做已知帧，将剩余的后续图像帧当做预测目标帧，将相应光流场数据作为监督信号训练当前金字塔在已知帧下的输出。另一种无监督训练方式可包括通过后验光流估计的方法得到已知帧与目标帧之间的光流场的一个后验估计，再使用这个后验估计作为监督信号，通过类似有监督的方式训练估计器生成先验光流场。当然，其他训练方式也是可能的。

当完成了上述训练过程后，即可使用训练好的估计器来进行图像预测，下面参照图4来描述图像预测过程。与图2所示的训练过程类似，简言之，每层光流估计器使用已知图像帧和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场，并且确定与当前层光流场对应的卷积核。然后，可以对卷积核进行稀释，使得稀释卷积核的工作尺度为基础尺度，然后利用稀释卷积核对上一层预测图像帧进行光流像素变换以产生当前层预测图像帧，其具有与已知帧相同的原始图像尺寸。基础层产生的当前层预测图像帧即为最终的预测结果被输出。其中，作为第一层光流估计器的输入的上一层预测图像帧为零，并且第一层稀释卷积核对已知图像帧进行光流像素变换处理以获得第一层预测图像帧。

参照图4，已知图像帧1被提供给层1估计器10a，其产生工作尺度为4的层1光流场11a。确定与层1光流场11a对应的卷积核12a，然后将卷积核12a稀释4倍以得到工作尺度为1的稀释卷积核13a。利用稀释卷积核13a对已知帧1进行处理，获得层1预测图像帧2a，其具有与已知帧1相同的图像尺寸。

已知图像帧1还被提供给层2估计器10b，其还接收上一层预测图像帧2a，产生预测目标与上一层预测图像帧2a之间的残差光流场，作为层2光流场11b，其工作尺度为2。确定与层2光流场11b对应的卷积核12b，然后将卷积核12b稀释2倍以得到工作尺度为1的稀释卷积核13b。利用稀释卷积核13b对上一层预测图像帧2a进行处理，获得层2预测图像帧2b，其具有与已知帧1相同的图像尺寸。

已知图像帧1还被提供给层3估计器10c，其还接收上一层预测图像帧2b，产生预测目标与上一层预测图像帧2b之间的残差光流场，作为层3光流场11c，其工作尺度为1。确定与层3光流场11c对应的卷积核12c，然后将卷积核12b稀释1倍(或者说不稀释)以得到工作尺度为1的稀释卷积核13c。利用稀释卷积核13c对上一层预测图像帧2b进行处理，获得层3预测图像帧2c，其具有与已知帧1相同的图像尺寸。由于层3是基础层，所以层3预测图像帧2c被作为最终预测结果输出。在一些实施例中，作为预测结果的层3预测图像帧2c还可以被用作已知图像帧1，来进一步预测下一图像帧。

图5示出根据本发明一示例性实施例的图像预测装置100的功能框图。如图5所示，根据本发明一示例性实施例的图像预测装置100可包括训练单元110、金字塔光流估计器120和卷积模块130。

金字塔光流估计器120可包括至少两层光流估计器，例如图5所示的层1估计器121和层2估计器122等，每层光流估计可使用已知图像帧和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场。其中，作为第一层光流估计器121的输入的上一层预测图像帧为零。

虽然未示出，卷积模块130可包括与每层光流估计器对应的卷积核确定单元131、卷积核稀释单元132、以及卷积执行单元133。卷积核确定单元131可确定与当前层预测图像帧对应的当前层卷积核，卷积核稀释单元132可以对当前层卷积核进行稀释处理，以得到工作尺度为1(即，基础尺寸)的稀释卷积核。然后，卷积执行单元133可利用所得到的稀释卷积核对上一层预测图像帧进行光流像素变换处理，以得到当前层预测图像帧。对于第一层卷积执行单元而言，其可以使用第一层稀释卷积核对已知图像帧进行处理来生成第一层预测图像帧。其中，最后一层预测图像帧被作为预测结果输出。

训练单元110则可用于利用训练数据集对金字塔光流估计器120进行训练，具体训练过程可参照上面结合图2描述的实施例，此处不再重复描述。

上述图像预测装置100中的各个单元和模块的具体功能和操作已经在上面参考图2到图4描述的图像预测方法中得到了详细介绍，因此这里仅简要说明，而省略了其重复详细描述。

根据本申请实施例的图像预测装置100可以实现在图像预测设备中，例如可以作为一个软件模块和/或硬件模块而集成到图像预测设备中。图6示出可实现图像预测装置100的示例性电子设备200的结构框图。

如图6所示，电子设备200包括一个或多个处理器210和存储器220。

处理器210可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备200中的其他组件以执行期望的功能，例如上述图像预测功能。

存储器220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像预测方法以及/或者其他期望的功能。

在一个示例中，电子设备200还可以包括输入单元230和输出单元240，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入单元230可用于接收连续视频图像，例如输入单元230可连接到车载摄像头以接收其所拍摄的视频图像，该视频图像可用于进行上面描述的训练或预测过程。输出单元240可输出预测结果，例如可以将预测结果输出到车载辅助驾驶系统。车载辅助驾驶系统可以基于该预测结果来做出驾驶策略判断，从而实现安全可靠的辅助驾驶。

当然，为了简化，图6中仅示出了该电子设备200中与本申请有关的组件中的一些，而省略了许多其他必要或可选的组件。除此之外，根据具体应用情况，电子设备200还可以包括任何其他适当的组件。

图7示出了可配备这样的电子设备200的车辆的示意图。如图7所示，车辆300可包括摄像头301和电子设备310。摄像头301可以是单目、多目摄像头，也可以是红外摄像头、激光雷达等，以拍摄周围驾驶环境的图像。电子设备310可以实现为参照图6描述的电子设备200，其接收来自摄像头301的视频图像，以执行前述训练或预测过程。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上面描述的根据本申请各种实施例的图像预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上面描述的根据本申请各种实施例的图像预测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。