视频图像的处理方法及处理装置与流程
本发明涉及图像处理技术领域，具体而言，涉及一种视频图像的处理方法和一种视频图像的处理装置。
背景技术：
视频图像着色的目标是给一串连续的灰度视频帧着颜色。这些视频帧之间在空域上存在很大的相似性，这对着色有很大的帮助。
相关技术中，基于帧间传播的信息类型，对视频图像着色的方法主要有两种：
第一种：在某一帧画下辅助着色的颜色线条作为所有帧颜色恢复的参考信息。具体地，传播画下的线条时，可以通过解函数方程传播线条颜色到整个灰度帧，或通过把测地距离作为权值传播颜色，或通过计算运动矢量和初始权值传播颜色，或设计一个基于时空的保留时间一致性来进行颜色传播。但是上述方法仅仅依赖在某一帧画下的协助颜色恢复的线条对整个视频序列着色，恢复结果往往与实际情况相差较大，并且这些方法还需要交互。
另一种：利用完整的某一帧的颜色信息来顺序恢复其他灰度帧颜色。具体地，可通过基于灰度值的像素点匹配来恢复目标灰度帧的颜色，或通过计算运动向量来复制源彩色帧的颜色到其他灰度帧，但是由于运动向量的计算会有误差而且不是所有像素点都能被计算出运动向量，上述这些方法的效果都有瑕疵，或通过一种帧间块匹配的方法，在匹配源彩色帧和目标灰度帧后替换对应块的颜色从而对整个序列着色，但是直接将块的对应颜色替换结果常会有瑕疵，而且块匹配也会发生匹配错误的情况，对视频图像着色不准确，导致颜色的错误传播。
因此，如何能够准确地对视频图像进行着色成为亟待解决的技术问题。
技术实现要素：
本发明正是基于上述技术问题至少之一，提出了一种新的视频图像的处理方案，能够根据每帧待着色视频图像与已着色视频图像，以及其他待着色视频图像之间的偏离值，选取出每次进行处理的待着色视频图像，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色。
有鉴于此，本发明提出了一种视频图像的处理方法，包括：基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及所述每帧待着色视频图像与所述待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从所述待着色视频图像集合中选取将要进行处理的待着色视频图像；从所述已着色视频图像集合中，选取对所述待着色视频图像进行着色处理时的参考视频图像；根据所述参考视频图像，对所述待着色视频图像进行着色处理，并在完成对所述待着色视频图像的着色处理后，再次选取将要进行处理的待着色视频图像，并对其进行着色处理，直至完成对所述待着色视频图像集合中的所有待着色视频图像的着色处理。
在该技术方案中，在对视频图像进行着色处理的过程中，通过基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从待着色视频图像集合中选取将要进行处理的待着色视频图像，并从已着色视频图像集合中，选取对待着色视频图像进行着色处理时的参考视频图像，以根据参考视频图像，对待着色视频图像进行着色处理，使得每次进行着色处理时，均能选取出适合的待着色视频图像来进行着色处理，而非按照视频图像的固有顺序来依次进行颜色的恢复，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色。
在上述技术方案中，优选地，从所述待着色视频图像集合中选取将要进行处理的待着色视频图像的步骤，具体包括：计算所述每帧待着色视频图像与所述已着色视频图像集合中的所有已着色视频图像之间的平均偏离值，以作为所述第一偏离值；计算所述每帧待着色视频图像与所述其他待 着色视频图像之间的平均偏离值，以作为所述第二偏离值；从所述待着色视频图像集合中，选取满足以下公式的任一帧待着色视频图像作为所述待着色视频图像：
其中，
在该技术方案中，通过将每帧待着色视频图像与所有已着色视频图像之间的平均偏离值作为第一偏离值，以及将每帧待着色视频图像与其他待着色视频图像之间的平均偏离值作为第二偏离值，尽可能地降低对偏离值的计算误差，确保了每次都能准确地选取出待着色视频图像。其中，优选地，α＝1。
在上述任一项技术方案中，优选地，从所述已着色视频图像集合中，选取对所述待着色视频图像进行着色处理时的参考视频图像的步骤，具体包括：从所述已着色视频图像集合中，选取与所述待着色视频图像之间的偏离值最小的至少一帧已着色视频图像，作为所述参考视频图像。
在该技术方案中，通过选取与待着色视频图像之间的偏离值最小的至少一帧已着色视频图像作为参考视频图像，优选地，选取与待着色视频图像之间的偏离值最小的两帧已着色视频图像，使得在颜色恢复过程中，可以利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
在上述任一项技术方案中，优选地，根据所述参考视频图像，对所述待着色视频图像进行着色处理的步骤，具体包括：根据所述参考视频图像，对所述待着色视频图像进行初始化着色处理，以得到处理后的视频图像；根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理，以完成对所述待着色视频图像的着色处理。
在该技术方案中，通过根据参考视频图像，对待着色视频图像进行初始化着色处理，以得到处理后的视频图像，初始化处理后的视频图像可能仅部分像素恢复颜色，所以仍需要通过处理后的视频图像中的已着色像素， 对处理后的视频图像中的待着色像素进行着色处理，以确保待着色视频图像中的所有像素的颜色均得到恢复。
在上述任一项技术方案中，优选地，根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理的步骤，具体包括：确定所述已着色像素的置信度和颜色；根据所述已着色像素的置信度和颜色，对所述待着色像素进行着色处理。
在该技术方案中，通过已着色像素的置信度和颜色，对待着色像素进行着色处理，以准确地对待着色像素进行颜色恢复。
根据本发明的第二方面，提出了一种视频图像的处理装置，包括：第一选取单元，用于基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及所述每帧待着色视频图像与所述待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从所述待着色视频图像集合中选取将要进行处理的待着色视频图像；第二选取单元，用于从所述已着色视频图像集合中，选取对所述待着色视频图像进行着色处理时的参考视频图像；控制单元，用于根据所述参考视频图像，对所述待着色视频图像进行着色处理，并在完成对所述待着色视频图像的着色处理后，再次选取将要进行处理的待着色视频图像，并对其进行着色处理，直至完成对所述待着色视频图像集合中的所有待着色视频图像的着色处理。
在该技术方案中，在对视频图像进行着色处理的过程中，通过基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从待着色视频图像集合中选取将要进行处理的待着色视频图像，并从已着色视频图像集合中，选取对待着色视频图像进行着色处理时的参考视频图像，以根据参考视频图像，对待着色视频图像进行着色处理，使得每次进行着色处理时，均能选取出适合的待着色视频图像来进行着色处理，而非按照视频图像的固有顺序来依次进行颜色的恢复，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色。
在上述技术方案中，优选地，所述第一选取单元具体用于：计算所述每帧待着色视频图像与所述已着色视频图像集合中的所有已着色视频图像之间的平均偏离值，以作为所述第一偏离值；计算所述每帧待着色视频图像与所述其他待着色视频图像之间的平均偏离值，以作为所述第二偏离值；从所述待着色视频图像集合中，选取满足以下公式的任一帧待着色视频图像作为所述待着色视频图像：
其中，
在该技术方案中，通过将每帧待着色视频图像与所有已着色视频图像之间的平均偏离值作为第一偏离值，以及将每帧待着色视频图像与其他待着色视频图像之间的平均偏离值作为第二偏离值，尽可能地降低对偏离值的计算误差，确保了每次都能准确地选取出待着色视频图像。其中，优选地，α＝1。
在上述任一项技术方案中，优选地，所述第二选取单元具体用于：从所述已着色视频图像集合中，选取与所述待着色视频图像之间的偏离值最小的至少一帧已着色视频图像，作为所述参考视频图像。
在该技术方案中，通过选取与待着色视频图像之间的偏离值最小的至少一帧已着色视频图像作为参考视频图像，优选地，选取与待着色视频图像之间的偏离值最小的两帧已着色视频图像，使得在颜色恢复过程中，可以利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
在上述任一项技术方案中，优选地，所述控制单元包括：第一处理单元，用于根据所述参考视频图像，对所述待着色视频图像进行初始化着色处理，以得到处理后的视频图像；第二处理单元，用于根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理，以完成对所述待着色视频图像的着色处理。
在该技术方案中，通过根据参考视频图像，对待着色视频图像进行初 始化着色处理，以得到处理后的视频图像，初始化处理后的视频图像可能仅部分像素恢复颜色，所以仍需要通过处理后的视频图像中的已着色像素，对处理后的视频图像中的待着色像素进行着色处理，以确保待着色视频图像中的所有像素的颜色均得到恢复。
在上述任一项技术方案中，优选地，所述第二处理单元具体用于：确定所述已着色像素的置信度和颜色；根据所述已着色像素的置信度和颜色，对所述待着色像素进行着色处理。
在该技术方案中，通过已着色像素的置信度和颜色，对待着色像素进行着色处理，以准确地对待着色像素进行颜色恢复。
通过以上技术方案，能够根据每帧待着色视频图像与已着色视频图像，以及其他待着色视频图像之间的偏离值，选取出每次进行处理的待着色视频图像，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色，同时可利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
附图说明
图1示出了根据本发明的实施例的视频图像的处理方法的示意流程图；
图2示出了根据本发明的实施例的视频图像的处理装置的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的视频图像的处理方法的示意流程图。
如图1所示，根据本发明的实施例的视频图像的处理方法，包括：
步骤102，基于待着色视频图像集合中的每帧待着色视频图像与已着 色视频图像集合之间的第一偏离值，以及所述每帧待着色视频图像与所述待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从所述待着色视频图像集合中选取将要进行处理的待着色视频图像。优选地，计算所述每帧待着色视频图像与所述已着色视频图像集合中的所有已着色视频图像之间的平均偏离值，以作为所述第一偏离值；计算所述每帧待着色视频图像与所述其他待着色视频图像之间的平均偏离值，以作为所述第二偏离值；从所述待着色视频图像集合中，选取满足以下公式的任一帧待着色视频图像作为所述待着色视频图像：
其中，
步骤104，从所述已着色视频图像集合中，选取对所述待着色视频图像进行着色处理时的参考视频图像。优选地，从所述已着色视频图像集合中，选取与所述待着色视频图像之间的偏离值最小的至少一帧已着色视频图像，作为所述参考视频图像。通过选取与待着色视频图像之间的偏离值最小的至少一帧已着色视频图像作为参考视频图像，优选地，选取与待着色视频图像之间的偏离值最小的两帧已着色视频图像，使得在颜色恢复过程中，可以利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
步骤106，根据所述参考视频图像，对所述待着色视频图像进行着色处理，并在完成对所述待着色视频图像的着色处理后，再次选取将要进行处理的待着色视频图像，并对其进行着色处理，直至完成对所述待着色视频图像集合中的所有待着色视频图像的着色处理。
在该技术方案中，在对视频图像进行着色处理的过程中，通过基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的 第一偏离值，以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从待着色视频图像集合中选取将要进行处理的待着色视频图像，并从已着色视频图像集合中，选取对待着色视频图像进行着色处理时的参考视频图像，以根据参考视频图像，对待着色视频图像进行着色处理，使得每次进行着色处理时，均能选取出适合的待着色视频图像来进行着色处理，而非按照视频图像的固有顺序来依次进行颜色的恢复，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色。
在上述任一项技术方案中，优选地，根据所述参考视频图像，对所述待着色视频图像进行着色处理的步骤，具体包括：根据所述参考视频图像，对所述待着色视频图像进行初始化着色处理，以得到处理后的视频图像；根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理，以完成对所述待着色视频图像的着色处理。
在该技术方案中，通过根据参考视频图像，对待着色视频图像进行初始化着色处理，以得到处理后的视频图像，初始化处理后的视频图像可能仅部分像素恢复颜色，所以仍需要通过处理后的视频图像中的已着色像素，对处理后的视频图像中的待着色像素进行着色处理，以确保待着色视频图像中的所有像素的颜色均得到恢复。
在上述任一项技术方案中，优选地，根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理的步骤，具体包括：确定所述已着色像素的置信度和颜色；根据所述已着色像素的置信度和颜色，对所述待着色像素进行着色处理。
在该技术方案中，通过已着色像素的置信度和颜色，对待着色像素进行着色处理，以准确地对待着色像素进行颜色恢复。
图2示出了根据本发明的实施例的视频图像的处理装置的示意框图。
如图2所示，根据本发明的实施例的视频图像的处理装置200，包括：第一选取单元202、第二选取单元204和控制单元206。
其中，第一选取单元202，用于基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及所述每帧待 着色视频图像与所述待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从所述待着色视频图像集合中选取将要进行处理的待着色视频图像；第二选取单元204，用于从所述已着色视频图像集合中，选取对所述待着色视频图像进行着色处理时的参考视频图像；控制单元206，用于根据所述参考视频图像，对所述待着色视频图像进行着色处理，并在完成对所述待着色视频图像的着色处理后，再次选取将要进行处理的待着色视频图像，并对其进行着色处理，直至完成对所述待着色视频图像集合中的所有待着色视频图像的着色处理。
在该技术方案中，在对视频图像进行着色处理的过程中，通过基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值，以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值，从待着色视频图像集合中选取将要进行处理的待着色视频图像，并从已着色视频图像集合中，选取对待着色视频图像进行着色处理时的参考视频图像，以根据参考视频图像，对待着色视频图像进行着色处理，使得每次进行着色处理时，均能选取出适合的待着色视频图像来进行着色处理，而非按照视频图像的固有顺序来依次进行颜色的恢复，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色。
在上述技术方案中，优选地，所述第一选取单元202具体用于：计算所述每帧待着色视频图像与所述已着色视频图像集合中的所有已着色视频图像之间的平均偏离值，以作为所述第一偏离值；计算所述每帧待着色视频图像与所述其他待着色视频图像之间的平均偏离值，以作为所述第二偏离值；从所述待着色视频图像集合中，选取满足以下公式的任一帧待着色视频图像作为所述待着色视频图像：
其中，
在该技术方案中，通过将每帧待着色视频图像与所有已着色视频图像 之间的平均偏离值作为第一偏离值，以及将每帧待着色视频图像与其他待着色视频图像之间的平均偏离值作为第二偏离值，尽可能地降低对偏离值的计算误差，确保了每次都能准确地选取出待着色视频图像。其中，优选地，α＝1。
在上述任一项技术方案中，优选地，所述第二选取单元204具体用于：从所述已着色视频图像集合中，选取与所述待着色视频图像之间的偏离值最小的至少一帧已着色视频图像，作为所述参考视频图像。
在该技术方案中，通过选取与待着色视频图像之间的偏离值最小的至少一帧已着色视频图像作为参考视频图像，优选地，选取与待着色视频图像之间的偏离值最小的两帧已着色视频图像，使得在颜色恢复过程中，可以利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
在上述任一项技术方案中，优选地，所述控制单元206包括：第一处理单元2062，用于根据所述参考视频图像，对所述待着色视频图像进行初始化着色处理，以得到处理后的视频图像；第二处理单元2064，用于根据所述处理后的视频图像中的已着色像素，对所述处理后的视频图像中的待着色像素进行着色处理，以完成对所述待着色视频图像的着色处理。
在该技术方案中，通过根据参考视频图像，对待着色视频图像进行初始化着色处理，以得到处理后的视频图像，初始化处理后的视频图像可能仅部分像素恢复颜色，所以仍需要通过处理后的视频图像中的已着色像素，对处理后的视频图像中的待着色像素进行着色处理，以确保待着色视频图像中的所有像素的颜色均得到恢复。
在上述任一项技术方案中，优选地，所述第二处理单元2064具体用于：确定所述已着色像素的置信度和颜色；根据所述已着色像素的置信度和颜色，对所述待着色像素进行着色处理。
以下对本发明的技术方案作进一步说明。
根据本发明的另一个实施例的视频图像的处理方法，包括：
步骤1，对给定视频图像序列，计算每个灰度帧(即每帧待着色视频图像)和彩色帧(包括预先给定的彩色帧和经过着色处理后的已着色视频 图像)以及其他灰度帧的运动偏离(即偏离值)，挑选出待恢复颜色的灰度帧以及作为参考的彩色帧。
步骤2，利用挑选出来的灰度帧和作为参考的彩色帧，对灰度帧进行着色，具体的着色过程为：
步骤2.1，计算彩色帧到灰度帧的运动光流场；
步骤2.2，初始利用计算的运动光流场复制彩色帧像素颜色到对应灰度帧像素点上，同时根据灰度差初始化灰度帧中像素点的置信度；
步骤2.3，利用初始化了的像素的置信度和颜色，迭代地为灰度帧中其他的由于未被匹配上而没有颜色的像素点着色。
步骤3，重复步骤1和步骤2直至所有灰度帧都被着色。
其中，在步骤1中：
对于给定的第一帧颜色保留了的视频图像，除了第二帧可直接利用第一帧按步骤2进行着色，对其他灰度帧，都需每次挑选出一个灰度帧。
首先，设任一两帧s与t之间的运动的偏移量为：
其中，|s|表示集合元素数，m(s，t)表示帧s中的像素s到帧t的运动矢量的大小。
然后，设帧s到着色帧集合(即已着色视频图像集合)和灰度帧集合(即待着色视频图像集合)的距离分别为：
其中，在上述公式中，λ和φ分别为彩色帧和灰度帧的集合，|λ|表示集合λ的元素个数，|φ|表示集合φ的元素个数，集合λ还包含已恢复颜色了的帧。从集合φ中选出本次要恢复颜色的帧
同时挑选出彩色帧集合λ中与帧
在步骤2中：
对步骤1中挑选出的帧
步骤2.1：对每个参考帧集合γ中的帧r，计算它到目标帧
步骤2.2：利用步骤2.1计算的光流场对目标帧
首先，设置
c＝(cb，cr)是ycbcr空间中的颜色向量。
步骤2.3：基于2.2中的初始化结果，迭代地为其他灰度像素点着色。
在第k次迭代中若像素点s没有颜色，则其置信度被更新为：
其中，集合ω是已有颜色像素点集合，s′～s表示s′是s的四临域像素点，并且
若在第k-1次迭代结束后像素点s有颜色，则
迭代地进行上述步骤直至所有像素点都被着色。
通过上述实施例，特别是对老式黑白电影的颜色上色或彩色视频的压缩时，在重排序部分，每次迭代中综合考虑每个灰度帧和已着色帧还有其他灰度帧的运动偏离，选择一个合适的灰度帧在本次迭代中进行颜色恢复，从而相对于顺序恢复颜色的处理方式，减少了颜色的错误传播，同时在颜色恢复过程中，利用多个彩色帧恢复目标灰度帧的颜色，从而优化颜色恢 复结果。
以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的视频图像的处理方案，能够根据每帧待着色视频图像与已着色视频图像，以及其他待着色视频图像之间的偏离值，选取出每次进行处理的待着色视频图像，大大降低了颜色的错误传播的概率，从而保证了对视频图像的准确着色，同时可利用多帧参考视频图像来恢复待着色视频图像的颜色，优化了颜色的恢复效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！